数据汇集软件解决方案要点.pdf
《数据汇集软件解决方案要点.pdf》由会员分享,可在线阅读,更多相关《数据汇集软件解决方案要点.pdf(34页珍藏版)》请在三一文库上搜索。
1、数据汇集软件系统 解决方案 北京金水信息技术有限公司 北京北科博研科技有限公司 2013 年 8 月 i 目录 第一章水利普查项目概述 1 1.1项目背景 . 1 1.2项目难点 . 1 1.2.1需求的逐步完善 1 1.2.2业务面广、数据指标项多、审核周期长 2 1.2.3省、地、县多级用户 2 1.2.4集中部署与分级部署 2 1.3系统组成 . 3 1.4系统实施与效益 . 4 第二章数据汇集系统 6 2.1建设目标 . 6 2.2建设原则 . 7 2.3总体架构 . 9 2.4技术路线 . 11 第三章系统功能 14 3.1总体功能 . 14 3.2功能模块 . 14 3.2.1数据
2、采集 14 3.2.2数据审核 14 3.2.6汇总分析 18 ii 3.2.7方案制作 20 3.2.8任务下发 22 3.2.9数据管理 23 3.2.10系统管理 23 第四章系统优势 28 4.1采用 J2EE架构 28 4.2可视化表单配置 . 28 4.3解释性的公式审核 . 29 4.4软件易学、易用、易管理. 30 4.5智能分析、深度挖掘 . 30 4.6便捷打印、自定义报警. 31 1 第一章 水利普查项目概述 1.1 项目背景 水利普查是国家基础水信息的基准性调查,也是一项涉及国情、 国力情况的调查,是国家资源环境调查的重要组成部分。 第一次全国水利普查包含河湖基本情况普
3、查、水利工程基本情况 普查、经济社会用水情况调查、河湖开发治理保护情况普查、水土保 持情况普查和水利行业能力建设情况普查,以及灌区与地下水取水井 两个专项普查。由于普查范围广、普查的对象众多、归口管理关系复 杂、涉及指标多、 数据量庞大,要保证全国范围内普查工作的同步开 展,对于如此大规模的普查工作,必须要采用科学的方法和先进的技 术手段,建立完善的数据的采集、审核、汇总、上报机制,只有通过 建设信息系统来实现分布式数据收集和海量数据的存储和管理,才能 确保所有普查数据能有效、快速、安全地采集和汇集,从而减轻工作 量,提高工作效率和普查工作质量。 1.2 项目难点 1.2.1 需求的逐步完善
4、普查软件的开发是在业务需求逐步确认的基础上进行的。在软件 开发中不可避免的会遇到需求的变化,变化并不是项目所害怕的, 最 怕的是跟不上变化的步伐。 从普查软件的试点走到现在, 实施方案经 历了几个版本的更新, 实施方案的更新从业务需求上主要表现为添加 2 业务表单、删除业务表单、增加数据指标、删除数据指标、更改名录 逻辑等,每经历一次更新必会造成一系列连锁的指标修正、指标配置、 配置审核、汇总更新等操作,这将增加软件在开发上、质量上和测试 上的复杂度,无形中的延长了开发的开发周期。 1.2.2 业务面广、数据指标项多、审核周期长 普查软件涉及的业务面广、指标量多、审核周期长。水利普查业 务共涉
5、及八大类业务工程(23 张清查表、 38 张普查表、 3 张台账表 及相应的统计表), 且每类业务工程中所涉及的系统逻辑均有所不同, 需在软件中进行相应的业务处理,这将直接增加软件的复杂度。 水利 普查软件中共数千个数据指标项,在数据指标的类型、长度、精度及 值域范围上根据实施方案的更新进行了反复的确认和核对工作。审核 周期长,对数据指标中所涉及数据审核项的迭代审核,为做到指标项 配置无误,对此类审核做到多人迭代、交替审查。 1.2.3 省、地、县多级用户 普查软件是一个全国性的数据登记及处理软件,直接涉及全国 31 个省(自治区、直辖市)、345 个地(市)级数据审查人员、 3144 个县的
6、使用人员。使用人员多,分散广,信息化程度参差不齐,对软 件的使用则要求相对就高, 这就要求软件有良好的适用性、易用性和 稳定性。 1.2.4 集中部署与分级部署 因属于全国性的普查, 故软件在部署上采用集中部署与分级部署 3 两种模式。若全部采用集中部署则需考虑到网络的带宽、服务器的性 能、访问量的多少等因素, 若在访问量加大的情况下势必存在性能问 题,而这些问题反映在软件上效果为反映速度慢、页面打不开等,因 此需要辅以多种技术和业务手段进行控制,以达到预期的应用平衡和 性能效果。若全部采用分级部署,则存在分散广的问题,对同一问题 出现的频率高,对问题反馈响应比低等问题。 1.3 系统组成 水
7、利普查数据处理系统由基层登记台账管理系统、普查数据处理 上报系统、普查数据管理系统所构成。为各级水利普查数据的录入、 编辑、审核和汇总以及数据管理、 数据加工和信息发布等提供工作平 台。 其中:基层登记台账管理系统主要用于2011 年清查登记阶段, 各地用于开展清查数据处理和普查数据的预处理,用于数据录入工 作;普查数据处理上报系统主要用于填表上报阶段,县、地级水利普 查机构开展表格数据处理和汇总上报;普查数据管理系统主要用于填 报上报阶段,省、国家 (含流域 )级水利普查机构开展表格数据处理和 汇总上报,以及平衡分析统计服务。 4 图 1.1 水利普查数据处理系统 水利普查数据处理系统根据各
8、级水利普查机构数据处理任务,分 别部署到全国 3433 个水利普查机构,应用于清查登记、填表上报等 不同阶段的水利普查数据处理工作中,全面支持水利普查数据处理工 作的全过程。 1.4 系统实施与效益 根据各省(自治区、直辖市)和新疆生产建设兵团水利普查数据 保密要求,其中28 个省(自治区、直辖市)水利普查业务数据处理 软件部署采取了在省级集中部署,其各地、县级水利普查机构通过计 算机网络,远程开展联机数据录入和处理工作,其余省级水利普查机 构及其下级,采用了分散部署。无论采用集中或分散部署,不影响各 5 级水利普查数据采集与处理的工作流程和责任主体,水利普查数据均 维持相同的数据处理模式。
9、无论采用集中和分散相结合方式部署的水利普查业务数据处理 软件,还是全部分散部署的数据处理软件,均如期顺利完成了各自数 据采集与数据处理任务, 以及所有数据的逐级上报、 汇总和审核等一 系列工作,最终形成了国家级水利普查成果。 通过水利普查数据处理系统完成了全国9900 多万个水利普查对 象的清查, 900 多万张普查表的填录, 4 亿多笔普查数据的采集、处 理、审核和汇总。 全面查清了我国水系的基本情况,掌握了水资源开 发、利用和保护现状, 摸清了经济社会的用水状况及经济社会发展对 水资源的需求, 查明了水利行业能力建设及管理状况,收集整理形成 了全面反映水资源及其开发、利用、治理、保护、监测
10、和管理等方面 基本情况的海量信息资源, 形成了迄今为止最全面细致、 系统权威的 基础水信息体系,为全面建立国家基础水信息平台建立了坚实基础。 6 第二章 数据汇集系统 2.1 建设目标 基于水利普查数据处理软件开发一套综合信息的数据汇集系统 平台。 系统目标包括: 1.强大的数据集成 系统提供关系型数据库数据集成器,用于将关系型数据库的业务 资源采集入库。 数据采集支持各种主流关系数据库,通过计划任务的 方式运行,根据不同资源类型的实时发布要求,配置资源的采集同步 频率。在数据采集的过程中,支持数据的转换、合并、连接等数据处 理。支持 xml 格式的数据导入导出。 2.便捷的表单设计 用户通过
11、所见即所得的表单或表单设计工具,以简单的拖拉拽的 方式完成大量表单或报表的编制工作。其中表单主要解决基础数据的 采集、表单类的数据上报业务。 3.智能的数据审核 用户可以根据实际业务需求进行校核公式的配置,完成表内校 验、表间校验、合理性校验、历史数据对比,并对审核结果进行快速 定位及输出。 其中具备网络环境的单位, 能够直观的看到下级单位的 数据填报情况及数据质量。 7 4.灵活的数据汇总 用户可以自由的选择单位和行政区划进行汇总。汇总指标之间可 以通过计算公式完成表内、表间的指标计算,减少工作量,提升数据 准确率。 5.强大的统计分析 用户可以对已有数据进行简单数据查询、历年数据查询、 单
12、位对 比查询、单位排序查询、高级汇总查询等操作;可以自定义完成各种 统计报表,满足不同数据分析和处理需求, 形成多维数据,并以报表、 图表等形式展现,真正实现从数字上进行宏观决策和微观管理。 6.灵活的综合管理服务 通过该平台,用户可以很轻松地完成分级组织管理、用户管理、 授权管理、日志管理、任务管理。用户可以根据自己的需要,定制业 务处理流程, 并通过任务下发和数据上报的方式完成网络环境、单机 环境以及复合环境的协同。 2.2 建设原则 数据汇集系统的应用对象是需进行数据采集、管理、汇总应用的 主管单位和下级单位; 数据汇总系统对应的数据内容,不但需要能够 处理业务的结构化的报表数据,还能够
13、处理工作计划、 业务统计等非 结构化的业务数据。 数据汇总系统应用的形式为网络表单,通过表单模板制作、 样表 生成、表单组合及下发、表单填写、表单审核、表单上报、表单管理 8 等系列操作,完成汇总分析所需要的基础数据的采集工作。数据汇 集系统更加强调数据的审核、 汇总和分析, 为领导决策提供直接的客 观依据。主要保证如下几点: 保证信息的时效性 运用数据汇集系统实现在线填报、离线填报、数据导入工作,提 高填报工作的效率,保证填报信息的时效性。 保障信息的安全性 运用数据汇集系统在数据上报过程中实现数据的加密,充分保障 汇总上报数据的安全性。 提高数据的正确性 运用数据汇集系统,根据实际业务需求
14、,配置审核公式,所有上 报数据先校核再上报, 提高上报数据的准确性, 确保汇总结果的正确 性和可信度。 统一上报数据格式 通过多种技术手段保证上报数据格式的统一,从而为上级单位节 约大量的时间和精力,大大提高工作效率。 现实数据共享机制及关联 通过技术手段, 建立与各个业务系统之间的关联,自动共享业务 系统中的数据,通过自动取数、自动填写报表的方式,减少人工操作 可能产生的错误,同时提高数据的共享性和系统的关联性。 9 2.3 总体架构 数据汇集系统总体应用是多层次架构,分为综合管理、方案制作、 任务下发、应用层次及成果展现。 图 2.1 系统总体架构 综合管理主要是辅助用户完成用户、组织、权
15、限及流程制定、报 表打印等数据采集及填报的准备工作。 方案制作是指用户可以在系统内完成报表、表单模板设计及相关 审核公式的配置工作。 任务下发可以针对不同的报表及表单的填报应用下发多个任务, 并下发给不同的下级单位。 下级单位系统中进行任务导入后,即保持 与上级单位报表、表单应用的一致性,无需进行二次配置。 数据汇集系统从应用层次上可以划分为三个层次:数据采集层、 10 数据汇总层、数据分析层。 其中: 数据采集层主要完成报表数据的采集工作,即通过浏览器本地填 写、导入或者自动从业务系统中提取数据,然后保存、审核通过之后 并上报。 数据汇总主要完成下级单位报表数据的收集、整理,并按照上级 单位
16、的规定除上报汇总数据外,是否一起上报基础数据明细。 数据汇 总层对应的单位可以有多个层次,也即对应于多个中间层单位,该类 单位可以对下级单位上报的报表数据进行管理、查询、统计等操作。 数据汇总层主要是帮助主管单位(也可以是中间层单位) 完成数据的 汇总、统计等设置的。具体而言,就是主管单位根据报表相关指标、 关键字等,设置汇总统计条件,建置汇总统计模型,然后基于各下级 单位上报的数据或者下级单位上报的汇总数据,形成汇总统计的结 果。 数据分析层是数据汇总系统的重点,主要是完成数据库到数据仓 库的转换,并在数据仓库建置的基础上, 完成多维数据分析以及数据 的钻取、切片、旋转等功能。 概括的讲,数
17、据采集是基础, 数据管理是桥梁, 数据汇总是重点, 数据分析是目的。数据采集、管理,其重点是在此基础上的汇总和分 析,主要目的是为领导的决策提供全面、准确、客观、科学的数字依 据。 数据采集、 汇总、分析完成后数据汇总系统可将数据统计分析的 11 成果通过分析示图、门户集成进行展现。 2.4 技术路线 为方便系统应用和软件管理,系统应用浏览器/服务器( B/S)体 系结构,系统可以行政区划为单位各自独立运行,以逐级上报方式完 成系统之间的数据交换。 在技术路线的选择上, 采用了符合 SOA体系架构的设计思想及当 前业界主流的 J2EE技术路线,可以满足跨硬件平台、 跨操作系统的要 求。 12
18、HTTP 请求 HTTP 应答 表现层 ServletJSP XSLT 业务逻辑层 JAVA BEANWebServiceJAASJMS 数据持久层 DAO IBatis Session Bean SpringJDBC Hibernate Oracle Mysql . 数据库管理系统 服务端 客户端 展现层 XMLExtJSFlex 图 2.2 技术架构 在技术体系中采用了 WebService 、 AJAX 、 Hibenate、 EXTJS、 FLEX 及持久层框架等核心技术, 在保证技术先进性的同时兼顾了技术的实 用性。同时,采用组件式开发技术,使彼此独立的业务组件通过 13 Webse
19、rvice 、XML 等松耦合的通讯方式组织在一起形成完整的业务系 统。采用数据访问对象 (Data Access Object)来实现对数据库的存取, 采用异步任务来处理长时间请求,采用O-R MAPPING技术保证公共 数据库的可扩展性,采用 XML 和Webservice 作为数据发布标准,采用 元数据、数据映射、原生XML 数据库等技术实现数据处理。 Java技术由于其跨平台特性、面向对象特性、安全特性等,把数 据库访问、企业级Java组件、命名和目录服务、 动态页面生成、 XML 、 事务服务等有机地集成在一起,并且提供集群等高级特性, 使之特别 适合构建复杂的大型应用,并保证系统具
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 汇集 软件 解决方案 要点
链接地址:https://www.31doc.com/p-5208742.html