省级电子政务云平台数据交换共享平台方案.docx
《省级电子政务云平台数据交换共享平台方案.docx》由会员分享,可在线阅读,更多相关《省级电子政务云平台数据交换共享平台方案.docx(73页珍藏版)》请在三一文库上搜索。
1、省级电子政务云平台数据交换共享平台方案 目录第1章 政务云项目背景及需求分析11.1 建设目标11.2 建设范围11.3 建设任务2第2章 政务数据交换和共享平台建设方案42.1 概述42.2 总体架构设计52.3 设计原则52.3.1 大数据融合扩展设计考量52.3.2 云平台环境适配支持82.3.3 多层次备份能力92.3.4 可扩展能力92.3.5 负载均衡能力92.3.6 模块灵活配置102.3.7 运行监控102.3.8 数据处理与安全高效传输102.3.9 不存在单点故障102.4 政务资源管理平台设计方案112.4.1 概述112.4.2 政务资源管理平台需求分析112.4.3
2、政务资源管理平台结构设计132.4.4 政务资源管理平台系统设计142.5 政务信息资源交换平台设计方案262.5.1 概述262.5.2 政务信息资源交换平台需求分析272.5.3 政务信息资源交换平台结构设计282.5.4 政务信息资源交换平台系统设计352.6 政务数据交换共享平台实施内容设计472.6.1 基础信息资源库完善建设472.6.2 主题信息资源库建设522.7 安全设计592.8 后期扩展设计602.9 政务数据交换共享平台实施部署方案662.10 平台部署方案662.10.1 系统硬件环境662.10.2 系统软件架构682.10.3 软硬件配置建议69第1章 政务云项目
3、背景及需求分析1.1 建设目标以国务院办公厅关于促进电子政务协调发展的指导意见为指导,统筹推进湖南省电子政务基础设施提升、电子政务业务系统协同发展、信息资源共享共用和数据开放利用;按照湘府阅201553号文件要求,以资源整合、集约建设、稳步推进为原则,建成安全可靠、统一高效、国内领先的云计算平台并开展示范应用,为全省各级部门提供弹性的云计算和云存储能力、政务外网承载服务与应用能力,基本满足省直部门“十三五”期间非涉密业务的统一网络、计算资源、存储资源、数据库服务、备份服务、安全服务等需求,提升政府效能,促进政府管理创新,达到简政、兴业、惠民的目标。1.2 建设范围省级电子政务外网主要满足各级政
4、府部门社会管理、公共服务等方 面的需求,为各省直部门的非涉密电子政务业务提供承载服务。本次建设省级电子政务外网统一云平台,总体框架为“1+2+N”, 即“1网、2中心、N多应用云”,省本级政务大数据中心,初步形成“8+3+5”的基本框架。具体业务目标主要包括: “一个网络”优化升级电子政务外网平台,满足省直部门间以及省 到市、市到县网络传输和承载的需求; “两个中心”建设云计算中心、大数据中心,满足省直部门十三五期间非涉密业务需求,为政府领导提供科学、合理的决策支持。 “N 朵应用云”建设基于云平台的 N 个全省性应用系统,包括政务 服务、政务管理、政务行业、政务决策和政务办公等领域。 “8大
5、基础数据库、主题数据库”完成人口、法人、宏观、地理空间、政务服务信息、工商企业、信用信息、电子证照等8大基础数据库、主题数据库的建设、迁移、备份共享; “3大平台”完成大数据智能分析平台、数据交换和共享平台、数据开放平台3大平台; “5大示范工程”完成全省旅游大数据分析、12345服务平台、区域经济脸谱大数据分析、湖南省互联网产业发展状况分析、湖南省政府网站群智能监测分析5大示范工程;建设建设统一的安全体系;建设统一运维管理机制;设计迁移策略,完成部分系统的迁移;明确云平台建设、管理、运营模式,节约投资,提升服务质量。1.3 建设任务充分考虑省级电子政务外网统一云平台计算、存储资源需求的阶段性
6、和应用系统建设的复杂性,为了保证投资的有效使用,采用分期建设的原则。(一)第一期2016年1完成湖南省电子政务外网的升级改造;2建设40%的计算、存储资源;3启动大数据中心建设;4启动N朵云建设。(二)第二期2017年1建设60%的计算、存储资源;2完成灾备中心建设;3完成大数据中心建设;4完成N朵应用云的部分建设。(三)第三期2018年-2020年1全面完成N应用朵云建设。其中,本期云平台基础设施部分的建设任务具体包括以下:完成湖南省电子政务外网升级改造(含安全平台);建设主数据中心、同城双活数据中心40%的计算、存储资源,数据交换和共享平台;建设政府协同办公平台、政务安全邮箱;提供省政府门
7、户网站群五年的运维服务;提供统一的运维管理服务(五年),确保本期建设的政务外网、安全体系、云计算中心安全稳定运行。第2章 政务数据交换和共享平台建设方案2.1 概述本项目建设的政务数据交换和共享平台是湖南省政务电子政务,基于分布式消息管道与分布式服务调用技术进行建设,能够使湖南省公共服务平台实现深度的数据共享、广泛的业务协同及敏捷的业务提供,可以提高各部门之间的数据交换共享的运行效率,通过数据的采集桥接、交换传输、落地转换、资源归集等服务完成数据跨部门跨区域之间的交换共享与公共基础数据集的归集整理,从而改善公共服务、加强社会管理、强化综合监管、完善宏观调控、建设服务型政府。2.2 总体架构设计
8、2.3 设计原则2.3.1 大数据融合扩展设计考量金蝶天燕数据系列产品支持与大数据的融合。可视乎客户需要与数据规模可以支持传统关系型数据库,也支持以大数据存储归集数据以降低存储成本,提高归集数据资源的检索统计速度。大数据存储需要涵盖的数据类型主要有三类:结构化数据、非结构化数据和半结构化数据。结构化数据是指有数据结构描述信息的数据,结构化数据通常情况是先有数据结构、再有数据填充,典型的结构化数据包括各类表格数据。非结构化数据是不方便用固定结构来表现的数据,非结构化数据一般只有数据填充而没有数据结构,典型的非结构化数据包括各种图形、图像、音频、视频信息。半结构化数据是指那些结构隐含或无规则、不严
9、谨的自我描述型数据,介于严格结构化数据(如关系数据库和对象数据库中的数据)和完全无结构的数据(如声音、图像文件)之间,典型的半结构化数据包括XML文档,它一般是自描述的,数据的结构和内容混在一起。数据库是存储结构化数据通常采用的软件系统,从技术上数据库可以分为关系型数据库和非关系型数据库两类,在解决大数据存储问题时“非关系型”数据库技术是必不可少的,但是关系型数据库也是不可或缺的。数据存储包括关系型数据存储及非关系型数据存储,关系型数据存储采用传统关系型数据库,非关系型数据存储采用MongoDB,根据采集到数据的类型,由数据库引擎统一处理。对于政务数据交换管理平台配置信息、权限数据、交换流程业
10、务信息等基本信息数据,更新操作可能会较为频繁,且数据量不大,采用传统关系型数据库进行存储。对于归集公共基础数据资源如自然人库等因为数据量庞大,具有一次写入多次读取特点,我们也可支持采用非关系型数据库技术进行存储。对于资源运行时信息,数据量较为庞大,具有一次写入多次读取的特点,宜采用NoSQL存储。1各类型NoSQL数据库比较:类型键值数据库图存数据库列存数据库文档数据库相关产品Tokyo、Cabinet/Tyrant、Redis、Voldemort、Berkeley DBNeo4J、InfoGrid、Infinite GraphCassandra、HBase、RiakCouchDB、Mongo
11、DB数据模型一系列键值对。图结构。以列簇式存储,将同一列数据存在一起。一系列键值对。典型应用内容缓存,适合混合工作负载并扩展大的数据集。社交网络,推荐系统等。专注于构建关系图谱。分布式的文件系统。Web应用。优势快速查询。利用图结构相关算法。查找速度快,可扩展性强,更容易进行分布式扩展。数据结构要求不严格。劣势存储的数据缺少结构化。需要对整个图做计算才能得出结果,不容易做分布式的集群方案。功能相对局限。查询性能不高,而且缺乏统一的查询语法。键值数据库存储的数据缺少结构化,图存数据库不用考虑。如果是列存数据库,则选用HBase,其属于Hadoop子项目,基于HDFS,方便与Hadoop集成。如果
12、是文档数据库,则选用MongoDB,因其查询比较灵活,而CouchDB不支持动态查询,必须为每一个查询模式建立相应的view,并在此view的基础上进行查询。2HBase与MongoDB比较名称HBaseMongoDB类型列存数据库文档数据库存储位置每个列族保存在单独的hdfs文件。整个数据都存在磁盘中。存放顺序基于字典序。按插入顺序。二级索引不支持。支持。集合查找只三种查找:通过单个row key访问,通过row key的range,全表扫描。正则查找,范围查找,支持skip和limit等等,是最像mysql的nosql数据库。更新方式另一版本保存下来。默认历史数量为3。原地更新。删除方式先
13、标记,insert新数据时分配合适的已删除记录空间。先标记,读取时再删除。MapReduce基于Hadoop,强大。不够强大,如不使用MongoDB分片,则实际不是并行执行。可通过Mongo-Hadoop的数据中间件与Hadoop集成。读写效率默认适合写多读少,可配置。读效率比写高。从索引、查找功能来说,HBase比较单一,由于不支持二级索引,某些特殊查询需要全表扫描,效率会很慢。从MapReduce方面来说,HBase可以与Hadoop完美配合,较MongoDB方便很多。从应用场景来看,HBase比较适合于拥有超大规模数据的企业,一般企业的大数据应用只需要MongoDB即可。综上所述,本平台
14、建设可考虑采用MongDB做为非关系型数据的存储数据库。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。MongoDB最大的特点是他支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。2.3.2 云平台环境适配支持1、云平台内的信息资源交换湖南省各部门系统统一迁移到云平台后,由于处于统一云平台环境且处于统一网络环境下,不存在跨网络和跨节点层级的情况。所以各应用间的数
15、据交换与共享应可采用ETL的方式直接桥接,也可按原部门分别(逻辑隔离)建立前置机,先统一到部门前置机,再到中央节点,反之亦然。ETL工具应具备如下技术要求:l 应具备复杂数据的转换与清洗能力。l 应支持与多种类型的数据源及数据格式对接的能力。l 应具备图形化界面的能力,具备丰富的数据计算和处理的组件。l 应具备字段级、行级数据的处理能力。l 应具备从流程开发到项目运维的各种功能。2、云平台外的信息资源交换统一云平台外的系统与数据交换平台可采用前置机的方式进行对接和实施。要求各部门的应用系统将交换共享的数据统一推送到前置机的数据库中。同时在部门前置机上部署交换平台节点端,在省云平台中部署交换平台
16、的中心端 。由前置机的交换平台抽取数据并与云平台中的交换平台完成整个数据的交换。交换平台的技术要求如下:l 应具备多种数据抽取模式l 应具备可视化管理界面,管理端应采用B/S模式。l 应具备一定的数据转换能力。l 应具备与主流数据库对接能力。l 应具备安全可靠的数据传输能力。2.3.3 多层次备份能力交换共享平台具备组件、服务、系统等多层次备份和恢复能力,实现对平台中各个模块和应用软硬件环境的统一管理;对中央节点、政务资源管理平台(ARC)均可提供负载均衡机制;对前置机节点也可进行热备支持。2.3.4 可扩展能力根据平台所接入应用、服务、数据的变化,平台具备扩展能力,并且所提供的扩展方式不影响
17、平台工作效率。 平台应提供中央节点的水平扩展能力,也可提供前置节点的扩展能力以支撑部门调整或区域调整所需,此外当面临业务扩展和业务量的增加,平台均可支撑节点的扩展能力并且节点数量不受限制。平台提供多种接口能力,能够与第三方系统或平台进行对接,实现业务或平台的对外扩展。平台提供数据处理组件的扩展能力,能够根据业务的变化和数据处理的复杂程度,对数据处理组件进行定制扩展,同时并不影响平台的正常使用。2.3.5 负载均衡能力根据平台中各模块的负载程度,平台能够自动进行负载均衡管理。同时平台提供接口,能够与第三方负载均衡设备进行对接,完成平台的负载均衡部署。2.3.6 模块灵活配置l 平台中的各个模块可
18、运行在不同环境中,通过配置能够使平台适应不同部门对平台的需求。l 根据业务模式,平台之间能够实现元数据、目录、应用各类信息的互联互通。l 平台的配置可动态改变。l 平台具备多种数据处理组件,能够具备数据交换的常用组件,并且以图形化拖拽形式进行配置,不需要人工编码。2.3.7 运行监控平台提供运行监控的人机界面,对服务组件进行远程管理和监控。 提供多种监控手段,能够对平台的节点进行监控和管理,能够监控交换平台的服务器运行指标情况。同时具备多维度的数据统计管理,如按照交换流程维度、按照节点维度等进行统计,同时具备图表和列表展示的能力。2.3.8 数据处理与安全高效传输平台具备多种数据抽取能力,常规
19、的功能包括触发器模式数据抽取、时间戳模式的数据抽取、全量模式的数据抽取、标识位模式的数据抽取等。平台应提供多种数据处理组件,能够支持对数据进行处理和计算。支持以图形化拖拽方式进行流程的配置,无需人工编码,简化流程配置步骤,提高效率。平台提供安全可靠的数据传输能力且支持国密算法,具备安全的传输通道与加密通道。保障数据在传输过程中的安全、稳定、可靠。平台提供高效的数据传输能力,平台采用优化的分布式消息机制与优化的加密压缩算法进行数据传输高效保障。2.3.9 不存在单点故障平台由多台服务器共同支撑,同时用于复合的业务流程中,因此需要对单点故障进行管理,实现故障切换,金蝶数据资源交换共享平台既支持中央
20、节点高可用集群配置,以确保平台的高可靠性运行及交换传输过程数据不丢。2.4 政务资源管理平台设计方案2.4.1 概述随着政府信息化建设的数字化、网络化信息的生产速度不断加快,信息资源总量的急剧膨胀,面对大量且分散的信息资源,建设基于网络的、以跨部门的信息整合为特征的、可供管委会领导和各处室工作人员等快速定位、检索和获取的信息系统,使各级信息的使用者在各自的权限内获取全面、准确的信息,是深化发展的重要内容。而信息资源目录是实现该项目的必要基础支撑。信息资源目录作为统一数据底库和全局共享数据库的信息资源的管理和服务中心,按照统一的标准规范和树状结构实现对信息资源的采集、分类、描述、处理、展现、应用
21、和管理,为信息资源的共享和交换提供基础性支撑,实现对信息资源的识别、导航和定位服务,从而更加有效管理、利用和合理开发信息资源,提高工作效率、提升服务水平提供科学的工具。2.4.2 政务资源管理平台需求分析政务资源管理平台包括信息库系统和目录内容服务系统。信息库系统由政务部门的共享信息库、目录内容信息库和目录服务中心的目录内容管理信息库、服务信息库组成。目录内容服务系统由共享信息服务系统、编目系统、目录传输系统、目录管理系统、目录服务系统组成。需满足以下要求:目录管理子系统实现对政务资源管理平台的全部操作,主要用来管理信息资源目录,信息资源目录对信息资源进行编目形成核心元数据,注册到整合资源数据
22、库中,生成数据资源目录。使用者可通过目录服务对数据信息资源进行目录查询。目录管理子系统包括:信息资源元数据管理,元数据编目、注册、发布;目录管理,目录分类、管理维护;目录服务,目录导航、检索、展现等。遵照国家政务信息资源目录体系,采用成熟的软件产品和工具,在国家政务外网目录体系框架要求下建设湖南政务信息资源目录体系技术框架。(1)遵循的关键性标准目录体系框架所遵循的关键性标准包括以下:元数据编辑器按照政务信息资源目录体系第3部分:核心元数据、政务信息资源目录体系第4部分:政务信息资源分类、政务信息资源目录体系第5部分:标识符编码方案的标准规定实现政务信息资源元数据的编目,并对所采集的元数据的标
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 省级 电子政务 平台 数据 交换 共享 方案
