智慧交通云平台建设方案.docx
《智慧交通云平台建设方案.docx》由会员分享,可在线阅读,更多相关《智慧交通云平台建设方案.docx(109页珍藏版)》请在三一文库上搜索。
1、目 录智慧交通云平台建设方案目 录1 系统总体设计11.1 云计算系统设计方案概述11.1.1 系统基本功能11.1.2 主要设计思想和设计目标、设计原则11.1.3 智慧交通云平台的云计算解决方案21.1.4 系统的主要技术特点31.2 系统总体构架31.2.1 系统基本组成与构架31.2.2 系统功能构架41.2.3 系统总体构架与功能模块71.3 系统基本功能与处理方案91.3.1 交管数据入库功能与处理方案91.3.2 数据存储功能与处理方案101.3.3 查询分析功能与处理方案121.4 系统互联与管理131.4.1 组网方案131.4.2 网络管理151.4.3 系统安全161.5
2、 系统可靠性与扩展性171.5.1 系统可靠性171.5.2 系统扩展性191.6 系统设计性能201.6.1 交管数据流量处理能力201.6.2 数据存储能力201.6.3 查询分析计算性能211.7 定制开发方案222 系统设计实施与关键技术方法252.1 系统平台252.2 系统规格272.3 数据处理流程282.4 数据存储系统292.4.1 海量数据分布式数据存储构架292.4.2 适应应用需求的混合存储策略312.4.3 HDFS数据存储322.4.4 HBase数据存储352.4.5 Database数据存储372.4.6 数据存储的可靠性392.4.7 数据压缩402.5 数据
3、实时处理、实时查询系统412.5.1 数据立方(DataCube)422.5.2 任务调度器(JobKeeper)432.5.3 cProc数据处理452.5.4 交管数据处理流程472.5.5 交管数据处理步骤482.6 交管数据处理集群的可靠性与负载均衡设计492.6.1 负载均衡处理机的单点失效容错处理492.6.2 查询处理机的单点失效容错处理522.7 计算与存储集群的可靠性与负载均衡设计532.7.1 计算与存储集群Master单点失效容错处理532.7.2 计算与存储集群的负载均衡处理592.7.3 HDFS的可靠性设计622.7.4 HBase可靠性设计642.7.5 MapR
4、educe计算可靠性设计652.8 查询统计计算可靠性与负载均衡设计682.8.1 基于Zookeeper的单点失效和负载均衡设计682.9 系统安全性设计702.9.1 安全保障体系框架702.9.2 云计算平台的多级信任保护722.9.3 基于多级信任保护的访问控制762.9.4 云平台安全审计782.9.5 云计算综合安全网关81图表 1 智慧交通云平台云计算解决方案2图表 3 智慧交通云平台总体构架与功能模块图7图表 4 智慧交通云平台架构9图表 5 数据存储处理架构11图表 6 交管数据接入12图表 7组网方案13图表 8 分布式文件存储系统吞吐量指标20图表 10 数据汇总上报处理
5、流程27图表 11 实时数据入库流程28图表 12 分布式计算流程29图表 13 Hadoop结构30图表 14 Hdfs结构33图表 15 HDFS Namenode、DataNode和客户端们之间的交互34图表 16 HDFS数据压缩与组织40图表 21 负载均衡机分布图48图表 22 负载均衡机宕机预案48图表 23 Master节点宕机预案49图表 24 查询处理单点失效容错处理50图表 25 Master单点失效容错处理51图表 26 AvatarNode0以Pimary启动过程53图表 27 AvatarNode1以Standby启动过程54图表 28 DataNode启动过程54
6、图表 29 AvatarNode0宕机后的状态55图表 30 AvatarNode1切换为Primary过程55图表 31 AvatarNode0重启过程56图表 32 AvatarNode启动切换流程图57图表 33 Avatar体系架构图60图表 34 HBase系统架构62图表 35 作业提交65图表 36 JobTracker0宕机65图表 37 作业注销66图表 38 Zookeeper基本工作结构图66图表 39 基于Zookeeper的查询分析计算单点失效和68图表 40 基于深度防护战略的IATF模型68图表 41 云部署模型的实现69图表 42 多级信任保护70图表 43 基
7、于可信第三方的平台认证71图表 44 主要因素平台证书71图表 45 云存储安全子系统接口关系图74图表 46 基于多级信任保护的多级访问控制流程75图表 47 数据安全交换平台75图表 48 云存储安全审计体系结构77图表 49 安全日志审计系统结构图78图表 50 Cloud-USG三种部署模式81系统总体设计1 系统总体设计1.1 云计算系统设计方案概述1.1.1 系统基本功能按照全省公安机关信息化建设总体规划,为实现对重点车辆的自动比对和动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、对重要节点道路交通信息的远程再现、对基层单位和执勤民警的勤务实施管理等建设目标,
8、为交通管理、治安管控、侦查破案、巡逻防范、反恐处突等各项公安工作提供服务保障。系统的基本功能和性能如下:海量数据存储能够对百亿级的海量交通监控数据进行存储,保存时间为2年。海量数据实时处理、实时入库、生成索引能够对百亿级的海量交通监控数据进行实时处理,能够处理每天500万条记录,能够实时处理约60条/秒的实时数据流量。百亿级数据秒级查询能力、秒级实时业务响应高效实时数据查询架构,提供秒级响应时间,1天的记录能在5秒钟内查询出来,一周记录能在15秒内查询出来。1.1.2 主要设计思想和设计目标、设计原则设计思想:将海量数据分解到由大量X86架构计算机构成的低成本云计算平台上进行实时处理,依靠分布
9、式云计算软件进行容错,从而提升智慧交通云平台海量数据分析的实时性和性价比。设计目标:利用大量性价比高的计算机,建立云计算平台,能够对流量超过500w条/天的原始交通监控数据流进行实时处理。系统具有可动态可伸缩性、高度容错性和响应实时性,达到较之传统方案有一个数据量级的性能价格比提升。设计原则:(1)前瞻性技术与实际应用环境相结合本项目是既是先进技术应用示范项目,又是工程实施型项目。把握技术正确性和先进性是前提,但是前瞻性技术实施必须在云计算平台的实际应用环境和实际监控流量的基础上进行,必须结合云计算平台的实际情况进行研究和开发,只有与实际应用环境相结合才有实际应用价值。(2)学习借鉴国外先进技
10、术与自主创新相结合在云计算平台用于超大规模数据处理方面,国内外几乎是在一个起跑线上;但在关键技术研究及既往的技术积累方面,国外一些大公司有着明显的优势。同时,智慧交通云平台所将要面对的交通监控数据流高达500w条/天,是一个世界级的云计算应用。我们将积极学习借鉴国外先进的云计算技术,同时与自主创新相结合,形成功能强大、性能卓越的能够满足实际应用环境需求的云计算数据处理和分析平台。(3)遵循公安320工程相关标准规范本项目的设计将严格遵循公安320工程相关标准规范。1.1.3 智慧交通云平台的云计算解决方案在公安网内部,构建若干X86架构计算/存储节点,虚拟出海量存储空间、处理能力和数据管理能力
11、。同时研制面向应用的分布式数据处理软件,满足数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等应用需求。图表 1 智慧交通云平台云计算解决方案1.1.4 系统的主要技术特点实时性:平台在高效率并行分布式软件的支撑下,可以实时完成交管数据入库、分析和管理工作,如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。海量数据入库不会出现数据堆积现象,各类分析和查询工作基本都在秒级完成,具有前所未有的高效性。高可靠性:基于对云计算可靠性深厚的研究积累,彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障,系统将自动屏蔽,而且不会出现丢失数据的现象。包括查询任务分配
12、节点、计算任务分配节点、HDFS元数据节点、HDFS数据存储节点、MapReduceJob Tracker节点、MapReduce Worker节点、HBase管理节点、HBase Region节点等。可伸缩性:在不停机的情况下,增加节点,平台的处理能力自动增加;减少节点,平台的处理能力自动缩减。这样,可以做到与云计算平台的无缝对接,根据计算和存储任务动态地申请或释放资源,最大限度地提高资源利用率。高性价比:采用X86架构廉价计算机构建云计算平台,用软件容错替代硬件容错,大大节省成本。在目标性能和可靠性条件下,可比传统的小型机加商用数据库方案节省10倍左右的成本。全业务支持:采用分布式数据库模
13、式,绝大部分海量数据存放于分布式平台并进行分布式处理,少量实时性要求很高的数据存放于关系数据库中,可支撑各种类型的业务。不仅支撑查询、统计、分析业务,还可支撑深度数据挖掘和商业智能分析业务。1.2 系统总体构架1.2.1 系统基本组成与构架智慧交通云平台是一个处于交管数据采集与交管数据监测应用之间的系统。从系统基本组成与构架上来看,该共享平台由7个主要部分组成:历史数据汇总处理系统,上报数据上报系统,实时数据入库系统,交管数据存储系统,交管数据查询分析应用系统,数据管理系统以及系统管理。1.2.2 系统功能构架智慧交通云平台需要提供的7大主要功能描述如下。(1)历史数据汇总处理系统历史数据汇总
14、处理主要负责把南京市6个分散的数据中心的历史数据,进行读取解析处理,并将处理后的历史数据汇入一个统一的数据中心。在内部处理模块上,历史数据汇总系统主要包括三个模块:读取模块、解析模块和汇总模块。读取模块主要负责各个数据中心历史数据的读取处理,解析模块主要负责把读取到的历史数据解析成合理的数据格式,而汇总模块主要负责把解析好的历史数据上传到统一的数据中心。在系统构架上,为了满足6个分散的数据中心处理需要,需要在每一个数据中心处安装一个数据汇总程序。(2)上报数据上报处理信系统上报数据上报处理负责把市数据中心的数据,按照一定的需求(按时间段或一定的数据量),上报给省厅数据中心。在内部处理模块上,上
15、报数据上报系统主要包括三个模块:读取模块、解析模块和上报模块。读取模块主要负责市数据中心需要上报数据的读取处理,解析模块主要负责把读取到的数据解析成合理的数据格式,而上报模块主要负责把解析好的数据上传到的省厅数据中心。在系统构架上,为了满足市数据中心处理需要,需要在市数据中心处安装一个数据上报程序。而省厅数据中心需要提供数据上报的接口。(3)实时数据入库系统实时数据入库系统主要负责全市每个卡口产生的数据实时入库。在内部处理模块上,实时数据入库系统主要包括三个模块:接受模块、解析模块和数据入库模块。接受模块主要负责接收每个卡口产生的数据流,解析模块主要负责把接受到的数据流解析成合理的数据格式,而
16、数据入库模块负责把解析好的数据加入到市数据中心。在系统架构上,为了使每个卡口的数据能实时入库市数据中心,需要在每一个负责接受卡口数据的工控机上安装一个实时数据入库系统。(4)交管数据存储系统原始交管数据,将全部存储在智慧交通云平台的云存储资源中。资源池提供两种存储资源:一种是结构化数据存储资源,用于存储少量的接口中间数据;另一种是分布式文件系统,用于存储海量的非结构化数据。为了满足和适应数据量、数据特征和查询处理的不同需求,将采用一种混搭式的数据存储方案。对容量巨大、常规数据库难以处理的数据,如交管数据,将主要存储在基于HDFS的分布式文件系统中;这些数据将通过HDFS接口进行访问和计算处理。
17、而对于部分数据量不大、且查询响应性能要求很高的数据,如用于报警比对的中间数据,将被存放在关系数据库中。关系数据库将采用Sybase ASE版本。这些数据将通过结构化数据存储访问接口(如JDBC)进行访问。在存储构架上,若以存储3年的原始交管数据、报警信息数据和针对快速查询建立的索引数据,在10000条/s的交管数据流量下,将大约需要512TB的存储容量,按照每个存储节点16TB的存储容量,加上少量的冗余节点,将需要32个存储节点。(5)交管数据查询分析应用系统交管数据查询分析应用主要提供包括实时监控、报警监控、车辆轨迹与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析
18、等功能。车辆轨迹查询处理时,由于交管数据量巨大,难以存储在常规的关系数据库中,而如果直接存储在HDFS或HBase中又难以保证查询效率。为此,需要考虑对交管数据进行索引处理,并将索引数据存储在HDFS或Hbase中。为了建立交管数据索引,需要在交管数据传送到云存储系统中时,进行实时的索引处理。但由于交管数据流量巨大,需要调度使用多台服务器节点进行并行处理。此外,用户从客户端发起以上各种数据查询分析任务时,也会产生大量并发的查询任务。以上各种查询分析计算任务的处理将需要考虑在计算集群上进行并行化任务调度和负载均衡处理。这些并行计算任务及负载均衡处理将使用Zookeeper基于计算集群完成统一的控
19、制和实现。在系统构架上,以上查询分析计算任务将需要使用一个大规模数据并行计算集群。在编程实现上,存储在数据库中的数据将使用常规的数据库查询语言实现;对存储在分布式文件系统中的交管数据,针对不同的处理要求,在数据量极大而处理实时性要求不是特别高的情况下,为了方便对海量数据的并行处理,将采用MapReduce编程方式实现;而对于那些实时性要求很高的查询分析计算,由于MapReduce启动作业需要较长的时间开销,将不适合采用MapReduce编程实现,而需要用非MapReduce编程方式实现。(6)数据管理系统在实际使用中,可能用户会对某一时间段或者类型的数据特别关心,就可以通过数据管理系统查询并导
20、出这部分数据以供使用。包括数据查询和数据导出两大部分。数据查询让用户以自定义的条件查询出数据,而数据导出就是将这些数据以合理的格式导出到数据中心以外。(7)系统管理系统管理主要包括智慧交通云平台的配置管理、系统安全管理、系统用户管理,以及数据备份、系统故障监测复等管理维护功能。配置管理是其中最主要的部分,是系统各个模块正常运行的基础。系统应能够对网络地址、设备地址等进行配置;能够对用户做权限管理,以防止数据外泄;并能及时有效的对数据进行备份和故障检测等工作,防止数据的意外丢失。系统应支持树图、数据表格、网络拓扑图形式展示配置数据。1.2.3 系统总体构架与功能模块基于以上基本的系统组成和功能构
21、架,系统的详细总体构架和功能模块设计如图所示。图表 2 智慧交通云平台总体构架与功能模块图上图中,自底向上分为五个层面。最下层是硬件平台层,将使用南京市公安局云计算中心所提供的计算、存储和网络资源。从系统处理系统的角度看,这一层主要包括云存储计算集群,此外还包括接口和管理服务器、包括用于实现客户端访问的Web服务器。第二层是系统软件层,包括移动的云存储系统软件,综合分析云计算软件平台,以及Web服务软件等。云存储系统将提供基于Sybase ASE关系数据库的结构化数据存储访问能力,以及基于HDFS的分布式文件系统存储访问能力,分别提供基于JDBC/SQL的数据库访问接口以及HDFS访问接口。综
22、合分析云计算软件平台可提供对HDFS、Hbase数据的访问,并提供MapReduce编程模型和接口、以及非MapReduce模型的编程接口,以及用于实现并行计算任务负载均衡和服务器单点失效恢复的Zookeeper。第三层是智慧交通云平台中的数据层,包括原始交管数据、索引数据、用于分析的中间数据、以及系统配置数据等。其中,原始交管数据、索引数据等海量数据将存储在南京公安局云存储系统的HDFS分布式文件系统中,用HDFS接口进行存储和访问处理;而其它用于分析的中间数据等数据量不大、但处理响应性能要求较高的数据,将存储在云存储系统的关系数据库系统中,用JDBC/SQL进行存储和访问处理。第四层是交管
23、数据处理软件层,主要完成智慧交通云平台所需要提供的诸多功能,包括实时监控、报警监控、车辆轨迹查询与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析、系统管理等功能。最上层是客户端用户界面软件,主要供用户查询和监视相关的数据信息,除了事件检测报警不需要用户界面外,其它部分都需要实现对应的用户界面。1.3 系统基本功能与处理方案1.3.1 交管数据入库功能与处理方案交管数据入库系统总架构如图:图表 3 智慧交通云平台架构智慧交通云平台通过实时数据入库系统接入采集层的交管数据,数据分配进入负载均衡机,负载均衡机根据集群各节点负载情况,动态分配交管数据到各存储处理机, 进行报
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智慧 交通 平台 建设 方案
链接地址:https://www.31doc.com/p-18155148.html