智能交通大数据及云应用解决方案.doc
《智能交通大数据及云应用解决方案.doc》由会员分享,可在线阅读,更多相关《智能交通大数据及云应用解决方案.doc(17页珍藏版)》请在三一文库上搜索。
1、智能交通大数据及云应用平台解决方案随着日益增长的交通“大数据,给交通管理创新带来的新挑战,以及对交通管理工作提出的新要求,交通信息化建立必然步入云计算智慧应用阶段,利用云计算破解当前诸多交通瓶颈问题。什么是交通大数据交通概念很大,所涉及的范围很广,如城市道路交通指数、地铁运行数据、一卡通乘客刷卡数据、港口集装箱数据、机场航班数据、轨道交通运营数据、远洋及内河航道船舶数据、物流车辆及货物数据、公交车实时数据、出租车行车数据、空气质量状况、气象数据、道路事故数据、高架匝道运行数据、以及衍生的相关拥堵、事故、*信息等都属于交通数据。我们通常所提的城市公安交通管理大数据是指在城市智能交通建立和运营的
2、过程中,从视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等每天产生的大量数据,并借助信息化手段将这些相互关联的数据整合到一起比方车辆信息、地图信息、人员信息、违规违章记录信息等等,形成一个有价值数据链,从而知道城市交通信息化建立,为公安交通实战应用效劳,为市民出行效劳。什么是云分析云分析系统具备超高的计算性能,单机设备每天处理的信息量最大高达2000万*图片。云分析具备对卡口、电警以及局部监控设备拍摄的车辆图像信息的构造化智能分析功能,主要包括识别图像中车辆的品牌、型号、年款、车身颜色、类别、异常特征如遮挡面部、遮挡号牌、唯一性局部特征如年检标志、车内饰物等
3、关键信息。可对提交的图像中的车辆车牌颜色及车牌号进展二次识别,通过大数据进展,时间、地理、轨迹等的比照识别,以得出分析结果。过去几年,智能交通系统建立取得了长足的进步与开展,针对道路交通*、交通平安等,不断在不同的时间,不同的阶段建立了交通卡口、*检测、道路智慧监控、交通事件监测等信息化系统,但这些信息化系统所采用的设备、平台均来自于不同的厂家,采用的标准,上下级不能很好的实现级联,与公安系统融合度不高,无法进展集中管理,资源共享,发挥统一的实战作用。不同时期,不同阶段建立的信息化系统,技术路线,功能性能指标各异,在套牌、摘牌、成心遮挡号牌等涉车案件中,不能找到行之有效的手段处理。现阶段,交通
4、行为导致的交通平安、道路交通事故问题依然突出,交通*管理的颗粒度也越来越细,道路交通平安法也不断的修正以满足交通管理工作的需要。其中,不系平安带、开车打等*行为纳入了处分范围,而过去建立的卡口系统绝大多数不具备这些功能,不能很好的效劳公安交通管理需要。云分析系统的出现,问题将迎刃而解。云分析系统创新型引入GPU+CPU的设计理念,单台设备每天最高处理性能到达2000万*图片,提取车牌号、车身颜色、车标、子品牌、车型、车脸等交警实战所需的构造化信息,并能够自动甄别不系平安带、打等*行为,为公安交通管理提供全新的技术手段和业务体验。系统设计系统中采用的设计方法和技术路线在实战应用技术中处于领先地
5、位,软件的设计先进灵活,便于升级以及与其它系统的互联互通。系统涵盖了目前实战应用所涉及的一系列技术,如:图像预处理、信息筛查、电子地图轨迹分析等,在此根底上融合了车型建模、车牌识别、车标识别、运动目标检测和行为分析、图片检索等智能视频图像分析技术,创新性的实现了“车脸识别、“不系平安带检测等功能,创造性的使用云分析实现超大数据量的图片二次识别,为用户提供超高性价比的解决方案。系统设计时,对需要实现的功能进展合理的配置,且配置具有良好的兼容性和扩展性;通过提供二次开发接口,支持用户利用本系统自主开发新功能,满足业务需求。系统具有开放性的标准体系,后端基于开放式的TCP/IP网络系统进展设计,支持
6、多种网络协议,便于和各系统间的互联、互通、互控,遵循标准的通用接口标准,使系统对硬件环境、通信环境、软件环境、操作系统之间的相互制约和影响减至最小。具有良好的人机交互界面,尽可能防止出现繁琐操作实现*项具体业务应用的情形。系统在体系设计及工程实施中应根据用户使用需求充分考虑性能优化,在合理时间范围内,尽可能缩短系统的操作响应时间;系统维护也应在合理范围内尽可能简化,使操作人员能快速地学习和掌握系统操作。系统涵盖了目前交通管理业务应用所涉及的一系列技术,如:图像接入、通用解码、转码、图片索引、车型建模、图像预处理、信息筛查、电子地图轨迹分析、套牌分析等。基于云分析的二次识别方案配合大数据的高效查
7、询、检索、研判方案,构筑了智能交通综合管控平台的数据底层支持优秀架构,为交警实战业务应用提供了极佳的用户体验。1.1 系统架构系统的使用者通常为指挥中心调度人员、指挥中心带班领导、支/总/大队的主管领导、交通秩序管理人员、大队分控中心人员、路面执勤民警等。系统维护的职责则由运维工程师和系统管理员完成。主要的关键业务应用包括交通状况监测、日常组织与管控、应急指挥与协作、信息研判分析等方面,主要是应对城市交通管理的现状实时监视、日常业务处置、突发事件应对、交通数据挖掘研判等业务需求。辅助核心业务的是一系列的支撑应用,包括根底数据管理路网信息、设备设施信息、警力资源管理警员信息、警车信息、装备信息、
8、电子地图管理、系统配置管理。在应用层下面是支持业务应用的支撑层,在这层完成对信息的采集、会聚、加工、存储、交换等处理操作,同时支撑层还内包消息效劳器、GIS地图中间件、视频效劳、诱导效劳等信令及数据的效劳或中间件。最下端为数据感知层,包括业务子系统及设备,为各类交通信息的原始数据来源,如GPS车辆轨迹信息、视频信息、通行车辆信息、交通流信息、施工占道信息、交通管制信息、气象信息等。l 视频大数据技术平台视频大数据技术平台负责存储和提取处理视频、图片等非构造化数据,通过视频构造化技术,可挖掘出视频图像中的人、车、物、事件等构造化信息,进一步用于大数据的分析挖掘。同时,视频大数据技术平台可提供视频
9、摘要、视频浓缩、视频质量诊断等智能分析效劳,使上层应用提高视频处理的效率。l 通用大数据技术平台通用大数据技术平台提供基于Hadoop和Spark的分布式存储、分布式计算等能力,负责整合并管理海量的构造化、半构造化、非构造化数据,具备高度的可扩展性,可将数千台的廉价效劳器组建成一套庞大的云存储系统、一台超级计算机。基于Spark架构的内存运算,速度比传统的Hadoop快10100倍,适合交通行业对时间要求的流式计算需求。l 行业大数据能力平台能够针对海量数据进展快速检索、快速统计分析,同时能够进展深度的关联分析,挖掘出其中有价值的信息。行业大数据能力平台以接口的方式为上层应用提供效劳。l 大数
10、据运维平台负责对整个大数据平台进展部署、配置、管理、监控,通过自动化安装的方式,方便用户架设大数据平台。同时,通过可视化界面,可以形象地获知整个平台的运行状况。随着业务的开展,当平台需要升级或扩容时,可方便的通过该工具进展调整。1.1.1 视频大数据技术平台1、视频云存储视频云存储系统解决百PB级视频根底数据视频数据的低本钱、高可靠存储,支持视频流数据的高并发I/O。视频云存储系统架构图2、视频云分析视频云分析平台则是通过整合用户现有的数据中心分析设备,对过车视频、过车图片等数据进展进一步分析,其中中心分析设备采用分布式计算节点集群的方式,能够提供基于任务自动负载均衡的数据处理方式,解决从海里
11、视频图像数据中解析出来的视频构造化数据的需求。视频云分析方案架构图具体包括以下模块:l 特征提取模块特征提取模块负责对实时或历史视频图像中的构造化信息进展提取,包括人、车、物等特征信息。提取出的信息存储于大数据系统中,并作为DataEngine进一步分析的数据根底。l 行为分析模块行为分析模块负责对实时或历史视频图像中的行为信息进展分析,分析结果可作为上层应用报警的依据,同时行为信息作为构造化数据,可存储于大数据系统中,并作为DataEngine进一步分析的数据根底。l 音频分析模块音频分析模块负责对音频进展分析,识别异常音源,分析结果可作为上层应用报警的依据。l 以图搜图模块以图搜图模块负责
12、对大数据系统中的图片数据进展分析比对,并按相似度返回图片列表。以图搜图模块支持对人脸图片的搜索,支持对车辆图片的搜索。l 隐私保护模块隐私保护模块负责对实时或历史视频图像中的人体影像进展模糊处理,保护个人隐私。l 视频摘要模块视频摘要模块负责对实时或历史视频进展摘要处理,提取出视频中有用的信息,合并到同一个背景中,以此缩短视频播放时间。视频摘要可有效缩短用户观看视频的时间,提高工作效率。l 视频浓缩模块视频浓缩模块负责对实时或历史视频进展浓缩处理,视频中有事件出现时进展慢放,无事件时进展快放,以此缩短视频播放时间。视频浓缩可有效缩短用户观看视频的时间,提高工作效率。l 视频质量诊断模块视频质量
13、诊断模块负责对实时视频流进展质量诊断,以巡检的方式对前端接入视频流进展分析,实时发现摄像机是否在线、画面是否正常等问题。l 视频图像增强复原模块视频图像增强复原模块负责对实时或历史视频图像进展增强复原,对效果较差的视频、图像进展智能修复并增强处理。1.1.2 通用大数据技术平台通用大数据技术平台是大数据的存储和计算中心,具有分布式、统一存储、统一访问、动态扩容的特点,用于聚集视频、图像、报警、卡口信息、位置信息、案事件等大数据,为数据的综合利用提供支撑。系统技术架构图分布式文件系统HDFS 2.0:运行在通用硬件上的可扩展高容错的分布式文件系统,已经成为海量数据存储的事实标准。负责海量数据存储
14、将数据分散存储在多台独立的设备上,系统采用可扩展的体系构造,利用多台存储效劳器分担存储负荷,利用元数据效劳器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。分布式资源管理YARN:分布式资源管理框架,负责计算、存储资源的管理,用以提高分布式集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。分布式计算Map/Reduce:分布式计算框架,负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的局部,然后把这些局部分配给许多计算机进展处理,最后把这些计算结果综合起来得到最终的结果。分布式数据库HBase:一个分布式的、按列存储的、多维表构造的实时分布式数据库,
15、用于存储粗粒度的构造化数据,适合构建高并发低延时的在线数据效劳系统。全文检索引擎Solr:一个基于Lucene构建的开源,分布式,RESTful搜索引擎,设计用于云计算中,能够到达稳定、可靠、快速实时搜索。内存计算Spark:下一代基于内存的 Map/Reduce 计算引擎,处理大数据像“光速一样快,比Hadoop Map/Reduce 快 10* 到 100* 倍。流计算Stream:流计算,负责对流媒体数据的分析计算。分布式协作Zookeeper:分布式协作系统,作为一个分布式锁及共享数据管理者,提供集群节点间的事物协调效劳,保证HDFS、HBase、Spark、Map/Reduce等分布
16、式系统的平安可靠运行。Kafka:分布式数据总线,负责数据的采集、整合、交互。Sqoop:SQL to Hadoop, 一个数据抽取工具,用于从关系数据导入数据到Hadoop。1、分布式文件系统HDFS是分布式计算中数据存储管理的根底,具有高容错性、高可靠性、高可扩展性、高吞吐率等特点,可以设计部署在低廉的硬件上,为海量数据提供了不怕故障的存储,适合那些有着超大数据集的应用程序。2、分布式数据库HBase是一种构建在HDFS之上的分布式、面向列的存储系统,它具有高可靠、高性能、面向列和可伸缩的特性。HBase适合于存储大表数据表的规模可以到达数百亿行以及数百万列,并且对大表数据的读、写访问可以
17、到达实时级别。3、分布式计算MapReduce是一种处理海量数据的并行编程模型和计算框架,用于对大规模数据集(通常大于1TB)的并行计算。MapReduce的名字源于该模型中的两项核心操作:Map和Reduce。Map将一个任务分解成为多个任务,Reduce将分解后多任务处理的结果汇总起来,得出最终的分析结果。4、分布式协作系统ZooKeeper是一个针对大型分布式系统的可靠协调系统,主要提供两个功能:帮助系统防止单点故障,建立可靠的应用程序;提供分布式协作效劳和维护配置信息。1.1.3 行业大数据平台行业大数据平台负责与通用大数据平台进展对接,负责对构造化数据过车数据、测速数据进展分析计算,
18、提供快速检索、分析、统计、挖掘等功能,并提供用户最终的操作界面。面向交通行业的大数据业务展示平台,即为*Z*-TMS-9200智能交通综合管控平台。1.1.4 大数据管理平台大数据管理平台负责对整个大数据平台进展部署和管理,构造示意图如下列图所示,包括集群部署、集群管理、任务管理、效劳管理、状态监控、用户管理、告警、日志等模块。大数据管理平台架构图1.2 数据流程设计前端新建及已建能够按照标准协议接入的设备通过智能交通综合管控平台交通接入效劳器接入转发至云分析平台进展车辆建模和二次识别。已经部署云存储模块的系统,云分析也能够直接从云存储中读取图片信息进展车辆建模和二次识别。已建的第三方平台,提
19、供符合要求的SDK协议,智能交通综合管控平台进展数据整合后再转发至云分析平台进展车辆建模和二次识别。云分析通过智能交通综合管控平台提供的图片URL信息加载图片,进展建模和二次识别,完成建模和二次识别后,将识别结果信息如车牌、车型、车辆品牌等信息提供应大数据平台。大数据平台读取二次识别的结果信息,写入到HDFS分布式文件存储系统中;基于HDFS分布式文件系统部署分布式数据库,用来承载数据的预统计表和二级索引表。在数据搜索层,部署基于Solr分词的全文检索搜索引擎,并通过MapReduce分布式计算框架提供高效数据分析速度。Zookeeper提供分布式文件系统之间的多进程协调效劳。数据写入、检索、
20、统计和研判应用,大数据平台提供统一的webservice接口,智能交通管控平台通过调用大数据平台接口进展处理应用。1.2.1 云分析数据处理流程云分析可以采用的工作模式主要包括主开工作模式和被开工作模式。目前采用的是被开工作模式。主开工作模式的特点是中央强力控制,即由中心管理效劳下派任务到指定的计算节点,计算节点没有发起任务申请的权利。被开工作模式则相反,由计算节点主动向中心管理效劳发起申请,申请获得批准后获得执行任务,然后开场任务执行,任务执行过程中与中心管理效劳保持实时更新,确保任务能够正常完成。被开工作模式相比主开工作模式而言能够突出计算节点的优势,管理单元越小,管理的难度也就越小。如果
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能 交通 数据 应用 解决方案
