面向工业物联网的海量数据实时处理平台.ppt
《面向工业物联网的海量数据实时处理平台.ppt》由会员分享,可在线阅读,更多相关《面向工业物联网的海量数据实时处理平台.ppt(42页珍藏版)》请在三一文库上搜索。
1、面向工业物联网的海量数据实时处理平台中国科学院软件研究所2011年12月目录目录工业物联网建设背景和挑战n 物联网概述物联网概述n 工业物联网环境下工业物联网环境下,海量数据处理面临的挑战海量数据处理面临的挑战应用案例面向复杂生产过程的工艺技术管理结束语面向工业物联网的海量数据实时处理平台设计与实现物联网的介绍物联网的介绍物联网(物联网(IOTIOT,TheTheInternetInternetof Thingsof Things),利用),利用条码、射频识别(条码、射频识别(RFIDRFID)、传感器、全球定位系统、)、传感器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,实现人激光
2、扫描器等信息传感设备,按约定的协议,实现人与人、人与物、物与物的在任何时间、任何地点的连与人、人与物、物与物的在任何时间、任何地点的连接(接(anythinganything、anytimeanytime、anywhereanywhere),从而进行信息),从而进行信息交换和通讯,以实现智能化识别、定位、跟踪、监控交换和通讯,以实现智能化识别、定位、跟踪、监控和管理的庞大网络系统。和管理的庞大网络系统。p泛在的感知:利用泛在的感知:利用RFIDRFID、传感器、二维码,、传感器、二维码,及其它各种的感知设备随时随地的采集各及其它各种的感知设备随时随地的采集各种动态对象,泛在的感知世界。种动态对
3、象,泛在的感知世界。p泛在的连接:利用以太网、无线网、移动泛在的连接:利用以太网、无线网、移动网将感知的信息进行实时的连接与传送。网将感知的信息进行实时的连接与传送。p泛在的智能:对物体实现智能化的控制和泛在的智能:对物体实现智能化的控制和管理,真正达到了人与物的沟通。管理,真正达到了人与物的沟通。广义的物联网涵义广义的物联网涵义物联网的特点物联网的特点麦肯锡对海量数据的解读麦肯锡对海量数据的解读海量数据:创新、竞争和提高生产率的下一个新领域 By麦肯锡全球研究院收集、存储和发掘利用海量数据,以收集、存储和发掘利用海量数据,以获取洞见,获取洞见,n可以为世界经济创造巨大的价值可以为世界经济创造
4、巨大的价值n提高企业和公共部门的生产率和提高企业和公共部门的生产率和竞争力,并为消费者创造巨大的竞争力,并为消费者创造巨大的经济利益。经济利益。2000年后,数据存储显著增长物联网产生的数据随着链接点数量的增多呈现指数级的增加运算能力也相应快速提高海量信息涉及的技术海量信息涉及的技术事件管理事件管理技术技术海量数据海量数据分析技术分析技术A/B测试、关联规则学习、聚类分析、归类、数据融合和数据集成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、网络分析、优化、模式识别、预测模型、回归分析、情感分析、信号处理、空间分析、统计、仿真及数据存储、商业智能、云计算、数据集市、数据仓库
5、分布式系统、ETL、google档案系统、分布式计算、Hbase、映射和化简、聚合、非关系型数据库、关系型数据库、开放式数据库、SQL、流处理、结构数据、非结构化数据、可视化技术标签云、clustergram函数、空间信息流可视化技术可视化技术海量数据在五个领域的改革潜力海量数据在五个领域的改革潜力临床决策支持系统增强信息透明度 (过程视图、仪表板)病人远程监控改善公共卫生监测和反应交叉销售基于位置的营销品种优化劳动投入优化基于Web的市场对比引擎预填信息自动化算法人群细分和定制创建新的业务模型、产品和服务医疗保健医疗保健制造业制造业公共部门公共部门零售零售个人定位数据个人定位数据建立协作的
6、跨功能的研发和产品设计聚合客户数据并广泛应用虚拟合作(创意市场)精益制造智能路由汽车远程信息处理手机定位服务广告的地理定位电子收费保险订价工业环境工业环境下物联网海量信息处理面临下物联网海量信息处理面临的挑战的挑战分布式数据采集n工业物联网:面向整个供应链的传感器设备和业务的集成;n移动计算:移动通讯的发展,智能终端的普及;n多工厂集成:集团化战略的发展要求多工厂间协同更敏捷。信息处理n特征:海量、多变量、高噪音、强耦合;n数据源和数据质量的不确定性;n多时标与不完整性,许多变量的变化快慢各异,采集信号的频率不同,导致时间上的不同步和不完整。知识挖掘n智能报警:事件驱动、报警抑制、报警规则;
7、n数据驱动VS模型驱动:结合机理模型和统计分析模型,适应复杂工况n信息推理过程缺失:以人为中心,面向多人协同交互分析。据统计在一些现代化工厂,因为缺乏有效的数据处理和分析技术,已据统计在一些现代化工厂,因为缺乏有效的数据处理和分析技术,已有的数据库中有的数据库中90%90%以上的数据多年无人问津。以上的数据多年无人问津。目录目录工业物联网建设背景和挑战n 总体架构总体架构n 核心核心技术技术面向工业物联网的海量数据实时处理平台设计与实现结束语应用案例面向复杂生产过程的工艺技术管理面向工业物联网的海量数据实时处理平台建设目标面向工业物联网的海量数据实时处理平台建设目标Knowledge数据是未经
8、组织的外部环境和客观事物的事实信息是具有时效性、有时序关系的、经过加工处理的、对决策有价值的数据流。知识是让从定量到定性的过程得以实现的、抽象的、逻辑的东西。InformationData“如何如何实时改善生改善生产过程程创造价造价值”从从过程程控制控制现场海量数据中海量数据中实时识别有价有价值的的事件事件,并将,并将获得的得的事件事件通通过以人以人为中心的中心的协同同决策来决策来挖掘潜在知挖掘潜在知识,指导生产过程优化与生指导生产过程优化与生产决策产决策。面向工业物联网的海量数据实时处理平台运行架构面向工业物联网的海量数据实时处理平台运行架构面向工业物联网的海量数据实时处理平台面向工业物联网
9、的海量数据实时处理平台AgiM2MAgiM2M核心技术核心技术1 1:分布式环境下采集接口集分布式环境下采集接口集数据集成服数据集成服务提供了提供了对多数据源的接口支持,并具有灵活的多数据源的接口支持,并具有灵活的实时整合整合规则和高效和高效的数据融合技的数据融合技术,实现了企了企业中控制系中控制系统、远程程终端系端系统、数据、数据库以及企以及企业其它其它信息化系信息化系统的的实时的的连接与接与传送送支持的接口类型支持的接口类型n关系数据源关系数据源Oracle、SQL Server、OleDBnOPC/DDEOPC/DDEOPC AE、DA、HDAn现场总线现场总线RS232/485、CAN
10、ModBus、MB+、Profibus、BACnetnFlat FileFlat Filen其它其它Message QueueRFID核心技术核心技术2 2:海量数据管理与实时事务处理:海量数据管理与实时事务处理(1)(1)平台平台实现了分布式了分布式过程数据的程数据的实时采集、采集、实时规则推理、海量推理、海量历史数据史数据管理、管理、实时消息通信中消息通信中间件、件、实时数据整合与数据整合与发布等功能。布等功能。分布式实时数据库系统n分布式实时系统:分布式实时系统:至少可对100个数据库节点进行有效管理支持百万级以上的物理或虚拟传感数据源节点间的负载均衡,实现实时事务错失率低于0.01%
11、支持单向、双向以及一对多的数据同步与交换,实现实时数据的实时同步n实时事务处理:实时事务处理:基于优先级表的实时调度算法动态调整执行顺序的乐观并发控协议单数据库节点每秒数据处理和归档能力达到百万级以上,单数据库节点支持1000个并发查询;n数据存储与压缩数据存储与压缩采用混合压缩技术,提供有损压缩压缩率至少达到50:1,提供高速无损压缩压缩率至少达到4:1核心技术核心技术2 2:海量数据管理与实时事务处理:海量数据管理与实时事务处理(2)(2)内存数据管理技术n索引的组织:采用采用T T树作为索树作为索引结构引结构n多级缓存机制:基于统计特性,基于统计特性,采用了基于优先采用了基于优先级的实时
12、数据库级的实时数据库缓冲区管理方法缓冲区管理方法n查询调度:基于规则的任务基于规则的任务调度调度采用主内存数据库技术,将磁盘数据的低速采用主内存数据库技术,将磁盘数据的低速I/OI/O操作变为对内存数据的操操作变为对内存数据的操作,从而实现高速查询和检索。作,从而实现高速查询和检索。核心技术核心技术3 3:分布式环境下实时通讯服务:分布式环境下实时通讯服务平台采用平台采用QoS自适应的实时发布自适应的实时发布/订阅(订阅(QRTPS)机制,在多优先级的实时事件)机制,在多优先级的实时事件消息队列上提供动态调整服务质量等级,提供无处不在的实时信息服务,支持高消息队列上提供动态调整服务质量等级,提
13、供无处不在的实时信息服务,支持高性能的通讯服务。性能的通讯服务。事件通知服务n事件引擎事件引擎规模:20万点高性能:每秒处理5万个数据更新事件n通知服务通知服务基于TCP接口OPC接口封装ECA规则引擎核心技术核心技术4 4:复杂事件处理:复杂事件处理不合格产品增多罐区异常设备停机生产中断数据异常计量数据缺失能耗异常工艺数据异常压力异常温度显著升高计划过饱和合同不足原料消耗异常辅料消耗异常罐计量差异接口故障监控失效库存不明存料不足产品无处存放阀门关闭复杂事件处理引擎PLCMESERP实时数据库事件抽取事件诊断事件报警规则判断事件处理事件存储规则学习EPL处理规则规则的事件流事件云能够对企能够对
14、企业内部和业内部和外部整个外部整个供应链体供应链体系的关键系的关键控制要素控制要素进行及时、进行及时、全面、直全面、直观、综合观、综合的掌控,的掌控,及时发现及时发现问题,及问题,及时下达决时下达决策,实现策,实现世界一流世界一流的实时营的实时营运管理。运管理。复杂事件处理引擎复杂事件处理引擎平台平台支持支持复复杂的定性的定性时序关系与定量序关系与定量时序关系的描述,序关系的描述,识别有价有价值的复的复合事件。合事件。select*from pattern every Temperature(Datas0.Value46)-(Kpa(Datas0.Value Lpm(Datas0.Value5
15、2)where timer:within(200)复杂时序描述示例复杂时序描述示例核心技术核心技术5 5:实时规则推理:实时规则推理图图形化形化规则规则制定界面制定界面可在可在线线修改修改的的规则库规则库实时实时推理推理机机事件事件输输入入推理推理结结果果适适配器配器文本文本规则规则事件事件高高层事件事件推理推理结果果决策决策复杂事件处理用户推理推理引擎引擎基于ECA规则的实时推理n规则模型与描述语言规则模型与描述语言可描述复杂时序时间多视图描述语言n实时推理算法实时推理算法基于规则图的启发式搜索实时性n开放式规则库开放式规则库支持规则在线修改,规则修改期间推理机不必停机基于动态可配置结构的规
16、则处理中间件针对输入的高入的高层事件事件,根据根据规则库中的中的ECAECA规则,实时获取相取相应的的动作决策。作决策。核心技术核心技术6 6:流计算引擎:流计算引擎流计算服务提供了可视化的数据流规则配置,采用滑动时间窗技术,支持增量式流计算服务提供了可视化的数据流规则配置,采用滑动时间窗技术,支持增量式数据分析处理,并提供可扩展的计算算法库,能迅速分析多个数据源的信息流,数据分析处理,并提供可扩展的计算算法库,能迅速分析多个数据源的信息流,大大提高业务关领域决策的速度和精确性大大提高业务关领域决策的速度和精确性智能学习与优化分析算法库智能学习与优化分析算法库nt-t-检验检验单一样本t检验独
17、立样本t检验配对样本t检验n单因素方差分析单因素方差分析均值多项式比较Post Hoc检验12 post hoc检验ANOVA统计固定作用检验随机作用检验组描述统计方差齐性检验n相关分析相关分析双变量相关分析偏相关分析距离分析不相似性测度n回归分析回归分析线性回归曲线估计n频数分析频数分析频数分布表:频数计数,百分比,有效百分比,累积百分比中心趋势:均值,中位数,众数,总和离散性:最大值,最小值,全距,标准差,标准误,方差分布:峰度系数及其标准误,偏度系数及其标准误百分比之:按实际或分组数据的百分比,四分位数,等分组n描述分析描述分析中心趋势:均值,总和离散性:最大值,最小值,全距,标准差,标
18、准误,方差分布:峰度系数,偏度系数n探索分析探索分析 均值的置信区间M-估计标识极端值和非正常值分组频数表nSPCSPCn聚类聚类核心技术核心技术7:7:时序数据可视化与交互式分析时序数据可视化与交互式分析(1)(1)平台提供直平台提供直观的的图形化的数据和信息和交互式的数据挖掘,从多种形化的数据和信息和交互式的数据挖掘,从多种观察角度察角度围绕业务指指标,对数据数据进行深入、行深入、实时、动态的剖析的剖析丰富可配置的可视化组件库n曲线图曲线图各类曲线图动画效果nKPIKPI仪表盘仪表盘数字图形化指针型n表格表格链接报警n看板看板简报通知To-Do Listn控制组件控制组件日期选择选择框n定
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 工业 联网 海量 数据 实时处理 平台
