《计算机网络通信技术第09章 大数据编.ppt》由会员分享,可在线阅读,更多相关《计算机网络通信技术第09章 大数据编.ppt(41页珍藏版)》请在三一文库上搜索。
1、第09章 大数据,第09章 大数据,内容提要: 大数据的特征 大数据原理和构成 大数据分析工具hadoop 大数据在各方面的应用,9.1 大数据时代的背景,9.1.1“大数据”的诞生 21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并急剧增多。 互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融、电信(通话、短信)都在疯狂产生着数据。,大数据,数据的通信、网络、传感、存储、搜索、分析和处理技术与工具发展促进了大数据(Big Data)时代到来。 “大数据”正在对
2、每个领域造成影响。,大数据的思考,9.1.2 数据大爆炸,地球上至今总共的数据量: 2006年,个人用户才刚刚迈进TB时代,全球一共新产生了约180EB的数据; 2011年,这个数字达到了1.8ZB。 而有市场研究机构预测:到2020 年,整个世界的数据总量将会增长44 倍,达到35.2ZB(1ZB=10 亿TB)。,表 9.1 是数据计量单位,数据科学技术进展,数据科学技术进展经历以下阶段: 手工作业时代 单个计算机时代 分布网络时代 互联网时代 大数据时代,9.1.3 大数据的特征,大数据:指那些超过传统数据库系统处理能力的数据。 数据规模很大:对传输速度要求很高、结构复杂、不适于原本的数
3、据库系统。,大 数据特征,9.1.3 大数据的特征,大数据(Big Data):指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。 通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。,大数据的特点,大数据的特点包括(4V): 海量、高速、多样、精确。 大数据的4个“V”,或者说特点有四个层面: 第一,数据体量巨大。 第二,数据类型繁多。 第三,处理速度快 第四,合理利用数据会带来很高的回报。,大数据的特点,业界将其归纳为4个“V” Volume(数据体量大) Variety(数据类型繁多) Velocity(处理
4、速度快) Value(价值密度低)。,9.2 大数据原理和构成,(1)大数据的核心工作思路 (2)传统数据系统工作原理 (3)大数据平台架构 (4)大数据 VS 云计算 (5)大数据 VS 物联网 (6)精准营销是大数据的应用之一 (7)理解和管理大数据,(1)大数据的核心工作思路,大数据系统颠覆了传统数据中心的工作逻辑。 传统数据系统工作逻辑:运算系统调动数据库的数据,产生数据的移动。 大数据系统工作逻辑:运算系统直接部署至数据处,数据仅在架构内移动。,(2)传统数据系统工作原理,传统的数据库系统是关系型数据库,开发这种数据库的目的,是处理永久、稳定的数据。,传统数据系统工作原理,(3) 大
5、数据平台架构,大数据:指的是需要新处理模式具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 海量数据期望与其相关的平台架构,能为大数据提供分析、挖掘、处理能力。,大数据平台架构,IBM提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算、数据仓库和信息整合与治理。,(4)大数据 VS 云计算,云计算是将计算和存储,由本地转移到了云端;大数据提供了一套新的计算和存储工作原理。 二者有着本质的不同,但却是一个完整的体系。 大数据是云计算的心脏,云计算是大数据服务的通路。,大数据是落地的云,(5)大数据 VS 物联网,物联网是大数据流程中的第一层:采集
6、层,物联网网关以上就进入了大数据工作范畴。 大数据、物联网不应仅从技术层面去理解。 互联网的核心是一种基于新的技术和商业模式的生态系统的建立,是技术、人和系统的有机体。,(6) 精准营销是大数据的应用之一,对用户行为分析实现精准营销是大数据的典型应用,大数据在各行各业,特别是公共服务领域具有广阔的应用前景。 设计并实现企业进行低成本精准营销的平台,非常有意义。大数据应用前景如图所示。,大数据应用前景,(7)理解和管理大数据,非结构化海量信息的智能化处理。 自然语言理解、多媒体内容理解、机器学习等。,大数据管理模式,9.4 大数据在企业管理和 营销中的渗透,(1)行业拓展者,打造大数据行业基石
7、(2)渗透众多行业 (3)能加强企业与客户相互沟通,大数据价值潜力指数,(1) 具体案例如图,(2)难点分析 (存储和检索是大数据关联图),(3)移动用户上网记录集中查询与分析支撑系统,9.5 大数据分析工具hadoop,Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。 (1)什么是hadoop (2)为什么hadoop很重要 (3)hadoop与大数据,hadoop与大数据,Hadoop是处理“大数据”处理的最重要平台之一 数据存储:能够扩展到PB级别 处理规模:带有高度容错能力的并行处理架构 硬件成本低廉:用内置格式存储/
8、处理数据 代码来源丰富:传统厂商对其的支持,它已经成为重要的并行处理架构标准之一。,Hadoop应用界面,9.6 大数据在各方面的应用,1. 大数据在政府的应用 2. 大数据在智慧城市应用,1. 大数据在政府的应用,盘活各地云计算中心资产:把原来大规模投资产业园、物联网产业园从政绩工程,改造成智慧工程。 在安防领域:提高应急处置能力和安全防范能力。 在民生领域:提升服务能力和运作效率,以及个性化的服务,如医疗、卫生、教育等部门。,2. 大数据在智慧城市应用,智慧城市是使用智能计算技术: 城市关键基础设施的组成和服务,变得更智能、互联和有效; 智慧城市的建设,社会将步入“大数据”时代。,9.7
9、大数据的演变,(1) 从大型机到PC和移动智能终端,(2) 计算机技术体系的演进,(3)软件技术的网络化趋势,(4) 电视的网络化和智能化及三网融合,(5) 视频流量成为主流,(6) 全球互联网上的一分钟传输的信息量,本章小结,大数据(bigdata),或称巨量资料 指的是涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据的4V特点: Volume、Velocity、Variety、Veracity。,本章小结,Hadoop是致力于“大数据”处理的最重要平台之一,能够轻松扩展到PB级别的数据存储。 大数据核心的价值 是对海量数据进行存储和分析。相比现有技术,大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。,本章习题,大数据的4V特点是什么?它们的含意又分别是什么? 大数据系统工作逻辑与传统数据系统工作逻辑有什么区别? IBM提出的大数据平台构架的核心是什么? 简述大数据与云计算的关系? 简述大数据与物联网的关系? 大数据有哪些相关技术?并作简要说明。 什么是hadoop?并简述hadoop与大数据的关系。 请结合你身边的实例,对大数据的应用作简要说明。,
链接地址:https://www.31doc.com/p-2992091.html