大数据概念技术与应用.ppt
《大数据概念技术与应用.ppt》由会员分享,可在线阅读,更多相关《大数据概念技术与应用.ppt(27页珍藏版)》请在三一文库上搜索。
1、大数据,大数据引领我们走向数据智能化时代,Big Data,目录,一,Dada大,大数据的定义理解,大数据的“4V”特征,大数据时代的背景,大数据时代的背景,21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。 互联网(社交、搜索、电商)、移动互联网(微博)、物联网(传感器,智慧地球)、车联网、GPS、医学影像、安全监控、金融(银行、股市、保险)、电信(通话、短信)都在疯狂产生着数据。,“大数据”的诞生: 半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多
2、的信息,而且其增长速度也在加快。信息爆炸的学科如天文学和基因学,创造出了“大数据”这个概念*。如今,这个概念几乎应用到了所有人类智力与发展的领域中。,20世纪90年代,数据仓库之父的Bill Inmon就经常提及Big Data,2011年5 月,在“云计算相遇大数据” 为主题的EMC World 2011 会议中,EMC 抛出了Big Data概念,Big Data名词由来,全球每秒钟发送 2.9 百万封电子邮件,一分钟读一篇的话,足够一个人昼夜不息的读5.5 年 每天会有 2.88 万个小时的视频上传到Youtube,足够一个人昼夜不息的观看3.3 年 推特上每天发布 5 千万条消息,假设
3、10 秒钟浏览一条信息,这些消息足够一个人昼夜不息的浏览16 年 每天亚马逊上将产生 6.3 百万笔订单 每个月网民在Facebook 上要花费7 千亿分钟,被移动互联网使用者发送和接收的数据高达1.3EB Google 上每天需要处理24PB 的数据,新的时代,人们从信息的被动接受者变成了主动创造者,大数据时代到来,大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长,大数据时代到来,大数据的4V特征,“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)”就是“大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。,体量V
4、olume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长 总数据量的8090% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍,大数据的异构和多样性 很多不同形式(文本、图像、视频、机器数据) 无模式或者模式不明显 不连贯的语法或句义,大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等),实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效,大数据的构成,大数据 = 海量数据 + 复杂类型的数据,海量交易数据: 企业内部的经营交易信息主要包括联机交易数据和
5、联机分析数据,是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据,我们能了解过去发生了什么。,大数据包括: 交易数据和交互数据集在内的所有数据集,海量交互数据: 源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。,海量数据处理: 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运
6、行的Apache Hadoop。,大数据要解决的问题,Volume 海量的数据规模,Variety 多样的数据类型,Value,Velocity 快速的数据流转,巨大的数据价值,二,大数据时代的背景,相关技术,相关技术,相关技术,大数据技术将被设计用于在成本可承受(economically)的条件下,通过非常快速(velocity)的采集、发现和分析,从大量化(volumes)、多类别(variety)的数据中提取价值(value),将是IT 领域新一代的技术与架构,什么是Big Data技术,分析技术: 数据处理:自然语言处理技术 统计和分析:A/B test; top N排行榜;地域占比;
7、文本情感分析 数据挖掘:关联规则分析;分类;聚类 模型预测:预测模型;机器学习;建模仿真 大数据技术: 数据采集:ETL工具 数据存取:关系数据库;NoSQL;SQL等 基础架构支持:云存储;分布式文件系统等 计算结果展现:云计算;标签云;关系图等,一些相关技术,存储 结构化数据: 海量数据的查询、统计、更新等操作效率低 非结构化数据 图片、视频、word、pdf、ppt等文件存储 不利于检索、查询和存储 半结构化数据 转换为结构化存储 按照非结构化存储,解决方案: Hadoop(MapReduce技术) 流计算(twitter的storm和yahoo!的S4),技术领域的挑战,1、对现有数据
8、库管理技术的挑战 传统的数据库部署不能处理数TB 级别的数据,也不能很好的支持高级别的数据分析。急速膨胀的数据体量即将超越传统数据库的管理能力。 如何构建全球级的分布式数据库(Globally-Distributed Database) ,可以扩展到数百万的机器,数已百计的数据中心,上万亿的行数据。 2、经典数据库技术并没有考虑数据的多类别(variety) SQL(结构化数据查询语言),在设计的一开始是没有考虑非结构化数据的。 3、实时性的技术挑战: 一般而言,像数据仓库系统、BI应用,对处理时间的要求并不高。因此这类应用往往运行1、2天获得结果依然可行的。但实时处理的要求,是区别大数据应用
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 概念 技术 应用
链接地址:https://www.31doc.com/p-3108222.html