大数据的技术分析以及管理大数据的三层含义.doc
《大数据的技术分析以及管理大数据的三层含义.doc》由会员分享,可在线阅读,更多相关《大数据的技术分析以及管理大数据的三层含义.doc(3页珍藏版)》请在三一文库上搜索。
1、大数据的技术分析以及管理大数据的三层含义大数据使用的技术说起大数据,大数据有三个层数据采集、存储、计算三层。第一个是数据采集层,以App、saas为代表的服务。大数据基础阶段需掌握的技术有:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。第二个数据存储层,比如云存储,需掌握的技术有:hbase、hive、sqoop等。比如:Hadoop作为一个开源的框架,专为离线和大规模数据分析而设计,HDFS作为其核心的存储引擎,已被广泛用于数据存储。HBase,是一个分布式的、面向列的开源数据库,可以认
2、为是hdfs的封装,本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统,部署在hdfs上,克服了hdfs在随机读写这个方面的缺点,与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。第三个是数据计算应用层,以数据为基础,为将来的移动社交、交通、教育,金融进行服务,涉及到大数据架构设计阶段需掌握的技术有:Flume分布式、Zookeeper、Kafka等,以及大数据实时计算阶段需掌握的技术有:Mahout、Spark、storm。管理大数据的内涵移动互联网的红利或许正在消退,数据红利却刚刚开始。随着全球数据量进入爆发阶段,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 技术 分析 以及 管理 三层 含义
链接地址:https://www.31doc.com/p-3420579.html