《云计算》教材配套课件5-Google云计算应用场景分析.ppt
《《云计算》教材配套课件5-Google云计算应用场景分析.ppt》由会员分享,可在线阅读,更多相关《《云计算》教材配套课件5-Google云计算应用场景分析.ppt(38页珍藏版)》请在三一文库上搜索。
1、Google云计算应用场景分析,电子工业出版社 刘鹏主编云计算教材配套课件5,主要内容,Google云计算技术框架 应用场景分析1:Google网站流量分析 应用场景分析2:Google搜索,Google云计算的技术架构,Google的云计算应用均依赖于四个基础组件 分布式文件存储,GFS 并行数据处理模型MapReduce 分布式锁Chubby 结构化数据表BigTable,Google云计算的技术架构,Google云计算应用,BigTable,GFS,MapReduce,Chubby,组件调用关系分析,Google云计算的技术架构,Chubby的作用 为GFS提供锁服务,选择Master节
2、点;记录Master的相关描述信息 通过独占锁记录Chunk Server的活跃情况 为BigTable提供锁服务,记录子表元信息(如子表文件信息、子表分配信息、子表服务器信息) (可能)记录MapReduce的任务信息 为第三方提供锁服务与文件存储,Google云计算的技术架构,GFS的作用 存储BigTable的子表文件 为第三方应用提供大尺寸文件存储功能 文件读操作流程 API与Master通信,获取文件元信息 根据指定的读取位置和读取长度,API发起并发操作,分别从若干ChunkServer上读取数据 API组装所得数据,返回结果,Google云计算的技术架构,BigTable的作用
3、为Google云计算应用(或第三方应用)提供数据结构化存储功能 类似于数据库 为应用提供简单数据查询功能(不支持联合查询) 为MapReduce提供数据源或数据结果存储,Google云计算的技术架构,BigTable的存储与服务请求的响应 划分为子表存储,每个子表对应一个子表文件,子表文件存储于GFS之上 BigTable通过元数据组织子表 每个子表都被分配给一个子表服务器 一个子表服务器可同时分配多个子表 子表服务器负责对外提供服务,响应查询请求,Tablet 1: , rootbigtabletablet1, Tablet 2: , rootbigtabletablet2, Tablet
4、3: , rootbigtabletablet3, Tablet 4: , rootbigtabletablet4,Google云计算的技术架构,MapReduce的作用 对BigTable中的数据进行并行计算处理(如统计、归类等) 使用BigTable或GFS存储计算结果,应用场景分析1 Google网站流量分析,Google Analytics 免费的企业级网络分析解决方案 帮助企业了解网站流量和营销效果 能以灵活的方式(各类报表)查看并分析流量数据,应用场景分析1 Google网站流量分析,应用场景分析1 Google网站流量分析,基本功能 统计网站的基本数据,包括会话、综合浏览量、点击
5、量和字节流量等等 分析网站页面关注度,帮助企业调整或增删页面 分析用户浏览路径,优化页面布局 分析用户访问来源链接,提高广告投资回报 分析用户访问环境(如OS和Explorer),帮助美化页面,应用场景分析1 Google网站流量分析,应用的特征 海量数据 需要存储海量的用户行为数据(如点击时间、位置等) 海量用户 需要为任意多的网站提供流量分析 技术路线 使用BigTable存储和检索数据,使用MapReduce统计数据,应用场景分析1 Google网站流量分析,BigTable中的表设计 原始点击数据表 行键:点击时间 列键:网站URL、网站名称、用户IP地址、来源URL、目标URL 目前
6、尺寸约200TB,20091010121011,20091010121012,20091010121013,URL,标题,IP地址,来源URL,目标URL,应用场景分析1 Google网站流量分析,BigTable中的表设计 统计数据表 行键:网站URL(倒排) 列键:点击次数(如记录最近一个月每日的访问次数等)、页面关注度(如记录网站页面的访问比率)、来源网站(如记录TOP10)、目标网站(如记录TOP10) 每个列中记录的内容是字符串,Analytics在查询后需要解析字符串获得统计结果 可根据统计内容的增多增加新的列 目前尺寸约20TB,应用场景分析1 Google网站流量分析,业务流程
7、分析,数据采集,原始点击数据表,数据处理,统计数据表,数据查询,MapReduce,应用场景分析1 Google网站流量分析,基础设施,应用服务器集群,BigTable集群1,BigTable集群2,GFS集群,Chubby集群,MapReduce集群,应用场景分析1 Google网站流量分析,数据采集 数据来源 页面内嵌脚本 点击行为脚本 应用服务器获取到数据后,存入BigTable,应用场景分析1 Google网站流量分析,数据采集 数据存储流程,向BigTable中写入点击信息,寻找子表服务器,向内存临时子表写入信息(含排序),如超过阈值则存储为子表文件,GFS:存储子表文件,子表合并、
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 云计算 计算 教材 配套 课件 Google 应用 场景 分析
链接地址:https://www.31doc.com/p-2045309.html