海量实时记录的索引方法.pptx
《海量实时记录的索引方法.pptx》由会员分享,可在线阅读,更多相关《海量实时记录的索引方法.pptx(16页珍藏版)》请在三一文库上搜索。
1、揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! 海量实时记录的索引方法 钱善海 技术主管 从兴技术有限公司 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! 摘要 案例简介 需求分析 快速索引算法 系统实现要点 案例ROI分析 海量实时记录的索引方法 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! 案例简介 BOSS计费系统 快速索引系统 交换机 打电话 发短信 上网流量 营业 厅 网站 自助终端 移动终 端 生成记录处理记录查询记录 海量实时记录的索引方法 揭示研
2、发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! 案例简介 上线前上线后 CPU : 95% 以上 内存: 100% 文件IO: 50100M/s 存储: 30T 查询: 6秒以上到十几分 钟 使用 Oracle 存放部分索引 CPU : 5% 以下 内存: 100% 文件IO: 25M/s 存储: 不变 查询: 小于1秒 不使用 Oracle 海量实时记录的索引方法 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! 需求分析 总用户数1亿, 每天活跃用户5000万 每天记录数 40 亿, 高峰期达 100万条/秒
3、每天数据量达 600G 用户基本按月或天进行查询 用户可查10个月的历史数据 用户一天之内就有千万条记录 每天的查询量超过1000万人次 海量实时记录的索引方法 大量的延迟记录, 不仅是今天有昨天的, 今天还有前几个月 的 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! 使用快速合并算法 每一条记录只需进行下面的操作, 即能完成最终的索引: 读 1 次 压缩 2 次 (gzip 算法) 解压缩 1 次 写 1 次 读取120G数据 写到内存, 同时进行压缩 文件系统 解压 输出 海量实时记录的索引方法 揭示研发管理白金定律,分享那些激动人心的创新与变
4、革,使得团队获得过多源动力与更大的推动力! 把一天的数据放到内存中 使用多块内存 每个内存有多个页(page) 每个 page 有多个溢出页 记录 (key, value) 放到 第 crc32(key) % mem_total 个内存中的 第 reverse_crc32(key) % page_total 个块中 使用 30 个内存 每个内存4G, 每个page 约 64K page1page2pageH 内存 溢出页 海量实时记录的索引方法 揭示研发管理白金定律,分享那些激动人心的创新与变革,使得团队获得过多源动力与更大的推动力! 使用分块压缩 每一个 page 的结构: C1 C2 C3
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 海量 实时 记录 索引 方法
链接地址:https://www.31doc.com/p-3676352.html