大数据可视化管理平台建设综合解决方案.doc
《大数据可视化管理平台建设综合解决方案.doc》由会员分享,可在线阅读,更多相关《大数据可视化管理平台建设综合解决方案.doc(42页珍藏版)》请在三一文库上搜索。
1、大数据平台项13大数据可视化管理平台建设综合解决方案容利而行2020年大数据平台项目大数据可视化管理平台建设综合解决方案数据平台基础平台数据结构做敬分布式嘶库分横文件撕数据服务師应用大数据平台统计报表数据挖掘局管驾驶数据生命周朗管理数据债量检核1元数据管理管理平台大数据平台项目大数据可视化平台建设方案目录第1章前言0第2章 银行大数据现状分析12.1、基本现状12.2、总体现状12.2.1、行领导12.2.2、业务人员22.3、数据架构方面22.3.1、业务表现22.3.2、问题22.4、数据应用难题32. 4. 1、缺少统一的应用分析标准32.4.1.1、业务表现32. 4.1.2、问题32
2、 4. 2、缺少统一的基础数据标准42.4.2.1、业务表现42. 4.2.2.问题52.4.3、缺少反馈机制52.4.3.1、业务表现62. 4. 3.2.问题62.5、数据应用现状总结6第3章 银行大数据治理阶段目标03.1、数据平台逻辑架构13.2、数据平台部署架构13.3、建设目标23.3.1、建设大数据基础设施,完善全行数据体系架构23.3.2、开发大数据资源,支撑全行经营管理创新23.3.3、培养大数据人才队伍,建立大数据分析能力23.4、数据治理目标33.4.1、发现数据质量问题,推动大数据治理工作的开展,建立数据质量检核系统.33.4.2、分析、梳理业务系统,推动数据标准的建
3、立,统一全行口径33.4.3、建立数据仓库模型框架,优化我行数据架构,建设稳定、可扩展的数据仓库 33.5、目标建设方法43.5.1、建设内容43.5.2、工作 阶段43. 5. 2.1、源系统分析阶段43. 5.2. 1.1、工作内容43. 5.2. 1.2、工作依据43. 5.2. 1.3、工作重点53. 5. 2. 2、数据质呈问题检查阶段53. 5. 2.2.1.工作内容53. 5. 2. 2. 2、工作依据53. 5. 2. 2. 3、工作重点63. 5. 2. 3、数据质呈问题分析阶段63. 5.2. 3.1、工作内容63. 5.2. 3.2、工作依据63. 5.2. 3.3、工作
4、重点63.6、预期建设效益63.6.1、实现数据共享63.6.2、加强业务合作73.6.3、促进业务创新73.6.4、提升建设效率73.6.5、改善数据质量7第4章 银行大数据建设总体规划04.1、 功能需求04. 1. 1、个人和企业画像04.1.2、实现梢准营销24. 1. 3、为金融业提供风险管控34.1.4、运营优化44.2、银行大数据应用架构远景44.2.1、银行需要从“坐商”转型为“行商” 54.2.2、客户下沉54. 2. 3、与互联网金融”进行差异化竞争54. 3、银行大数据平台应用架构64.4、银行大数据平台架构74.5、银行大数据支撑平台74. 5. 1、大数据虚拟化平台7
5、4.5.1.1、 设计原则84. 5.1.2、虚拟化平台设计104. 5.1.3、硬件基础设施层104.5. 1.4、虚拟化存储114. 5. 1.5、虚拟化计算114.5. 1.6、平台管理124. 5.1.7、数据存储系统设计124. 5. 1.8.高性能SAN存储系统144.5. 1.9、存储方案优势154.5.2、大数据分析管理平台164.6、大数据分析处理平台164.6.1、分布式内存分析引擎174.6.2、数据挖掘引擎174. 6. 3、分布式实时在线数据处理引擎184.6.4、流处理引擎184.6.5、大数据分析支撑系统184.6.6、大数据分析节点群244.6.7、软硬件配置2
6、54. 6. 8、虚拟化平台关键特性274.6.9、虚拟化平台配置294.7、安全保障系统304.7.1、设计原则304.7.2、总体设计314.7.3、物理安全设计314.7.4、网络安全设计334. 7.4.1、外网边界安全334. 7.4. 2、网络基础设施安全344.7.5、主机安全设计354.7.6、应用安全设计354.7.7、数据库安全设计364. 7. 8、安全制度与人员管理374.7.9、安全管理体系建设374.7.10、安全运维384. 7. 11、安全人员管理394.7.12、技术安全管理394.7.13、安全保障系统配置404.8、计算机网络系统404.8.1、设计原贝l
7、j404.8.2、系统设计424.8.3、计算机网络系统配置454.9、基础支撑软件454.9. 1、地理信息软件454.9.2、操作系统软件474.9.3、数据库管理软件484.9.4、机房建设方案494. 9. 5、基础支撑系统软硬件配置52第5章系统架构设计565.1、总体设计目标565.2、总体设计原则565.3、案例分析建议585. 3. 1、中国联通大数据平台585.3.2、项目概述585.3.2.1、项目实施情况605. 3. 2. 2、项目成果675. 3. 2.3.项目意义685.3.3、恒丰银行大数据平台681.1.1.1 项目概述691.1.1.2 项目实施情况731.1
8、1.3 项目成果801.1.1.4 项目意义815. 3. 4、华通CDN运营商海量日志采集分析系统835.3.5、项目概述835.3.5.1、项目实施情况845.3. 5.2、项目成果895. 3. 5. 3、项目意义895.3.6、案例总结905.4、系统总体架构设计915.4.1、总体技术框架915.4.2、系统总体逻辑结构955.4.3、平台组件关系985.4.4、系统接口设计1045.4.5、系统网络结构109第6章系统功能设计1116.1、槪述1116.2、平台管理功能1126.2.1、多应用管理1126.2.2、多租户管理1166.2.3、统一运维监控1176. 2. 3. 1
9、Hadoop集群自动化部署1196. 2. 3. 2、Hadoop集群性能监控1216. 2. 3. 3、Hadoop集群资源管理1256. 2. 3. 4、图形界面方式多租户管理1286. 2. 3. 5、系统巡检信息收集1326. 2. 3. 6、系统性能跟踪1346. 2. 3. 7、与集团运维监控平台对接1356.2.4、作业调度管理1396.3、数据管理1416.3.1、数据管理框架1416. 3.1.1、结构化数据管理框架1426. 3.1. 2、半/非结构化数据管理框架1436.3.2、数据采集1446.3.3、数据交换1476.3.4、数据存储与管理1496.3.4.1、数据
10、存储管理功能1526. 3.4.2.数据多温度管理1546. 3. 4. 3、生命周期管理1566. 3. 4. 4、多索引模式1576. 3. 4. 5、多数据副本管理1586. 3. 4. 6、数据平衡管理1596. 3.4.7.在线节点管理1606. 3. 4. 8、分区管理1616. 3. 4. 9、数据导入与导出1626.3.4.10、多级数据存储1636. 3. 4. 11、多种数据类型支持1656. 3. 4. 12、多种文件格式支持1676.3.4.13、数据自定义标签管理1716.3.4.14、数据读写锁处理171大数据平台项13大数据可视化管理平台建设综合解决方案容利而行2
11、020年6.3.4.15、元数据备份1726.3.4.16、表圧缩1726.3.5、数据加工淸洗1726.3.6、数据计算1746.3.6. 1、多计算框架支持1746. 3. 6. 2、并行计算与并行处理能力1766. 3. 6. 3、 PL/SQL 存储过程1806. 3. 6. 4、分布式事务支持1846. 3. 6.5.ACID 测试案例1866.3.7、数据查询1966.3. 7.1、OLAP 函数支持19611. 7.2、分布式 Cube1972. 7.3、SQL 兼容性2002. 7.4、SQL 功能2176.4、数据管控2226.4.1、主数据管理2226.4.2、元数据管理技
12、术2246.4.3、数据质量2276.5、数据 ETL2356.6、数据分析与挖掘2386.6.1、数据分析流程2412. 6. 2、R语言开发环境与接口2426. 6. 3、并行化R算法支持2436.6.4、可视化R软件包2476.6.5、编程语言支持2496. 6. 6、自然语言处理和文本挖掘2496.6.7、实时分析2506.6.8、分析管理2516.6.8.1、需求管理252 6. 8. 3、 成果管理2556.6.9、分析支持2566.6.10、指标维护2566. 6. 11、分析流程固化2574.1. 6. 12、分析结果发布2576.6.13、环境支持2576.7、数据展现258
13、6.7.1、交互式报表2606.7.2、仪表盘2676.7.3、即席查询2686.7.4、内存分析2696.7.5、移动分析2706.7.6、电子地图支持271第7章 技术要求实现2727.1、产品架构2724.2. 1. 1.基础构建平台2777. 1. 2、大数据平台组件功能介绍278 1. 2. 1、Transwarp Hadoop 分布式文件系统2783. 1.2. 2、Transwarp Inceptor 内存分析交互引擎2807. 1. 2. 3、稳定的Spark计算框架2827. 1. 2. 4、支持Memory+SSD的混合存储架构2837. 1.2.5、完整SQL功能支持28
14、37. 1. 2. 6、Transwarp Discover 机器学习引擎2897. 1.2.7、并行化统计算法库2917. 1. 2. 8、机器学习并行算法库2937. 1. 2. 9、Transwarp Hyperbase 列式存储数据库3007.1.2.10、智能索引3117.1.2.11、全局索引3127.1.2.12、全文索引313大数据平台项目大数据可视化管理平台建设综合解决方案大数据平台项目大数据可视化管理平台建设综合解决方案 容利而行2020年7.1.2.13、索引类型3157.1.2.14、图数据库3157.1.2.15、全文数据处理3167. 1. 2. 16、Transw
15、arp Stream 数据实时处理分析3187.1.2.17、分布式消息队列3227.1.2.18、流式计算引擎3237. 1.2. 19、流式 SQL 执行3247.1.2.20、流式机器学习3257. 1.3、系统分布式架构3257.2、运行环境支持3287.2.1、系统操作支持以及环境配置3287. 2. 2、与第三方软件平台的兼容说明3297.3、客户端支持3307.3.1、客户端支持3307.3.2、移动端支持3317.4、数据支持3317.5、集成实现3337.6、运维实现3367.6.1、运维目标3367.6.2、运维服务内容3377.6.3、运维服务流程3407.6.4、运维服
16、务制度规范3427. 6. 5、应急服务响应措施3437.6.6、平台监控兼容3447.6.7、资源管理3457.6.8、系统升级3487. 6. 9、系统监控平台功能3487.6.9. 1、性能监控3487. 6. 9. 2、一键式收集3527. 6. 9.4.服务进程监控3547. 6. 9. 5、消息队列监控3557. 6. 9.6.故障报警3567. 6. 9. 7、告警以及统巡检以及信息收集3567.7、平台性能3587.7.1、集群切换3587. 7.1.1、主集群异常及上层业务切换3587. 7.1. 2、从集群异常及上层业务切换3597.7.2、节点切换3607.7.3、性能调
17、优3617.7.3.1、图形化性能监控3617. 7. 3. 2、图形化调优工具3627. 7. 3.3.调优策略3667.7.4、并行化髙性能计算3677.7.5、计算性能线性扩展3707.8、平台扩展性3727.9、可靠性和可用性3747.9.1、单点故障消除3747.9.2、容灾备份优化3757.9.2.1、扩容、备份、恢复机制3757. 9. 2. 2、集群数据容灾优化3777. 9. 2. 3、数据完整性保障和方案3787. 9. 2. 4、主集群异常及上层业务切换3807. 9. 2. 5、从集群异常及上层业务切换3807.9.3、系统容错性3817.10、开放性和兼容性3837.
18、 10. 1、髙度支持开源3887. 10. 1.1、PMC-HaoyuanLi3887. 10. 1. 2、Committor-AndrewXia3907. 10. 1. 3、Committor-ShaneHuang392大数拯平台项目大数据可视化管理平台建设综合解决方案大数拯平台项目大数据可视化管理平台建设综合解决方案 容利而行2020年7. 10. 1 4、 Committor-ZhihongYu3947. 10. 1. 5、 Committor-JasonDai3977. 10. 1. 6、 Committor-WeiXue4007. 10. 2、操作系统支持以及软件环境配置4017.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 可视化 管理 平台 建设 综合 解决方案
