经营分析系统技术交流.ppt
《经营分析系统技术交流.ppt》由会员分享,可在线阅读,更多相关《经营分析系统技术交流.ppt(101页珍藏版)》请在三一文库上搜索。
1、,经营分析系统 技术交流,中国电信,经营分析系统,第一部分:公司介绍 第二部分:需求说明 第三部分:解决方案 第四部分:问题交流,目录,Part1 公司介绍,第一部分:公司介绍 第二部分:需求说明 第三部分:解决方案 第四部分:问题交流,Part2 需求说明,背景,企业经营发展的结果 以业务为中心 话单量小、业务少、用户少 以客户为中心 大数据量、业务多、异构数据、决策分析 技术发展的结果 数据库与数据仓库 人工智能 数据挖掘 联机分析,企业信息化的四个进程,经营分析系统信息流图,建设目标,建立一个统一的数据信息平台 采用先进的数据仓库技术和分析挖掘工具,提取数据中的有价值信息 为企业的客户服
2、务、市场营销等工作提供科学有效的支撑,提升企业的运营水平和竞争能力,体现以客户为中心的经营理念,建设原则,两级系统,三层结构 整合业务数据、面向经营分析 能通过多种手段实现业务智能 主题可扩充、新增及重构 成为业务决策者专业的咨询顾问 经营分析系统的开发与建设将分阶段进行,系统功能,支持与各种主流数据库平台、多维分析引擎、数据挖掘引擎和前端展示工具的无缝集成 开放的应用程序接口和工具 提供统一的数据仓库平台,支持后续应用和扩展 可定制化的客户界面 统一的用户和权限管理机制,主题分析及专题分析,业务管理模型,Part3 解决方案,技术体系结构 主要厂商产品介绍,体系结构,BOSS系统 网管 客服
3、 其它,1 数据源,数据源,数据源,省BOSS系统的数据: 批价后的详单 帐务数据 欠费记录 缴费记录 欺诈记录 客户信息 资源记录 营业记录 投诉记录 查询记录 结算数据 人工录入的信息,网管系统的数据 热点小区 接通率 故障信息 客服数据 投诉信息 服务状况 其他数据 人工输入,数据源细分,计费子系统: 通话详单(原始、计费后)、详单格式 计费使用费率表 错误话单 结算话单 帐务子系统: 帐务数据 欠费记录 缴费记录、缴费方式 欺诈记录 营业子系统: 用户资料及信用度 资源使用记录 营业厅、营业员资料 客服子系统: 投诉记录 用户查询记录 网管系统: 接通率数据 掉话率数据 手工录入数据:
4、 市场调查结果记录 市场宣传费用和形式记录,流水型增长数据: 通话详单(原始、计费后) 错误话单 帐务数据 欠费记录 缴费记录 欺诈记录 资源使用记录 投诉记录 用户查询记录 财务数据 物流数据 市场调查结果记录 市场宣传费用和形式记录 变化更新数据: 计费使用费率表 缴费方式 用户资料及信用度 营业厅、营业员资料,数据获取层,2 数据获取层,数据来源 首先直接快速传输到分段存储区,再从分段存储区经过清洗、转换、映射等复杂的数据移动处理转移到目标数据仓库中。 以保证数据的快速导入而尽量减小对业务系统造成的压力。 有数据库和文件二种方式,分别对应于不同运营系统的数据源。 数据集成 异构数据源整合
5、,临时存储区(Staging Area),BOSS与经营分析系统的连接方案,Sql*Load实现方式,1、掌握源文件的文件格式 2、定义目的ODS的对应表结构 3、编写执行的脚本 4、运行脚本 5、查看运行的日志,例子:将pt0431文件的记录装载进入表cc_test中 实现:1、依据文件pt0431格式和表cc_test的结构,编写脚本jl.ldr:LOAD DATA INFILE /pt0431 INTO TABLE cc_test (文件格式与表结构对应关系定义) 2、编写控制脚本jl.sql:sqlload userid=ht/hello control=jl.ldr log=jl.l
6、og 3、执行:#sh jl 4、查看日志文件jl.log,Pl/Sql实现方式,有些数据需要经过程序处理后才能很好的被使用。 例如:基于批价详单来分析话务流向时需要利用详单记录中的Other_party字段。 Other_party可能的存在形式: 1795X+固定电话号码; 013XH1H2H3H4N1-N4; 13XH1H2H3H4N1-N4; 00+电话号码; 特殊号码:110、119、1861等; 172X1X2; 只有经过一定的处理,才能分析去话的方向是联通、电信,国际,特殊呼叫等 适用于随机获取数据,ETL 环境和处理流程,抽取策略,1、对于有时间线的数据增量抽取,例如:服务信息
7、表, 由于有处理时间,可增量抽取 2、没时间线的数据则完全抽取,例如客户信息表 3、明细帐单、综合帐单在出帐后,例如出帐后第二天 抽取 4、对于文件,象BOSS系统的结算清单、计费清单按文 件生成周期实时抽取,3 数据存储层,数据存储层,基础数据仓库,数据来源 数据结构 3NF 星型结构 雪花结构 完整性和有效性检查,对冗余和不一致的数据进行了清洗和转换。 数据量将非常庞大。,3NF 减少数据冗余 减少存储容量 灵活的扩展能力 执行效率相对较低,数据集市,数据仓库的子集,主要面向某特定主题。 数据来源 对基础数据仓库中数据的复制、分布或聚合 数据结构 星型结构,Star-Schema 存在数据
8、冗余 相对较大容量 维变化时,需重新建立 执行效率高,粒度选择,多重粒度级别,中央数据仓库采用低粒度级,例如,客户月通话详单 -高细节数据,能回答所有问题,但分析效率较低;,数据集市采用高粒度级,例如,客户月通话综合信息- -低细节数据,能回答部分问题,但分析效率高;,如果高粒度数据也包含分析所需的足够的细节,则高粒度数据的 使用效率会提高很多,中央数据仓库与从属数据集市,数据仓库完整构架,Business Users,4 数据 访问层,信息处理 查询和报表 分析处理 基本的OLAP操作 数据挖掘 知识发现,数据访问层,举例:话务流向分析 维:通话日期、通话时间、对端号码,共3个维; 分析指标
9、:通话次数,通话时长 实施:建立一个3维的数据立方体,对指标采用切片、钻取、旋转等方法进行分析,多维数分析,时间,日期,对端号码,同一时刻话务流向分析,12:00,OLAP分析方法一【切片】,OLAP分析方法一【切片】,时间,日期,5月1日,对端号码,同一日期话务流向分析,OLAP分析方法一【切片】,流向同一运营商的话务量分析,时间,日期,联通,对端号码,时间,日期,对端号码,OLAP分析方法二【钻取】,在同一个维上,按不同的层次来分析,OLAP分析方法三【旋转】,基于WEB的展现方式,对数据进行可视化的分析,分析结果的展现方式有以下几种,并且各种形式之间可以相互的转换: 1柱状图; 2相对柱
10、状图; 3累计柱状图; 4饼图; 5散点图; 6折线图; 7趋势图; 8网页表格; 9表格中的数据倒出到Excel报表,WEB展现示例【柱图】,WEB展现示例【3D柱图】,5 元数据,关于数据的数据 技术元数据 操作元数据 业务元数据 贯穿全过程,元数据管理,元数据管理,业务定义,属性定义,DA / DBA Tool Erwin,抽取规则, 转换规则,ETL Tool,报表格式, 过滤,分割等,DSS Tool,数据库 元数据,元数据库,双向 自动,无连接,业务定义,Other Excel,HTML,Business Users,数据仓库开发,元数据管理,Intranet/ Extranet,
11、-Definitions -Domains -Names,6 系统管理,安全 备份,安全体系结构,系统安全,安全的层次 每个层次均需要相应措施保证 数据库、应用、网络 网络层 防火墙 电子认证 加密,安全层次,数据库层 密码 数据库权限控制 应用层安全 用户身份认证 按照操作对象和操作类别规定各操作员的权限 保证身份的有效性和不可抵赖性 采用口令密码方式,可以向数字证书升级 数据加密 服务和数据权限,容灾与备份:概述,什么灾? 火灾、地震、洪水 系统故障:硬件、操作系统、数据库. 应用故障:设计时考虑不周 误操作 黑客入侵、故意破坏 容灾方法 以备份系统代替主系统,并及时恢复主系统 数据复制
12、其它:地理分布,电源、网络等的高可用性,容灾与备份:数据备份策略,数据备份的层次 物理视图 逻辑视图(DB、数据库模式、应用) 数据备份的方式 联机复制 同步、异步、状态 脱机备份 防止“误操作型”灾难 数据备份的目标 一致性、当前性、可恢复性,尽量减少数据丢失及尽快恢复,容灾与备份:数据复制层次,主机,硬盘,DB,文件,表,应用,内存,备份机,硬盘,DB,文件,表,应用,内存,输入,输入,物理视图,DB视图,数据库模式视图,应用视图,复制或转移,Part3 解决方案,技术体系结构 主要厂商产品介绍,产品供应商,IBM Corp. Oracle Corp. SAS Institute Micr
13、osoft Corp. MicroStrategy Inc. CA Brio Technology Business Objects Inc. Cognos,产品供应商,Data warehouses OLAP Data mining Reporting, Querying and business intelligence ETL,Oracle Sybase SAS DB2 NCR,BI/SAS DB2 Olap Server Oracle Express Business Objects/OLAP access,SAS Data mining Geneva(PwC) Intelligent
14、 Miner,Visualization(IBM) MineSet (Silicon Graphics) Visual Insights(Lucent),Business Objects Brio Adaptive Server IQ multiplex(Sybase) Actuate Hummingbird suite NUMA-Q2000(IBM) Pilot Balanced Score card,OWB Informatica CA Data Transformer SAS/WA,Best,Worst,Relative to all platforms (including S/390
15、); updated April 2001,Copyright 2001,数据仓库比较,Copyright 2001,IBM DB2,IBM数据仓库解决方案,DB2 Warehouse Manager (管理工具),DB2 Visual warehousing (ETL),DB2 UDB V7.2 数据仓库,DB2 OLAP SERVER (MDB),查询 人员,分析 人员,Hyperion analyzer,决策 人员,IBM Intelligent Miner 数据挖掘,DB2 Warehouse Manager,DB2 UDB V7.2 数据集市,DB2 UDB V7.2 数据集市,En
16、terprise Information Portal,IBM数据仓库的特点,提供大型数据库DB2作为数据仓库的存储数据库,DB2性能优异,提供从桌面机到工作站、小型机、大型机的良好扩展性 提供Visual Warehousing作为数据抽取工具,VW能够从广泛的数据源抽取数据,并且在大数据量的抽取中充分显示了速度优势 提供多维型、关系型两种Cube的实现方式 提供功能强大的访问Cube的查询语法 Query Script 在所有同类产品中提供最强大的分区功能,Query Performance (10),Data Management (10),Challenges,Strengths,Pe
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 经营 分析 系统 技术交流
链接地址:https://www.31doc.com/p-2571241.html