【优质文档】大数据量报表展现系统建设方案概要.pdf
《【优质文档】大数据量报表展现系统建设方案概要.pdf》由会员分享,可在线阅读,更多相关《【优质文档】大数据量报表展现系统建设方案概要.pdf(22页珍藏版)》请在三一文库上搜索。
1、大数据量报表展现系统开发方案 -三期延续开发 一、目标与需求 该系统提出将信息中心建设成为数据集散中心、报表处理中心和 决策辅助支持中心, 成为信息资源管理体系的中心和枢纽。将分散在 各个业务处理系统中的数据归集起来,为各级机构提供数据提取和查 询服务;开发管理信息平台系统,实现综合查询与分析,实现综统报 表、监管报表、业务报表等统计信息的共享,建立联动查询统计。 依据总体规划, 借鉴经验,广泛征求意见后,提出立项开发数据 分析系统,拟实现下列目标: 1、进一步的完善业务信息库,通过建立逻辑数据模型,按主题 整合业务数据, 并建立适合各类专题分析需要的数据集市,形成企业 级中央数据仓库, 以中
2、央数据仓库为纽带完成业务数据向管理信息的 过渡; 2、 “工预善其事,必先利其器” ,引进 ETL 、前端信息展现工具、 系统集成门户等先进的数据仓库和商业智能解决方案,进一步完善管 理信息平台技术架构, 实现对数据的深层次挖掘, 为各级信息使用者 提供先进适用的分析管理工具, 为管理部门提供个性化纯WEB 信息展 示平台; 3、优化全报表生成、报送、管理和使用体系,凡是数据仓库可 以生成的报表由系统自动生成,实现资产负债分析、经营业绩分析、 客户分析、风险分析和财务分析五个方面的专题统计分析,并为将来 引进决策分析模型进行决策支持奠定基础。 鉴于在项目整体开发阶段由于企业的自身业务调整和变化
3、,特别 是对前期调研所拟定的业务蓝图及相关开发计划进行了范围扩大的 调整。导致前两期项目开发工作只完成其中一部分,在甲方的要求下 此项目增加的开发范围作为三期工程(不排除报表业务继续扩大, 项 目需求继续扩大的可能) ,同时沿用此方案并需达到此方案中既定的 目标来完成项目整体,且此项目需在本期结束后进入维护期。 二、应用范围 针对用户的不同级别,分别满足业务人员、管理人员、高级管理 人员以及决策者对信息的不同要求。 三、与其他系统的关系 数据挖掘系统项目完成后管理信息平台的系统架构将如下图所 示,管理信息平台系统架构从大的方面可以分为两个部分:数据仓库 和商业智能。 数据仓库以方便查询为目的,
4、打破关系型数据库理论中 标准泛式的约束,将业务数据库的数据重新组织和整理,为查询,报 表,联机分析等提供数据支持。数据仓库建立起来后,定期的数据装 载(ETL)成为数据仓库系统一个主要的日常工作。 商业智能应用就是利用现代智能计算技术进行数据挖掘(Data Mining) 从大量数据中发现潜在规律、提取有用知识,实现企业报表 的生成与管理,实现资产负债、风险管理、财务分析、客户关系分析 和绩效考核等经营管理信息的统计分析。 四、项目主要工作内容 数据挖掘系统项目的主要工作内容包括: (一)建设企业级数据仓库 随着信息技术运用的不断深入,积累了大量原始数据, 而这些数 据是按照关系型数据库结构存
5、储,在更新,删除,有效存储( 少冗余 资产负债 数据库 风险管理 数据库 财务分析 数据库 绩效考核 数据库 客户分析 数据库 企业报表 数据库 中央数据仓库 数据传输层 DCC 、ALS PORTAL 图表查询多维分析数据挖掘报表 信 息 展 现 业 务 应 用 数 据 组 织 数 据 获 取 数 据 仓 库 建 构 商 业 智 能 应 用 信贷管理人力资源外部数据 数据抽取、装入、清洗、质量检查、转换、加载 数据)方面表现出色,但在复杂查询方面效率却十分低下。为充分利 用已有数据,提供复杂查询,提供更好的决策支持,就需要采用数据 仓库(Data Warehouse) 技术。数据仓库与数据库
6、(这里的数据库指关 系型数据库 ) 的区别在于,数据仓库以方便查询(或称为按主题查询 ) 为目的,打破关系型数据库理论中标准泛式的约束,将数据库的数据 重新组织和整理,为查询,报表,联机分析等提供数据支持。 数据挖掘系统将以业务信息库归集的核心业务系统、ERP 、CRM 和一些外部数据等系统的原始数据为基础,以先进的数据建模理论对 业务信息库进行重新规划,建立包括客户、产品、账户、交易、渠道 和机构六大主题的基础业务信息库做为信息管理的基础数据支持平 台。 1、数据仓库的逻辑结构 数据挖掘项目完成后的管理信息平台的逻辑架构将如下图所 示。中央数据仓库的数据组织是商业智能中最重要的课题,中央数据
7、 仓库不是各系统数据简单的堆积,而是业务数据的有组织的存储。因 此它不可能通过分析源系统来生成,而必须提前引入已成型的数据模 型。这一数据模型在数据仓库范畴称为逻辑数据模型(LDM ),它必 须具有灵活性和可扩展性,适应将来的业务需求的增加和变动。 在数据层前是数据源和转换区,数据源是业务信息库中的原始 数据,转换区用于存放从数据源抽取到的数据,并在转换区进行转 换,是 ETL的工作区域。 数据层负责所有数据的持久存储,包含中央数据仓库(DW ) ,数 据集市( DM )和 多维模型 OLAP(MDB) 。 中央数据仓库 (DM)存放从各个数据源抽取的数据, 是经过转换 后的细节数据。 数据集
8、市(DM) 存放的是面向业务应用宏观的汇总数据, 基于实 用化和运行效率的考虑,数据集市ETL采用数据库存储过程来 实现。 多维模型(MDB) 是将数据数据集市中的数据加载到 OLAP SERVER 中,为多维分析提供数据。 管理信息平台逻辑体系架构示意图 数据源 元数据 Admin Tools ETL 数据 建模 工具 数据 集市 RDB 数据 集市 RDB 数据层 中央 数据 仓库 仓 RDB MDB 报表服务器 应用服务器 OLAP 服务器 应用层 WEBServer Portal Server WEB 层用户 2 、逻辑数据模型 逻辑数据模型 LDM 是信息平台 / 数据仓库体系结构的
9、基础。 根据 管理信息平台的建设目标和建设原则,结合本项目的具体特点确定以 下数据模型的设计原则:数据模型的设计既要满足本项目的业务需 求,同时要充分考虑未来业务发展的需要,也就是说,数据模型应具 有较强的扩展性;数据模型的设计应充分考虑最终用户的查询/ 分析 效率和数据抽取、转换和加载的速度,保证系统具有较高的运行效率; 数据模型的设计应充分考虑当今数据库技术和数据建模技术的发展 动态,保证数据模型的设计方法、设计过程、设计结果的科学性和先 进性;数据模型的设计应具有较强的可读性,数据模型应便于业务人 员和技术人员理解,项目投入运行后,数据模型便于技术人员维护。 中央数据仓库存储所有最详细的
10、业务数据,数据的组织方式依关 系型数据库的第三范式规则。 数据仓库逻辑数据模型主要包括六个主 题域:客户、产品、帐户、交易、渠道和机构。 3、数据集市模型 根据业务需求将中央数据仓库数据分类成几个不同的数据集 市,每个数据集市完成不同的分析和查询需求,数据集市中的数据通 常由中央数据仓库的数据聚合而来,根据数据聚合程度的不同包含轻 度聚合、中度聚合和高度聚合三种不同的层次。汇总的方式将依据数 据量的大小和使用频率综合考虑。 4、数据仓库 ETL的设计 ETL指源系统数据经过数据抽取、转换和加载处理进入数据仓库 的整个过程。 ETL流程主要包括以下主要步骤: 数据抽取:数据抽取就是将数据仓库需要
11、的业务数据抽取到数据 转换区的过程; 数据检查和出错处理: 在数据转换区中, 对源系统数据质量进行 检查,形成检查报告,并进行相应的出错处理,对于严重错误,需要 系统维护人员现场做出相应的处理。 数据转换:数据转换包括对源系统数据进行整理、剔除、合并、 验证等一系列转换工作,最后形成数据仓库物理数据结构所需的数 据,存放在转换区的数据表中。 数据加载: 数据加载将数据转换的结果数据加载到数据仓库,并 形成数据加载情况的报告。 ETL工具需包括下列模块: EXTRACT 模块 (数据抽取),TXTLOAD 模块 (文本装载),TRANSFER模块 (数据转换),DWLOAD模块 (数 据仓库装载
12、),QUALITY模块(质量检查),CODE MANAGER模块(标准 代码管理)和 WADMIN 模块 ( 总控) 。 从各个数据源到中央数据仓库的ETL可以由 ETL工具实现。首先 在各个源系统安装extract模块,将源数据抽取为文本数据, 打包后 通过 ftp 传送到数据仓库主机上。 在数据仓库主机上通过txtload将 文本数据装入交换区,然后通过在交换区内通过Transfer模块进行 数据转换,最后将交换区的数据通过dwload 装入中央数据仓库。 ETL 每个模块都是现了参数化配置,通过配置相应的ini配置文件实现。 从中央数据仓库到数据集市的数据装载利用存储过程实现。在开 发过
13、程中针对每个数据集市设计相应的存储过程,实现数据从中央数 据仓库到数据集市的装载。 (二)引入先进的商业智能工具 通过引入先进的商业智能工具,提高数据挖掘水平, 是迅速改变 信息工作无法满足业务发展需要的必由之路,这也是科技规划所倡导 的,即通过引入国内外先进成熟的系统和经验,迅速提高科技应用水 平。 通过数据挖掘工具将达到以下目标: 1)企业级报表 提供五种常用形式的企业报表:给领导的KPI 计分卡和仪表盘、 给基层经营管理人员的运营报表、 给客户经理和业务经理的典型业务 报表、给业务部门领导的管理指标报表、给客户和合作伙伴的结算清 单。 提供块状布局和传统条带状组合方式布局。 提供用户自定
14、义WEB 报表功能:参数化报表, 让用户自己定义报 表内容、报表布局和工作流;自动客户化报表内容,创建一个报表, 系统自动基于不同用户生成用户所属内容的报表;基于用户档案的个 性化用户界面,为高级用户和普通用户提供不同的使用界面。 提供灵活的报表分发功能: 可将报表分发到WEB 浏览器、网络打 印机、 email 、文件服务器和企业管理信息门户;可以根据请求、计 划、事件等方式分发报表。 无需编程设计出达到象素精度和印刷品质的报表。 2)立方体分析 立方体就是指预先组织好高度相关的一个数据子集,用户可以组 合任何立方体中的实体 (如客户、 账户、产品、渠道、机构、交易等) 和度量(如存款、贷款
15、、利润等)来建立多于二维的视图或者切片, 并在计算机屏幕上显示出来。 立方体分析就是使用标准的多维分析功 能,如分页、旋转、排序、筛选和向上下钻取来浏览报表。立方体分 析适用于对指标变化的根本原因或潜在原因比较关注而对数据库技 巧不是非常熟悉的业务经理。 MSTR使用关系型OLAP(ROLAP)技术把关系型数据库建模成虚拟 多维立方体来实现联机分析 (OLAP ) ,能做到快速的报表分析和操作、 个性化和安全地共享立方体、 自动创建和同步立方体、 从汇总数据向 详细交易数据任意钻取。 MSTR还提供随机查询分析功能,用户可以在关系型数据库上创 建任意查询报表, 可以通过参数驱动方式生成查询分析
16、报表、可以基 于不同数据集合进行分析,也可以按照自己需求对数据进行分组。 3)统计分析和数据挖掘 MSTR 通过多路 SQL生成引擎和特殊分析引擎扩展了关系数据库 的计算能力,为专业信息分析师提供了200 多个数学、 OLAP 、财务和 统计函数,用于进行相关分析、趋势分析和预测分析。 MSTR 允许自定义分析函数并可以纳入其函数库共享。 2、企业门户系统 各级员工需不断浏览OA系统、两个电子邮件系统、信息网站、 管理信息平台、客户信息系统等系统,每个系统都需重新登录;管理 过程主要通过人工 Email 的方式进行,缺乏严格的工作流程控制; 缺乏集中统一的内部信息检索系统,为此我们需要引进先进
17、技术优化 的管理信息平台, 使其成为内部知识管理平台、部门横向沟通协作平 台和企业文化建设工具。 企业门户系统正是这两年来用于解决此问题 的基础工具软件。 通过企业门户系统, 将为各部门员工、 各级管理人员提供一个智 能的个性化工作平台, 该平台基于互联网的浏览器界面,作为统一入 口访问各种业务系统和服务(OA 、管理信息平台、电子邮件、信息网 站、ERP系统、CRM 系统、财务系统等),能够按照个人的工作习惯和 喜好进行个性化定制,从而容易地找到并获得各种所需地信息和服 务;该平台将成为集成了对各种交互请求或服务的中转站,与内部各 个已有的后台系统直接连接, 提升这些现有系统的价值, 又将内
18、部系 统与不安全的用户访问相隔离,保证原有系统安全可靠的运行;通过 平台提供业务流程自动控制、 内容管理、协调工作和分类搜索等服务。 本项目选择的企业门户系统将提供以下主要功能: 1)提供统一的门户框架 A、门户引擎和基础设施 门户引擎支持标准的PortletAPI,提供 Portlet的定义、执行、 管理等一系列完整的功能。 集成各种不同的资源, 在页面上进行组合, 并提供给各种渠道。 将页面的展示和不同的业务逻辑相分离,同时通 过 Portlet进行控制,这样分离的好处是将每个Portlet作为一个独 立的控制组件更加容易开发和维护。 Portlet是门 户 Portal中 的 基 本组
19、件 , 由 Portlet容 器 (Container ) 所管理,负责显示动态的内容, 并由 Portal组织起来, 展示在一个 Web页面上,对于Portal来说, Portlet是一个个可插 拔的模块,用户在界面上看到的是许多个独立的Portlet,通过 Web 的 request 和 response 进行交互。 PortletAPI是 Portal server 和 Portlet之间的接口,给出了Portlet中对象的定义、概念和生命周 期,限定了 Portlet中各种对象的行为。 Portlet Container负责整个 Portal server的核心运作,实现 Portle
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 优质文档 优质 文档 数据量 报表 展现 系统 建设 方案 概要
链接地址:https://www.31doc.com/p-5299112.html