关于元数据资源目录主数据数据元元数据管理主数据管理解释ppt课件.ppt

《关于元数据资源目录主数据数据元元数据管理主数据管理解释ppt课件.ppt》由会员分享，可在线阅读，更多相关《关于元数据资源目录主数据数据元元数据管理主数据管理解释ppt课件.ppt（26页珍藏版）》请在三一文库上搜索。

1、数据中心建设概念解释商占超1数据元元数据主数据元数据管理主数据管理数据服务资源目录目录 2数据元元数据元数据主数据元数据管理主数据管理数据服务资源目录目录 3定义元数据元数据元数据元数据 MetaDataMetaData就是“描述数据的数据”或“关于数据的结构化数据”哈佛大学数字图书馆项目定义:元数据是帮助查找、存取、使用和管理信息资源的信息。是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。描述数据的内容（what）、覆盖范围（where,when）、质量、管理方式、数据的所有者（who）、数据的提供方式（how）等信息，是数据与数据用户

2、之间的桥梁；举例以一个以一个以一个以一个船船船船员员培培培培训训为为例例例例一张表是船员基本信息：姓名、编号、培训班，另一张表存放船员的培训课程信息：课程编号、名称、学分。姓名、编号、培训班、课程编号、学分都是数据元，但但这些数据元有自己的元数据，即描些数据元有自己的元数据，即描述数据，分述数据，分别是是长度、度、类型、型、值域等。域等。对于船于船员基基础信息表而言信息表而言，姓名、编号、培训班是描述船员基础信息的数据，是它的元数据。对于船于船员培培训信息表而言信息表而言，课程编号、名称、学分是描述船员培训信息表的数据，是它的元数据。元数据例子太例子太少啦！少啦！数据是手提箱，而元数据是它上面

3、的姓名标牌；数据是文件夹，而元数据是夹子的标签；数据是书的内容，元数据是书脊上的杜威十进制数码。4船员违法记分示例元数据源系源系统名称名称源系源系统IP 源系源系统数据数据库 源系源系统表名表名 源系源系统类型型船员管理系统*.*.*.*sysbaseTABLE_XXX内部_核心行政处罚系统*.*.*.*sysbaseTABLE_XXX内部_核心抽取方式抽取方式目目标表表目目标字段字段源表源表源字段源字段计算公式算公式ETL目标_TABLE 目标_字段 源头_TABLE 源头_字段 源头_字段=源头_字段+目标_字段WS目标_TABLE 目标_字段 源头_TABLE 源头_字段 源头_字段=目

4、标_字段静静态元数据元数据名称名称描述描述数据数据类型型关系关系生成生成时间索引索引船员违法记分信息记录船员违法记分信息数字型空2015/9/2XXX动态元数据元数据入入库时间 更新周期更新周期 数据数据质量量 统计信息信息状状态存存储位置位置 存存储大小大小引用引用处2015/9/3天200条30000条正常XXX库/源头_TABLE200M船员主题/违规违法/记分信息数据源方面数据源方面数据抽取转换方面数据抽取转换方面数据统计方面数据统计方面数据内容方面数据内容方面流水号身份证号码姓名服务簿号码 单位代码 单位名称 记分分值我们将要在共享数据库项目中面对的元数据5元数据元数据作用数据描述：

5、数据描述：对信息对象的内容属性等的描述能力是元数据最基本的功能。数据数据检索：索：支持用户发现资源的能力即利用元数据来更好地组织信息对象建立它们之间的关系为用户提供多层次多途径的检索体系从而有利于用户便捷快速地发现其真正需要的信息资源数据数据选择：支持用户在不必浏览信息对象本身的情况下能够对信息对象有基本的了解和认识从而决定对检出信息的取舍数据定位：数据定位：提供信息资源本身的位置方面的信息如DOI URL URN 等信息由此可准确获知信息对象之所在便于信息的获取数据管理：数据管理：保存信息资源的加工存档结构使用管理等方面的相关信息以及权限管理版权所有权使用权防伪措施电子水印电子签名等数据数据

6、评估：估：保存资源被使用和被评价的相关信息通过对这些信息的统计分析方便资源的建立与管理者更好地组织资源并在一定程度上帮助用户确定该信息资源在同类资源中的重要性6数据元元数据主数据元数据管理主数据管理数据服务资源目录目录 7定义数据元数据元数据元数据元 data elementdata element用一组属性描述定义、标识、表示和允许值的数据单元。GB/T 18391.1GB/T 18391.120022002，定，定义义3.14 3.14 通过定义、标识、表示以及允许值等一系列属性（元数据）描述的数据单元，被被认定定为是是不可再分的最小的数据不可再分的最小的数据单元元。MSA-S-PT-4M

7、SA-S-PT-4：海事云数据中心技：海事云数据中心技术标术标准准-平台数据平台数据标标准准,4.1.2.1,4.1.2.1 数据基本定数据基本定义义 数据元一般来说由三部分组成：对象、特性、表示举例“船舶种类代码”为数据元，“0205”为数据元的值，“船舶种类名称”为数据元，“集装箱船”为数据元的值“船舶种类代码”中，“船舶”为对象词，“种类”是该数据元的特性词，“代码”是该数据元的表示词。所建立的数据所建立的数据库中，数据（基本）表的字段名中，数据（基本）表的字段名应能从数据元集中能从数据元集中选取且具有唯一取且具有唯一对应关系；关系；MSA-S-PT-4MSA-S-PT-4：海事云数据中

8、心技：海事云数据中心技：海事云数据中心技：海事云数据中心技术标术标准准准准-平台数据平台数据平台数据平台数据标标准准准准,4.1.2.2,4.1.2.2数据元数据元数据元数据元编编制制制制规则规则。因此可理因此可理解表的列字段即解表的列字段即为数据元数据元数据元 8数据元描述示例：船员登记号数据元 数据源特征数据源特征数据元属性数据元属性属性定属性定义分类编号CY010100001：CY 01 0100 001船员 基本信息 登记 登记号数据库表中展示内容标识符CrewRegNum数据元类型字符型数据格式an9值域代码结构如 C+9位整数数字，C表示船员，数字表示编号。数据库表中不展示内容，用

9、于理解数据元名称船员登记号（“船员”是对象词，“登记”是特性词、“号”是表示词）英文名称Crew Registration Number中文全拼chuan-yuan-deng-ji-hao同义名词船员编号相关环境适用于海事全系统定义船员的唯一识别号数据库表中不展示内容，用于管理注册机构海事局提供者部海事局船员处源系统船员管理系统维护者部海事局科技信息处限制项该类数据一旦定义后则不可更改，例外情况：（省略）9数据元集信息示例中文名称中文名称（简称）称）标识符符英文名称英文名称定定义对象象类特性特性表示表示格式格式姓名名称（姓名）PAT00_100020Person-name由人的姓和名组成的字符

10、串。人姓名名称AA(29)性别代码PAT00_100031Person-sex，code男性与女性之间的生物学区分，用代码表示。人性别代码N年龄（岁）PAT00_100042Person-age,years表示人的实际年龄（岁）。人年龄物理量NN(2).N身份证件类别名称PAT01_100024Type of identify card表示个人的身份证件类别，如居民身份证、军官证、护照等。人件类别名称AA(20)身份证件类别代码PAT01_100025Type of identify card，code表示个人身份证件类别的代码。人件类别代码N身份证件号码PAT01_100026Number

11、of identify card表示个人的身份证件的号码。人证件号码识别号NN(18)籍贯名称（籍贯）PAT010101_100030Person-native place 表示人的籍贯。人籍贯名称AA(20)国籍代码PAT010101_100051Person-nationality,code表示人的国籍代码。人国籍代码N(3)民族代码PAT010101_100052Person-race,code表示人的民族代码。人民族代码NN数据元 是不是和表是不是和表结结构有些构有些类类似呢！似呢！10数据元 数据元作用数据元本身也是数据数据元本身也是数据单元，即也是数据。元，即也是数据。它就是一个用

12、来它就是一个用来对各行各行业的数据的数据进行自身行自身规范范化的一个方法或一套指化的一个方法或一套指导的理的理论。用用这一套方法一套方法对行行业数据数据进行行统一的名、型、一的名、型、值规范及分范及分类。规划好行划好行业数据元之后，可以数据元之后，可以为行行业构建出构建出统一、集成的、一、集成的、稳定的数据模型奠定基定的数据模型奠定基础，同，同时它也它也为数据交数据交换奠定基奠定基础。11数据元元数据主数据元数据管理主数据管理数据服务资源目录目录 12主数据定义主数据主数据主数据主数据 Master DataMaster Data指在整个企业/单位范围内各个系统间要共享的、高价值的核心业务实体

13、数据主数据是指具有广泛共享性共享性的全局型数据全局型数据。主数据的共享性由根据其数据性质分为长期共享和定期共享。MSA-S-PT-4MSA-S-PT-4：海事云数据中心技：海事云数据中心技术标术标准准-平台数据平台数据标标准准,5.1.1.1,5.1.1.1 海事数据的海事数据的统统一定一定义义 举例海事基础数据：船员基本信息、船员证书信息等海事动态数据：船员服务资历信息、船员培训信息、船员记分信息等海事位置数据：船舶当前位置信息13海事主数据定义示例主数据14数据元元数据主数据元数据管理主数据管理数据服务资源目录目录 15主数据管理主数据管理的建设目标明确的主数据管理流程主数据管理目标完善的

14、主数据系统功能清晰的主数据管理范畴弹性的主数据系统架构通畅的系统间交互接口良好的系统主数据质量16主数据管理主数据管理的范围高高质量量标准化准化主数据主数据数据治理数据共享数据质量数据集成17主数据管理主流MDM产品对比厂商厂商 企企业数据数据类型型MDM产品品支持支持SOA支持的支持的业务实体体实施成本施成本SAP主数据、主数据、业务数据数据(交易数据交易数据)SAP MDM是是SAP的所有的所有业备实体体最高最高Oracle主数据、元数据、交易数据、主数据、元数据、交易数据、计费数据数据 销售数据、售数据、库存数据等存数据等0racle MDM&OSB 或或 0racle MDM&0DI

15、Suite&OWB&Metadata Management 0SB是是三三类业务实体中心体中心(Hub)客客户、产品、位品、位置置 类似于似于IBM 的的领域域中等中等Microsoft主数据、元数据、分主数据、元数据、分级数据、非数据、非结构化数据、交易数据构化数据、交易数据 Master Data Service(MDS)是是未指定未指定 任意任意实体和体和层级最低最低IBM主数据、元数据主数据、元数据 变易数据、分析数据易数据、分析数据InfoSphere MDM server是是四个四个领域域(Domain)的的业务实体：参与人、体：参与人、产品、品、账卢、位置、位置中等中等甲骨文主数

16、据管理功能列表18数据元元数据主数据元数据管理主数据管理数据服务资源目录目录 19数据元元数据主数据元数据管理主数据管理数据服务资源目录目录 20元数据管理元数据管理的建设目标建立数据建立数据仓库系系统元模型，元模型，规范数据范数据处理理过程的程的结构化描述，构化描述，实现不同来源数据的元数据不同来源数据的元数据统一一维护管理管理实现数据数据仓库系系统各各层之之间元元数据定数据定义与互通，促与互通，促进数据数据处理理过程程规范化范化实现数据抽取、加数据抽取、加载、加工、加工、调度的元数据管理，度的元数据管理，扩充元数充元数据服据服务接口接口提供完善的元数据管理提供完善的元数据管理维护机机制，适

17、制，适应各各业务系系统频繁改造繁改造元数据管理元数据管理为数据数据质量管理量管理提供基提供基础支撑，促支撑，促进数据数据质量量标准管理准管理21元数据管理元数据管理的范围技技术元数据元数据描述系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖系统数据源接口、数据仓库与数据集市存储、ETL、OLAP、数据封装和前端展现等全部数据处理环节业务元数据元数据描述系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息管理元数据管理元数据描述系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息2

18、2元数据管理元数据管理的功能点应用用层对元数据管理的元数据管理的实际问题提供提供应用解决方用解决方案，主要包括指案，主要包括指标库管理、管理、业务术语自助自助学学习、维表表库管理、接口管理、数据管理、接口管理、数据仓库软件各件各层元数据互通、元数据互通、辅助助应用用优化、化、辅助安全管理、基于元数据的开助安全管理、基于元数据的开发管理和数管理和数据据质量管理等。量管理等。功能功能层元数据元数据功能功能层为前端元数据前端元数据应用提供了基用提供了基本的功能支撑，主要包括元数据基本功能、本的功能支撑，主要包括元数据基本功能、元数据分析功能、元数据元数据分析功能、元数据质量管理、元数量管理、元数据服

19、据服务接口和元数据接口和元数据权限管理五个部分。限管理五个部分。存存储层定定义了元数据存了元数据存储所遵循的元模型，所遵循的元模型，规范范从从获取取层得到的各得到的各类元数据的属性要求和元数据的属性要求和存存储格式要求，包括格式要求，包括业务元数据、技元数据、技术元元数据和管理元数据。数据和管理元数据。获取取层于于整个体系架构的最底整个体系架构的最底层，元数据，元数据获取取层抽象概括了元数据抽象概括了元数据获取的各种途径。取的各种途径。业务和管理元数据通常以手工方式和管理元数据通常以手工方式获取，技取，技术元数据覆盖数据源系元数据覆盖数据源系统以及数据以及数据仓库系系统数据的整个生命周期，要求

20、以自数据的整个生命周期，要求以自动方式方式获取，如数据字典和数据模型等。取，如数据字典和数据模型等。23资源目录资源目录要解决的问题HOWWHOWHENWHATWHERE信息从哪里来？需要的信息在哪里？信息到哪里去？在哪里使用？通过什么使用？谁提供？谁加工？谁使用？什么时间可以使用？什么时间可以提供？什么时间用的？有什么资源？资源的内容是什么？如何发布？如何查找？如何呈现？如何使用？如何管理？24业务流程示意图资源目录业务系统业务系统机构机构业务系统业务系统业务系统业务系统1 资源编目资源编目资源目录管理机构资源目录管理机构2 注册注册3 审核维护审核维护4 发布发布5 查询查询6 发现发现7 获取获取资源服务业务系统业务系统业务系统业务系统25资源目录功能点资源目录26