数字资源整合的机制与方法.ppt
《数字资源整合的机制与方法.ppt》由会员分享,可在线阅读,更多相关《数字资源整合的机制与方法.ppt(51页珍藏版)》请在三一文库上搜索。
1、数字资源整合的机制与方法,李广建 (),主要内容,信息技术对信息服务的影响 信息资源整合,信息技术对信息服务的影响,随着计算机技术、多媒体以及网络技术的飞速发展,信息载体的不断电子化、网络化,信息服务机构(如图书馆、情报机构)的信息技术也随之计算机化、网络化,以满足不断变化和发展的文献信息服务的需求。 信息技术既对信息服务机构带来了机遇、也带来了挑战。,机遇 提供了先进的技术手段 过去手工条件做到的,现在提高了效率 过去想到了,但因条件的限制做不到,现在能做了 过去没想到的,现在也能做了 挑战 过去的很多认识,现在不灵了(观念问题) 运行方式和作业环境发生了翻天覆地的变化(还是图书馆吗?) 用
2、户的要求越来越高了(需求总是很难满足),从挑战谈起,现有图书馆工作模式 流水线式的工作 目录为中心的工作模式 以文献为单元的工作模式,现代信息技术环境下图书馆工作面临的转变 工作的中心由面向馆藏的转变成面向用户的 从基于载体的信息提供转变成是基于内容的信息提供 从馆内服务或面对面的服务转变成网络服务或远程服务 技术和设备在很大程度上会影响工作效果,再看看机遇,如果我们转变观念 从图书馆的用户到用户的图书馆 如果我们改变流程 从分立的资源服务到集成整合的服务 如果我们用新技术 从简单的信息检索到个性化的推送,library,user environments,resource environme
3、nt,the library in the user environment, Not the user in the library environment.,Flexible assembly of services from multiple sources.,从图书馆的用户到用户的图书馆,总之,要 围绕着用户的工作流程构建相关的信息服务; 使用户不离开其工作环境就可使用信息资源; 按照用户的使用习惯组织信息资源和服务; 能根据用户的不同为其组织和装配不同的资源和服务 彻底解决 用户看到的一个个孤立的系统,是一个个的建设成果展示; 服务系统自成体系,系统互连性差,不能被相互调用; 系统之
4、的连接关系是零散、无序、任意的甚至是混乱的,没有一个清晰的流程; 用户不了解、不明白、不易用、不会用、不能用、不爱用,解决方案 信息资源整合,主要内容,信息技术对信息服务的影响 信息资源整合,信息资源整合,整合机制 整合技术,整合机制,目前数字资源整合系统的实现机制可以概括为四种 数据仓库整合机制 Mediator/Wrapper整合机制(中介器/封装器整合机制)、 Agent整合机制 P2P整合机制,整合机制数据仓库整合机制,数据仓库整合机制是一种物理集成方式,它将不同来源的数字资源按特定的方式(通常是按主题或其它多维方式)建模并存储在同一物理位置(称为数据仓库),提供给用户一个新的、统一的
5、目标数据模式(schema),使得用户能够一站式地访问各种数字资源,从而达到整合的目的。,下图概略地示出了数据仓库整合机制的基本原理,从上图中可以看出,数据仓库整合机制的最根本的特点是物理地存放数字资源,对不同来源的数字资源进行集中管理,简化了用户访问信息的复杂度,提高了数字资源的访问速度和整合系统的性能。 而且,由于实现了不同来源的数字资源的一致性存储,这种整合机制还有利于实施比信息检索更复杂、更深入的数据挖掘、知识发现等服务。 采用数据仓库整合机制进行整合的前提是必须能合法地(例如通过授权)获得来源系统中的数字资源,而且,由于是集中存储要整合的数字资源,因而难以适应网络数字资源类型多样、变
6、化快等特点,同时还会增加本地系统存储与维护的负担。 数据仓库整合机制较适用于自建资源。,数据仓库整合机制所涉及的技术主要有: (1)海量数据存储 (2)ETL技术 (3)信息源的监控与更新,(1)海量数据存储 数据仓库的数据来源于多个信息源(即参与整合的系统中的数字资源),因此具有数据量大、类型复杂的特点,属于海量数据。 解决海量数据的存储问题,除了需要相应的专门设备如磁盘阵列、光盘库、磁带库等,还需要精心地设计存储结构和存储算法,既要保证数字资源有合理的物理存储结构,又要保证有较快的存取速度。,(2)ETL技术 ETL技术是对要加以整合的数字资源进行抽取(Extract)、转换(Transf
7、orm)、清洗(Cleaning)、装载(Loading)的技术。 对不同来源的数字资源进行物理集成,首先需要从参与整合的系统中抽取出相关数字资源,这需要使用信息抽取技术。 由于信息源是异构的,因此,还必须利用转换技术将不同结构的数字资源规范化,消除异构数字资源之间的不一致性,为来自不同系统的数字资源之间的比较、整合以及统一存储奠定基础; 清洗技术主要是解决信息冗余的去重以及错误和不完整信息的修正、剔除问题; 装载技术则是将清洗后的数字资源按一定的规则加载至数据仓库,形成数据仓库的物理存储结构和逻辑存储结构。,(3)信息源的监控与更新 如前所述,数据仓库整合机制是一种物理整合方式,数据仓库本身
8、与信息源在物理上是分离的,因此必须要解决数据仓库与信息源的同步问题。也就是说,必须要监控参与整合的信息源的变化,同步更新数据仓库,确保用户在整合系统中查询到的是各个信息源中的最新数字资源。,整合机制M/W整合,mediator/wrapper整合机制是一种虚拟整合方式,在基于这种机制的整合系统中,并不真正存储需要整合的数字资源,而是通过mediator和wrapper来实现整合。 mediator和wrapper均为软件组件,位于用户和数据源之间,mediator负责处理用户提问和查询结果的整合,wrapper则负责对信息源的连接和具体查询。,mediator/wrapper整合机制的基本原理
9、如图所示。,在基于这种机制的整合系统中,用户按全局模式(Global Schema)进行查询,mediator接收用户查询并将其转换成中间格式,然后提交给相应的wrapper,wrapper进一步将中间格式的查询转化为信息源模式或本地模式(Source/Local Schema)的查询,并与参加整合的相应信息源进行连接,实现对相应信息源的查询,将查询结果返回给mediator,mediator对结果进行处理,以统一的形式提供给用户。,与数据仓库整合机制相比,mediator/wrapper整合机制能够有效地保持各个异构信息源的自治性,满足局部的应用,并且能够充分发挥mediator的作用,满足
10、全局性应用。同时,使用这种机制的整合系统不需要在本地储存大量的数字资源,因而能够适应网络环境下信息源高度自治、数量多、更新变化快等特点,而且,在mediator中引入Ontology等语义相关技术后,能够有效解决知识整合、个性化服务等问题。 因而,mediator/wrapper整合机制是目前实现数字资源整合的主流方式。,mediator/wrapper整合机制涉及的主要技术有: (1)信息源选择技术 (2)信息抽取技术 (3)查询处理技术 (4)结果整合技术 (5)语义整合技术,(1)信息源选择技术 mediator/wrapper整合机制是一种虚拟整合方式,整合系统本身并不存储被整合的数字
11、资源,当用户进行查询时,如果将用户查询不加区别地发送给参与整合的所有信息源,必然会导致占用较多的带宽并增加系统的负担,这就需要利用信息源选择技术来确定相关度高的信息源,以提高整合系统的效率。 信息源选择技术主要包括信息源描述和信息源选择两个方面,前者是按一定的算法建立对各信息源的描述模型,后者是在信息源描述模型的基础上,根据用户查询,按一定算法选出相关度高的信息源作为查询对象。,(2)信息抽取技术 信息抽取技术应用于整合系统的目的是将参与整合的半结构化、非结构化信息源中的数字资源转化成结构性更强、语义更清晰的格式,以提高查询速度。目前,信息抽取技术已经成为了生成wrapper的关键技术之一,广
12、泛应用于面向网络数字资源的整合系统中。,(3)查询处理技术 查询处理技术是mediator/wrapper整合机制中的最重要的技术之一,是对查询进行检验、重构、优化的技术。 用户对整合系统查询时,整合系统需首先对用户查询进行语法分析和检验,确保查询符合系统全局模式的要求,这部分工作主要由查询检验技术完成。 此后,整合系统再将经过检验的查询按一定的规则转换为面向不同信息源模式(本地模式)的多个查询,这个过程称为查询重构。 整合系统面对的是不同的信息源,由于各个信息源有其自身的特点,例如有不同的传输带宽和传输延时,加之当前运行情况有不确定性,如当前的信息源访问量是大还是小、信息源是否能很快与整合系
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数字 资源整合 机制 方法
链接地址:https://www.31doc.com/p-3183195.html