数据网格环境下的元数据分发技术研究_硕士学位论文.doc
《数据网格环境下的元数据分发技术研究_硕士学位论文.doc》由会员分享,可在线阅读,更多相关《数据网格环境下的元数据分发技术研究_硕士学位论文.doc(59页珍藏版)》请在三一文库上搜索。
1、硕士学位论文数据网格环境下的元数据分发技术研究A Dissertation Submitted to Huazhong University of Science andTechnology for the Degree of Master of EngineeringThe Research on Metadata Dissemination Technology for Data GridCandidate: Zuo Jinhu Major: Computer Software and TheorySupervisor: Prof. Lu YanshengHuazhong Universi
2、ty of Science and TechnologyWuhan 430074, P.R.C.January, 2007独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名: 日期: 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:学校有权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查
3、阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密,在_年解密后适用本授权书。本论文属于不保密。(请在以上方框内打“”)学位论文作者签名: 指导教师签名:日期:年 月 日 日期:年 月 华中科技大学硕士学位论文摘 要伴随着Internet网络规模的飞速增长,在计算密集型和数据密集型应用领域,传统的分布式计算和并行处理技术已不能满足高性能分布式处理和分布式海量存储管理的需求,于是网格技术应运而生。数据网格(Data Grid)的概念来自于网格,它是网格技术在数据管理方面的应用和实现。数据网格环境下的数
4、据访问过程依赖于资源发现,而资源发现即为发现对数据资源进行描述的元数据,网格环境下网络资源频繁变化,相应的元数据变化也很频繁,而如何能更加快捷有效地获得所需要的元数据,就需要各个节点能够将各自的元数据快捷有效地分发到网络中的其他相关节点,这取决于元数据分发策略的实施。现有的元数据分发策略基本可以分为两类:被动分发和主动分发。主动元数据分发具有很高的准确性,但是却会占用很多网络资源;被动元数据分发具有低代价性,但是却很难保证元数据的准确性。轮值会议元数据分发(Rotating Meeting Metadata Dissemination, RMMD)以轮值会议召开的方式来进行元数据的分发,并采用
5、了HLA(High Level Architecture)数据分发管理中采用的数据过滤机制,它兼具了主动元数据分发的准确性和被动元数据分发的低代价性,能快捷有效的完成元数据在整个网格中的分发,让整个网格的元数据在较短的时间内、用较小的代价得到较好的配置。通过模拟仿真实验将RMMD策略与主动元数据分发策略、被动元数据分发策略进行比较,实验结果显示RMMD策略可以有效的分发整个网格中的元数据,提高分发的准确性,并保证分发的低代价性。关键词: 数据网格,元数据分发,轮值会议AbstractWith the rapid growth of internet network scale, the tra
6、ditional distributed computation and parallel processing technology hasnt met the need of this high-powered distributed computation and distributed management for large memory in the domain of computation-dense and data-dense application. As a result, grid technology came into being. Data grid of is
7、 the grid technology application and realization in data management.The process of data accessing in the data grid depends on resource discovery which finds out the metadata that describes source. For the resource in grid frequently changes, the corresponding metadata changes a lot, too. To get the
8、requisite metadata quickly and effectively requires that every node could disseminate its data to other corresponding nodes quickly and effectively, and this lies on the implement of metadata dissemination strategy which is classified as passive and active. Active metadata dissemination (ACTMD) has
9、great veracity but it occupies too much network resource. Passive metadata dissemination (PASMD) has low cost but it hardly ensures the veracity of metadata. Rotating Meeting Metadata Dissemination (RMMD) disseminate metadata in the way of rotating meeting convocation, and adopts the data filtration
10、 mechanism in HLA data distribution management .The RMMD which has both the benefits of veracity of ACTMD and low cost of PASMD can disseminate metadata in the whole grid quickly and effectively, and make the metadata in the whole grid get better collocation with lower cost in a shorter time. Compar
11、ed RMMD with PASMD and ACTMD through simulation experiment, the results show the RMMD strategy could disseminate the metadata in the whole grid effectively, increase the veracity and ensure the low cost of dissemination.Keywords:Data Grid,Metadata Dissemination,Rotating Meeting目 录摘 要IAbstractII1 绪论1
12、.1研究背景(1)1.2国内外研究概括(2)1.3本课题研究的目标和意义(5)1.4本文组织结构(6)2 数据网格中的元数据分发技术2.1数据网格核心问题(7)2.2元数据的提出(7)2.3传统数据分发技术(11)2.4数据网格中传统元数据分发技术(13)2.5小结(15)3轮值会议元数据分发机制3.1背景介绍(16)3.2轮值会议元数据分发的原理(18)3.3轮值会议元数据分发的协议(19)3.4小结(28)4原型系统开发与仿真实验分析4.1RMMD原型系统开发(29)4.2实验环境OPNET(30)4.3仿真模型(34)4.4仿真算法(37)4.5实验与性能分析(40)4.6小结(43)5
13、总结与展望5.1本文工作总结(44)5.2展望(45)致 谢(46)参考文献(47) IV1 绪论1.1 研究背景伴随着Internet网络规模的飞速增长,计算机网络技术和分布式技术得到了高速发展和广泛应用,许多科学计算领域,特别是计算密集型和数据密集型应用领域,对广域网环境下海量数字信息分析处理和协同计算能力的要求也越来越高1。这类应用需要将分布在不同地理区域的高性能计算能力、超大规模数据集合和各种资源整合在一起,为分布在不同地理区域的用户提供服务。传统的分布式计算和并行处理技术已不能满足这种高性能分布式处理和分布式海量存储管理的需求,于是网格2,3技术应运而生。网格技术可以把分布在各地的计
14、算机连接起来,实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享,感觉如同个人使用一台超级计算机一样。这种虚拟资源可以使相关人员迅速获得所需的数据访问和处理能力,帮助其进行计算密集型的研究和数据分析、解决复杂的业务问题。这样,网格就可以帮助用户突破今天技术基础设施的限制。对于传统网络环境,网格具有动态可变、异构、多域等特性。网格计算作为新一代的分布式计算框架,与传统分布式系统的主要区别在于在没有集中控制的情况下,通过对计算资源进行大规模的共享,满足应用程序对高性能计算的要求4,并且这种对计算资源的大规模共享是动态的、柔性的、安全的和协作的。目前,在国内外网格也引起了极大的
15、关注,如美国Argonne国家实验室研发的Globus系统5,6、欧洲数据网格DataGrid7、美国能源部的科学计算网格DOE Science Grid、中科院计算所的织女星网格VEGA Grid8等等。数据网格(Data Grid)源于网格,它是网格技术在数据管理方面的应用和实现。它将地理上分布、异构的多种数据资源,通过高速互连网络连接并集成起来,屏蔽底层异构的物理资源,形成单一的逻辑视图,实现资源共享和协同工作,为用户提供虚拟的数据访问、数据存储、数据管理和处理环境。其中,良好地表示、存储、访问和使用大量资源信息是数据网格运行的基本前提。在数据网格计算中,资源是分布的,资源及其提供者也是
16、分布的。为了对网络资源进行有效的管理和检索,使目前有序和无序状态并存的网络资源能够像传统资源(如馆藏资源)一样有序化,从而使它们得到更好的利用,人们一直都在作着多方面的努力。从早期的Archie和Gopher系统,到近期的搜索引擎和主题指南,都是这方面努力的成果。历年实践表明,增加关于资源的额外信息或元数据(metadata)是更好地组织资源的基础,它能够提高相关资源被检索和存取的可能性,提供对主题领域更清晰的全面认识,并提高用户区别相似资源的能力。正因为如此,元数据逐渐受到普遍的重视9。元数据(metadata),简言之就是“关于数据的数据”,是对数据进行组织和处理的基础。数据网格环境下的数
17、据访问过程依赖于资源发现,而资源发现即为发现对数据资源进行描述的元数据。同时数据网格环境中网络资源频繁变化,一方面,结点可以动态的加入、离开系统,另一方面,各个节点中的资源也是不断变化的,相应的元数据变化也很频繁,而如何能更加快捷有效地获得所需要的元数据,就需要各个节点能够将各自的元数据快捷有效地分发到网络中的其他相关节点,这取决于元数据分发策略的实施,也是本文集中探讨的问题。1.2 国内外研究概括1.2.1 Globus中的元数据目录服务Globus系统是目前比较具有影响力的一个网格项目,提供网格环境下的中间件服务,如MDS、GridFtp等。系统使用标准的协议实现了文件数据的移动、远程访问
18、GASS及数据的高速传输GridFtp机制,在此基础上完成数据复制、元数据目录的管理MDS(Metadata and Directory Service)和复制的选择工作,为数据网格系统提供了一个较好的底层系统开发平台10。其中,MDS在网格环境中提供资源信息服务11。MDS主要负责对网格环境中信息的发现、注册、查询、修改等工作,提供对网格计算环境的一个真实、实时的动态反映。该服务是建立在轻权目录访问协议LDAP(Lightweight Directory Access Protocol)12基础上的,处理网格计算环境中的各种资源(包括数据资源、计算资源等)、服务和其他主体(entity)的描
19、述,是网格计算环境中的信息服务中心。它采用两层结构13:1) 网格资源信息服务器(Grid Resource Information Server, GRIS):以一种目录的结构登记具体的资源信息。2) 网格索引信息服务器(Grid Index Information Server, GIIS):记录有GRIS的地址,并能提供GRIS信息缓冲。1.2.2 GridDaen中的元信息服务GridDaen是国内最早实现的通用数据网格原型系统,是中国国家网格(China National Grid, 简称CNGrid)研究的一部分。CNGrid是国家“十五”863计划“高性能计算机及其核心软件”重大
20、专向支持建设的网格示范平台,通过资源共享、协同工作和服务机制,有效支持科学研究、资源环境、先进制造和信息服务等领域的应用,以技术创新推动国家信息化建设及相关产业的发展。GridDaen主要目标是统一管理和访问分布异构环境下的海量存储和数据资源,为用户提供一体化虚拟数据空间和统一逻辑视图,支持对分布数据集的统一无缝访问,实现虚拟数据集和跨管理域的联邦数据服务。系统具有可扩展性、安全性、动态可配置、高性能、高可用性等特点14。GridDaen主要由客户机、数据访问、元信息服务MDIS(Metadata Information Service)和底层异构资源四部分组成。其中,数据访问子系统包括请求优
21、化管理调度与DRB(Data Request Broker)服务器,元信息服务子系统包括高层元信息服务与局部信息服务。DRB服务为用户提供数据访问、存储和管理的功能。MDIS是一个层次式分布服务结构,由局部元信息服务器和中央全局元信息服务器组成。各个局部元数据服务器负责所对应本地的资源和数据元信息服务,提供元信息服务的访问。中央服务器建立各个局部元信息的索引和数据缓冲,为DRB实现统一的访问接口和全局数据视图提供元信息支持。MDIS和DRB是相互独立设计和实现的,通过系统的部署和配置建立服务关系。图1.1为元信息服务逻辑结构图。中央全局元信息服务器处于系统的中央位置,管理着分布各处的局部元信息
22、服务。局部元信息服务则分散在系统中的不同位置,受到中央节点的管理和监控。局部元信息服务一般位于某台元信息服务节点机器上,通过配置为某个或者某几个DRB域提供元信息服务。这种两层式设计可以提高系统的可扩展性,方便系统管理,并减少了集中式设计带来的性能瓶颈和单点失效问题。中心节点局部Site A局部局部Site CSite BSite X图1.1 元信息服务逻辑结构图1.2.3 传统网格中元数据分发技术现有的元数据分发方式基本可以分为两类:被动分发和主动分发。对于被动分发而言,除非有请求到达,节点不会发布自己拥有资源的元数据;主动分发与之相反,当节点加入网络或者节点数据发生一定变化的时候,节点会立
23、即发布自己的元数据。显然,被动分发的网络资源的消耗甚小,但同时对于网络资源频繁变化的环境,元数据中存在很多错误,其他节点数据的准确性无法得到满足。而主动分发可以在最大可能上保证元数据的准确性,从而可以增加节点数据的有效性,但由于分发数据过多,对网络资源的使用也是最多的。对于主动分发而言,根据对元数据分发处理的不同,即分发给什么样的节点以及怎么样转发别的节点发来的元数据,可以将主动分发策略分为以下几种15,16。1. 泛洪式 在该算法中,元数据分发采用最简单的泛洪的方式。也就是说:当自身产生更新消息后,也向网格中的所有节点发送消息。2. 邻居式在该算法中,所采用的策略是:设定一个半径范围(该半径
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 网格 环境 分发 技术研究 硕士学位 论文
链接地址:https://www.31doc.com/p-3937376.html