三章信息管理.ppt
《三章信息管理.ppt》由会员分享,可在线阅读,更多相关《三章信息管理.ppt(59页珍藏版)》请在三一文库上搜索。
1、第三章 信息管理,龚 斌 山东大学计算机科学与技术学院 山东省高性能计算中心,元计算目录服务MDS,MDS,Metacomputing Directory Service, MDS 是Globus提供的一个信息服务模块 主要任务是管理网格中的各种信息,包括信息的发现、注册、查询、修改、注销等 提供一套工具和API用于发现、发布和访问计算网格资源的信息,MDS的版本,MDS1(Metacomputing Directory Service) Centralized database Globus 1.1.2 and earlier Did not scale Single point failu
2、re LDAP based MDS2(Monitoring and Discovery Service) Distributed services In Globus Toolkit 1.1.3 and GT 2.x Two classes of server: GIIS and GRIS LDAP based Lazy caching presented scalability problem,MDS的版本(续),MDS3(Monitoring and Discovery System) Even more distributed services Based around OGSI sta
3、ndard In Globus Toolkit 3.x MDS4 Based around WSRF standards In Globus Toolkit 4.x More native components-(web UI, trigger service, ganglia, hawkeye,Globus实现信息服务的假设前提,信息资源分布而且单个的资源容易发生故障 系统的信息提供者数目众多 信息资源的类型和信息使用的类型都很多,MDS试图回答的问题,目前有那些资源可用? 当前网格的状况如何? 如何根据底层资源的配置来优化一个具体的应用?,MDS设计需要考虑的方面,性能 扩展性和费用 一致
4、性(Uniformity) 可表达性 多信息源 动态数据 灵活访问 安全 容易部署 分布式维护,MDS的两类接口,交互接口 编程接口(每次启动程序时使用的处理器个数不同,动态变化),Globus信息服务的两个方面,信息的使用(information retrieval) 信息的获取(discovery and monitoring),MDS的信息,静态的主机信息,如:操作系统版本、CPU类型、处理器数目; 动态的主机信息,如:平均负载,队列入口等; 存储系统信息,如:可用磁盘空间,全部磁盘空间,等; 通过Network Weather Service提供的网络信息,如:网络带宽,延迟等。,平台
5、类型和体系的指令集 操作系统的名称和版本 CPU信息类型,CPU数目,版本,速度,缓存等等 内存物理和虚拟内存大小,空闲空间等 网络接口信息机器名和地址 文件系统概要大小,空闲空间等等,MDS在Globus协议集中的位置,MDS-2 Implementation,Grid Information Service (GRIS) Provides resource description Modular content gateway Grid Index Information Service (GIIS) Provides aggregate directory Hierarchical gr
6、oups of resources Lightweight Dir. Access Protocol (LDAP) Standard with many client implementations Used for GRIP (and GRRP currently),MDS的特点,MDS提供了一个虚拟组织,在这个组织内,参与到一个合作活动内的一组人能够互相之间共享资源,一个虚拟组织内的资源在一个统一的视图下收集和显示信息。 GRIS提供了一个通用的方法来查询一个计算网格的当前配置、能力和状态的资源信息。这样的服务包括host id,以及一些动态的信息如CPU和可用内存等。 GIIS能够将一些
7、任意的GRIS联系起来形成一个连续的系统映像,以供网格应用探究和查询。例如,一个GIIS能够列出一个实验室联邦内的所有可用的计算资源,或者一个代理所拥有的所有的分布式数据存储系统。,MDS结构,每个资源运行一个标准的信息服务(GRIS),它使用LDAP进行通信,并提供关于资源的信息; 一个GIIS提供一个类似网络搜索引擎的缓存服务,每个资源通过一个GIIS进行注册,当缓存失效时,一个Client请求信息服务时,GIIS将从注册的资源出取出信息; 一个GIIS提供了一个在合作层的索引、搜索服务机制。,MDS的层次结构,“Classic” MDS Architecture (MDS-1),Reso
8、urces push information into a central organization server via regular updates (globus-gram-reporter), where it can be retrieved by clients. Regular updates dont scale as the number of resources grow rapidly. Commercial LDAP servers are optimized for “read” requests, and cant handle frequent “write”
9、requests. If organization server is unavailable, no information is available.,“Standard” MDS Architecture (MDS-2),Resources run a standard information service (GRIS) which speaks LDAP and provides information about the resource (no searching). GIIS provides a “caching” service much like a web search
10、 engine. Resources register with GIIS and GIIS pulls information from them when requested by a client and the cache as expired. GIIS provides the collective-level indexing/searching function.,GIIS Cache contains info from A and B,GIIS requests information from GRIS services as needed.,Client 1,Clien
11、t 2,Client 3,Clients 1 and 2 request info directly from resources.,Client 3 uses GIIS for searching collective information.,MDS-2 Service Architecture,Dynamic Registration via Reg. Protocol (GRRP) Resource Inquiry via Info. Protocol (GRIP) Co-located with resource on network Resource Discovery (via
12、GRIP or other) Using GRIP allows resource/directory hierarchy,discovery (GRIP?),lookup (GRIP),registration (GRRP),VO-specific Aggregate Directories,standard Resource Description services,R,R,R,R,A,A,?,两个方面相对分离的好处好处,可以支持多种发现与监测策略 可以在多种具体的实现因素之间进行平衡,而不需要修改组成网格的资源与服务,如何实现分离?,Core providers http:/www.gl
13、obus.org/mds/DefaultGRISProviders.html. generic providers http:/www.globus.org/mds/TestSuite.html. Custom Information Providers http:/www.globus.org/mds/creating_new_providers.pdf,用户1,GRIS,IP,IP,IP,GRIP,资源A,如何实现分离?,用户2,GRIS,IP,IP,IP,GRIP,资源A,GIIS,GIIS,GIIS,GRIS,资源B,GRRP,GRRP,GRRP,Globus提供的不同查询方式,如何提
14、高性能?,关键:Cache,用户,GIIS,返回数据,Y,N,GRIS,Y,返回数据,N,IP,返回数据,如何判断cache命中,有需要的数据 在cache time-to-live (cache TTL) 规定的时间内,CACHE TTL与GRIS注册频率的关系,GRIS每Q个时间单位重新注册一次 GRIS注册信息的TTL与Q的关系? TTLQ? 后果是什么?,信息的组织层次:目录信息树DIT,GRIS,GRIS框架被实现为一个OpenLDAP服务后台,可作为一个可插入的特定的信息服务。每个MDS的资源能够运行一个本地的GRIS。 一个GRIS能够来自其他系统的关于本地机或者其他资源的网格信
15、息。他能够通过GIIS进行注册,以便后者将信息传给他人。 一个GRIS能够认证和转换来自客户端的查询,将查询进行分派,根据查询的类型分别给予那些关心的信息提供者,最终所有的查询结果被集中返回给客户端。 GRIS通过良好定义的API和信息提供者进行通信。提供者定义的实现了GRIS API的子过程能够帮助GRIS配置指定信息提供者产生的信息类型。,GRIS,为了确保GRIS的操作不被干扰,提高反应速度,增强调度的灵活性,每个提供者会缓存一次的查询结果,以便降低提供者被激活的次数。缓存的有效时间(TTL)作为提供者的局部配置。 由每个提供者返回的结果将会被GRIS进行过滤,以除去那些不满足客户端存储
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息管理
链接地址:https://www.31doc.com/p-2328158.html