三章网格体系结构.ppt

第三章网格体系结构,内 容,五层沙漏结构 开放网格服务体系结构OGSA Open Grid Service Architecture Web Service 资源服务框架WSRF Web Service Resource FrameWork,网络计算体系结构的发展（续）,网格计算体系结构 层次体系结构 开放网格服务体系结构OGSA OGSIWSRF（WSResource Framework）,Grid的主要问题,在动态变化的、多机构组成的虚拟组织（VO)内的协作资源共享和问题求解,允许分布的服务和资源集成 采用通用的协议和基础支撑 获得较好的QOS服务,一个虚拟组织例子: CERNs Large Hadron Collider,1800 Physicists, 150 Institutes, 32 Countries 100 PB of data by 2010; 50,000 CPUs?,Grid Communities & Applications: Data Grids for High Energy Physics,www.griphyn.org www.ppdg.net www.eu-datagrid.org,网格技术挑战,网格体系结构和网络计算模型 Internet活动规律和特性 网格计算的资源共享和协同的基础理论 Agent？ 协同优化理论？ 标准和协议体系 建立一个开放的信息处理基础设施平台 一个开放的体系结构、标准和协议，以形成信息获取、传输、访问和处理的单一虚拟系统基础平台 屏蔽异构平台、异构语言,网格技术挑战（续）,虚拟组织的管理和协同工作 基于服务的协作集成技术等； 多个系统的协调和集成 服务和应用的自治管理和优化 自动配置和部署 网格的高可靠和可用性技术 资源多层次和多方面的异构性 系统状态的不确定性 异构分布的环境高可靠的保证 单点失败不导致系统， 网格的安全机制和可信技术 多域的安全问题 访问控制模型 可信技术,网格技术挑战（续）,高度灵活的共享关系定义和共享资源的复杂高级控制 细粒度访问控制、代理 灵活，可应付许多资源类型和共享方式 可扩展大量资源、许多的参与者和程序模块 的调度和联合分配 记帐技术 各个站点同时履行资源分配的合约，具有事务性原则,网格技术挑战（续）,海量分布数据的存储、分发、访问和管理 高速透明访问多个地点的海量存储系统 统一的数据操作和管理空间 结构化数据访问和管理 非结构化数据访问和管理，etc 网格资源与服务的发现、组织和调度与管理的方法和算法 在线设备的数据自动注释和分类目录 高性能分布数据密集型系统必须使用网络级别、平台级别和构件级别的并行和流水线 高速系统的精确监控 对于算法分析、问题监测和动态自适应配置非常重要 资源、系统、应用的监控 网格系统的自治管理技术 灵活的、自治的资源管理（自动的服务器重启、数据迁移、拥塞避免等）,网格技术挑战（续）,网格的编程模型和语言 我们需要突破传统的程序设计和并行程序设计语言与编程模型 MPIG？ 网格环境下网格服务的应用形态和高层shell语言 网格工作流语言和机制 面向服务的工作流？ 多域环境下的工作流 网格系统的自适应技术和机制 应用系统在异构分布环境中优化执行； 基于构件技术的网格应用开发环境和工具 面向应用领域的基础支撑工具和服务。,对体系结构基本要求,在技术上，从应用的角度看： 不能破坏现有系统，不能重蹈覆辙（分布操作系统 ） 为应用提供单一分布资源全局视图和聚集各种分布的自治资源成为一个系统 不导致应用程序的重新编写 移植简单,对体系结构基本要求,不同组织之间的资源共享互操作是必不可少的 对资源直接访问，不单单是文件共享和交换 体现在各种资源构件之间和机制之间 标准的协议是至关重要的 允许跨节点的 interoperability 允许 shared infrastructure,需要标准的协议、服务是重要的,标准的APIs/SDKs是重要的 允许应用可移植 没有标准协议互操作很难 (every SDK speaks every protocol?) 基本服务的定义 可共享，避免重复开发和安装 E.g., one port/service/protocol for remote access to computing, not one per tool/appln E.g., Certificate Authorities: expensive to run,网格体系结构设计,在技术上，从Grid 实现者的角度： 一个层次型中间件服务集合（like 现行的系统） 按照现代软件系统的设计原则，以服务的方式为应用工具和应用的开发提供支持； 服务的实现必须能够自由地使用各个层次上的功能和服务进行构造。 （这和许多系统的设计原则不同）,Grid “体系结构”,从标准协议、服务角度分析Grid 系统 结果是一个层次协议体系结构 五层沙漏体系结构 Ian Foster等描述了一种具有代表性的体系结构,沙漏结构设计原则,保持参与的开销最小 核心协议较少的，要普遍支持 提供一些核心服务为基础 类似OS内核，移植方便 管辖多种资源，允许局部控制 用来构建高层的、特定领域 的应用服务 支持适应性 “IP hourglass” model,高层功能向瓶颈部分的映射,瓶颈部分功能向底层的映射,瓶颈部分,Hourglass,Grid Architecture 比较Internet Architecture,每一层存在的协议、服务和接口,Languages/Frameworks,Fabric Layer,Applications,Local Access APIs and Protocols,Collective Service APIs and SDKs,Collective Services,Collective Service Protocols,Resource APIs and SDKs,Resource Services,Resource Service Protocols,User Service Protocols,User Service APIs and SDKs,User Services,Connectivity APIs,Connectivity Protocols,详细构成,工具与应用,目录代理诊断与监控等,资源与服务的安全访问,应用层,汇聚层,资源与 连接层,各种资源，比如计算机，存储介质，网络，传感器等,构造层,Grid体系结构各层说明,构造层(Fabric)：提供一套对局部资源控制的工具和接口； 计算、存储、网络、数据和目录等 对所控制的共享资源进行局部管辖和调度 实现各种资源本身的一些控制管理机制 不同类型资源不同的控制管理机制,YH资源和作业管理系统,SGI资源和作业管理系统,IBM资源和作业管理系统,特定构造层资源及其功能特性,Grid体系结构各层说明,连通层(connectivity):定义了Grid网络事务处理的通信和验证协议，基于Internet协议； 基于Internet协议，完成通信； 认证和安全通信,连接层安全认证特性,Grid体系结构各层说明（续）,资源层（Resource)：定义了一些对单个的资源共享操作协议 定义了某类资源的管理和操作等的标准协议和接口 可以远程统一的访问和共享操作资源 如交换、启动、监视、控制、记帐和支付等，以及应用程序接口和软件包；,例如：标准的作业管理系统接口和标准,资源层的协议类型与描述,Grid体系结构各层说明（续）,聚合(Collective)：提供多个资源协同工作 联合资源调度和预约，信息服务，数据复制服务、资源发现服务、团体授权服务、协作服务和分布记帐服务等；,例如：标准的作业管理系统接口和标准,联合分配,汇聚层服务和协议,Grid体系结构各层说明（续）,应用层：提供Grid的系统开发和应用开发工具、环境 程序设计语言和应用开发方法、环境 可视化工具 资源发布和预定工具 工作流管理工具 Web Portals 应用代码构件 应用,五层结构应用 例1,五层结构应用 例2,五层结构应用 例3,Layered Architecture,Applications,Core Services,Metacomputing Directory Service,GRAM,Globus Security Interface,Replica Catalog,GASS,GridFTP,Local Services,LSF,Condor,MPI,NQE,PBS,TCP,AIX,Linux,UDP,High-level Services and Tools,Cactus,Condor-G,MPI,Nimrod/G,globusrun,PUNCH,Grid Status,I/O,Solaris,DRM,Open Grid Architecture,Data Handling Systems,Storage Resources,API that provides “glue” to underlying storage, QoS, etc. GASS, IBP, SRB,Remote Procedure Execution,DPSS, DFS, NFS HPSS, ADSM, DMF, Unitree, NASstore, DB2, Oracle, Informix, Sybase, O2, ObjectStore, Objectivity,API that provides “glue” to underlying data handling systems (security, scheduling, QoS, access protocol, data format/model, adaptivity, info discovery, location control),Data Model Management,Application,Storage System Description,Information Discovery,Armada Dagents, FEL, ADR GRAM, SRB,+ authentication + authorization,Dynamic Info Discovery,GloPerf, Netlogger, NWS,(e.g., filtering),Condor, GASS, NILE, SRB, I-2 caching, ADR,DTD, ADR, object class,LDAP, Database, Flat file, Object database,