云存储解决方案成功案例与经验分享.ppt

漫步云端 尽享轻松存储 IBM XIV & SoNAS 云存储的双重基石,世界每天都在变得越来越智慧 是什么让它越来越智慧? 答案是越来越多的信息!,2009年发售250亿 RFID 到2013年，每年将发售有9亿卫星导航设备 （GPS) 在美国，每天产生400TB的文字信息 资料仓库,视频监控,智慧电网,三网融合. 物联网技术方兴未艾，PB级的信息系统将司空见惯,2000,2005,2010,2015,需要控制存储容量的增长,存储需求的增长超过了预算的增长,预算,数据,控制您的开销 立刻采取措施，也许还能控制住成本,信息爆炸与预算的匹配情况,越来越复杂的IT环境,驱动 A,驱动 A,驱动 B,驱动 B,驱动 C,远程镜像?,能否跨存储服务器实施拷贝服务?,需要有几套存储管理接口?,没空间了,没空间了,没空间了,空余空间,010101010101010101 010010101101001000,数据迁移,SAN,存储的利用率高吗?,数据迁移造成的停机时间是否很多?,Windows Servers,Linux Servers,UNIX Servers,Islands of computing and data Disparate management tools Manual Provisioning,Management Servers,Physical Consolidation,Complexity,Logical Virtualization,Windows Server,UNIX®Server,Linux Server,Networking,Networking,Fewer devices and licenses Disparate management tools Labor intense provisioning,Pools of resources Virtualized servers Quick provisioning Automated management,Storage,Virtualization,Virtual Servers, Storage, Networks,Storage,Servers,让高效云存储来帮您解决问题,Networking,云计算的核心要素,Business and IT Workloads,=,虚拟化,+,标准化,自动化,+, 更多的资金用于新的投资 加速部署和增加新的IT能力,随处访问 随时在线 自动按需扩展 用户自我服务,2019/5/7,7,云计算,智慧的服务 提供方式,云计算是一种新的计算模式，利用互联网技术把大量可扩展(和弹性)的IT相关的能力作为一种服务提供给多个用户,2019/5/7,8,什么是云存储?,云存储在云计算 (cloud computing)概念上延伸和发展出来的一个新的概念。 云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 云存储是一种存储服务模式(Storage as a Service)：把存储资源作为服务通过网络提供给用户,2019/5/7,9,云存储的特点,IBM云存储为用户带来的价值 简化了IT管理工作 提高了IT管理的效率 节约了成本，保护环境 排放热量减少60%以上 空间占用减少80% 灾难恢复时间减少85% 快速满足业务需求,能够监控存储资源，并根据已定义的规则自动地平衡资源的分配。,动态性,存储资源的物理位置及底层的基础架构对于用户来说是透明和不相关的,虚拟性,可以将复杂的工作负载分解成小块的工作，并将工作分配到可逐渐扩展的架构中。,扩展性,基于服务为导向的架构，动态地分配和部署共享的存储资源。,有效性,灵活性,可以支持多种计算机应用类型，且同时支持消费者应用和商业应用。,2019/5/7,10,存储云与传统存储平台的区别,块存储云,文件存储云,块存储用户,文件存储用户,LUN, iSCSI LUN Targets,POSIX (NFS,CIFS,WebDAV),快速为用户部署存储空间,按实际用量计费,降低存储成本 (存储共享，重复数据删除，数据压缩),系统管理简单,弹性扩展,11,IBM云存储解决方案,集群文件存储,云中的存储虚拟化架构,块设备访问 (Storage Volume),存储集合管理,VM Mobility,服务器集合管理,Hypervisor,Storage Controllers,SAN Switches,Block Storage Ensemble XIV,Storage Mobility,Storage Controllers,SAN Switches,Virtualized Block Storage Ensemble SVC,Storage Mobility,Storage Controllers,SAN Switches,Backup & Archive Ensemble,Storage Controllers,SAN Switches,File Storage Ensemble SoNAS,高扩展文件系统,存储虚拟层,文件访问 (File),Tape,存储的变化应该对上层应用透明，不影响上层应用的配置和运行,更安全更可靠! 安全的存储和保护业务信息 更快更持续 应对整合的多种业务 更简单易用 让信息人员专注于业务 性价比更高 更低的运维成本 扩展和变更容易 迁移/整合/升级简单, 平滑,SVC XIV SoNAS,企业级存储云对存储的要求,14,IBM存储家族,自动存储,分级存储,存储虚拟化服务 - SVC,备份，恢复和去重服务系统,在线和离线备份,集中和异构存储管理系统 - TPC,共享文件服务,SAN /IP,DS8000,DS5000,DS3000,XIV,IBM,IBM 磁带,Tivoli Storage Manager,ProtecTIER,Tivoli Productivity Center,SAN Volume Controller,Others,HDS,HP,EMC,非IBM存储,V7000,SVC: 网络级存储虚拟化中心,16,SVC协助建立了一个十分灵活的虚拟存储架构,SAN,HDS,IBM,Virtual Disk,Virtual Disk,Virtual Disk,Virtual Disk,SAN Volume Controller,SUN,HP,EMC,把不同存储阵列的存储容量组成一个统一的存储池,Advanced Copy Services,在存储池上应用统一的拷贝服务功能,通过中心控制点进行集中管理,存储设备发生改变时，主机应用不会被迫中断,XIV: 块级网格云存储,自我 管理,自我 优化,自我 恢复,包含全部 企业功能,降低总体拥有成本,2019/5/7,19,块存储云 XIV 网格虚拟存储,所有特性全部均可线性扩展,2019/5/7,20,5 点要素, 完全适应块级存储云,2019/5/7,21,XIV 数据分布算法,分布算法 每个 volume 均跨越全部磁盘转轴; 数据被”分成”1MB “分区” 以网格的方式存储在磁盘上; XIV以”伪随机”的算法自动将 ”分区” 分布到 所有 的磁盘上; 优点 无需调优; 没有热点; 恒定100%负载均衡; 恒定100%磁盘利用率,2019/5/7,22,XIV - 存储扩展,模块被添加 数据自动重新分布 分布过程不影响性能 无需人工干预 无需调优 无需重新规划,2019/5/7,23,XIV 存储扩展 (2),新增数据和 Volume 被分布到整个网格架构中 新增和现存的 volume 共享相同网格的资源 无需人工干预,2019/5/7,24,XIV - 存储弹性,数据会存储在网格内现有的组件中 重建期间对性能影响极小 “自我优化” 重建过程由全体驱动器参与,Data Module 2,Data Module 3,Data Module 4, 硬件故障! , 发生在网格中的全部组件上,传统架构,复杂, 不主动随容量增长, 全手工 调整需要更多的预先规划 对现有的生产系统的风险更高 需要更多的监控和调整 较低的容量利用率,XIV,完全自动化 无需预先规划 自动负载均衡 最优的容量利用率,2019/5/7,25,性能 存储管理,XIV 快照拷贝功能: 真正的革新 基于指针的ROW, 在多份快照的情形下依然性能卓越 瞬间快照创建和删除 功能丰富, 管理简便 几乎无限的快照数量 可达16,000+ Thin Provisioning: 内禀于系统设计 XIV 系统自系统设计伊始便考虑了Thin provisioning 节省了成本, 能耗, 和空间 同步/异步远程数据复制: 满足RPO需求 结合自动化快照保障数一致性 支持 iSCSI 和 FC 连接 数据迁移技术: 独一无二, 在线完成 支持异构存储 以代理方式运行 仅需停机一次, 极短的停机窗口,全部免费!,2019/5/7,26,XIV: 内置企业级存储管理软件,高性能快照提供: 更简便的物理磁带备份 从逻辑备份即时恢复 轻松创建开发测试环境 易于回滚的Boot-from-SAN环境 更易于完成基于生产数据上的数据挖掘,在虚拟服务器环境中快速增加/部署虚拟机,在存储系统中快速为虚拟机分配存储空间,存储系统自动为虚拟机优化性能, 消除热点,VMware,P-Series,Z-Series,优化虚拟化环境: P-Series, VMware, Z-Series & XIV,2019/5/7,28,XIV: 管理极其简单,2019/5/7,29,XIV带来的TCO 节省: 管理成本,管理投入 50% 硬件投入 20% 软件投入 30% 设施投入 25%,2009 ITG (International Technology Group) 报告,XIV,传统高端存储,2019/5/7,30,总结,可靠的高性能 简单 易用 灵活 低TCO,XIV: 网格技术提供具备自恢复能力的即插即用的块级云存储平台,发射后不管 !,平均超过50%的SLA提升以及超过60%的TCO节省!,2019/5/7,31,是什么原因使1,000个客户放心的在4,000+XIV上运行关键业务?,SoNAS: 无限扩展的文件级云存储,33,集群文件存储 IBM SONAS：为云时代准备的存储,CIFS 客户端,HTTP 客户端,FTP 客户端,NFS 客户端,管理节点,接入节点,.,.,IP网络,磁带库,接入节点,Storage Pod,Storage Pod,SCP 客户端,接入节点,单一文件名空间,存储节点,存储节点,存储节点,存储节点,Infiniband数据网络,IP管理网络,磁盘阵列,磁盘阵列,磁盘阵列,磁盘阵列,一级存储：高速盘阵,二级存储：大容量盘阵,三级存储：磁带库,SONAS,简单: 只有3个基本组件 接口节点 多快 存储节点 多大 管理节点 所有节点都是集群方式的高可用模式 外部用户通过 IP 方式接入 所有节点的内部互联通过高带宽、低延时的私有 Infiniband 网络 并行网格架构 优秀的线性扩展性 高性能 高可用和冗余 SONAS 系统软件在所有节点上运行 策略性的自动化 全局文件系统 图形化管理界面及操作系统,34,SONAS Software,Enhanced Interfaces,Systems Software,Standard components,35,IBM Scale Out NAS 被实施以后: 全局虚拟文件存储器,Global namespace,在不同层的存储池间自动移动,自动切换的集群,自动分层存储,高速文件扫描引擎,分层存储 重复数据删除的 VTL或磁带库,高性能PB级 文件扫描和搜索,终端用户,高端工作站,应用服务器,数据库,SONAS Global Virtual File Server,SONAS 系统结构,36,TSM node,Interface Node,Interface Node,Customer IP Network,Windows 用户,UNIX 用户,InfiniBand Cluster Network,Private Ethernet Management Network,Management Node,Interface Node,TSM node,Storage Node,Storage Node,High Density RAID Controller,Storage Pod One or two high density 4U x 60 HDD RAID Controllers One high density 4U x 60 HDD storage expansion unit per RAID controller Up to 30 Storage Pods,SONAS 系统,Up to 30 Interface nodes,InfiniBand Cluster Network,Optional: 1st Disk Expansion unit on 1st RAID Controller,High Density Disk Enclosure,Optional: 2nd RAID Controller,High Density RAID Controller,High Density Disk Enclosure,Optional: Optional 1st Disk Expansion unit on 2nd RAID Controller,Interface Node,Interface Node,Interface Node,Storage Pod,Tape,37, , .,scale out,scale out,/home/appl/data/web/important_big_spreadsheet.xls,/home/appl/data/web/big_architecture_drawing.ppt,/home/appl/data/web/unstructured_big_video.mpg,/home/appl/data/web/important_big_spreadsheet.xls,/home/appl/data/web/big_architecture_drawing.ppt,/home/appl/data/web/unstructured_big_video.mpg,IBM Scale Out NAS,Policy Engine,Global Namespace,注意: 上示例中三个文件都在同一个文件系统目录中，但根据业务需求和数据特点分别被分配到不同的后端存储池中。,数据在后端存储设备间实现全局条带化。 高性能 自动调优 自动负载均衡,Tier 1: SAS drives,Tier 2: 1TB SATA drives,Tier 3: 2TB SATA drives,Interface nodes,Interface nodes,Interface nodes,Storage nodes,Storage nodes,Storage nodes,逻辑视图 物理视图l,文件存储虚拟化 IBM SoNAS工作模式,38,IBM Scale Out NAS,2019/5/7,全集成的系统 超级可括展网络连接存储系统 (NAS) ，包含一系列业界领先的软件功能 NFS, CIFS, FTP, HTTP and SCP 网络协议 聚合各项高性能硬件，超越传统文件存储器. 全局文件名字空间（Global file system namespace） 同步和异步的远程复制文件数据 文件系统快照和定额控制 可括的，集成的数据生命周期管理 (ILM) 自动分层存储Automatic tiered storage HSM 支持到外部Tivoli Storage Manager (TSM) 服务器 实时性能监控 集成的系统硬件总监控（ System HealthCenter ） LDAP 和 Windows Active Directory 支持 1GbE 和 10GbE 外部端口 内部采用高速、超低延时的Infiniband集群网络作为核心数据交换系统 (20 Gbit/sec) 高密度 RAID 控制器和磁盘扩展柜 (4U x 60 HDDs) 支持高速SAS 和高容量 SATA 磁盘，很快将要支持SSD,39,适合使用SONAS云存储的环境,数字媒体 高性能、海量存储能力、极高的扩展性、随处访问等特点适合于媒体行业对性能、容量及变化多端的环境,网络内容存储 海量存储能力及自动分级能力特别适合存储Web内容,高性能计算和分析系统 性能好，扩展能力强，并行共享适合于需要高性能计算的用户,协同工作及文件存储 海量存储、自动分级、高扩展能力以及随处访问、随时在线的特点适合于大型企业和文件数量众多的场景,能源地理科学 能源探索和地理科学要求大量可访问的命名空间作分析之用和非常高的性能,汽车、飞机设计及数字模拟分析 可高速处理、编排海量原始数据，在授权范围内共享数据,40,IBM Tivoli Storage Productivity Center控制中心 存储云的统一管理平台,TPC 所提供的管理特征: 从单个用户界面管理整个数据中心 配置,计划,实施,指导 配置变更管理跟踪 资产, 容量, 利用& 会计报表 趋势 & 性能分析 告警 & 问题隔离 复制管理 支持广泛的平台,2019/5/7,41,存储云的框架,物理设备层,设备管理层,数据管理层,服务接入层,高可用性,数据在线迁移,数据备份,数据归档,数据合规,重复数据删除,内容管理,专用API,NFS,CIFS,LUN/ iSCSI LUN,WebDAV,数据安全,信息挖掘,存储资源部署,存储云用户,Tier-1 Disk,Tier-2 Disk,Tier-3 Disk,SAN Switch,Tape,IBM存储云 解决方案,数据快照,应 用 相 关 性,0,100,存储虚拟化,2019/5/7,42,正确采用云技术可以帮助客户,面向未来，让IT架构更加灵活，易于开展新的业务 为客户提供稳定、可靠、快速的优质服务 提高设备利用率，降低购买和管理成本，提升竞争能力,案例1: 西部某电信公司IDC项目云计算,43,XIV,Power 570(with PowerVM and VMcontrol), X3755, Xblade, SVC, XIV, TS3310, TPC, TPM, TSM, ITM, BlueCloud,44,案例2: 中科院计算机网络信息中心(CNIC),案例3: 某石油研究院云计算中心,整合研究院应用 创建公共虚拟存储池 搭建云计算中心存储平台,竆N筝琧Q_槾俧)CM?鲩?_-唤曽)ekh?骯惵?垣颅cB2?:犽U皊毋葠?.q饀Z_?V?燀本-8fD氾|6V?摑1彊“?Z9&蓅聉匷簊癦?籬艂1鵯憳Q?莢?.?V潮乃2“?娣賃宅Q唨$ HTv?2?瘤!W炷箝裘7豀糏4 腪甘?闱詋j?X#辐Q柸w&m岶桎茵Z捰奅蓮您?桟?N離妨b?刋)?_?艜 +庱笜侰 ?魻偂U喅冒-汙阬B徙絕拃g肳?oHG3濳綣甐剀7磦?1 籸P?vF?凱泮w7?铪?聨焃騝堌“鋷?X流?iQ?镄?s_UR(m彖娷泚T“3硎mL1鑃r+Z =?竛姑酄?jB滪9Y擥螣?虭( jg03復?H?b玾n=渐d*菂土?涓吷D:Ba侪?袱紑騿PX夰 伽W|N 騝嚯碅啎?S#鱇?-鄤 ?湇B鑀 樠?誃D壚?.2珔鑮谣3鑅C0?0p 嚯?q梽羳G 脤K貳+庱笜侰 ?魻偂U喅冒-汙阬B徙絕拃g肳?oHG3濳綣甐剀7磦?1 籸P?vF?凱泮w7?铪?聨焃騝堌“鋷?X流?iQ?镄?s_UR(m彖娷泚T“3硎mL1鑃r+Z =?竛姑酄?jB滪9Y擥螣?虭( jg03復?H?b玾n=渐d*菂土?涓吷D:Ba侪?袱紑騿PX夰 伽W|N 騝嚯碅啎?S#鱇?-鄤 ?湇B鑀 樠?誃D壚?.2珔鑮谣3鑅C0?0p 嚯?q梽羳G 脤K貳,