NetApp NetApp虚拟存储层白皮书.docx

《NetApp NetApp虚拟存储层白皮书.docx》由会员分享，可在线阅读，更多相关《NetApp NetApp虚拟存储层白皮书.docx（11页珍藏版）》请在三一文库上搜索。

1、NetApp-Gofurther,fa5tr白皮书NetApp虚拟存储层NetApp公司:PaulFerestenxLarryFreeman.MarkWoods2011年4月IWP-7127摘要自动存储分层已成为帮助IT部门简化数据管理、减少存储成本，同脆高应用程序性能和提供与共享IT基础架构扩展能力更匹配的存储扩展能力的一种手段。NetApp.虚拟存储层作为一种优化方案，可以提供热数据实时提升、最低S度级别、简单部署和管理以及与NetApp存储效率功能的完全集成。借助NetApp虚拟存储层，I/O性能可提升高达75%,处理I/O密集型工作负载所需的磁盘数量可减少75%,并可将重要工作负载由F

2、C或SAS磁盘转移至更经济、更高容量的SATA磁盘。本白皮书对自动化存储分层进行了讨论并重点介绍了NetApp虚拟存储层的优势。目录1简介32存储分层和实现自动化4手动分层的局限性4什么是自动化存储分层？4自动化存储分层的目标4选择合适的层数53NETAPP虚拟存储层7虚拟存储层的工作原理8虚拟存储层的优势8采用高粒度级别实时提升热数据8增强的存储系统性能8降低了存储和数据中心成本9易TSB署和管理9完全集成9特别适用于高级虚拟化和云环境94NETAPP虚拟存储层的性能10服务器与桌面虚拟化和云10数据库10电子邮件105结论111简介使用合适的存储介质来满足数据的性能需求和生命周期要求一直是

3、件让人头疼的事。虽然目标很明确，就是要确保数据以恰当的成本在恰当的时间位于恰当的介质上，但事实上，很难确定哪种介质最适合某个特定的需求，而根据需求变化调整存储分配和数据存放，更是难上加难。因此，管理员和最终用户为保险起见往往会选择比他们实际所需速度更快、容量更高的存储。结果是购买速度更快（价格也更高）的存储过多。这不但提高了存储成本，还可能使应用程序丧失其应有的性能。基于闪存的固态硬盘（SSD）和其他形式的介质使这个问题变得越发显著。基于闪存的介质每秒能完成的随机读取操作甚至比最快的旋转介质还多25到100倍，但是要到这样的性能，每GB的成本要高出15到20倍。这就让很多人都打算将基于闪存的介

4、质用于处理热”数据（高需求的活动数据），从而从这些投资中获得最大回报。这正是自动化存储分层的用武之地。自动化存储分层用于自动识别热数据，将其提升至性能更高的存储介质，同时将冷数据保留在成本较低的介质中。该方法可以让您从昂贵的高性能资源中获得最大收益，同时使用较少的总资源实现既定性能。自动化存储分层有望取代繁琐的手动数据管理，并使高级虚拟化和云环境大大受益。本白皮书详细讨论了自动化存储分层功能，介绍了NetApp虚拟存储层的设计和性能特点一I/O性育翳升高达75%I,处理I/O密集型工作负载所需的磁盘数量减少75%2,并将重要工作负载由FC或SAS磁盘转移至更经济、更高容量的SATA磁盘。,Ne

5、tAppWP-7082:在在线交易处理中使用NetAppFlashCached2NetAppTR-3799:在文件服务工作负载中使用NetApp性能加速模块Il2存储分层和实现自动化使用几种类型的存储介质来满足各种数据使用和业务价值需求在现代蜂中心中很常见。根据业务价值和应用程序性能指定数据使用的具体介质类型，可以让您根据单位IOPS成本或单位容量成本对存储成本进行优先级划分。除了数据的业务价值以外，介质分层决策还应该考虑应用程序工作负载所决定的实际访问模式。我们可以将最常访问的数据称为热数据，而将很少访问的数据称为“冷”数据。当然，困难在于如何切实实现介质类型与业务价值的匹配以及如何在数据的

6、生命周期中保持这种匹配。手动分层的局限性无论采用何种方法指定数据使用的介质类型，随着需求的变化，都不可避免地需要在各层间迁移数据。但手动迁移数据需要大量的时间、资源和人力。首先面临的困难就是确定需要迁移的数据（以及何时迁移），这将是一个繁琐的手动过程。这个过程完成以后，接下来就是雌复制过程。这个过程不仅耗时，而且需要将存储容量临时扩大T为如果对该数据还有合规性要求，则这个过程会更加复杂。大型数据集因数据量庞大而使得整体迁移变得几乎不可能。即使有必要的存储和带宽，也很难找到一个足够大的时间窗口（几小时或几天）将数据脱机。鉴于手动管理多层存储的诸多困难，再加上需要优化昂贵的闪存资源的使用，自然就有

7、了对自动化的需求。当热数据和冷数据共存于同一存储系统中且对该数据特定子集的访问需求不断变化时，对于自动化分层流程的需求是最大的。虽然将热数据提升至可用的最高性能层非常重要，但是以粒度方式进行该操作也非常重要，因为这样冷数据就不会随之迁移了。采用自动化流程就应意味着能实时满足性能目标并实现最高效率。什么是自动化存储分层？以前，不同类型的存储介质相互独立地分布在不同的存储控制器上。后来，NetApp开创了一项新技术，实现了在同一存储系统中混合使用不同类型的介质（SSD.SATA磁盘、FC磁盘、SAS磁盘）。自动化存储分层进一步发展了该技术，让同一数据集可以使用这些不同类型的介质。自动化存储分层可以

8、识别热数据并根据需要将该数据提升至更高性能的存储介质以实现性能最大化，同时将冷数据排除在性能层之外以最大程度地降低成本。术语提升在本文中包含多个流程，其中包括将大块数据由一层整体迁移至另外一层。自动化存储分层的目标自动化存储分层的采用者希望满足多项重要需求：通过数据存放流程的自动化最大程度地减少或消除对手动数据管理的需求。目标是将繁琐的性能管理过程转变为自动完成的后台活动。通过优化昂贵存储资源的使用和节约管理员的时间降低存储和数据中心成本。对基于闪存的介质，应尽量减少需要配备的数量。此外，对许多应用程序来说，为其配置的磁盘数量不仅要考虑提供足够的容量，更要考虑实现必要的性能。如果热数据能自动迁

9、移至性能更高的存储介质中，则不再需要这种过量配置，从而可以减少磁盘数量，并使大部分数据驻留在容量更高的SATA磁盘上。这将在节省电耗成本和散热成本的同时释放宝贵的机架空间。无需过量分配资源即可提高应用程序性能。大多数数据中心的最终目标就是无需为每个应用程序永久分配昂贵的资源即可获得同样或更好的应用程序性能。许多应用程序在活跃时（季度末、假期等）都有可预测的峰值，而在其他时间则活跃度较低。理想情况下，自动化存储分层解决方案可以应对这些峰值以及还可能发生的不可预测峰值。针对共享IT基础架构更好地协调存储和服务器扩展能力。高级务器虚拟化让根据需求变化动态调整服务器资源成为可能。自动化存储分层可以S供

10、类似等级的存储灵活性，支持动态扩展I/O。选择合适的层数自动化存储分层策略需要考虑的一个重要因素就是所需的层数。决定要引入不同类型的介质时不仅要考虑该种介质的特有规格，还应考虑它对性能、成本和效率目标的整体影响。虽然各种技术之间的性价比明显不同，但是并非物理层越多就越好。如图1所示,添加更多的层实际上会造成系统性能损失。这是因为层间的数据迁移会消耗磁盘驱动器I/O操作和其他系统资源，而从存储性能角度来说，这些资源都是非常宝贵的。如果某个自动化分层具体实现要求进行整体数据迁移，则可能需要在非高峰期间执行数据迁移。如果数据在到达性能层时不再处于高需求状态，则这种延迟的迁移会降低自动化存储分层的价值

11、此外，这种延迟还会影响系统性能的可预测性。硬盘类型间相对较小的性能差异可能也无法抵消硬盘间数据迁移导致的I/O开销。在闪存介质和硬盘之间迁移数据的优势要更加明显。与硬盘相比,基于闪存的介质在性价比方面有几个数量级的提升。这本身并不会消除数据迁移的成本，但是在改善热数据访问方面的相对优势却更加显著。随着闪存介质成本的降既口闪存容量的增加，这层可能会吸收大部分IOPS密集型负载（热降）。它的下面是经过优化的HDD层，需要最低的单位存储成本（$/GB）,这让SATA再次成为合理的选择。另外一个需要考虑的因素是每增加一层,容量调节的复杂性和管理成本也会相应的增加。如果没有正确设定每个存储层的容量，将

12、会对效率和整体成本造成直接影响。图1）I/O开销随物理存储层的增加而增长由于这些因素，NetApp认为，在未来大多数情况下，最佳的分层策略就是采用两个层：一个容量层，一个性能层。虚拟存储层就是基于该原则设计的。您可能有各种类型的磁盘驱动器，如FC、SATA和SAS0其中任一种磁盘驱动器都可以用作容量层，虚拟存储层则提供性能。如图2所示，一个高性能层（基于闪存和智能缓存）和一个磁盘驱动器层（基于SATA磁盘）的组合对于未来大多数应用程序来说是最合理的分层策略。图2）存储层的演进现在未来时间性能层FC/SASSATA容量层Y关键应用程序FlashFC/SAS两个层就可以满足大部分应用程序的需求。3

13、NETAPP虚拟存储层NetApp虚拟存储层是NetApp的一个自动化存储分层解决方案。在设计醐存储层组件时，我们牢记这几个重要目标： 尽可能高效地使用存储系统资源，特别是通过最大限度地减少磁盘驱动器I/O 实时、动态响应不断变化的应用程序I/O需求 完全集成存储效率功能，从而在将数据提升至虚拟存储层时不会损失效率 使用精细的数据粒度,这样冷数据就无法随热数据一起提升，从而高效利用昂贵的闪存介质 简化部署和管理虚拟存储层是存储基础架构的一个自管理、数据驱动的服务层。它可以根据成本和性能要求实时评估工作负载优先级和优化I/O请求，无需复杂的数据分类和迁移。虚拟存储层利用了NetApp的主要存储效

14、率技术、智能缓存和简化的管理。您只需为卷或LUN选择所需的默认介质（SATA、FC或SAS）.该卷或LUN中的热数据会自动按需提升至基于闪存的介质。图3）NetApp虚拟存储层数据驱动实时自管理虚拟存储层物理存储虚拟存储层的工作原理NetApp虚拟存储层提升热数据不会产生其他自动化存储分层方法提升热数据时产生的数据迁移开销。当收到针对启用了虚拟存储层的卷或LUN上的一个数据块的读取请求后,自动将该数据块列入提升范围。注意：数据块向酿存储层的提升并非数据迁移,因为在复制到械存储层后，数据块仍留在硬盘介质上。通过虚拟存储层，首次从硬盘驱动器读取数据后，将把降提升至闪存介质。这种数据提升方法意味着在

15、提升热数据时无需额外的磁盘I/O操作。通过对比发现,其他解决方案需要从磁盘中多次读取热数据后才可能提升热数据，而且要完顺升过程还需要执行额外的磁盘I/O操作。但NetApp算法能区分高价值数据和低价值数据，并将高价值数据保留在虚拟存储层中。例如，NetApp元数据总是在第一次读取时就被提升。相反，除非专门启用，通常不会将连续读取缓存在虚拟存储层内，这是因为它们有可能挤出更有价值的数据。您可以更改智能缓存行为以满足具有独特数据访问需求的应用程序的需要。例如，您可以配置圜1存储层，在将入站随机写入提交到磁盘时对其进行缓存并启用连续读取缓存。您可以通过按卷来启用或禁用数据进入虚拟存储层来创建不同的服

16、务类别。虚拟存储层的优势NetApp虚拟存储层通过消除手动数据管理、降低存储成本、提高应用程序性能和满足共享IT基础架构的需求，提供了自动化存储分层能够提供的所有优势。下列各小节分别对虚拟存储层的优势进行了具体说明。第4节介绍了在实验室和真实环境中测量的性能结果。采用高粒度级别实时提升热数据数据块通常在第一次从磁盘读取时就进入虚拟存储层。由于后续读取在虚拟存储层中即可完成,因此可以实时显现性能优势。虚拟存储层还可以识别读取行为的模式，并会提前读取可能需要的数据块，但是不会将数据由一个存储层整体迁移至另一个存储层。可以针对新写入的数据块选择性启用缓存，以进一步提高写入后首次读取的性能。虚拟存储层

17、包含基础磁盘驱动器层上数据块的临时副本。该方式的高效率，再加上4KB的数据块粒度,让热数据实时提升成为可能。其他厂商的自动化存储分层解决方案都是将热数据在非峰值时段（以最大程度减少存储系统上的额外负载）作为后台任务或预定任务从一个存储层迁移至另一个存储层。由于这些解决方案通常采用的粒度至少比虚拟存储层大128倍（从05MB到1GB,甚至是整个卷或LUN）,因此数据迁移会花费相当长的时间。如果活动的重要高峰期的持续时间短于识别和提升热健所需的时间，那么此类方式可能会错过重要高峰期。虚拟存储层的细粒度还意味着它能非常高效地使用闪存介质。采用较粗粒度的解决方案可能会在每个热数据块内引入许多冷数据，因

18、而可能需要更多的昂贵闪存介质才能达到相同的结果。增强的存储系统性能虚拟存储层处理数据的方式增强了存储系统的性能。由于只提升热数据块（不是既包含热数据块又包含冷数据块的大型数据块），而且数据变为冷数据后不必再迁移回原层，因此彻底消除了数据迁移需求。这减轻了系统资源的处理负担，并减少了磁盘子系统的流量，最终实现了更好的整体（包括没有启用虚拟存储层的卷和LUN）性能。降低了存储和数据中心成本NetApp虚拟存储层可以显著降低磁盘购买费用，并使您的存储环境更加高效。例如，在Windows.文件服务环境中进行测试3显示：将闪存介质与光纤通道或SAS磁盘结合使用可以在提高性能的同时将使用的磁盘数量减少75

19、将购买费用降低54%,而且还能节省67%的电耗和空间。将闪存介质与SATA磁盘结合使用可以提供与光纤通道或SAS磁盘相同的性能和更多的容量，同时将每TB存储成本降低57%,而且还能节省66%的电耗和59%的空间。请参阅第4节,了解针对应用程序的优势和节省信息。易于部署和管理虚拟存储层可用于现有数据卷和LUN0它不需要您对现有存储环境进行复杂或破坏性的更改。也无需为数据迁移设置策略、阈值或时间窗口。要部署NetApp虚拟存储层，只需在存储系统中安装闪存技术。一旦完成安装之后，蝴存储层将对存储控制器所管理的所有卷发挥作用。如有需要，您随后可以在虚拟存储层中排除优先级较低的卷的用户数据。其他自动

20、化存储分层解决方案可能需要设置增量策略、进行数据分类以及对现有存储基础架构进行结构性更改，例如创建专用存储池和迁移数据。完全集成虚拟存储层与NetAPP统一存储架构完全集成，这意味着您可以将其与任何NAS或SAN存储协议配合使用，无需任何更改。其他厂商可能会针对NAS提供一个自动存储分层解决方案，而针对SAN提供另一个解决方案。此外，其他自动化存储分层解决方案可能无法与重复数据删除、压缩等存储效率特性实现互操作。NetApp虚拟存储层则可以与所有NetApp存储效率特性（包括精简配置、FIexCIonee技术、重复数据删除和压缩）协同工作。这种紧密集成对您非常有利，强化了虚拟存储层在数据生命周

21、期内的作用。例如，当您对某卷进行重复数据删除时，所带来的好处在虚拟存储层中也会体现出来。虚拟存储层中的单个数据块可能有多个指向它的元数据指针，这增加了该数据块被再次读取的概率，从而提高了提升该数据块的价值。通过这种缓存放大效应”可将虚拟存储层中的单个数据块用作多个逻辑块。这会给服务器和桌面虚拟化环境带来显著的性能优势（如缩短启动风暴持续时间），同时减少需要的闪存介质数量。特别适用于高级虚拟化和云环境NetApp虚拟存储层是高级虚拟化和云环境的完美补充，这是因为它让存储性能可以扩展以与服务器性能的扩展相匹配。在云环境中，虚拟存储层可作为一项依请求启用的附赠存储服务提供，且无需对存储做任何更改。通

22、过将虚拟存储层与NetApp工作负载优先级处理相结合，可以实现精细服务分级，让许多应用程序或用户可以共享同一存储系统。3 NetApp11R-3842Windows文件服务工作负载卜的NetAppFlashCache4 NETAPP虚拟存储层的性能由于已经在实验室和真实环境中对阚存储层的各要素进行了测试,所以无论是在技术部署方面还是您所期望的收益落实方面，NetApp都能提供令人满意的指导。服务器与桌面虚拟化和云服务器虚拟化和虚拟桌面基础架构（VDI）都有独特的存储性能要求。虚拟存储层可以帮助满足这些要求。当您需要一次启动大量虚拟机时（例如日常桌面启动期间或是在服务器虚拟化时，发生故障或重启之

23、后）,会产生大量存储负载。一个拥有1000多个VMware.View虚拟桌面的地区性银行尽管其之前的环境具有300个磁盘，但仍面临着显著的存储性能问题。当使用NetApp解决方案（仅使用56个磁盘，外加虚拟存储层）来更新环境后，因重启操作而导致的中断从4到5个小时减少为仅10分钟。不响应的VDI服务器问题已经不复存在,以前缓慢的登录现在通常只需4秒钟即可完成。添加NetApp虚拟存储层后，该银行以较低成本获得了更加出色的性能。由于很多云基础架构都构建在服务器虚拟化之上，因此云环境可以从颜存储层获得相同的优势。此外，您还可以针对多租户云环境中共享存储的不同租户制定全面的服务等级，扩展您交付IT即

24、服务的能力。数据库虚拟存储层为在线交易处理环境带来诸多显著优势。这篇NetApp白皮书4介绍了在受I/O限制的OLTP环境中提高性能的两种方法：添加额夕理盘或添加FlashCache0在提高整个系统吞吐量方面,两种方法都有效。FlashCache配置： 与添加额外磁盘的同一系统相比，成本减少了30% 将I/O延迟平均降低了38% 无需额外电耗或机架空间。（采用额外磁盘的配置在这两方面都增加两倍以上。）电子邮件具有大量用户的电子邮件环境都是辘极度密集型的环境。NetApp虚拟存储层能以比添加磁盘少得多的成本显著提升性能。例如，在最近NetA即对Microsoft.Exchange2010的基准测

25、试中，在不做任何更改的情况下，增加虚拟存储层将使IOPS的数量翻倍，并将支持的邮箱数量增加了67%54NetAppEWP-7082：在在线交易处理中使用NetAppFlashCache5NetAppTR-3867:针对Exchange2007使用FlashCached5结论虽然自动化存储分层是一种控制存储成本和优化性能的重要方法，但是各种实现还是存在不少差异的。因此，一定要清楚您的目标，然后问几个相关的问题，如： 如何识别热数据？ 热数据提升的速度有多快？ 粒度是多大？ 部署和管理该解决方案的难度如何？ 解决方案及健全可靠吗？NetApp虚拟存储层提供了一种独特的自动化存储分层方法。借助我们在

26、存储效率和智能缓存中的基础优势，虚拟存储层支持您扩展性能和容量，同时实现行业最高的存储效率。最终，您的数据中心基础架构将获得最大的灵活性。力I NetAppv*ww etapp COmZWNetApp对本报告中提供的任何信息或建议的准确性、可靠性和适用性以及采用在此提供的信息或建议而可能导致的任何后果不做任何声明或担保。本文档中信息按原意发布，对此类信息的使用或对此处任意建议或技术的实施均属于客户责任，并取决于客户评估和将其融入客户运作环境的能力。该文档以及文档中所含信息仅可用于该文档中所讨论的NetApp产品.2011NetApp,nc,.保留所有权利.未经NetApp,Inc.事先书面同意，不得应制本文中任何内容.规格如有更改，恕不另行通知.NetApp.NetApp标识、Gofurther,faster.OnCommand和Snapshot是NetApp,Inc.在美国KF或其他国家或地区的商标或注册商标.所有其他品牌或产品均为其各自所有者的商标或注册商标,应予同样对待WP-7127-0411-zhCN