NetApp 技术报告适用于 FAS 和 V 系列的 NetApp 重复数据删除部署和实施指南.docx
《NetApp 技术报告适用于 FAS 和 V 系列的 NetApp 重复数据删除部署和实施指南.docx》由会员分享,可在线阅读,更多相关《NetApp 技术报告适用于 FAS 和 V 系列的 NetApp 重复数据删除部署和实施指南.docx(66页珍藏版)》请在三一文库上搜索。
1、NetAppGofurther,faster技术报告适用于FAS和V系列的NetApp重复数据删除部署和实施指南NetApp公司:CarlosAlvarez2011年2月ITR-3505第8版摘要本技术报告介绍适用于FAS和V系列的NetApp重复数据删除。本报告详细讲解了重复数据删除的实施和使用方法,并提供了关于最佳实践、操作注意事项和故障排除的信息。这些信息对于NetApp公司和渠道合作伙伴的销售和服务领域人员很有用,他们需要了解这些详细信息,以便部署包含重复数据删除的解决方案。目录1部署和实施指南62NETAPP重复数据删除简介和概述63适用于FAS和V系列的NETAPP重复数据删除73
2、1 已进行重复数据蒯除的卷83.2 重复数据删除元数据83.3 重复数据删除基本特点94配置和操作104.1 要求概述104.2 安装和详可重复数据删除114.3 命令汇总114.4 显示空间使用和节省情况124.5 重复数据蒯除快速入门134.6 重复数据蒯除全程示例134.7 配置重复数据删除计划185调整以提高性能和空间效率195.1 最佳实践195.2 性能205.2.1 重复数据蒯除操作的性能205.22 重复数据删除期间对系统的影响205.23 已进行重复数据删除的卷的I/O性能“.215.24 4PAM卡和闪存卡215.3 空间节省225.3.1 不同数据集的典型空间节省225
3、3.2 现有数据上的空间节省-225.3.3 重复数据蒯除元数据开销235.3.4 空间节省评估工具245.4 限制245.4.1 一般注意事项245.42 灵活卷大小上限255.43 3重复数据蒯除的共享数据上限-275.44 4重复数据蒯除的总数据上限275.45 5重复数据蒯除并行进程数-296重复数据删除与其他NETAPP功能结合使用306.1 管理工具306.2 数据保护-306.2.1 SNAPSHOT副本301.1.1 SNAPRESTORE306.2.3 卷SNAPMIRROR316.2.4 QTREESNAPMIRROR326.2.5 SNAPVAULT336.2.6 OP
4、ENSYSTEMSSNAPVAULT(OSSV)336.2.7 SNAPMIRROR同步346.2.8 SNAPLOCK346.2.9 集群技术356.3.1DATAONTAP集群模式”.356.32主动主动集群配置356.3.3metrocluster366.4其他NETAPP功能366.4.1 配额366.4.2 FLEXCLONE卷366.4.3 FLEXCLONE文件376.4.4 64位聚合支持376.4.5 FLEXCACHE386.4.6 无中断卷移动386.4.7 NETAPPDATAMOTION386.4.8 性能加速模块和闪存卡386.4.9 SMTAPE386.4.10
5、转储386.4.11 无中断升级396.4.12 NETAPPDATAFORT加密396.4.13 读取重新分配(REALLOC)396.4.14 VOLCOPY命令396.4.15 聚合复制命令406.4.16 MULTISTORE(VFILER)406.4.17 SNAPDRIVE406.4.18 LUN407与特定应用程序结合使用时的重复数据删除最佳实践446.4.19 VMWARE最佳实践441.1.1 光纤通道或ISCSI上的VMFS数据存储:单个LUN451.1.2 基于NFS/CIFS的VMWARE虚拟磁盘461.1.3 VMWARE归档的重复数据删除477.2 MICROSOF
6、TSHAREPOINT最佳实践487.3 MICROSOFTSQLSERVER最佳实践487.4 MICROSOFTEXCHANGE最佳实践487.5 LOTUSDOMINO最佳实践487.5.1 DOMINO附件和对象服务(DAOS)481.1.1 DOMINO加密491.1.3 DOMINO配额491.1.4 DOMINO性能497.6 ORACLE最佳实践497.7 TIVOLISTORAGEMANAGER最佳实践497.8 SYMANTECBACKUPEXEC最佳实践507.9 备份最佳实践508故障排除508.1 里复数据删除无法运行508.1.1 检查重复数据刑除许可证508.2
7、卷大小上限和数据大小上限518.2.1 卷大小上限518.22 重复数据删除的共享数据上限528.23 3总数据上限528.3 重复数据蒯除扫描程序用时过长548.4 空间节省低Tfg期548.5 系统速度变慢558.5.1 重复数据删除导致读取性能低于预期558.52 重复数据删除导致写入性能低于预期558.53 3启用重复数据勘除后系统运行更加缓慢568.6 消除空间节省(UNDO)578.6.1 撤消对灵活卷的重复数据删除578.6.2 撤消对灵活卷的重复数据删除588.6.3 将灵活卷恢复为可以让其他DATAONTAP版本访问598.7 从哪里收集故障排除信息598.7.1 日志位置和
8、错误消息598.72 理解重复数据删除错误消息598.73 理解OPERATlONSMANAGER事件消息608.74 其他重复数据删除报告608.74.1 使用SISSTATUS获得重复数据删除报告608.75 使用SISSTAT获得重复数据删除报告618.76 如何获得更多帮助638.76.1 支持人员联系信息638.76.2 联系支持人员之前需收集的信息649其他阅读和参考资料6410版本跟踪65表格目录表1)重复数据删除要求概述10表2)重复数据删除命令11表3)对df-S显示结果的说明12表4)重复数据删除快速入门13表5)典型的重复数据删除空间节省22表6)重复数据删除支持的卷大小
9、上限26表7)已进行重复数据删除的卷的总数据上限28表8)重复数据删除的总数据上限示例29表9)卷SnapMirror支持的重复数据删除配置31表10)qtreeSnapMirror支持的重复数据删除配置32表Il)LUN配置示例概要(如文本所述)41表12)重复数据删除支持的卷大小上限51插图目录图1)NetApp重复数据删除在最高级别的工作原理7图2)已进行重复数据删除的卷中的数据结构8图3)光纤通道或iSCSI上的VMFS数据存储一单个LUN345图4)基于NFS/CIFS的VMWare虚拟磁盘46图5)使用重复数据删除的VMware归档471部署和实施指南本文档是NetApp重复数据删
10、除的部署和实施指南。我们在网上公开提供此文档,其网址为http:docLjmentstr-3505.pdfc2NETAPP重复数据删除简介和概述尽管出现了价格较便宜的ATA磁盘驱动器,但存储成本仍然是当今公司面临的最大挑战之一。人们希望通过减少存储数据所需的磁盘数量来降低存储消耗,进而降低每MB的存储成本。NetApp的存储效率技术让用户能以最低的成本存储最多的数据;而NetApp重复数据删除则是NetApp存储效率技术的重要组成部分。本文档重点介绍适用于FAS和V系列的NetApp重复数据删除。NetApp重复数据删除是一个进程,可在达到阈值时触发、可按计划在最适当的时候运行,也可以作为应用
11、程序的一部分运行。它会删除卷或LUN中的重复块。本节简要介绍了重复数据删除在FAS和V系列系统上的工作原理。注:1 .本文档提到重复数据删除时均是指适用于FAS和V系列的NetApp重复数据删除。2 .除非另有说明,本文档所提供的信息同时适用于FAS和V系列系统。3 .适用于VTL的NetApp重复数据删除不在本技术报告的讨论范围之内。3适用于FAS和V系列的NETAPP重复数据删除作为NetApp存储效率技术的一部分,适用于FAS的NetApp重复数据删除可为NetApp存储系统的整个灵活卷提供块级重复数据删除。从DataONTAP7.3起,V系列也支持重复数据删除。NetAppV系列系统设
12、计用作第三方存储的前端网关系统,以便能在第三方存储上使用NetApp存储效率和其他功能。图1)NetApp重复数据删除在最高级别的工作原理重复数据删除过程优化前的数据优化后的数据从根本上来说,重复数据删除仅在灵活卷中存储唯一的块,并在该过程中增加少量元数据。重复数据删除的显著特点包括: 它采用高粒度级别:即4KB块级。 它在灵活卷的活动文件系统上运行。在删除Snapshot副本之前,Snapshot副本所引用的任何块都不“可用二 它是一个后台进程,可以配置为自动运行、按计划运行或者学生命令行界面(CLI)、NetAppSystemsManager或NetAppProvisioningManag
13、er手动运行。 它对应用程序是透明的,因此可以用于对使用NetApp系统的任何应用程序所生成的数据进行重复数据删除。 它通过使用简单的CLI或GUI启用和管理。 它可以在包含新数据和现有数据的灵活卷上启用,并能对这些卷上的块进行重复数据删除。简单地说,重复数据删除的工作原理是这样的。FAS系统上新保存的数据照旧由DataONTAP以4KB块的形式存储。每个数据块都有一个数字指纹。将该指纹与灵活卷中的所有其他指纹进行比对。如果发现两个指纹相同,则对块进行逐字节比较。如果灵活卷上的新块和现有块完全吻合,则丢弃重复的块并回收其磁盘空间。3.1 已进行重复数据删除的卷已进行重复数据删除的卷是包含共享数
14、据块的灵活卷。为优化存储空间消耗,DataONTAP支持共享块。基本上,如图2所示,在一个卷中,可以对同一数据块进行多次引用。图2)已进行重复数据删除的卷中的数据结构在图2中,磁盘上使用的物理块数为3(而不是5),即经过重复数据删除后节省的块数为2(5减3)。在本文档中,我们将这些块分别称为使用的块和节省的块。系统在卷元数据中为每个数据块维护着一个块引用计数。当更多间接块(图2中的“IND”)指向该数据块时,引用计数递增;当现有间接块不再指向该数据块时,引用计数递减。当不再有间接块指向某个数据块时就会释放该数据块。NetApp重复数据删除技术能够删除灵活卷中任何位置的重复4KB块。一个数据块最
15、多能被共享255次。也就是说,如果有500个重复块,则重复数据删除会将其缩减为只有2个块。还请注意,这个共享块的功能不同于为卷保存255个Snapshot副本的功能。3.2 重复数据删除元数据实现重复数据删除的核心技术是指纹。指纹是灵活卷中每个4KB数据块的数字“签名工每个数据块的数字,签名,是唯一的。第一次对灵活卷上的现有数据运行重复数据删除时,重复数据删除扫描灵活卷中的块,创建一个指纹数据库来记录灵活卷中已使用块的所有指纹并将其排序。创建指纹文件后,检查指纹是否存在重复。如果发现重复,首先对块进行逐字节比较,确保这些块确实相同。如果发现它们是相同的,则将块的指针更新为指向已有数据块,并释放
16、新(重复的)数据块。释放重复数据块的操作包含更新指向它的间接索弓I节点、增加现有数据块的块引用计数以及释放重复的数据块。在实际应用中,当向已进行重复数据删除的卷上写入新数据时,会为每个新块创建指纹,并将其写入更改曰志文件中。随后运行重复数据删除时,会对更改日志排序,将已排序的指纹与指纹文件中的指纹合并,然后进行重复数据删除处理。更改日志文件有两个,这样就能在运行重复数据删除时将一个更改日志文件中的新块合并到指纹文件中,而将写入灵活卷的新数据导致的新块的指纹写入第二个更改日志文件中。下次运行重复数据删除时,这两个文件的角色会互换一下。(对熟悉DataONTAP使用NVRAM原理的人来说,这就与它
17、从一半切换到另一半时创建一致性检查点类似。)注:第一次在空的灵活卷上运行重复数据删除时也会从更改日志创建指纹文件。下面是关于重复数据删除元数据的一些其他详细信息: 每个4KB数据块都有一个指纹记录,并且卷中所有数据块的指纹均存储在指纹数据库文件中。 当释放数据块时,不自动将这些数据块的指纹从指纹文件中删除。新指纹达到20%后才删除失效的指纹。也可以从命令行手动删除指纹。 在DataONTAP7.2.X中,所有重复数据删除元数据都位于灵活卷中。 从DataONTAP7.3.0开始,一部分元数据位于卷中,另一部分元数据位于卷外的聚合中。重复数据删除过程中使用的指纹数据库和更改日志文件位于该卷之外的
18、聚合中,因此不会将其捕获在Snapshot副本中。这个变化让重复数据删除可以实现更大的空间节省。但是,在重复数据删除操作过程中创建的一些其他临时元数据文件仍存放在卷中。重复数据删除操作完成后就会删除这些临时元数据文件。如果在重复数据删除操作过程中创建了Snapshot副本,则这些Snapshot副本可能会锁定这些临时元数据文件。在删除这些Snapshot副本之前,这些元数据文件将一直处于锁定状态。 从DataONTAP7.2升级到7.3的过程中,将把指纹文件和更改日志文件在升级后的第一次重复数据删除过程中从灵活卷移动到聚合中。在将指纹文件和更改日志文件从灵活卷移动到聚合的这次重复数据删除过程中
19、sisStatUS命令会显示消息“Fingerprintisbeingupgraded”。 在DataONTAP7.3及更高版本中,卷的重复数据删除元数据位于该卷之外,即在聚合中。如果从DataONTAP7.3还原为7.3之前的版本,则在还原过程中将丢失重复数据删除元数据。要节省最i鬟嘉髓黯输褊赢繇飕S舞/野除龟露Wg蠡鳖据删除仅应用于还原后创建的数据,而不会对还原前已存在的数据进行重复数据删除。根据卷中逻辑数据大小的不同,SisStart-S命令可能需要很长时间才能完成。但在此期间,系统可以进行所有其他操作。使用SiSstart-s命令之前,请确保卷中有足够的可用空间来容纳增加的重复数据删
20、除元数据。重复数据删除元数据使用1%至6%的卷逻辑数据大小。 重复数据删除配置文件位于卷中而非聚合中;因此,除非用户运行sisUndQ”命令,否则将不重置配置(包括VSM)o3.3重复数据删除基本特点重复数据删除以每个灵活卷为基础启用。它可以在存储系统中的任意个灵活卷上启用。可以通过以下四种方式之一运行重复数据删除: 按计划在特定日期的特定时间运行 通过命令行手动运行 当写入卷中的新数据达到20%时自动运行 与SnapVault结合使用时在目标卷上自动运行一个灵活卷上每次只能运行一个重复数据删除扫描程序进程。同一个NetApp存储系统中最多可以运行八个并发的重复数据删除进程。也就是说,在同一个
21、NetApp存储系统中,最多可以有八个并发重复数据删除进程分别运行在八个卷上。从DataoNTAP7.3.1起,重复数据删除检查点重新启动功能让中断的重复数据删除进程可以从上一个检查点继续运行。在DataONTAP7.3.1之前,重复数据删除进程中断会导致重新启动整个重复数据删除进程。4配置和操作本节将介绍使用重复数据删除的要求、如何对其进行配置以及对其进行管理的各个方面。虽然本节讨论的是一些基本内容,但通常假定已安装并运行NetApp存储系统,并且读者熟悉基本的NetApp管理。4.1要求概述表1)重复数据删除要求概述要求重复数据删除硬件NearStoreR200FAS2000系列FAS30
22、00系列FAS3100系歹IJFAS3200系列FAS6000系列FAS6200系列IBMN5000系列IBMN7000系列注:从DataONTAP7.3开始,还支持与上述NetAppFAS系统及旧MN系列网关系统对应的V系列系统。DataONTAP最低版本要求DataONTAP7.2.5.1(仅8.0.X版提供标准模式7-Mode)许可证要求A-SISNearStore许可证(8.0之前的DataONTAP版本必须具备)支持的卷类型仅支持FlexVol,不支持传统卷卷大小上限对于DataONTAP8.0.1,在所有平台中,执行重复数据删除的大小上限都是16TBc对于之前的版本,请参阅后文中的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- NetApp 技术报告适用于 FAS 系列的 重复数据删除部署和实施指南 技术 报告 适用于 系列 重复 数据 删除 部署 实施 指南
