Net 客户案例 NVIDIATechCaseStudy0214zhCNHI.docx

《Net 客户案例 NVIDIATechCaseStudy0214zhCNHI.docx》由会员分享，可在线阅读，更多相关《Net 客户案例 NVIDIATechCaseStudy0214zhCNHI.docx（8页珍藏版）》请在三一文库上搜索。

1、11VIDIA走向成功的推动力，同时也是决定NVIDIA成败的关键。作为 视觉计算领域公认的领导者，我们力求产品多元化并迅速打 入新的市场。我们的图形处理单元（GPU）技术正在推动着医疗保健、科技、交通、娱乐等领 域的发展和进步，同时也为NVIDIA带来大量新的机遇.我们的工程计算场的性 能和可靠性无疑是NVIDIA率先向市场推出新款芯片设计、最终增加创收并为我 们的合作伙伴和客户提供价值的关键。要实现我们当前及未来的业务目标，我 们必须拥有一个高性能的存储平台。NetAppv技术案例研究将计算场打造成创新工厂NVIDIA如何借助NetApp存储实现工程计算容量翻倍，并加快创新步伐以开辟新市场

2、作者:NVIDIACorporation不懈的创新以及将新处理器设计快速推向市场的能力是NVIDIAIT存雌理，PethurajPerumal*尚KnTh的蚱升十）=lRd+三三Mn忧曲的芋罐件由NetApp实现NVIDIA计算工厂转型的结果通过瞰昧用基于控制器的智能缓存技术的 NetApp FAS6290 和 FAS6280 存储 系疣，优化处理器削工作流的存简境,NVIDIA实现了以下目标:计管工厂的整体处理效率提高到原来 的两倍多，每天的计算作业量从200万 墙0口到450万 编译性能提高多达19%且模拟运行次 数增加多达25% 可在任何指定时间同时执行60,000项 计算作业，实现工作

3、流提速 在不增阅预算且减少IT人手的情况下， 嬲更多操作和支持支持世界级的研发NVIDIA工程师设计了一系列的处理器，从为智能手机和平板电脑提供处理动力的微芯片到包含70亿个晶体管的巨型超级计算处理器，一应俱全。设计和模拟这些芯片是一项日益繁重且具有技术挑战性的任务。我们不断地生成文件，文件数量越来越多且文件越来越大。在过去的九个月里，我们的工程师创建了24亿份文件一相当于每天将近IooO万份文件.我们已积累超过15PB的工程数据，且蟾量几乎是每两年翻一倍.在预雕持不变而需求却持续增长的情况下，要应对这样的数据增长水平极具挑战.我们不希望产品工程团队在测试设计的同时还要分神去考虑存储问题,我们

4、当然也不希望存储成为研发(R&D)工作流程中的瓶颈。在任何情况下，我们的电子设计自动化(EDA)工作流都不能被延误或中断.计算作业一旦停止，就必须从头开始重新运行，可能会影响整个测试周期并推迟上市时间.所幸的是，我们基于NetApp存储的计算工厂能紧跟我们数千名工程师的创新步伐，帮助他们快速可靠地完成芯片设计、模拟和逻辑验证.为使我们工程师的创新工作不出现中断或延误，IT必须为他们提供具有最高性能的可用存储平台,专门用来为文件驱动式I/O密集型工程工作硒供暂存空间”和数据卷。随着数据的增长，我们团队的主要目标之一是最大限度地提高”CPU时间与实际时间”的比率，其中实际时间表示处理计算作业所需的

5、总时间,而CPU时间计算的是CPU主动处理任务所花的时间.t辟越高，我们计算工厂的效率就越高；不过，提高此比率需要一个I/O速度极快的存储平台。CPU等待存储响应所花费的时间属于空闲时间，会阚氐我们的整体效率.对存储层的技术要求几年前，我们曾尝试使用其他供应商的存储技术，即将所有磁盘呈带状分布到一个更大的阵列中去，致使我们遭遇了以下三个问题： 系统无法提供我们所需的线性性能。 小文件随机I/O成为瓶颈. 稳定性和可靠性不够.存储控制器故障可能会导致延迟上市；工作流中的所有活动作业可能要从头开始再来一遍.在评估问题解决方法的同时，替换当前的系统成为明智之举.鉴于以下原因，我们的团队选择了NetA

6、pp作为我们研发计算操作的支持后盾：性能.我们的册发计算操作具有很高的并发性，同时会有超过5000个计算节点访问存储，因此性能高低在很大程度上取决于存储控制器。我们始终希望存储控制器能用上最快的处理器，这样存储控制器就能以最多的并行网络线程来处理I/O请求。我们还需要高效处理小文件随机I/O操作的能力，因为这也是影响我们工作负载性能的主要决定因素.可扩展性。NetApp可让我们以模块化方式添加更多的控制器，从而在数据增长的同时确保最佳性能.我们可以水平扩展存储，这种模式对我们来说非常有效。同时还会降低风险，因为我们不会受单点故障的影响。打造一个经优化的自定义工程工NetApp积t接洽半导体市场

7、上的供应商以实现处理器设计工作流提速并梃一个能支持整个芯片设计生命周期的存储平台，NVIDIA对此深表感谢.我们经常与可靠性.我们需要类似NetAPPDataoNTAP8这样的成熟可靠的数据管理平台。使用高可用性对中的NetApp存储控制器集群可使我们在出现硬件故障的情况下提供无缝故障转移并执行更新，而不会对计算工厂中正在运行的作业造成任何中断。即使某个域发生故障，也不会让整个集群崩溃.效率.我们不断努力控制整体能耗和硬件占用空间，并尽可能地提高密度.NetApp提供许多能实现效率最大化的技术，包括与占用最少存储空间的NETAPP与Red Hat通力合作,并就如 何使用Linux内核中的预读算

8、法以及如 何优化客户端和存储间的1.0请求提供 培训,时间点Snapshot-副本保持数据一致性的功能。默认情况下，NetApp卷已经过精简配置，能减少初始存储空间使用量.像许多半导体设计公司一样，我们使用IBM Platform计算负载共享设施(LSF)作精简性。能否灵活使用网络文件系统(NFS)和通用Internet文件系统(CIFS) 快速配置存储并对工程文件提供共享访问非常重要.凭借NetApp统一存储 架构中的多协议支持,我们可以使用以下两种协议(见图1 ).业计弼件.NVIDIA期里借助NetApp 开发的存储骸知型插件来监控计算工厂 中提交的作业的可用存信资源并迸行报 告.这有助

9、于LSF计划程序在提交作业 时做出合适的决策，进而阳历出现作业 故障的几率.不冏的电子设计工具有不同的存储要求，NetApp针对各款工具提供了详细 的建议和指导.其中包括触实践、存 储架拖、配置和规模估筒，例如有关基 于NetApp Data ONTAP存储解决方案 部署的SynopsysVCS验证工作负载和 Perforce软件配置管理的信息.Data ONTAP 8.2NetApp FAS6290FAS6280如何借助NetApp存储使容量翻倍截至2012年，以NetApp存储为后盾,我们的工程计算基础架构基本能够满足需求。为了保证创新工作有条不素，我们需要支持更多的并发工作流并提高计算作

10、业的性能.为解决这一难题，我们部署了采用智能缓存技术的NetAppFAS6280和FAS6290存储系统以提高吞吐量,并将多个独立系统整合为高可用性对.同时，我们升级到了DataONTAP的更新版本，它提供了更多的并行网络线程来处理I/O请求，而且使CPU在所有核心间的利用率更加平衡。此外，我们还与NetApp工程部展开密切合作，联手进行基准测试并针对我他特定的EDA工具进行存储优化，这并未改变或影响我们工程团队的底层工作流(见边栏：”打造一个经优化的自定义工程工厂)借助其他NetApp存储系统、缓存和优化操作，最终我们计算工厂的整体处理效率提高了一倍多，每天的计算作业量从200万增加到450

11、万。我们可以在任何指定时间同时执行60,000项计算作业.CPU时间与实际时间的整体比率也有所提升一我们发现实际编译性能提高多达19%且模拟运行次数增加多达25%.吊&AA1:I(IBMLSF)图1)NVIDIA工程计算工F采用NetAppDataONTAP82.通过NFS和CIFS访问相同的文件系统时,DataONTAP完全保持了数睡)完整性.适用于处理器设计工作负载的NetApp FAS6200系列的五大优势：控制器内存(DRAM).由于每个控制器 拥有96 GB的内存，元数据可以缓存到 基本内存，这样对元数据的响应时间将 不足1雁秒.这对调整蛟大活动工作集 的大小至关重要.网络.FAS6

12、290中的两个IOH芯片可提 供72个第二代PCIe通道，我们可以使用 交换机进一步增加通道数：在FAS6290 中建立152个LO连接PCI通道，内部 总带宽超过每秒72 GB.NetAppFIash Cache.连接酶制器 的PCIe智能缓存可减少实现同样性能 别所需的磁盘轴数，并大大降低读取探 作的延迟.RAID组优化,借助NetApp ,我们可根 据暂存空间写入工作负载灵活调整RAID 担，从而最大限度地降低延迟.高效存储为产品上市提速NetApp技术对我们计算工厂的性能、效率和可靠性发挥着重要作用，有助于我处理能力单个FAS6290控制器拥有们使用相同的存储平台优化唤序工作负载和随机

13、工作负载，进而力瞅上市速度。12个处理核心，且全都用来加快数据处理，这样我们可以处理更多的开发作业.提升小文件随机I/O性能NetApp能出色地处理通过NFS传入的I/O请求，一部分是因为WAFL(任意位置写入文件布局)，这是最令我印象深刻的NetApp功能之一.WAFL使用临时数据布局同时写入元蟾和用户数据，以尽量减少将数据提交到存储所需的磁盘操作次数，而不是将数据和元数据存储到磁盘上的预定位置.将非常小的文件(小于64字节)存储到文件系统内的索引节点数据结构中，而非磁盘块中；因此，无需访问磁盘(省下了查找时间)，提升了性能。借助智能缓存节省空间和能耗的同时优化读取性能我们借助NetAppF

14、lashCache来提升决定着大部分工作负载速度的读取性能。通过在连接到控制器的PCIe卡上缓存最近读取的数据和元数据，FlashCache在Pel总线中充当WAFL扩展缓冲区，从而帮助我们容纳非常大的数据集。我们与NetApp紧密合作，共同确定工作负载所需的FlashCache数量并决定使用512GB和1TBPCle卡.这样一来,缓存使用率就始终高于90%.借助FlashCache,我们可以使用混合存储模式，以便最大限度地减少存储占用空间并控制成本。在该模式下,我们使用了具有较高密度的高性能串行连接SCSI(SAS)驱动器和成本较低的串行ATA(SATA)驱动器.若不采用FlashCache

15、要达到我们目前的性能水平，我们需要的磁盘架数量以及相应的能耗和散热资源可能要增加三倍多,若不采用FlashCache,我们可能无法在现有环境下使用高容量SATA磁盘，且很难扩展计算工厂的容量。我们的数据中心可能已不堪负重.事实上，在我们对计算工厂进行容量扩展之后，借助新NetApp存储系统的能效，我们已从电力公司赢得了200.000美元的返利.降低风睑，同时保持数据一致性NetApp存储另T极具吸引力的功能是Snapshot副本，它们是活动文件系统基于指针的只读副本。WAFL利用写时复制技术最大限度地减少Snapshot副本占用的磁盘空间，这样我们就可以在保留数据集的时间点副本时，既无需占用

16、存储空间，又不会影响性能。Snapshot副本可帮助我们保持数据一致性，这在工程环境中至关重要，而且有助于避免数据丢失的风睑。计算作业完成后,我们可以使用Snapshot副本临时保护无需保留的数据，避免因重复存储而产生费用，这一方法十分简便.Snapshot副本可以在我们这种文件数量巨大的环境中提供快速恢复，只需翻转文件系统指针即可一如果实验过程中出错，我们可以使用Snapshot副本中的数据副本快速恢复到已知状态.NVIDIA目前使用NetAppSnapVauIte进行备份并使用NetAppSnapMirrore将数据复制到位于萨克拉门死的灾难恢复站点。NVICHA Cratk)IT存储经理

17、Pethuraj Perumal我们还使用NetApp重复数据删除来消除某些卷内的冗余数据块，并因此而获益,重复数据删除技术会找到相同的数据块，并以引用单个共享数据块的方式将其替换。这种方法特别适合我们保留了多个副本的Perforce软件配置管理系统，因为这些副本中有大量的重复数据.我们将这些卷的容量要求降低了30%.用更少的人手管理更多的存储尽管我们计算工厂的存储容量已大幅提升，但我们未雇用更多的基出架构人员，且我们的预算与往年持平.实际上，少一个全职员工我们也可以正常运行.正是因为NetApp让我们能够轻松简单地管理15PB的雌占用空间，才让这成为可能。Pethuraj Perumal 于

18、 2011 年加入 NVIDIA 并担任IT存储经理一职,负贡首理超过 20 PB的全球存储环境,Pethuraj拥有 超过15年的复杂信息技术系统管理和设 计经腕,曾在Synopsys公司（半导体 设计软件领域的领号厂商）担田端保 护服务经理TR.借助NetAppOnCommandeUnifiedManager管理软件，我们可以快速了解性能指标和利用率统计信息.为了尽早发现存储基础架构中的问题以免对计算作业造成影响，我们选择使用NetAppAutoSupporf-,它可在出现磁盘故障或其他潜在问题时迅速做出响应并向我们发出警报。业务影响:加快NVIDIA及客户的上市速度对NVIDIA而言，计

19、算工厂的效率提升25%意味着可以在更短的时间内测试、验证芯片设计并将其推向市场.NetApp帮助我们提升了CPU时间与实际时间的比率，这对我们的上市时间至关重要.随着性能和容星的提升，我们每天可以支持的作业量将是之前的两倍多，反过来这将促使我们推出更多的设计.我们将不再受停机时间的影响,借助NetApp系统我们实现了高于99.99%的可用性.我们不再关注存储正常运行时间，因为我们的NetApp存储随时可供工程师们使用.缩短发布周期也将为我们的客户带来巨大的商业价值，这不仅能够巩固我们的战略业务合作伙伴地位，而且有助于客户推出基于NVIDIA技术的突破性产品.未来规划借助NetAppFlashC

20、ache和其他存储效率，NVIDIA实现了R&D计算转型并成功打造了一个支持不断创新的计算工厂.在扩大和完善计算工厂的过程中，我们将继续信赖与NetApp之间的合作，我们还期望借助新一代NetAppFAS6000存储系统提高性能并在能耗和散热方面获得更多优势.同时，我们还将扩大NetApp存储在其他业务领域的应用,包括公司IT和我们的VMwareVSPhere秒虚拟服务器环境。在不久的将来，我们计划将计算工厂迁移到NetApp集群模式DataONTAP操作系统，目前我们正处于测试阶段.通过将我们现有的NetApp存储系统合并到集群模式DataONTAP下的单个全局命名空间，我们将从无缝横向扩展

21、简易关于NVIDIA自1993年以来，NVIDIA(纳斯达克股票代码：NVDA)一直在视觉计算的艺术与科学发展中勇当开路先锋.公司的诸多技术正在彻底改变视觉世界的面貌，致力于打造一个充满互动与探索的世界，无论是游戏玩家、科学家、消费者还是企业客户，都将从中受益.如需了解更多信息，请访问和,关于NetAppNetApp提供创新的存储和数据管理解决方案，旨在帮助客户加速业务突破,获得显著的成本效益.了解我们倾力帮助全球公司持续快速发展的详情,请访问WWWcn.Gofurther,fasterNetApp产品第三方产品NETAPPFAS6290和FAS6280IBMPLATFORMLSF作业计划软

22、存储系统PERFORCE软件配置管理系统NETAPPDATAONTAP8.2操作SYNOPSYSVERILOGCOMPILE系统Simulation(VCS)逻辑模拟工具NETappOncommandUNlfiEDREDHAT和CentOSLinuxManager5.1CISCO和AristaNetworks NETAPPFLASHCACHE NETAPP重复数据删除 NETAPPSNAPMIRROR复制技术 NETAPPSNAPVAULT NETAPPSNAPSHOT和SnapRestoreo技术NETAPPAUTOSUPPORT交换机全国销售热线：4008-1818-11lt三*NUMN*

23、K1WHArpm三*S3，昉市依区东大林尊9g11MEjrtaJR9广做:无无14文化包严AaCA2MCIKKRi企欠268解“：10xe0m：20x8MGK20tO6*ei:51846.810M7m.21.43U椀.MSO2SOXO板-21-6132B0电塔M-AwctaoroHiiS:aseto,MOCO槐CB-SM-2MO2S37电话WR4W11,电W陟S0W2府HM，版9B8WA防G1G188O忡K”KW17R3WA-/“CBI62547)fff作寅:纺27936177 NetAppa02013Nec.Inc.保甥所有取利.极NetApp.Inc事先书面闫京,不得复制京文中任网内移.规格如有更改.期不兄行通知.NetApp,NetApp标见Gohrther.faster.DataONTAP.AashPool.FZefroOusIef和RAID-OP是NetApp.Inc.在美国K)1晚只佗1目格或坨区的音标或注现商信所有物WH或产盘均为三名日所有者的砺切或注册通分,应于同蜂对做DS453902l42hCNWWW. netapp.corVcn/物以下和关好江Ab.1.