1、成功案例大数据时代的数据存储之道NetAppfl机和存储方面的应用探索相对滞后。不过,据.如果能有效消除这些重复的数据,太平 洋保险的存储空间还将得到进一步优化。“在存储资源的利用上,我们事先会做好规 划,比如将现有的存储设备按照高端、中端 和低端分成类,然后在分层存储理念的指导 下,将数据分别存储到最合适的存储介质 上.王晓慧补充说,“近两年来,由于业务 发展十分迅速,每一个新业务系统上线时,通常都需要增加一些新的存储资源,经过分 析后,我们会提出新的资源容量计划,并以 此为依据进行存储升级和扩容。在这个过程在整个存储系统中统一使用重复数据删除和压缩技术,而不是只在局部中使用。只有这 样才能
2、更好地优化存储空间,更充分地利用 存储资源池,提高数据挖掘的效率,在实施分层存储的过程中,太平洋保睑并没有采用现在非常流行的固态硬盘(SSD ).-SSD现在的价格普遍较贵,对于更看重存 储系统高性价比的我们来说不太适合。王 晓慧介绍说,“我们在采用NetApp的存储从2006年开始,中国太平洋保险(集团)股份有限公司(以下简称太平洋保险)就逐步实施了数据集中,各分公司的业务也逐渐向上海总部集中,2009年,太平洋保险在上海建成了全国大集中的数据中心,存储者90%的公司各类数据,此外还建立了一个同城的灾备中心。据太平洋保险系统处负责人王晓慧介绍,目前太平洋保险的数据存储总量为1.5PB-2PB
3、由于数据量每年都在大幅增长,太平洋保险平均每年新采购的存储容量的增长率都保持在30%以上.持续增加的各种新业务和用户数量让太平洋保险在存储方面面临的压力越来越大.除了单纯的数量大以外,存储系统中还存在大量的重复数据。如何消除这些重复的数据,从而进一步对存储系统进行优化和整合,也是摆在王晓慧和他的技术团队面前的一个难题。.未来,我们会继续在重复数据删除技术的应用上多下一些功夫,此外还要进行有效播雌挖掘,进一步提高存储资源的利用率.”王晓慧表示.IT基础架构以稳为主作为金融行业的一个重要分支,保险业在IT基础架构的建设方面与银行等金融机构的需求基本相同。王晓慧表示:“保睑业更看重IT基础架构的安
4、全性、灵活性和高可用性.与银行通常使用大型机和专有的系统相比,保险业的一个特点是,基本采用开放系统.或刀片服务器,只有一些核心的数据库才用到少量的小型机。篌用86架构服务器解决的问题,我们都会优先选择X86架构的服务器王晓慧表示,费们每年都会采购一些新的x86架构的服务器,用于虚拟化应用.不过,我们并不会盲目追求采用最新的技术.保险业最看重的还是系统的稳定性、安全性。为了更好地实现数据中心的集中化,我们通常会采用高密度的刀片服务器,只在一些特殊的应用场合,才会配置独立的PC服务器.”近两空,随着虚拟化、云计算等技术的兴起IT基础兼构也随之发生了变化.王晓慧介绍说:“我们的数据中心也在朝着虚拟化
5、云计算这个方向转型。虽然现阶段虚拟化和云计算技术还不是十分成熟,但我们也在进行一些这方面的应用探索.比如,我mx86架构服务器的虚拟化方面就先走了一步,有了许多成功的应用,但是在小型我们一直在跟踪最新的技术发展趋势,会率先在测试和开发平台上尝试采用一些新技术.“存储化是核心在实现了数据大集中以后,大平洋保险石重加强了对存储系统的优化.目前,太平洋保睑存储空间的实际使用率达到了85%-90%.这与很多企业只有不足中,如果我们能有效利用重复数据删除技术和压缩技术,就能更好地节省存储空间。由于太平洋保险采用了多个厂商的存储设备,有的存储设备中自带了重复数据删除技术,因此这些存储设备的存储空间优化程
6、度就优于那些没有采用重复数据删除技术的存储设备.王晓慧表示:“未来,我们希望能50%的存储利用率相比,已经是一个非常高的水阵列时,就用到了NetApp的分层存储、闪静渊以隹瞬莘第X葆瀛懒)|俨鱼璃桑构中,平.但是,王晓慧对此并不十分满意,存以及重复数据删除技术,完全可以满足我因为这些已经存储的数居中,还有大量重复的数们对存储性能的需求.我们在邮件系统、影像系统中以及在对大量非结构化数据进行处理时,采用了大量NetApp的存储设备.经过实际测试,NetApp的存储设备无论是从性能、可靠性还是整体性价比等多方面来综合考量,都更适合我们的需要.高性价比是优势太平洋保睑与NetApp的合作始于四五年前
7、当时,太平洋保险的数据存储量并不大,只是在一些小型的邮件系统中采用了NetApp的存储阵列,以满足数据并发访问和数据同步更新的需要.王晓慧介绍说:“在选择存储解决方案时,除了关注产品本身的性能、可扩展性、可管理性、易用性等指标以外,我们通常会优先考虑经过实践反复验证过的,并且能与现有系统保持良好兼容性的产品,这也有利于系统的平滑升级.由于NetApp的存储阵列在邮件系统中的应用表现优异,我们在后来的影像系统以及其他一些存储应用中也陆续采用了NetApp的存储解决方案,与那些价格较高的光纤存储产品相比,NetApp的存储解决方案胜在具有很高的性价比.”太平洋保险目前已经使用了20多套备份和恢复
8、利用灵活卷技术可以实现系统越普及,其后端的存储系统在性能、容量以简单快速的部署与硼整等;第四类,作及可扩展性等方面也必须有相应的改进.王为OA系统的存储平台,利用FlashCache、灵活卷和SnapMirror等技术,可以提高整个OA系统的响应速度,加快系统的部署速度,实现远程灾备.太平洋保睑的影像系统,文件数量以亿为单位,是真正的海量文件环境.由于越来越多的应用都依赖影像系统中的图片文件,保证影像系统中图片文件的可靠性和可访问性变得越来越重要。此外,对图像文件进行智份和容灾保护也是十分必要的。在影像系统中,NetAppNAS系列产品在性能、易管理性、可靠性和容灾保护等方面的优势得以充分发
9、挥.比如,NetAppNAS利用NetAppFIexVoI空间精简分配技术,实现了存储空间的动态精简分配,不仅提升了存储空间的利用率,并且简化了存储空间的管理和分配:NetAppNAS提供了TB级的缓存(最大可达8TB),可以极大地提升整个文件系统的读写性能;利用NetApp的SnapMirror容灾技术,还可以实现简单、经济、高效的海量数据容灾保护。NetAPP的各类存储设备,主要包括王晓慧表示:“从过去几年我们使用NetAppFAS3140.FAS3160.FAS3170和V3160.V3170.V6080以及FAS3240A、FAS3270A等.太平洋保险部署在NetApp存储上的应用主
10、要包括以下四大类:第一类,作为VMware服务器虚拟化的存储平台,主要是利用NetApp的MetroCIuster构成双活存储架构,消除数据单点故障,提高整个虚拟化平台的高可用,并且利用SnapMirror技术实现系统远程灾备,同时利用iSCSIFCPNFS等协议为虚拟化存储架构提供更好支持;第二类,作为VDI桌面虚拟化的存储平台,利用NetApp的重复数据删除技术,可以节省70%的存储空间,利用NetApp的FlashCache技术,可以消除虚拟桌面启动、登录、病毒扫描风暴,降彳氐对于后端磁盘I/O请求,从而提高整个虚拟桌面系统的性能;第三类,作为影像/电销/短信/网站/邮件,客服/财务/电
11、单/配件/营销管理系统的存储平台,可以实现高性能、高可靠的文件存储,此外利用SnapShot技术还可以实现文件嘘的快速全国销售热线:4008-1818-11NclApp北京北JleSB阳区东大略99ffNetApp上海上方方称支区赫西珞338号日幅200003晓慧表示,基于上述考虑,我们对多个厂商的存储产品进行了测试,NetApp的FAS系列存储产品与VMware虚拟化平台结合紧密,特别是可以在不同的机柜之间实现相互的备份,方便实现前端虚拟机跨机柜的迁移。NetApp存储产品与VMWareVSPhere可以构成一个完整的从服务器到存储的完全虚拟化的环境.在服务器虚拟化环境中,NetA即存储产品
12、可以减少50%的存储开销,其部署可以像部署虚拟机一样快速,并内者备份和容灾功能,可以通过VMwareVCenter直接进行存储管理.除了服务器虚拟化以外,太平洋保险在桌面虚拟化方面也进行了有益的尝试.太平洋保险是从2011年下半年开始实施桌面硼化项目的,主要是为了解决开发环境中的数据安全问题.太平洋保险将其开发环境变成了一种虚拟桌面的模式,第三方的开发人员不用自带电脑,就可以在其虚拟桌面环境中进行编程和开发项目,这样也便于对开发项目进行统一和集中管理,从而保持数据的统一性和安全性.王晓慧表示:如果桌面虚拟化技术在开发环境中被证明是可行的和安全的.那么未来我们可能会考虑将此技术应用存储产品的效果
13、来看,NetApp存储产品管理起来确实十分方便,因为它拥有统一的管理界面或管理模式,管理人员上手比较容易,到所有分公司、营业厅以及对外服务租瞬建行系统维护.此外,NetApp存储硬件的故障率比较氐,其整体稳定性让我NetApp公司技术顾问冯英杰I卜充说:“我们与太平洋保睑在售前、售后以及技术和服务支持等多个方面进行了紧密协作.一方面,我们可以为太平洋保险提供稳定的高性价比的存储解决方案;另一方面,我们也会将一些经过严格测试的先进技术介绍给太平洋保险,双方在技术方面经常进行沟通和交流.比如,我们最近提供的针对虚拟机的存储解决方案就得到了太平洋保险的充分认可.今后,我们会继续利用自己在统一存储平台
14、上的技术优势,通过集群模式为太平洋保险提供稳定、可靠的支持。虚拟化应用刚刚起步随着服务器虚拟化技术在企业中的应用越来由于目前虚拟桌面只用于开发环境,虚拟桌面的数量还不是很多,所以对后台的主机、存储和数据库在性能方面的压力还不是太明显.当初,太平洋保睑的虚拟桌面系统后端使用的是另一个厂商的存储产品.但是后来由于数据流量不足等方面的原因,太平洋保险又将NetAppV6080用于虚拟桌面系统.桌面虚拟化应用对存储提出的挑战在于,存储既要具有高性能、高可苑性,能够保证数据的安全,又要具有彳氐成本,便于管理和使用.NetAppFlashCache技术可以消除磁盘性能的瓶颈,将存储系统的性能提高71%.据
15、冯英杰介绍,NetAppV6080内置重复数据删除功能,可以节省60%-70%的存储空间.NetApp广州广州市无可区天河路335号MctApp成都成都巾送江庆路9号NctApp深圳示川市福田区中仅3181号霖里NolApp杭州中国K卅毁口818号区受NctApp南京南京市嘉湾区辽宁J85号无力加0:10002050293000电话8G21-613280008&21$132803蝌a:510620电话:862028317511传Jt:82028317515tf:610021电话:给28喇$5070ft*:鲂终做65071:518048电话:86-75533043190怜M:8675633043
16、193即0:310007:571-28138870传Jl:屿57l2838800即0:21000$电话:曲256852571868525720传真:86253525726app.8m/cnNetAP唯供创新的存储和镰管理解决方案,皆在帮助客户加速业务突破,获得显著的成本效益.了解我们倾力帮助全球各地的公司持续快速发展的详情,请访问WWWmetaPP.coVcnH=生(82013NtApp.IncffiSfiRreet?1.耒及NetAPP.Im”先书面超然,不用艇制本文中任何内容.规格如在更改,极不另行通知.曲&用.Ne伏PPf而R.Gotu11hr.IastecBNetApp.Inc.在美国和或其蜘5*(或地区的商标或注fifl及标所石日他显牌或产品均为H各自所日方若的商标或注脂尚好,应予砌对待.Gofurther,faster通过以下条逋关注我Ib: