基于 NetApp E 系列存储的视频监控解决方案性能注意事项.docx
《基于 NetApp E 系列存储的视频监控解决方案性能注意事项.docx》由会员分享,可在线阅读,更多相关《基于 NetApp E 系列存储的视频监控解决方案性能注意事项.docx(22页珍藏版)》请在三一文库上搜索。
1、NetApp技术报告基于NetAppE系列存储的视频监控解决方案性能注意事项NetApp公司JoelW.King、JamesLaing2013年7月ITR-4198摘要使用E系列存储的视频监控解决方案为物理安全集成商提供了一个高度可扩展的视频管理系统存储库,可支持大量摄像机、百万像素分辨率、高帧速率和较长的保留期限。该架构的设计可实现高可靠性和高可用性,以满足视频监控部署的需要。目录1简介41.1 发布范围41.2 受众41.3 视频监控存储解决方案42I/O特征42.1 查看归档视频52.2 分层存储的性能53服务器规划63.1 硬件建议63.2 CPU64产品选择和性能64.1 概述64.
2、2 操作注意事项74.3 E系列存储阵列74.4 可配置的性能选项94.5 E系列性能检查清单105示例一:E系列存储阵列E2600115.1 一般性能注意事项115.2 本示例的典型数据速率115.3 示例1中的E2600性能摘要126示例二E系列存储阵列E5400127一般性能注意事项137.1 典型数据速率137.2 E5400性能摘要138分层存储的性能验证138.1 归档功能138.2 录制服务器148.3 E系列阵列归档时性能监控158.4 I/O延迟169其他性能注意事项1710总结18定义18参考资料19版本历史19表格目录表I)E系列控制器和磁盘架。8表2)存储阵列全局参数。
3、10表3)卷和卷组专用参数。10表4)术语词汇表。18插图目录图1)64台摄像机从1倍速度过渡到16倍速度。5图2)E系列原始存储容量,8图3)E2600硬件和软件组件。11图4)E5400硬件和软件组件12图5)存储配置RACK-SVR-37o14图6)归档期间的写入频率。15图7)归档时性能监控。16图8)I/O延迟RACK-SVR-37o171简介NetAPP&E系列存储阵列为大规模视频监控部署提供了性能、效率、可靠性和企业级支持。所有视频监控管理软件都有一个共同的功能,就是可将实时视频源录制到存储中供日后播放,从而有助于对一台或一组摄像机的视域内的人员或事件进行取证分析或调查。这些视频
4、源由数百或数千台摄像机生成,通常可每天24小时、每周7天持续录制,保留期限长达数月或数年。1.1 发布范围本文档提供的信息面向那些需要确定或分析使用NetAppE系列存储的视频监控系统的性能并对其进行故障排除的人员。1.2 受众本报告旨在为物理安全集成商、视频监控管理软件工程师、网络和存储系统工程师以及负责将NetAppE系列存储系统集成到现有视频监控部署或设计和实施新部署的架构师提供指导。本报告中的内容假定这些专业人员可以结合他们的经验和支持文档来使用此信息,以构建高效率、可扩展的高可用性系统。部署目标本文档的部署目标为大型环境(200-1,000台摄像机或更多),保留期限至少30天,且主要
5、使用HDTV/百万像素分辨率摄像机。1.3 视频监控存储解决方案本文档关于视频监控性能的信息适用于使用E2600或E5400控制器以及具有900GB10K串行连接SCSI(SAS)和3TB7.2KSAS磁盘驱动器的DE6600磁盘架的部署环境。2I/O特征在许多部署中,视频监控工作负载的特征为包括99%的写入工作负载和1%的读取工作负载。在这些部署环境中,视频可持续归档到磁盘,也可以根据动态检测归档到磁盘,只有在发生需要分析的意外事件时才会查看视频。例如,在教育市场中就不常查看归档。写入工作负载通常是每个卷(LUN)上的恒定工作负载,它可根据每台服务器上的摄像机数量来确定。而读取工作负载则根据
6、查看工作站查看归档视频的频率和次数来确定。大多数视频管理系统都会实施分析工具来使操作员能够对视频进行快进。此外,还具有智能搜索归档视频的功能,可以查找摄像机视域特定区域内的运动或对象。这些搜索实用程序可能会检查两个时间段之间所有归档的视频,也可能会检查出现在每10个帧处的视频。此外,多个摄像机的视频归档可按时间进行同步或快进。此读取工作负载生成I/O请求的速率可能是最初将视频写入磁盘的速率的许多倍。写入工作负载特征比较容易确定,而读取工作负载则较难预测。视频管理系统的架构和配置也会影响存储阵列的工作负载。实施分层存储的系统会安排按重复间隔(如每小时或每天)在卷或目录之间进行复制,在执行复制功能
7、期间,存储阵列的IOPS可能会增加8倍或以上。此功能将同时生成读取和写入0o查看工作流和性能数据时,视频监控部署必须首先衡量基准写入性能,然后考虑在最初写入之后读取或复制视频的频率。2.1 查看归档视频并发查看的摄像机归档的数量以及查看频率会影响存储阵列的读取IZOo可以按正常速度或较快的播放速度查看视频归档。应用程序可能支持将播放速度提高到录制速度的一千倍以上。图1展示了按正常播放速度查看64台HDTV摄像机并过渡到16倍播放速度的性能特征。为此,视频的测试写入会暂停,以便于查看读取I/O所发生的变化。图1)64台摄像机从1倍速度过渡到16倍速度.St* t stfae38 I1M3ft3D
8、 139SOU 139t3U 13:40:(10 13t4QU 13:41:00 1341O 13:42:00 13:42:30 Ikne在本示例中,播放速度从1倍过渡到16倍时,平均数据速率将从大约140MbPS(每台摄像机2.2Mbps)增加到400Mbps(每台摄像机6.2Mbps)o请注意,数据速率的增加并不呈线性关系;增加到16倍速度会使I/O速率以3倍为单位增加。与视频管理软件(VideoManagementSOftWaeVMS)查看客户端的取证功能相关的性能特征会因实施情况而有所不同,并且可能在各个版本之间也不一样。视频墙和客户端查看工作站会同时影响存储阵列的性能特征,而不是存储
9、阵列所需的容量。在估算存储阵列的规模时,可能需要考虑客户端工作站的调查活动以及意外事件报告文件。2.2 分层存储的性能在正常处理来自摄像机的视频源并写入视频录制存储位置期间,服务器和存储阵列之间的数据速率相对比较恒定。启动归档流程后,I/O特征会根据归档的源和目标而有所变化。如果管理员为录制位置和归档位置(例如,E:RECORDING和F:ARCHIVE)分别配置了不同的卷(在录制服务器中为LUN),则包含录制位置的卷将产生读取I/O,而归档位置则产生写入IZO0在归档流程进行期间,本示例中的归档功能将更改录制位置的I/O特征,从以写入为主更改为同时进行读取和写入。归档流程的持续时间由需要移动
10、的数据量决定。请注意,录制服务器向存储中写入视频的速度与从网络视频摄像机传输过来的速度大致相同。归档流程读取和写入数据的速度与录制服务器读取和处理文件并将文件写入目标的速度相同。在测试中,我们发现I/O速率在归档流程中增加了八倍或以上。3服务器规划物理安全集成商往往会将服务器看作一种商品,主要设计意图是部署既能满足视频管理软件的性能要求又能使成本最低的服务器。部署开放式平台系统的理念是,可以灵活地为该任务选择最佳组件。“最佳”可以理解为最廉价,但同时又符合性能标准。物理安全集成商的常用设计方案是,采用成本低的机架堆叠式方法,在不使用虚拟化的情况下部署相对低端的1RU录制服务器。如果连接到存储阵
11、列的主机接口为比较廉价的IGbpsiSCSI,则这一设计的优势最为突出。如果使用双端口光纤通道HBA或双端口直连SAS主机接口,则HBA的成本或者直连配置对可扩展性带来的限制将妨碍机架堆叠式方法的部署。此时,比较划算的选择可能就是利用虚拟化部署少量高端服务器。3.1 硬件建议查看工作站和录制服务器必须符合视频管理软件供应商的最低硬件要求。例如,OnSSl在http:/WwWQnSShardware-recommendations上列出了其硬件建议O这些建议一般都具有概括性,例如,双核InteIXeor(建议使用四核)或IntelCOrei5或更高配置,而不是指定确切的型号或时钟频率。CPU规格
12、会经常发生变化,并且会产生许多变体,因此无法全面测试每一种型号。3.2 CPU在验证测试中,所测试的CPU从IntelXeonE5504(2GHz1两个处理器插槽,每个插槽四个核心,共8个处理器)到IntelXeonE5-2690(2.90GHz1两个处理器插槽,每个插槽八个核心,共16个处理器)不等。由于这两种配置都符合最低硬件建议,因此,从设计角度来看,其差别就在于每台录制服务器可支持的摄像机数量不同。或者说,对于相同数量的摄像机,性能较低的CPU比性能较高的CPU利用率更高。之所以将录制服务器部署为虚拟机,其优势就在于可以将录制服务器虚拟机添加到物理机来利用未使用的CPU周期,从而使CP
13、U周期的利用率更高。虽然虚拟机管理程序的许可证可能会产生额外成本,但资源使用效率更高,从而可抵消这一额外成本的影响。4产品选择和性能本章介绍视频监控存储产品的选择和性能评估,并提供了相关结果、建议和结论,在规划和实施解决方案时可以考虑这些因素。4.1 概述视频管理录制服务器的主要目标是,通过IP网络从视频监控摄像机中接收视频源,并将该视频的全部或部分内容记录到磁盘中,并保留给定的期限。此功能的工作负载主要是在服务器中以相对恒定的数据速率产生写入l0o而次要目标则是允许监控操作员查看、搜索和分析写入视频服务器归档中的视频。此工作负载主要是读取I/O,而此I/O速率可能显著高于原始写入速率。此工作
14、负载可能不常发生,并且可能是瞬时的,具体取决于部署模式。例如,公立学校部署环境可能只需要每周查看一次或两次所录制的视频,而博彩行业部署环境则会利用操作员的分数来不断分析赌场中的活动。第三个工作负载则来自VMS对视频文件的管理。如果视频文件超过所配置的保留期限或卷达到最小可用空间(该参数可以配置),则会将其删除。某些VMS实施会将视频源先写入一个临时目录几分钟,然后再将这些文件复制到一个永久目录中。而另一些实施则会将视频的前24个小时内容存储在一个实时目录位置,然后定期(时间可配置)将这些文件移动到一个或多个归档位置。这三个视频工作负载分别为: 录制 查看 管理视频录制产生的是恒定的读取I/O,
15、查看产生的是瞬时的读取I/O,而管理产生的则是定期同时进行的读取和写入I/O。4.2 操作注意事项病毒扫描软件由于消耗系统资源,病毒扫描软件可能会对性能产生负面影响,该软件可能会在扫描期间临时锁定文件。这些文件锁定可能会影响性能或导致文件损坏。一般情况下,不要对录制服务器的录制或归档目录以及管理服务器执行病毒扫描。用户访问和第三方软件视频监控录制服务器不应安装第三方软件,如DVD刻录软件,因为这些软件包可能会对性能产生不利影响.此外,使用Windows资源管理器或其他应用程序来查看(打开)归档文件可能会产生与病毒扫描软件相同的性能和文件损坏问题。磁盘已满条件大多数VMS应用程序都可为视频文件定
16、义保留期限,并可通过软件为归档位置定义最大容量。例如,为视频存储定义的卷(LUN)的可用容量可能是29.3TB;但应用程序中定义的最大容量为28TB0无论配置的保留期限如何,只要存储位置达到28TB的限制,应用程序就会开始删除最早的视频文件。如果对OnSSloCUIariS和MilestoneXProtect使用分层存储方法,则录制服务器会尝试先将文件从初始位置移动到归档位置,然后再使用计划的归档功能,以便释放空间。磁盘已满条件会为归档功能增加额外工作负载,因此会影响性能。此类紧急归档功能不会按常规计划发生(每两分钟发生一次)。如果在部署中未实施归档功能,则在发生紧急文件删除时会产生一些额外的
17、工作负载,但性能影响应该微乎其微。最佳做法是,准确估算应用程序的规模并对应用程序进行配置,以保持充足的性能和可用空间,从而使性能更加稳定。数据库损坏和修复归档位置的文件结构可能会在录制服务器发生故障或非正常关机时损坏。如果已实施故障转移录制服务器,则在主录制服务器停止运行时,故障转移录制服务器将承担视频归档的功能。主录制服务器恢复运行后,必须修复数据库结构。在此恢复期间,工作负载可能会发生显著变化,因为损坏的数据库文件可能会移动到子文件夹,并在后台进行修复。此外,存储在故障转移服务器上的视频文件必须从故障转移服务器移动到主录制服务器。修复和恢复过程可能需要30分钟或更长时间,并且额外的工作负载
18、可能会影响正常系统性能。4.3 E系列存储阵列可以使用以下任一控制器选项来实施视频监控解决方案,这两个选项都基于使用3TBNL-SAS驱动器的DE6600磁盘机箱: E5400控制器,具有8Gb/秒光纤通道(FibreChanneLFC)主机接口卡(HOStlnterfaCeCard,HIC),并且每个系统具有12GB或24GB缓存 E2600控制器,其中主机系统连接到直接连接SAS1速度为6Gb/秒,并且每个系统具有4GB或8GB缓存NetAppE系列存储阵列凭借其价格和性能特征迈入视频监控市场。图2概述了E2660和E5460存储阵列支持的摄像机和磁盘架数量。图2)E系列原始存储容量E54
19、60和E2660是第六代存储阵列,采用机械工程设计专利技术,可提供密集型、可扩展、高度可靠的带宽和容量。磁盘控制器固件可支持高带宽、大型块流和小型块随机I/O的最佳组合。控制器。该解决方案的控制器为E5460或E2660oE5460适用于FC部署,E2660适用于直接SAS连接部署。该解决方案采用双控制器以实现高可用性。E系列的所有组件都支持热插拔;固件升级可以在系统运行时完成。这两个控制器都通过一个数据路径连接到阵列中的所有磁盘架和驱动器。这两种型号的控制器都会部署缓存以实现读取和写入缓冲。 磁盘架。DE6600是一个4机架单元(RackUnit,RU)磁盘架,可容纳多达60个3.53TBN
20、L-SAS驱动器。E5460配置可支持控制器架以及5个扩展架,总共支持360个驱动器。E2660可支持控制器架以及2个扩展架,总共可支持180个驱动器。如果使用3TB驱动器,则会分别提供1080TB和540TB的总原始容量。表1显示了这些配置。表I)E系列控制器和磁盘架。I类别IE5460IE2660周外形规格4U/60个驱动器4U/60个驱动器最大磁盘驱动器数360180控制器架11最大扩展架数52最大磁盘架总数63懑盘驱动器:每个磁盘架都可装有不同大小和转速的近线SAS(NeaSAS,NL-SAS)sSAS虱三BSI(SolidStateDrive,SSD)o由于用于存储视频监控归才启嚼馥
21、会嘎懒题级驱动器。企业级驱动器的设计匕R动器会连续产生工作负裁,f振动,可每天24小时、每区母感持续运行,并且保修期为五年或更长时间。128KB(默认)为将来的区块大小更改保留的容量无需将来的区块大小上限不适用修改优先级最低8读缓译于NetAppE系列存储的视频监控解决方案:性能注意事项启用(默认)写缓存启用(默认)4.4 可配置的性能选项以下内容提供了所有操作系统、虚拟机管理程序和VMS包都适用的性能建议,本文档末尾会提供一个检查清单,以帮助实施建议的值。数据保证数据保证是在某些磁盘驱动器上支持的可选配置选项。该选项会向写入到卷中的每个数据块添加校验和。该功能会对性能造成负面影响,这对于某些
22、应用程序来说是可以接受的,但对于大多数视频监控应用程序来说则被认为没必要。读取和写入缓存读取和写入缓存均应启用。这些参数必须逐个卷进行配置。应启用动态读预取。读预取通常称为预读。预取或预读功能可以在缓存中预先加载未来预计要请求的数据,从而可提高读取吞吐量。NetApp建议将无电池供电的写缓存值设置为禁用。如果电源出现故障,则控制器上的电池将为控制器供电,以便将写缓存转储到板载闪存中。然后,电源恢复后,写缓存中的I/O才可完全转入磁盘。控制器电池故障会记录在事件日志中,应尽早予以更正。缓存镜像NetApp建议将缓存镜像的值设置为禁用。缓存镜像可有效地将可用缓存减少50%,因为I/O会在两个控制器
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 NetApp 系列存储的视频监控解决方案性能注意事项 系列 存储 视频 监控 解决方案 性能 注意事项
