基于Blackfin的智能IP Camera系统设计.doc
《基于Blackfin的智能IP Camera系统设计.doc》由会员分享,可在线阅读,更多相关《基于Blackfin的智能IP Camera系统设计.doc(8页珍藏版)》请在三一文库上搜索。
1、基于Blackfin的智能IP Camera系统设计1.背景及概述近年来,随着嵌入式应用越来越复杂,应用场合越来越多,特别是多媒体功能在各个领域飞速发展,高性能计算变得无处不在,从消费电子,网络通讯到工业控制和监控,大多数应用都需要更高的数字信号处理能力。出于成本和设计难度的考虑,人们倾向于使用单颗芯片完成所有的工作,传统的DSP处理器和MCU处理器开始以多种形式进行融合:1.传统的MCU+DSP合作方案被集成到一颗芯片封装内;或者进一步实现为真正的异构多核,可以共享部分甚至全部外部设备。2.以SoC的形式为MCU加上基于固定硬件IP模块的数据处理能力,如一些编解码器。针对一些固定标准的应用。
2、3.随着高端嵌入式处理器频率突破500MHz并正在挺进1GHz,MCU和DSP平台开始真正的融合, DSP处理器的外设接口数量和控制能力逐步提高,而MCU的带宽和计算能力特别是软件多媒体处理能力也越来越强,两者之间不再有质的区别。以上三种融合的形式,实际上互相之间都有借鉴和交叉,从这里开始的未来发展,DSP和MCU之间,多核处理器的核与核之间,都不再有真正的界限。对于任何应用,对应的处理器都是灵活的软件计算能力、高效的硬件IP模块和相应外设的结合体,即所谓的Convergent Platform(会聚平台)。这样的处理器平台,对于嵌入式软件开发者提出了更新更高的要求,高级语言编译器要能够最大程
3、度的利用硬件细节来优化编译性能,减少手工优化的工作量,保持软件的通用性;DSP算法开发人员不仅仅要了解硬件平台,也要考虑到软件平台的架构对算法实现和优化的影响,例如分离硬件相关部分和无关部分以适应操作系统的结构;而软件平台开发人员也要考虑处理器的细节以便进行系统优化,例如为多核或DMA通道的并行处理抽象出系统接口。硬件设计者,算法设计者,系统软件设计者之间的界限也在消失,复合型的嵌入式系统开发者和团队才能最适应底层硬件平台的变化。在这个DSP/MCU/硬件IP模块三者融合的大趋势中,ADI公司的Blackfin系列处理器就是一个代表产品。从最早的BF53x系列,到目前的增加了图像处理单元的BF
4、54x系列和低功耗BF52x系列,以及双核的BF561,都是以同样的内核配置多样化的带宽和外设,针对不同的应用和市场。在这样的处理器上选择和设计软件,需要考虑的因素有很多:1.如何保持对处理器DSP特性硬件细节的最大效率使用,以达到最优算法性能和并行性。2.如何最大程度地保持软件通用性,避免过多的硬件相关代码和汇编代码。3.如何降低软件平台开发成本,是否适合采用开源操作系统或模块。4.系统是否需要实时性能,采用的软件平台是否提供这样的实时性保证。这些因素有时候是互相矛盾的,需要考虑具体应用的特点和自身的资源,来做一个折衷的最优化设计。ADI公司为Blackfin的软件平台做了很多的努力,提供多
5、样化的软件生态环境。Blackfin支持uClinux,VDK,uC/OSII,Nucleus等等多种OS/RTOS,基于VDSP开发工具提供多种免费的音视频codec,硬件抽象函数库及驱动。在这个基于BF53x的智能监控系统中,我们希望最大程度地发挥芯片处理能力,达到最好的编码和智能算法能力,所以选择了一种RTOS uC/OSII及其网络协议栈作为操作系统平台。在小型的RTOS中,一般不区分用户态和内核态,访问系统硬件资源的开销小,中断和任务切换时间有实时保证,对内存的使用和分配也比较自由,这些特点决定了在RTOS下更容易发挥Blackfin作为DSP处理器的性能,并能直接使用ADI提供的高
6、性能H264编码库;但缺点是对比Linux这样开源资源比较丰富的操作系统,RTOS缺少某些现成的应用程序比如HTTP Server,需要更多的开发投入或第三方资源。2.Blackfin IP Camera系统架构整个IP Camera系统主要包括音视频采集,智能视频分析或智能音频分析,音/视频编码,流媒体打包传输,系统控制等模块(如图1所示)。基本系统为Blackfin的视频接口PPI同数字视频流输入相连来接收视频信号,而串行的SPORT接口可以连接音频输入,音视频数据以专用DMA通道传送到SDRAM;如果需要智能监控,可以根据需要插入不同的分析模块;然后软件编码器负责对实时采集进来的音视频进
7、行压缩,并打成TS(Transport Stream)流来传输。整个系统是数据流驱动的,下图中不同的输入,分析和编码模块可以根据需要来选择,每个模块的输入和输出的是符合标准的数据流,可以灵活地插入系统数据流的不同位置进行处理。一般的Blackfin单核芯片只能同时使用其中的一部分模块,但双核芯片如BF561或双片方案中,可以同时使用所有的模块。图1 基于Blackfin 537处理器IP Camera系统框图详细资料:用于IP Camera的Blackfin 537处理器2.1 视频采集和编码Blackfin 系列DSP专门针对高速并行数据特别是视频数据集成了并行外围接口(PPI),在传统的数
8、据总线的基础上增加了一条专用数据吞吐通道。PPI接口不仅可以按照BT.601视频流的硬件同步模式工作,还能自动解码BT.656前同步码,从而允许无缝连接到多种视频源和图像传感器,与直接存储器存取(DMA)控制器配合使用,PPI可以在完整的视频帧信息中只读入有效的视频信息,或只有消隐区域。这样当不需要完整的视频帧时显著节省了带宽。另外,PPI可以忽略隔行的BT.656视频流的所有第二场图像信息,从而提供了一种很有效的方法用于快速抽取输入信号。最后,因为PPI本身就可以解码BT.656视频流,所以它可以直接连接到流行的类似ADV7183A视频解码器。IP Camera上主流的编码标准如H.264,
9、MPEG4等,ADI公司都提供了免费的编码器软件。本项目采用H.264视频压缩标准,ADI的H.264编码器性能得到了最大的优化,充分利用了片内L1 内存,数据通过DMA来搬移,与处理器的运算并行执行。主要的特点有:支持YUV420和UYVY422 (CCIR-656) 视频输入格式,输出是以NAL为单位的基本视频流;对于H264编码,支持Baseline Profile和一些Main profile的特性(Interlaced encoding, CABAC),在BF53x上能达到最大实时1/2 D1,BF561上支持D1实时,支持I和P帧,自适应CBR码率控制等。对于不同的应用,ADI H
10、.264编码器的比特率是可调整的,低比特率下甚至可以在CDMA1x这样的低带宽应用中实现实时传输。2.2 智能监控目前监控市场的发展越来越趋向于智能化,各种视频或音频的智能分析算法得到产业化应用,如运动目标检测和跟踪,入侵检测,特殊声音检测和定位等等。Blackfin处理器从架构到指令集都对多媒体处理有很好的支持,有专用的视频处理指令,因此特别适合于实现灵活的多媒体智能分析算法。ADI公司推出了Image Tool Box智能监控软件包,针对智能监控算法中的一些常用和基本函数做了专门的优化,有很好的性能,可以加速上层算法的实现和优化。一般智能分析的实现是针对未编码的媒体流进行分析,但也有利用编
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于Blackfin的智能IP Camera系统设计 基于 Blackfin 智能 IP Camera 系统 设计
链接地址:https://www.31doc.com/p-3409534.html