运动目标检测与跟踪技术研究..pdf

理工大学学士学位论文 I 摘 要 运动目标检测与跟踪是计算机视觉领域的热点问题，广泛应用于视频监控、人机交 互、虚拟现实和图像压缩等。而要在各种复杂的环境中和不同的条件下（如遮挡、光照 变化等）都对目标进行准确的跟踪是目前广大研究工作者共同关注的焦点，也是目前实 际应用中一个亟待解决的难题。 本文主要研究静态背景下运动目标的检测、运动目标跟踪以及相关结果仿真分析三 方面的内容。运动目标检测方面，在分析了目前比较常用的三种目标检测方法，即光流 法、帧间差分法、背景相减法的基础上，着重研究了基于帧间差分法运动目标检测的算 法原理及流程，讨论了三种检测算法的优缺点。运动目标跟踪方面，在分析了目前比较 常用的三种目标跟踪算法，即均值漂移算法、卡尔曼滤波算法、基于特征的目标跟踪算 法的基础上，重点研究了基于特征最小外接矩形框运动目标跟踪算法。分析了其算 法原理以及跟踪步骤。最后用matlab软件采用帧间差分运动目标检测法以及基于最小外 接矩形框跟踪法对含有运动目标的视频进行仿真。 在采用了帧间差分检测法以及最小外接矩形框跟踪法基础上，用matlab软件对视频 进行仿真，检测到了人体的轮廓，同时矩形框跟踪出了运动人体的轨迹，达到了运动目 标检测与跟踪的效果。 关键词： 运动目标检测；运动目标跟踪；帧间差分法；最小外接矩形框 理工大学学士学位论文 II Abstract Moving target detection and tracking is a hot issue in the field of computer vision, is widely used in video surveillance, human-computer interaction, virtual reality and image compression etc But in various complex environments and different conditions (such as occlusion, illumination changes) of target accurate tracking is currently the focus of researchers of common concern in the current application, is an urgent problem to be solved. This paper mainly involves moving target detection under a static background, moving target tracking and simulation results analysis of three aspects. In the moving object detection, in the analysis of the current commonly used three kinds of target detection method based on optical flow method, namely, the inter-frame difference method, background subtraction method, focusing on the frame difference algorithm principle and process method based on moving object detection. And discusses the advantages and disadvantages of three kinds of detection algorithm. In terms of moving object tracking, in the analysis of the current three kinds of target more commonly used tracking algorithm, the mean shift algorithm, Calman algorithm, based on the characteristics of the target tracking algorithm based on the characteristics, focuses on the minimum exterior rectangle based on moving target tracking algorithm. Finally using MATLAB software using frame difference detection method for moving targets as well as based on the minimum bounding box tracking method to simulate the video with moving objects. Based on the frame difference detection method and the minimum bounding box tracking method based on the simulation, the video with the MATLAB software, to detect the contours of the body, at the same time rectangle tracking a human motion trajectory, reached the moving target detection and tracking results. Keywords: moving object detection; object tracking; inter-frame difference method; minimum circumscribed rectangle 理工大学学士学位论文 III 目 录 1 绪论 1 1.1 研究背景和意义 . 1 1.2 国内外研究现状 . 2 1.3 章节安排 . 4 2 运动目标检测与跟踪技术 5 2.1 数字图像处理相关概念 . 5 2.1.1 数字图像处理过程 . 5 2.1.2 图像增强 . 5 2.1.3 图像分割 . 6 2.1.4 数学形态学 . 6 2.2 运动目标检测流程及常用算法 . 7 2.2.1 背景差分法 . 8 2.2.2 帧间差分法 . 8 2.2.3 光流法 . 9 2.3 运动目标跟踪常用算法 . 10 2.3.1 基于均值漂移目标跟踪算法 . 10 2.3.2 基于卡尔曼滤波目标跟踪算法 . 10 2.3.3 基于特征的目标跟踪算法 . 11 3 基于帧间差分法运动目标检测的研究 12 3.1 帧间差分法运动目标检测流程 . 12 3.2 帧间差分法运动目标检测过程及原理 . 12 3.2.1RGB 图像转换为灰度图像 12 3.2.2 图像差分处理 . 13 3.2.3 差分图像二值化 . 13 3.2.4 形态学滤波 . 16 3.2.5 连通性检测 . 17 4 基于最小外接矩形框目标跟踪 19 4.1 目标跟踪流程 . 19 4.1.1 运动目标跟踪过程图 . 19 理工大学学士学位论文 IV 4.1.2 运动目标跟踪过程分析 . 19 4.2 基于最小外接矩形框跟踪原理 . 20 4.2.1 特征提取 . 20 4.2.2 最小外接矩形提取 . 21 4.3 最小矩形框跟踪实现 . 21 5 仿真结果与分析 23 5.1 仿真环境 . 23 5.2 运动目标检测仿真 . 23 5.3 运动目标跟踪仿真 . 28 结 论 33 致 谢 34 参考文献 35 附录 A 38 附录 B 54 附录 C 67 理工大学学士学位论文 1 1 绪论 1.1 研究背景和意义 视觉是人类感知自身周围复杂环境最直接有效的手段之一，而在现实生活中大量有 意义的视觉信息都包含在运动中，人眼对运动的物体和目标也更敏感，能够快速的发现 运动目标，并对目标的运动轨迹进行预测和描绘 1 。随着计算机技术、通信技术、图像 处理技术的不断发展，计算机视觉己成为目前的热点研究问题之一 1,2。 计算机视觉是利用计算机实现视觉信息处理的一门学科，它涉及计算机、心理学、 生理学、物理学、信号处理和数学等领域，是交叉性很强的一门学科 1,3 。 与静态图像相比，视频序列图像的优势在于时间的连续性及目标运动信息的捕获。 因此，视频序列图像和视频中的运动目标一直是图像处理研究的重要方面 4,5,6。运动目 标检测与跟踪技术则是计算机视觉领域中应用的核心技术，它融合了图像处理、模式识 别、人工智能、自动控制等相关领域的先进技术和研究成果，是成像跟踪系统智能化的 关键 3 。该技术利用可见光的图像传感器或红外成像传感器或其他摄像设备摄取运动目 标的视频图像信号，经过相应的数字图像处理，对运动目标进行检测、提取、识别，然 后根据目标的图像特征及目标的运动特征、背景的特征等数据对运动目标进行预测跟 踪，这些数据包括运动目标的颜色、形态、轮廓，运动目标的位置、速度、加速度等运 动参数和运动轨迹，背景的颜色等。为后继的图像分析、运动目标的行为理解及完成更 高级的任务提供数据支持 6 。 基于视频序列的运动目标的检测和追踪技术作为计算机视觉领域的关键技术之一， 应用十分广泛，比如该技术在智能安防、交通导航、智能武器、对空监视、导弹预警等 许多应用领域发挥重要作用。 运动目的检测与跟踪己经有近20年的研究历史， 这种技术的研究主要涉及到运动目 标检测与提取、运动目标跟踪、运动目标识别、运动目标行为分析和理解等诸多内容， 是计算机视觉研究的重要组成部分 7,8 。它不但具有实际的研究价值， 而且对计算机视觉 的其他领域有着重要的推动作用。 运动目标检测与跟踪技术在近20年来一直是比较热的研究课题。它广泛应用于军事 和民用领域。在战场侦察，武器控制以及车辆异常行为等各个方面都有极其重要的应用。 理工大学学士学位论文 2 同时，随着计算机技术，通信技术，控制技术，电子技术的发展，运动目标检测与跟踪 技术也较为广泛的应用于车辆违规检测，并且在交通检测技术中，运动目标检测技术已 初步显示了其强大的生命力，正逐步成为交通检测中最有前途的一项技术 9,10,11。在人 体运动的视觉分析中的应用： 人体运动的视觉分析是近年来计算机视觉领域中备受关注 的前沿方向，它从包含人的图像序列中进行人的检测、跟踪、识别与行为理解，属于图 像分析和理解的范畴。人运动分析在人机接口、安全监控、视频会议、医疗诊断等方面 均具有广泛的应用前景，它激发了广大科研工作者及相关商家的浓厚兴趣。 目前，智能化视频监控系统在我国仍处于普及阶段，但随着我国经济的飞速发展和 物质生活水平的不断提高，人们的安全防范意识也越来越强，这意味着智能化视频监控 有着广泛的应用市场。因此，对作为视频监控系统关键组成部分的运动目标检测与跟踪 技术的研究有着重要的理论意义与应用价值。 然而实际中存在很多不利的干扰因素对运动目标检测与跟踪技术的研究带来巨大 的挑战，而人们对运动目标检测与跟踪技术的稳定性的要求也越来越高。 因此研究几种常用的运动目标检测与跟踪算法的原理，分析比较他们的特点以及效 果评估并且从中筛选出稳定性最高，效果最好的目标检测与跟踪算法就成为一个重要的 研究课题。运动目标检测与跟踪的工作过程如图1.1 所示。 背景模型目标检测目标跟踪前景点集目标点集运动目标输入视频 图 1.1 运动目标检测与跟踪过程 从图 1.1 可以得知，运动目标检测与跟踪的主要工作可以分为目标检测和目标跟踪 两个方面。运动目标检测是运动目标检测与跟踪的第一部分它实时地在被监视的场景中 检测运动目标，并将其提取出来。运动目标跟踪是衔接运动目标检测和目标行为分析与 理解的一个重要环节，它在运动目标检测的基础上，利用目标有效特征，使用适当的匹 配算法，在序列图像中寻找与目标模板最相似的图像位置。在实际应用中，运动目标跟 踪不仅可以提供目标的运动轨迹和准确定位目标，为下一步的目标行为分析与理解提供 了可靠的数据来源，而且也可以为运动目标检测提供帮助，从而形成一个良性的循环。 1.2 国内外研究现状 目前，在美国、日本、欧洲已经开展了大量的运动目标检测与跟踪的研究工作， 理工大学学士学位论文 3 W4是一个可以在室外对入进行实时检测与跟踪的视觉监视系统 12 ：Pfinder是一个利用 颜色和形状特征对大视角范围内的人进行跟踪的实时系统 13。 同时也出现了大量的国际 会议和讨论组目前， 国外的视频目标检测与跟踪技术相对成熟，已经有了一些雏形系统。 比如卡内基梅隆大学领导的视频安全与控制（VSAM ）研究计划 14 。根据这个计划，研 究人员研制了一个端到端的测试系统，集成了很多高级视频安全监控技术，比如静止背 景和运动背景下的实时目标探测与跟踪，普通目标（比如人、 轿车、卡车）的分类识别， 特殊物体（比如校车等具有特殊标记的物体）的分类识别，目标姿势估计，摄像机的自 主控制，多摄像机协同跟踪，人体步法分析等等。 马里兰大学的实时监控系统W4可以利用单摄像头对人体以及人体的各个部分进行 实时地跟踪。所谓 W4，是指 Who，When，Where，What，也就是说这个系统可以确定 目标是谁，什么时间、什么地点，他在干什么。W4具有基于目标形状分析人体及其头 部、手部等定位功能，基于自适应背景差技术的前背景分离功能，以及区域的分裂与合 并，用来处理目标交互行为的功能。而IBM 等大公司也在资助这个领域内的相关研究， 期望能将研究成果应用到商业领域中。Pfinder系统用于实现对室内人员行为的实时监视 与判定。另外，在交通系统中，Tai等人研究了一个用于交通事故检测的视频监视系统， 能够自动检测运动车辆并对其运动轨迹进行判定 15 。 VISATRAM 系统能够对各个车道的 车辆行为进行监控，保证交通通畅 16。Haag和Nagel专门对机动驾驶的车辆跟踪问题进 行了研究 17。Pai等人专门研究了十字路口的行人检测与跟踪以实现对行人的计数18 。 在国内也出现了一定规模的研究，召开了一些相关会议探讨研究成果和发展方向。 我国视频目标检测与跟踪技术研究起步于60年代末，通过近 40多年的努力，我国在这一 领域得到了长足发展，许多先进的图像处理与模式识别方法被应用到这个领域，并研制 了一些实际的系统。我国先进成像识别与跟踪技术在智能化程度、通用性、多目标实时 测量、低对比度和复杂图像视频信息处理等方面与国外相比还存在着较大的差距。在实 际的跟踪过程也还存在很多问题，如数据同步、图像模糊、跟踪台稳定性差等等，由于 这些方面的实用信息能从国外获得很少，所以在这一领域进行深入的研究，对提高我国 国防实力，加强民用具有重要意义。目前，一些高等院校、科研院所都已经开展了此项 研究工作。 相比较而言，国内对智能化视频监控技术的研究起步较晚，但是随着数字图像处理 技术、计算机视觉以及各种诸如红外、雷达、激光等传感器技术的不断发展，为运动目 标检测与跟踪技术的研究提供了必要的理论基础与技术支持，创造了无比优越的研究环 理工大学学士学位论文 4 境。比如北京大学视觉与听觉信息处理国家重点实验室主要研究高度智能化机器感知系 统，实验室在三维视觉信息处理和智能机器人等领域取得了许多成果。 1.3章节安排 第一章绪论部分研究了计算机视觉技术的发展，并对国内外运动目标检测及跟踪算 法的现状进行了总结，提出了课题的研究背景意义。 第二章系统分析了运动目标检测与跟踪的几种常用算法。其中，运动目标检测算法 包括光流法，帧间差分法，背景法。分析了这三种算法的简单原理，并讨论了它们的特 点及优缺点。运动目标跟踪算法方面包括均值漂移算法，卡尔曼滤波算法，基于最小外 接矩形框目标跟踪算法，在本章中简单分析了这三种算法的原理。 第三章为本文的重点，详细研究了基于帧间差分法的运动目标检测算法，包括检测 流程，算法原理以及阈值选取算法等。 第四章同样为本文的重点，结合了第三章的检测结果，详细研究了基于最小外接矩 形框的运动目标跟踪算法。分析了跟踪的流程以及最小外接矩形框的提取算法等。 第五章主要讨论了基于帧间差分法运动目标检测与基于最小外接矩形框目标跟踪 的matlab仿真结果。 理工大学学士学位论文 5 2 运动目标检测与跟踪技术 2.1数字图像处理相关概念 2.1.1数字图像处理过程 图像处理就是对图像信息进行加工以满足视觉心理或应用需求的行为 19,20,21。图像 的处理手段有光学方法和电子学（数字）方法，前者已经有很长的发展历史，从简单的 光学滤波到现在的激光全息技术光学理论已经日臻完善，而且处理速度快， 信息容量大， 分辨率高，又非常经济，但是光学处理图像的精度不高，稳定性差，操作不便。从20世 纪60年代起，随着电子技术和计算机技术的不断提高和普及，数字图像处理进入高速发 展的时期。数字图像处理就是利用数字计算机或者其他它数字硬件，对从图像信息转换 成的电信号进行某些数学运算，以提高图像的实用性。数字图像处理技术精度比较高， 而且还可以通过改进处理软件来优化处理效果。由数字图像处理技术应用的范围非常广 泛，数字图像处理系统有各种各样的结构。典型的数字图像处理系统由输入输出设备、 存储器、运算处理设备和图像处理软件构成。 数字图像处理包括图像数字化和压缩编码，图像增强和复原， 图像分割，图像分类， 图像重建几个部分。我们以图2.1来简单描述数字图像处理的内容及其步骤。 图2.1 数字图像处理的内容及步骤 2.1.2 图像增强 增强图像中的有用信息，它可以是一个失真的过程，其目的是要增强视觉效果，将 原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善 图像质量、丰富信息量。从方法上说，则是设法摒弃一些认为不必要或干扰的信息，而 将所需要的信息得以突出出来，以利于分析判读或作进一步的处理。 图像增强能够改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像 的整体或局部特性，扩大图像中不同物体特征之间的差别，满足某些特殊分析的需要。 图像增强 图像复原 图像输入 数字化， 压缩 图像识别， 分类 图像分割 特征提取 图像输出 理工大学学士学位论文 6 其方法多是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴 趣的特征或者抑制（掩盖）图像中某些不需要的特征，使图像与视觉响应特性相匹配。 在图像增强过程中， 不分析图像质量降低的原因， 处理后的图像也不一定逼近原始图像。 图像增强技术根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的 算法两大类。基于空域的算法处理时直接对图像灰度级做运算；基于频域的算法是在图 像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法，通过改 变像素灰度值达到增强效果，并不改变像素的位置。 空域增强包括空域变换增强与空域滤波增强两种。空域变换增强是基于点处理的增 强方法即点运算算法，空域滤波增强是基于邻域处理的增强方法即邻域增强算法。点运 算算法通过灰度级校正、灰度变换和直方图修正等实现，目的或者使图像成像均匀，或 者扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般 用于消除图像噪声， 但是也容易引起边缘的模糊， 常用算法有均值滤波、 中值滤波两种。 锐化的目的在于突出物体的边缘轮廓，便于目标识别，常用算法有梯度法、算子、高通 滤波法、掩模匹配法、统计差值法等。 常用的空域变换增强方法包括：对比度增强、直方图增强等。 2.1.3图像分割 图像分割是一种重要的图像分析技术，就是把图像分成各具特性的区域并提取出感 兴趣目标的技术和过程 22。通常分割是为了进一步对图像进行分析、识别、压缩等，分 割的准确性直接影响后续任务的有效性。在对图像的研究和应用中，人们往往仅对图像 中的某些部分感兴趣。这些部分通常称为目标或前景（其它部分称为背景），它们一般 对应图像中特定的、具有独特性质的区域。为了辨识和分析图像中的这些目标，需要将 它们从图像中分离提取出来， 在此基础上才有可能进一步对目标进行测量和对图像进行 利用。在不同领域中有时也用其它名称，如目标轮廓（object delineation）技术，阈值化 （thresholding）技 术， 图 像 区 分 或求 差（ image discrimination ）技 术 。目 标检 测 （objectdetection）技术，目标识别（object recognition）技术。目标跟踪（object tracking） 技术等，这些技术本身或核心实际上也是图像分割技术。 2.1.4 数学形态学 数学形态学是研究数字影像形态结构特征与快速并行处理的理论 23 。 数学形态学的 基本思想是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像 理工大学学士学位论文 7 分析和识别的目的。其历史可以追溯到十九世纪的Euler，Steiner，Crofton等的论述中， 但数学形态学是一门新兴学科，1964年，法国的 GMathem和JSerra在积分集合的基础 上首次创立了这门学科，此后，他们又在法国建立了“枫丹白露数学研究中心”，在该 中心及各国研究人员的共同努力下，形态学得到了充分的发展和完善。 数学形态学是由一组形态学的代数运算子组成的，它的基本运算有4个：膨胀（或 扩张） 、腐蚀（或侵蚀）、开运算和闭运算，它们在二值图像和灰度图像中各有特点。基 于这些基本运算还可推导和组合成各种数学形态学实用算法，用它们可以进行图像形状 和结构的分析及处理，包括图像分割、特征抽取、边界检测、图像滤波、图像增强和恢 复等。数学形态学方法利用一个称作结构元素的“探针”来收集图像的信息，当探针在 图像中不断移动时， 便可考察图像各个部分之间的相互关系，从而了解图像的结构特征。 数学形态学基于探测的思想，与人的FOA（Focus Of Attention）的视觉特点有类似之处。 作为探针的结构元素，可直接携带知识（形态、大小、甚至加入灰度和色度信息）来探 测、研究图像的结构特点。 形态学的最大特征是试图形成一种只利用输入模式的局部信息，来分析模式的全局 构造的方法；另一个特征是几何学的构造和纹理不是客观存在的，而是认为它们是在物 体和观测者相互之间的关系才成立的。数学形态学因为是一种利用局部信息，由单纯运 算进行图像分析的方法，让机器来处理是非常合适的，另外也非常适用于并行处理。 2.2运动目标检测流程及常用算法 常见的运动目标检测过程主要涉及到差分、二值化、形态学滤波和连通性分析等几 部分。整个检测过程分为三个层次，面向像素级的检测，面向变化区域级的检测和面向 帧级的检测 24,25。面向像素级的检测是指对包含运动目标的视频序列图像进行差分，二 值化，逐点检测判断背景与运动目标；面向变化区域级的检测是指对像素检测后得到的 二值图像中的目标区域采用形态学滤波和连通性检测的方法提高检测的准确度；面向帧 级的检测是指对整帧图像进行去噪处理，使其适应环境光线变化。运动目标检测算法的 实质就是当场景中有新目标进入或者场景中有目标移动时，通过检测算法能够得知有运 动目标出现，再利用目标分割方法把进入场景中的运动目标（前景）从背景图像中分离 出来的方法 26 。按照检测算法的原理主要可以分为三类：背景差分法、光流法、帧间差 分法。 理工大学学士学位论文 8 2.2.1 背景差分法 背景差分法的实现可以分为已知背景和统计背景两种 27,28。已知背景是指在开始进 行运动目标检测前预先设定好运动目标的活动背景，在检测的过程中通过当前帧与背景 的差分获得运动目标的模版，借助于形态学的开闭运算等方法进行滤波去噪和轮廓平 滑。为后续的处理程序提供处理的对象以完成图像的分割和跟踪。其简单原理如图2.2 所示。 kf k D k B 背景图像 差分 图 2.2 基于背景差分法原理流程 图2.2中 k f是第k帧图像， k B是背景图像，第 k帧图像与背景图像的差即为差分后的 图像 k D。 在统计背景的背景差分实现中，没有预先设定目标的运动场景，一种比较简单的实 现是将连续若干帧的灰度图像叠加，然后进行中值滤波，确定目标的运动场景（背景图 像） ，然后将当前帧与背景图像进行差分，通过形态学等方法的滤波、去噪、平滑，获 取运动目标的轮廓。 由于背景差分算法中构造的背景，只是对真实背景的近似，往往在运动物体较小和 背景中存在运动比较剧烈的物体（如：游泳池中晃动的水波， 狂风中晃动的树枝等） 时， 检测的结果会不够准确。这些问题的解决需要采用一些辅助的方法。 背景差分法的优点就是算法简单，运算速度较快，基本能够满足实时检测的需要， 存在的主要问题就是如果采用己知背景实现的话，需要人工干预，预先设定背景图像， 自适应能力较差，而统计背景差分法相比较来说不需要人工干预，自适应能力有了很大 提高。这两种背景差分法的共同缺点就是对运动目标的空间信息没有充分利用，差分得 到的轮廓图像很不准确。 2.2.2帧间差分法 帧间差分法进行目标检测的主要优点是：算法实现简单，程序设计复杂度低，易于 实现实时监视 29,30,31。基于帧间差分方法，由于相邻帧的时间间隔一般较短，因此该方 理工大学学士学位论文 9 法对场景光线的变化一般不太敏感。最基本的帧间差分法可以检测到场景中的变化，并 且提取出目标。 帧间差分法主要是利用视频序列中连续的两帧或几帧图像的差异来进行目标检测 和提取，其简单原理如图 2.3所示。 kf k D 延时 差分 1k f 图 2.3 相邻两帧图像差分法基本原理流程 图 2.3 中 k f为第 k 帧图像， 1k f为 k-1 帧图像， k D为差分后图像。如图可知第k 帧 图像与第 k-1 帧图像相减便得到了差分之后的图像，这种方法对动态环境有较好的适应 性，处理起来较为方便。 2.2.3光流法 不论背景差分法还是帧间差分法，这两种方法都只是利用了视频图像的空间特征， 对于图像内部的信息却没有很好的应用，美国学者Hom和Schunch 提出的光流法就充分 的利用了图像自身所携带的信息 32 。 所谓光流是指空间中物体被观测面上的像素点运动 产生的瞬时速度场，包含了物体表面结构和动态行为等重要信息。基于光流法的运动目 标检测采用了运动目标随时间变化的光流特性，由于光流不仅包含了被观测物体的运动 信息，还携带了物体运动和景物三位结构的丰富信息，这种方法不仅适用于运动目标的 检测，还可以在运动目标跟踪方面使用，甚至在摄像头存在运动的情况下也能检测出独 立运动的目标。但是在实际的应用中，由于遮挡、多光源、透明性及噪声等原因，使得 光流场基本方程 灰度守恒的假设条件无法满足，不能正确求出光流场，计算方也相当 复杂，计算量巨大，不能满足实时的要求。 总之，现有的算法多是针对某特定的场合提出的，各有特点，这些算法中也仍有许 多值得改进的地方，有的算法在检测的精确方面需要改进，有的算法在计算量等方面需 要改进等。经过了多年的发展，到目前为止对目标检测的研究仍面临许多没有很好解决 的问题。 理工大学学士学位论文 10 2.3运动目标跟踪常用算法 目标跟踪技术是视频图像分析的一个关键技术，在安全监控、辅助驾驶、运动分析 以及视频压缩等领域中有着广泛的应用 33 。近年来大多方法是基于目标表面特征的跟 踪，即首先在每帧图像中寻找与目标表面模型最相似的区域，然后在下一帧图像中寻找 目标位置，一般利用全局的搜索方法总能找到。整个跟踪过程要求能够实时的跟踪视频 场中的运动目标，而被跟踪的目标常常由于运动速度快、变形、周围环境干扰等各种因 素的影响，因此要获得较好的实时性、是比较困难的。 目标跟踪时，目标本身以及目标所处的环境都会影响到目标跟踪算法的性能，例如 目标大小是否变化，目标形态是否变化，背景是否复杂，运动是平缓还是剧烈，摄像机 是否运动等。根据不同的情况，众多的研究人员已经提出了多种不同的跟踪算法。这些 算法主要分为基于模型的方法、基于区域的方法、基于特征的方法和基于变形模板的方 法等四类。这些方法都有各自的优缺点，在特定的场景下可以获得到较好的跟踪效果。 2.3.1基于均值漂移目标跟踪算法 均值漂移算法是一种基于特征的运动目标跟踪方法 34 。是由Fukunaga 等人在上个世 纪70年代首先提出的一种非参数概率密度梯度估计算法，但是迟迟没有得到应用，直到 上世纪 90年代中期 Cheng改进了均值漂移算法中最重要的部分核函数及权重函数，并 将其应用于聚类和全局最优化，才扩大了均值漂移算法的适用范围。由于均值漂移算法 完全依靠特征空间中的样本点进行分析，不需要任何的先验知识，收敛速度快，近年来 被广泛的应用于图像分割和跟踪等领域。 该算法的基本思想是：通过反复迭代搜索特征空间中样本点最密集的区域，搜索点 沿着样本密度增加的方向漂移到局部密度最大值。均值漂移算法原理简单、 迭代效率高， 但是迭代过程中搜索区域大小对算法的准确性和效率有很大的影响。 均值漂移是一种基于非参数的核密度估计理论，是在概率空间中求解概率密度极值 的优化算法，通过对目标点赋大权值，对非目标点赋小权值，使目标区域成为密度极值 区，从而将目标跟踪同均值漂移算法联系起来。均值漂移向量的方向和密度梯度估计的 方向一致，使跟踪窗向密度增大最大的方向漂移，并且它的大小和密度估计成反比，是 一种变步长的跟踪算法。 2.3.2基于卡尔曼滤波目标跟踪算法 理工大学学士学位论文 11 1960年，匈牙利数学家 RudolfEmil Kalman ，发表了他著名的用递归方法解决离散数 据线性滤波问题的论文。从那以后，得益于数字计算技术的进步，Kalman(卡尔曼 )滤波 器己成为推广研究和应用的主题，尤其是在自主或协助导航领域 35,36。 卡尔曼滤波器由一系列递归数学公式描述。它们提供了一种高效可计算的方法来估 计过程的状态，并使估计均方误差最小。卡尔曼滤波器应用广泛且功能强大：它可以估 计信号的过去和当前状态，甚至能估计将来的状态，即使并不知道模型的确切性质。 卡尔曼滤波器是一个对动态系统的状态序列进行线性最小方差估计的算法，具有计 算量小，可实时计算的特点，通常被用来对跟踪目标运动状态进行预测，可以减少搜索 区域的大小，提高跟踪的实时性以及准确性。均值漂移算法作为一种高效的匹配算法， 已经被成功运用的目标跟踪领域。该算法利用梯度优化实现快速目标定位，能够对非刚 体目标实时跟踪， 对目标的变形、 旋转等有较好的适用性， 但是当周围场景存在干扰时， 仅使用均值漂移算法容易造成目标丢失。在跟踪目标被严重遮挡或干扰时，均值漂移算 法无法跟踪目标时，卡尔曼滤波能够较好的预测目标的速度和位置。 卡尔曼滤波器是一个最优化自回归数据处理算法。它的广泛应用已经超过30年，包 括机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。 近年来更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。 2.3.3基于特征的目标跟踪算法 基于特征的目标跟踪方法是指根据目标的一些有用特征信息利用某种匹配算法在 序列图像中寻找目标，进而跟踪运动目标 37,38。该算法的实现通常分为三步：第一步， 根据目标检测结果抽取目标的显著特征，如拐角、边界、有明显标记的区域、颜色等。 第二步，在连续帧图像上寻找特征点的对应关系，也称为特征匹配。第三步，根据某种 相似性度量方法，确定在当前帧中目标的最佳位置。 区域特征是最常用的匹配特征之一。区域特征包括目标区域信息、边缘信息、灰度 分布信息、纹理特征等，由于包含了大量的目标信息，因此能在一定程度上排除背景干 扰，但也导致计算量很大。基于区域特征匹配的跟踪算法非常适合于室外的目标跟踪， 其最典型的算法是模板相关匹配算法。颜色，直方图以及最小外接矩形框也是最常用的 跟踪特征。 理工大学学士学位论文 12 3基于帧间差分法运动目标检测的研究 3.1 帧间差分法运动目标检测流程 利用帧间差分法实现运动目标检测是根据比较相邻图像之间的变化来实现的 39。 方 法简单明了，主要利用视频序列中连续的两帧或几帧图像的差异来进行目标检测和提 取。一个最基本的帧间差分法的基本过程如图3.1所示。 图3.1 帧间差分法基本流程 图3.1中首先第 k帧图像 k f经过延时处理得到第 k-1帧图像 1k f，接着将两帧图像进行 差分得到差分图像 k D。其次对差分后的图像 k D进行二值化以及形态学滤波处理得到了 二值化图像。最后经过连通性检测并对二值化图像进行判别进而达到了运动目标检测的 目的。 3.2帧间差分法运动目标检测过程及原理 3.2.1 RGB 图像转换为灰度图像 RGB图像也称为真彩图像，分别用红、绿、蓝三个色度值为一组，代表每个像素的 颜色。这些色度值直接存在图像数组中，而不使用调色板。RGB图像是 24位图像，其中 红、绿、蓝分量分别占用 8位，因而图像理论上可以包含224种不同的颜色。 灰度图像是包含灰度级 （亮度）的图像。在matlab中， 灰度图像是由一个 uint8、 uint16 或一个双精度类型的数组来描述。灰度图像保存在一个矩阵中，矩阵中的每一个元素代 表一个像素点。元素的数值代表一定范围内的灰度，通常0代表黑色， 1、255代表白色。 由于灰度图像存储时不使用调色板，因而matlab将使用一个默认的系统调色板来显示图 像。在运用帧间差分法检测运动目标的过程中需要将真彩图像转换为灰度图像。 延迟 kf 1kf k D 二值化 形态学 滤波 连通性分 析 判别 k R 差分 理工大学学士学位论文 13 彩色图像每个像素点在 RGB空间中是一个三维矢量，每个分量分别代表红、绿、蓝 三种颜色的灰度。最简单的将彩色图像转换成灰度图像的方法是将这三个分量取平均 值。但是这种方法和人眼视觉感知不符。人眼感知红、绿、蓝三种颜色的权重是不一样 的。JPEG图像压缩格式采用的是YUV 空间， YUV 空间是 RGB空间的线性变换。转换公 式是： B G R V U Y 0813.04186.0500.0 500.03316.0169.0 144.0587.0299.0 （3.1） R、G、B分别表示红、绿、蓝三种颜色分量的灰度值。Y分量表示图像的亮度，这 是符合人眼对颜色感知的。我们就以Y分量作为图像像素的灰度。将彩色像素转换为灰 度像素的公式为： BGRGRAY114.0587.0299.0（3.2） 遍历彩色图像的每一个像素矢量，设矢量的红、绿、蓝三色分量值为R、G、B，输 出的灰度图像的对应像素的值就变为为0.299R+0.587G+0.114B， 彩色图像则转换为灰 度图像。 3.2.2 图像差分处理 差分是面向像素级的变化像素检测，可以分为连续帧间差分和背景差分。连续帧间 差分处理是将连续两帧进行比较，从中提取出运动目标的信息，见公式（3.3） 。 ),(),(),( 1 yxfyxfyxD kkk （3.3） 如公式（ 3.3）所示，将连续两帧图像做减法，便得到了差分后的图像，从而提取出 运动目标。 公式（ 3.3）中 k f是第k帧图像， k B是背景图像，第k帧图像与背景图像的差即为 差分后的图像 k D。 3.2.3 差分图像二值化 运动目标的视频序列图像进行差分后，要对差分图像进行二值化处理，逐点检测判 断背景与运动目标，这是基于像素级的检测。传统的二值亿方法是设定固定的阈值T， 当差分值小于阈值 T时，将其判为背景像素，反之则为目标像素，见公式（3.4） 。 motion background yxft),( Tyxf