第二章--11y6m18d11h12内容已调整好--更改了公式图表编号--.doc
《第二章--11y6m18d11h12内容已调整好--更改了公式图表编号--.doc》由会员分享,可在线阅读,更多相关《第二章--11y6m18d11h12内容已调整好--更改了公式图表编号--.doc(46页珍藏版)》请在三一文库上搜索。
1、修改:将2.3.1.3小节形态学滤波与2.3.4小节基于Top hat变换的方法 进行合并,并扩充2.3.4节原先与网上内容有重复部分已删除。目录第二章 预处理技术12.1 图像去模糊22.1.1 模糊图像处理技术简介22.1.2 经典图像恢复算法52.1.3 盲反卷积图像恢复92.1.4其他图像恢复方法132.2视频稳像152.2.1 图像匹配与运动估计162.2.2 运动补偿172.3 红外图像预处理182.3.1 空域滤波法192.3.2 频域滤波法222.3.3基于背景复杂程度描述的方法262.3.4 基于数学形态学的Top hat变换282.4 监控图像预处理332.4.1 灰度图像
2、预处理332.4.2 图像降噪与超分辨率342.4.3 PTZ相机362.5 小结39参考文献40第二章 预处理技术视频图像处理中的目标跟踪与识别、行为分析、场景分析等任务,都依赖于观测到的原始图像。视频监控系统获取的原始图像通常包含图像降质过程,从而使得观测到的图像信息不充分或不可靠,并影响特征提取、图像匹配、目标检测等图像处理任务。图像预处理环节旨在还原图像原始信息,去除噪声,从而为后续工作提供一个更好的基础。本章介绍了一些常见的图像预处理技术。首先第一节介绍模糊图像恢复技术。该技术在天文图像、医学图像、视频监控图像等各类图像处理任务中均有重要作用。对于空不变模糊图像,通常图像模糊过程可表
3、示为卷积运算,从观测到的模糊图像计算潜在的清晰图像过程实际上是求反卷积。对此将介绍常用的非盲反卷积和盲反卷积方法。第二节介绍视频稳像技术。汽车、飞机或舰艇等装备上的机载相机,由于承载设备自身的机械振动,拍摄到的视频图像会有剧烈抖动,从而影响人眼观测,并使基于计算机视觉的处理技术变得不稳健。此外,非专业摄像者在拍摄时,视频常常会有过于频繁的抖动。为去除这类视频抖动,优化视频质量,可采用基于视频稳像的视频处理技术。对于视频图像目标跟踪,前后帧图像在时间轴上的相关性可以提供重要信息;而通过视频稳像技术去除视频抖动,则能增强前后帧图像的相关性,优化视频质量。第三节对红外图像的预处理方法进行介绍。红外图
4、像与可见光图像有不同之处。根据红外图像自身特点,可采用如下技术进行图像预处理:空域滤波法,频域滤波法,基于背景复杂程度描述的方法和基于Top hat变换的方法等等。通过这些预处理技术,可提高红外图像目标检测跟踪,小目标检测定位等算法的可靠性。红外图像预处理技术亦可称为是一种背景抑制技术,通过抑制图像复杂背景和杂波干扰,可提高红外图像的信噪比。第四节对监控图像预处理方法进行介绍。监控视频图像由于受到外部环境因素影响,如光照不均匀、目标遮挡、图像噪声等,视频质量可能较差,因此需要进行预处理。监控视频图像的预处理的算法较多,如图像光照校正,图像滤波算法,图像去噪和超分辨率等技术。此外还将介绍PTZ相
5、机的相关技术,即通过对感兴趣目标的检测跟踪,主动调节摄像机的转角和焦距等控制参数信息,从而获得更清晰的目标景物图像。2.1 图像去模糊模糊图像恢复是图像处理中的一个基本问题,是计算机视觉应用中图像预处理与图像增强环节的一个重要组成部分。从观测到的模糊图像计算清晰图像对目标检测跟踪、图像场景分析等研究课题有重要意义。此外,模糊图像恢复技术在天文学、航空航天、视频监控、医学等领域均有广泛应用。图像模糊是典型的图像退化过程,该退化可能是空不变的退化,或空变退化。空变退化可近似认为是局部空不变的退化。图像空不变模糊可通过线性运算得到。清晰图像与点扩散函数(Point Spread Function,
6、PSF)进行卷积,加上图像噪声,得到退化图像。从模糊图像计算清晰图像是一个逆过程,该运算通常伴随有病态特性,因此去模糊算法计算得到的清晰图像与真实图像会不一致。引起图像退化的因素有多种,包括传感器特性的非线性、光学系统的像差、成像设备与物体之间的相对运动以及大气湍流效应等等。光学系统的相差引起的模糊通常称作散焦模糊,它是由于成像平面偏离光学镜头焦点造成的。成像设备与物体之间的相对运动引起的模糊称作运动模糊,它是由于图像获取过程中目标物体或成像设备的快速机械运动造成的。大气湍流效应是指由于光子的散射或湍流,引起空间信息的混叠,从而造成图像模糊。因为运动模糊在日常视频图像拍摄中普遍存在,图像恢复方
7、法也较多,这里侧重分析图像运动模糊恢复技术。该节我们首先介绍图像去模糊技术相关的基本概念,简述当前流行的模糊图像恢复算法,然后对相关的非盲反卷积方法和盲反卷积方法进行详细介绍。2.1.1 模糊图像处理技术简介运动模糊图像恢复是经典问题,从问题被提出到现在,研究者提出了许多解决方法,包括硬件技术和软件技术。从硬件角度考虑,光学相机和镜头生产厂家提出了防抖镜头,机身CCD运动补偿等方案,在一定程度上解决了图像运动模糊问题。其他方案包括考虑减少曝光时间,使拍摄物体在曝光时间内与相机之间有一个相对静止状态,如大光圈镜头、ISO参数调节等方法。除了单纯用硬件方法,也有学者提出同时结合软硬件的方法解决图像
8、去模糊问题。BEN-EZRA 1 等人提出同时用两个相机记录图像,一个相机拍摄高分辨率图像,需要较长曝光时间,易出现运动模糊;另一个相机则获取低分辨率图像,其采样频率较高,可采集视频。通过对高速成像CCD获取的视频分析可建立相邻帧图像间的几何位置匹配,根据匹配信息估计高分辨率图像的运动模糊参数,再对其进行去模糊处理。该方法可获得较好的模糊函数估计,且比通常的盲反卷积算法速度快且较稳健。TAI2等在此基础上提出了新的改进,并获得了较好的效果。文献34也按类似方法,同时结合两个成像图像序列信息进行图像恢复。Marius Tico5运用图像序列实现图像去模糊和增强。通过一帧高ISO值的快速曝光的图像
9、, 估计充分曝光但有运动模糊的图像对应的点扩展函数,最后根据得到的点扩散函数对模糊图像进行图像反卷积。从观测到的模糊图像估计清晰图像,只能依赖有效的图像恢复算法。图像模糊过程建模和模糊参数估计是图像恢复算法的核心。不同类型的模糊,其建模方法有所不同,例如空变模糊与空不变模糊的计算模型差别很大。此外,模糊图像的点扩散函数已知和未知时,图像恢复算法也会有所不同。特别地,点扩散函数未知时的恢复称为盲反卷积(blind deconvolution),否则为非盲反卷积(non-blind deconvolution)。对于空不变模糊图像,在模糊函数已知的情况下,经典的图像恢复算法较多,如逆滤波、最小二乘
10、滤波、最大似然估计恢复、维纳滤波、约束最小二乘滤波6、Richardson-Lucy 反卷积7811等方法。若模糊函数未知,则图像恢复问题要困难许多。从算法步骤来分,可将图像恢复算法分为两大类。第一类算法先估计点扩散函数(PSF),再用非盲反卷积方法进行图像恢复,如9212223242627等方法。第二类则采用迭代算法同时估计清晰图像和PSF,如111213141516等均是近几年提出的较有效的迭代恢复算法,Kurdur 1718则对早期的盲反卷积算法进行了较好的介绍。空不变模糊图像的盲反卷积问题中,直线运动模糊图像恢复是经典的图像去模糊问题。这类去模糊算法通过估计点扩散函数,再利用反卷积方法
11、实现图像恢复。线性运动模糊的点扩散函数由运动方向和运动距离决定,通过Cepstrum频谱分析或空域高频能量分析24可确定模糊图像点扩散函数的这两个参数。因为直线运动模糊图像对应的PSF是一条线段,它在频域上是SINC函数,所以图像频谱中有明暗条纹。该条纹由点扩散函数决定。Hough变换、Radon变换3133、steerable filter32等方法通过条纹信息可确定点扩散函数。在获得PSF后,通过非盲反卷积方法,如维纳滤波、逆滤波、Richardson-Lucy反卷积等,可重建清晰图像。关于直线运动模糊图像的恢复,国内发表的论文较多。文献25针对水平直线匀速运动引起的模糊图像产生过程,利用
12、含约束条件的最小二乘法、边缘信息逼近的能量差和Lagrange 乘子法构成代价函数,以求解复原图像,并逐步推演出其求解公式。文献21针对匀速运动图像模糊的情形,提出了一种基于投影的自相关法自动估计点扩散函数。该方法首先根据运动模糊方向对图像旋转,得到水平运动模糊图像,然后求图像的微分及其自相关曲线,通过估计自相关曲线中最大值与最小值之间的距离得到图像模糊参数。文献22考虑了运动模糊距离与侦察飞机飞行速度、飞行高度、像机曝光时间及像机焦距等因素的关系。通过这些参数可以估计PSF,再运用维纳滤波算法恢复出清晰图像。文献19则基于各向异性扩散去噪模型进行图像恢复,利用像素预判断的图像恢复并行高效算法
13、模型实现快速计算。含任意运动路径的空不变图像运动模糊是目前去模糊问题的研究热点。因为运动模糊的PSF比较复杂,通常采用迭代算法估计模糊函数和清晰图像。在图像噪声较弱情况下图像恢复能实现较好效果,但计算量通常较大。文献12基于图像梯度统计信息指导图像恢复,采用变分贝叶斯方法实现单幅模糊图像恢复算法。此外基于小波系数约束的方法14,基于图像边缘信息16,图像alpha透明度图15, 各向异性扩散19进行模糊图像恢复也都获得了较好的恢复效果。这些方法通常需要较长的迭代时间,尤其当PSF尺寸较大时,对模糊图像的恢复需要考虑计算速度优化问题。这些迭代算法都存在局部极小值问题,只有通过较好的初始参数设置和
14、迭代参数设置,算法才能获得较好的恢复效果。因为只根据单幅图像进行模糊图像恢复较困难,不少研究者同时采用两幅以上模糊图像恢复。文献910采用多幅图像同时估计清晰图像以及每幅模糊图像的模糊函数。因为不同的模糊图像通常由不同的点扩散函数卷积得到,所以通过多幅图像信息可以增强算法的鲁棒性,迭代时不容易陷入极小值。文献2034则考虑采用高ISO参数拍摄的图像提高图像恢复算法的可靠性。该文作者提出同时拍摄高ISO和低ISO参数设置的图像。高ISO获得的图像通常噪声较多但不容易产生运动模糊,因此可用于估计点扩散函数,然后反卷积得到清晰图像。图像去模糊技术与数学优化方法密切相关,求盲反卷积问题的优化解可以借助
15、许多数学优化工具,如神经网络2830,小波算法1014,遗传算法29等,研究者用这些数学工具对图像恢复问题进行了有效尝试,并获得了一定效果。图像恢复问题中最有挑战性的问题是模糊函数未知时的空变模糊图像恢复。因为模糊图像由空变模糊得到,所以恢复时计算空变模糊的模糊函数更加困难,而且计算量也更大。传统算法根据图像局部近似空不变的特性对模糊函数进行估计3738。最近,有研究者用三维空间相机运动参数3635表示空变模糊图像每一个像素的模糊函数,这类方法在传统空不变模糊PSF估计的基础上增加了一维参数,整个迭代算法的计算量更大。2.1.2 经典图像恢复算法本小节介绍空不变模糊的图像退化模型和经典的非盲反
16、卷积图像恢复算法。在已知模糊图像和点扩散函数时,求清晰图像的方法通常称为非盲反卷积法。这类算法包括逆滤波、最小二乘滤波、维纳滤波和Richardson-Lucy反卷积等算法。2.1.2.1 图像退化模型引起图像退化的因素有多种,如传感器特性的非线性、光学系统的像差、成像设备与物体之间的相对运动以及大气湍流效应等等。图像复原的关键在于退化模型的建立,退化因素的不同导致退化/复原的数学模型也有所不同。图像退化/复原的一般模型如图2-1所示6。复原滤波退化函数H退化复原图2-1 图像退化/复原的一般模型原始未降质的图像经过一个算子或系统H作用后,和加性噪声相叠加,形成退化后的图像,这一退化过程的数学
17、表达式为: (2-1)其中H 是综合所有退化因素的函数。该模型是经典的图像退化模型,在实际模糊图像恢复中有重要作用。对于线性系统,在不考虑噪声情况下,上述退化模型可用下述形式描述: (2-2)其中是二维脉冲函数。令,它表示系统对单位脉冲函数的冲激响应。在图像形成过程中,冲激为一光点。因而又称为退化过程的点扩散函数。若满足位移不变性,即(2-3)则有(2-4)易知在上述条件下,(2-2)式是一个卷积表达式。此时(1)式可描述为6:(2-5)如果系统H对单位脉冲函数的响应已知,噪声模型也已经给定,则由输入图像可得到对应的模糊图像。因此,图像复原过程就可以看成为已知退化图像和有关退化函数、噪声的先验
18、知识,求解清晰图像。图像中的噪声根据分布密度函数的差异可以分为高斯噪声,雷利噪声,g噪声,指数分布噪声,均匀分布噪声,脉冲噪声等。(1)高斯噪声又称为正态噪声,是最常见的一种噪声。其概率密度函数为(2-6)其中,z表示像素灰度值,表示z的标准差,为z的均值, 为方差。(2)瑞利噪声其概率密度函数为(2-7)概率密度的均值为(2-8)方差为(2-9)(3)噪声其概率密度函数为(2-10)其中,a0,b为正整数,!表示阶乘。概率密度的均值为(2-11)方差为(2-12)(4)指数分布噪声其概率密度函数为(2-13)其中,a0.概率密度的均值为(2-14)方差为(2-15)(5)脉冲噪声其概率密度函
19、数为(2-16)按该概率密度函数得到的噪声图像只有亮点噪声和暗点噪声,属于单极脉冲噪声。通常情况下,两个灰度和一个值很暗,另一个值很亮;当和值都接近于0.5时,噪声在图像中类似于椒盐微粒,故又称椒盐噪声。2.1.2.2 非盲反卷积图像恢复算法本小节介绍常见的非盲反卷积方法。在已知点扩散函数和模糊图像时,估计清晰图像。这类算法包括逆滤波,最小二乘滤波,维纳滤波和Richardson-Lucy反卷积等。对于点扩散函数未知的模糊图像,则可先估计出点扩散函数,再用非盲反卷积方法计算出清晰图像。1.逆滤波逆滤波图像恢复可以在频域快速求解。在不考虑噪声的情况下,根据卷积定理,图像空域卷积等价于频域上频谱相
20、乘,即(2-17)其中,分别是退化图像、点扩散函数和原始图像的傅立叶变换。由上式可得,(2-18)如果已经知道退化图像和退化函数的傅立叶变换,就可以求得原始图像的傅立叶变换,经傅立叶反变换即可求得原始图像。如果考虑噪声项,则可按如下关系求出原始图像的频谱表达式,(2-19)(2-20)虽然逆滤波方法实现非常简单,但是上式中的噪声项可能给复原过程带来较大问题。即使在没有噪声的情况下,如果出现奇异点,分母的幅值接近于零,则会导致图像恢复不可靠。一种补偿办法是对频谱中的微小量进行补偿,例如对逐元素按max()运算,取一个较小的非负数如.2. 最小二乘滤波逆滤波图像复原是一种无约束复原,而最小二乘滤波
21、图像复原是一种有约束的图像复原方法。令Q为f的线性算子,那么最小二乘复原的问题可以看成是形式为的函数,服从约束条件的最小化问题,这种有附加条件的极值问题可以用拉格朗日乘子法来处理。注意此处我们将图像卷积表示为矩阵向量乘法形式,图像、各对应一个列向量6。图像恢复问题即寻找一个,使下述准则函数为最小(2-21)其中,为一常数,叫拉格朗日系数。通过指定不同的Q,可以达到不同的复原目标。将式(2-21)对偏微分,并令结果为0,则求解得到(2-22)其中. 这就是求有约束的最小二乘复原解的通用形式。3. 维纳滤波逆滤波方法比较简单,但是可能带来噪声放大问题。而维纳滤波对逆滤波的噪声放大有一定的抑制作用。
22、维纳滤波采用的最优准则是最小均方误差准则,即寻找一个滤波器使得复原后的图像与原始图像的方差最小:(2-23)其中,为数学期望算子。根据上述目标函数,可导出如下二维传递函数的维纳滤波器(2-24)其中,为退化系统退化函数的复共轭,和分别是噪声和原始图像的功率谱。当过零点时,由于分母中存在补偿项,所以分布不会为零。此外,分子含有项,因此当,滤波器的增益恒等于0。另外,如果在某一频谱区信噪比相当高时,滤波器的效果也趋于逆滤波。反之,对信噪比很低的区域,滤波器趋于无反应。这表明维纳滤波器避免了在逆滤波中出现的噪声过多放大现象。维纳滤波假设退化系统是线性系统。它根据最小均方误差准则设计,是基于平稳随机过
23、程的模型,因此当信噪比很低时维纳滤波的复原结果往往不能令人满意。4. Richardson-Lucy反卷积根据卷积公式,图像模糊过程可表示为离散形式, (2-25)上式中,表示清晰图像的第个像素,表示模糊图像的第个像素,对应点扩散函数。上述卷积公式从概率密度函数的角度考虑,已知点扩散函数和模糊图像时,根据贝叶斯规则可推导出估计清晰图像的迭代公式78, 其中 (2-26)上述迭代公式中包含相关和卷积运算。当卷积模板很大时,上述迭代方法直接求解很费时,而通过频域计算则能提高计算效率。另外值得注意的是,并非迭代次数越多恢复效果越好。当迭代次数过多时,容易引起噪声放大,信噪比反而降低。对于噪声很多的图
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第二 11 y6m18d11h12 内容 调整 更改 公式 图表 编号
链接地址:https://www.31doc.com/p-2412210.html