《发明专利-样稿要点.pdf》由会员分享,可在线阅读,更多相关《发明专利-样稿要点.pdf(21页珍藏版)》请在三一文库上搜索。
1、说明书摘要 本发明涉及一种图像修复方法,本发明首先将目标图像进行方向经验模型分解, 并允许根据已有信息绘制给定待修复区域内已破坏的边结构信息,利用方向经验模型 分解得到的频率特征值计算相似度先行完成整个受损区域内的边结构修复,然后再根 据待修复区域边界上像素点的梯度特征结合置信度计算剩余填充区域的优先级,并再 次利用分解得到的频率特征值计算相似度完成对应区域的修复。本发明的方法不仅能 够修复较大尺度缺损区域中的结构和纹理信息,还能够修复具有一定遮挡关系的图像。 修复过程鲁棒性高,有效地防止了错误信息的连续扩展。 摘要附图 选择待修复区域 对待修复图像进行方向经验模型分解 根据已有信息修复待修复
2、区域中已破坏的边缘 结构 利用梯度结合置信度选择剩余区域优先级最 高块作为临时待填充目标样本块 在已知区域利用方向经验模型分解得到的频 率特征值计算相似度搜索相似度最高的源样 本块完成当前目标样本块修复 用相关性搜索策略完成其它级图像对应位置 修复 置信度 是否都 为 1 更新各级图像边界像素的置信度 结束 否 是 权利要求书 - 1 - 1、一种图像修复方法,其特征在于,包括以下步骤: 步骤一,对于给定的图像f (x, y),选择待修复区域,其中 x,y 表示像素点的坐 标值; 步骤二,利用方向经验模型对给定的图像f (x, y)进行分解,得到三级以上图像; 步骤三,根据已有信息修复每级分解
3、所得图像的待修复区域中已破坏的边缘结构; 步骤四,自动修复各级图像,以每级分解图像的边界上优先级最高的目标样本块 作为一次迭代填充单位,重复以下步骤,直到填满各级图像被修复区域内的所有像素: 步骤( 1) ,利用梯度值、置信度计算各级图像边界区域的优先级, 步骤( 2) ,根据优先级、相似度和相关性搜索策略确定本次各级图像填充的目标 样本块,完成对应区域的修复, 步骤( 3) ,更新本次迭代处理后的各级图像边界区域像素的置信度; 其中, 梯度值 Np yxpGpG N qG)()( 1 )( 22 ,其中,N 表示像素 q的邻域面积,大小与待 修复的目标样本块 t和源样本块为s的大小相同, N
4、 表示 N 中所含像素个数; 置信度 , 1 , 0 )( Iq q qD,其中,I为原图像,为待修复区域,当像素 q, q点处的置信度)(qD初始化为 0,否则初始化为 1; 对于给定中心位置在 c q处的目标样本块 t, 待修复区域 的边界为, c q, 其优先级)()()( ccc qGqCqP,其中, t Ip c pD qC t )( )( )( , t 表示待修复的 目标样本块 t中所含像素个数, )( c qG为梯度值。 2、根据权利要求 1 所述的一种图像修复方法,其特征在于,步骤二中,采用方向 经验模型将图像 f (x, y)分解为: ),(),(),( 1 yxryximf
5、yxf N N i i , 其中,为进行方向经验模型分解的方向,),(yximf i 是对应于方向的二维各级 图像,),(yxrN对应于方向的残余图像。 权利要求书 - 2 - 3、根据权利要求 1 所述的一种图像修复方法,其特征在于,步骤三中根据已有信 息修复每级分解所得图像的待修复区域中已破坏的边缘结构,具体为:根据已有信息 指定待修复区域中已破坏的边结构信息,并利用方向经验模型分解得到的频率特征值 修复选定的边缘结构,沿已知区域的已有边界绘制相应的曲线,表示出完整的结构信 息;在进行修复时,在各级图像中首先沿绘制曲线顺序进行修复,第一个待修复的目 标样本块 t为按照绘制顺序绘制的第一条曲
6、线与待修复区域 的交界位置;对应的搜 索匹配空间为在已知区域绘制的曲线上,并利用当前级图像中目标样本块 t与源样本 块 s的相似度在定义的搜索匹配空间中搜索与其匹配的源样本块s, 直到边缘结构完 全修复; 对于图像中每个像素点 ( x,y) 的三个频率特征值计算公式为: ),(),(),(yxwyxAyxV k ii , 其中:)()( 22 iHii imfimfsqrtA, 22 )()( iHi i k iHiH k i k i imfimf imf d d imfimf d d imf w , imfiH (x, y)为第 i 级图像 imfi(x, y)对应于方向的 2D Hilbe
7、rt 变换;k =1 对应方 向,k =2 对应+90方向。 4、根据权利要求3 所述的一种图像修复方法,其特征在于,步骤四的步骤(2) 中,填充过程如下: 步骤(41) 在待修复图像中,利用梯度值、置信度确定剩余目标样本块的填充优先 级,选取优先级最高的块作为当前待修复的目标样本块; 步骤(42) 在图像中待修复区域外的部分,利用方向经验模型分解得到的频率特征 值,在对应级图像的图像中待修复区域外的部分中搜索具有最高相似性的源样本块进 行复制,完成当前目标区域的修复; 步骤(43) 对于其它级图像的修复,利用相关性搜索策略完成对应的修复; 步骤(44) 更新本次迭代处理后的各级图像边界区域像
8、素的置信度为1,重复以上 步骤,直到完成各级图像的修复。 权利要求书 - 3 - 5、根据权利要求 4 所述的一种图像修复方法,其特征在于,所述相关性搜索策略 包括以下步骤: 初始化: Imf (i)和 Imf (i-1)为相邻两级待修复图像, Imf (i-1)为已经修复完毕的图像, Imf (i)为当前待修复图像; 步骤( 51) ,采用优先级计算方法计算图像Imf (i)边界区域的优先级,选取具有最 高填充优先级的目标样本块 )( )(i imft 为当前待填充块,其中心点 )(i imfc p, )(i imf 为 当前待填充区域的边界; 步骤(52) , 在其上一级已修复完毕的IMF
9、 图像 Imf (i-1)中的寻找对应位置 )( )1( i imft , 从对应的已知区域中通过频率特征值的相似度计算搜索与目标样本块 )( )1(i imft 匹配 的小于阈值的一些源样本块 )( )1(i imfs ,并构造一个集合; 步骤(53) ,在 Imf (i)图像中寻找与步骤( 52)中构造集合对应的源样本块 )( )( i imfs , 并通过频率特征值的相似度计算,求得最为匹配的源样本块; 步骤( 54) ,重复步骤( 51)至步骤( 51)直到完成该级图像Imf (i)的修复后结束。 6、根据权利要求 3 或 5 所述的一种图像修复方法,其特征在于,所述当前级图像 中 目
10、 标 样 本 块 t 与 源 样 本 块 s 的 相 似 度 计 算 公 式 为 : )( 1 ),( 1 2 )()( )()( N j jj imfsimft i imfs i imftii VV N sqrtd,其中, )( iimft 指第 i 级图像中的目 标样本块 t,)( iimfs 指对应合成的第 i 级图像中的源样本块 s,N 指图像块在已知区 域所占像素个数, j i imft V )( 和 j i imfs V )( 指的是对应区域中第j 个像素的频率特征值。 说明书 - 1 - 一种图像修复方法 技术领域 本发明涉及一种图像修复方法,属于计算机图像处理和计算机图形学领域
11、,具体 说是一种图像修复算法。 背景技术 图像修复可以用来解决对破损的画作、照片等影像资料进行修复;可以用来去除 图像或视频中的某些特定目标;可以用来完成在数字图像或视频的获取、处理、传输 和解压缩过程中因信息丢失所留下的信息缺损区的修复;还可以用于进行超分辨率和 高光去除等技术的研究。这项技术涉及图像处理,计算机视觉,图形学,模式识别, 人工智能,机器学习等多个领域的技术。近年来,在图像和视频修复方面,国内外的 研究者从不同的研究角度出发提出了很多卓有成效的方法,根据出发点的不同,概括 起来,其中代表性的方法大致可以分为三类:一类是基于偏微分方程 (Partial Differential
12、Equation, PDE)的修复方法,如文献1:M. Bertalmio, G. Sapiro, V. Caselles, et al Image inpainting. Proceedings of ACM SIGGRAPH. 2000, 417-424. 和文献 2:T. F. Chan and J. Shen, Variational image inpainting. Communications on Pure and Applied Mathematics. 2005, 58(5): 579-619. 介绍的,该类方法适用于修复图像或视频中小尺度缺损;另一类是 基于纹理合成 (T
13、exture Synthesis) 的修复方法,如文献 3: A. Criminisi, P. Prez, K. Toyama. Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing. 2004, 13(9): 1200-1212. 和文献 4:J. Sun, L. Yuan, J. Jia, et al Image completion with structure propagation. ACM Transactions on
14、Graphics. July 2005, 24(3): 861-868.介绍的,该类方法适用于修复图像或视频中大尺度缺损;还有一类是基于图像 分解的修复技术, 如文献 5: M. Bertalmio, L. Vese, G . Sapiro, et al Simultaneous structure and texture image inpainting. IEEE Transactions on Image Processing. 2003, 12(8): 882-889 和文献 6:P. Perez, M. Gangnet, A. Blake. Poisson image editing
15、. Proceedings of ACM SIGGRAPH. 2003, 313-318.介绍的,该类方法将上述两种方法进行结合,但由于受基于 偏微分方程的修复方法的限制比较大,所以也不适合修复图像或视频中的大尺度缺损。 偏微分方程在图像处理领域的研究始于上世纪六、七十年代,最早用于图像去噪 方面的研究。到上世纪九十年代,偏微分方程在图像处理理论上有了较大的发展,并 结合其它的数学工具,如形态学、仿射几何、逼近论等,形成了较完整的理论体系。 基于偏微分方程的图像处理方法具有很好的数学基础,深入的理论背景,算法稳定性 也较高。早期的图像修复技术多数都是基于PDE 来完成的,这类算法的主要思想是利
16、 说明书 - 2 - 用偏微分方程来做图像的修复, 它对待修复区域没有拓扑限制, 而且插值由合适的PDE 数值格式自动来完成。通过数值方法来求解偏微分方程,计算出要填补的空洞处的线 性结构,然后通过扩散过程把周围的颜色填入空洞,达到修复的效果。 总体来说基于偏微分方程的数字修复算法往往是假设图像是光滑的,通过拟合函 数计算采样得到破损区域处的颜色值,由于PDE模型中隐含着图像要求满足某种正则 化条件的假设, 所以该方法只适合于非纹理图像或低纹理图像的修复,整体而言,PDE 数字修复算法求解比较复杂,计算速度慢,适合于修复比较小的裂纹、划痕等,但对 纹理或结构较复杂的区域修复效果不好,会产生一定
17、的模糊效果,修复的区域越大模 糊作用范围就越大。 与基于偏微分方程的方法相比,基于纹理合成的修复方法是一种有效的对图像修 复的方法,特别是对于修复区域较大的纹理图像修复效果更为显著,而且不会使修复 区域中间产生模糊。纹理合成的宗旨是根据已知的样本图像,生成一个新的纹理图像, 并且新生成的纹理图像并不能是原样本纹理简单的复制,但要与样本纹理在视觉上具 有相似的效果。 数字修复是对图像或视频指定区域内的缺损信息进行估计的一个过程, 其目的也是要得到与待修复区域周围信息在视觉上比较连续或相似的图像信息。因而 将纹理合成技术进行扩展用于数字修复方面具有一定的可行性。 图像修复与纹理合成的相似点在于它们
18、都是根据已经有的图像信息生成新的图像 信息,并需要对已有的图像进行采样分析,新生成的图像都需要保持和已有图像的相 似性。它们的区别在于,首先,在纹理合成过程中,存在固定的样本纹理,它根据样 本纹理生成新的纹理,但在图像修复过程中,不存在样本纹理,只能使用待修复图像 区域周围的已知图像作为样本纹理来完成修复;其次,在纹理合成过程中,需要合成 的是一幅完整的纹理图像,但在图像修复过程中,只需合成待修复区域内的图像,这 就需要考虑待修复区域的边界情况;另外,在合成随机纹理时,不需要考虑图像的结 构信息,在合成规则或半规则的结构纹理时,可直接利用纹理的结构相似性,提取其 中的结构单元进行纹理合成,而在
19、图像修复中,只能根据待修复区域边界上的图像结 构信息推测其内部的结构信息,修复图像的结构信息要比纹理合成中保持纹理的结构 信息难得多。 总体来说基于纹理合成的数字修复算法一般都通过在待修复区域边界确定当前待 修复的图像块,然后利用相似函数,在已知图像区域搜索匹配的源图像块,完成图像 未知部分的修复。由于许多自然图像中都含有丰富的纹理信息,若是待修复区域内没 有太复杂的图像边缘结构,这类算法的修复效果一般都比较好,相对于基于偏微分的 修复算法,基于纹理合成的修复算法简单,速度较快,能够修复大面积的图像区域。 说明书 - 3 - 缺点是只适用于修复简单的线型结构,对其它复杂结构修复效果比较差。 针
20、对基于偏微分方程的修复方法对图像的结构信息修复效果较好,同时基于纹理 合成的修复方法对图像纹理细节信息修复效果较好的事实,近年来研究者试图将两种 方法结合起来,提出了基于图像分解的修复方法,分别修复图像结构和纹理细节。该 类算法的关键在于图像分解,也就是要将图像分解为两部分再进行分别修复:一部分 体现图像的结构信息,并用基于偏微分方程的修复方法完成对应的修复,另一部分提 供图像的纹理信息,并用基于纹理合成的修复方法来完成对应的修复,最后合并两方 面的修复结果得到最后的修复好的图像。这些算法都对图像修复取得了相当不错的效 果,但是由于现有方法受基于偏微分方程修复方法的限制比较大,所以这类算法也不
21、 太适用于对较大面积图像区域的修复。基于图像分解的修复算法的修复效果很大程度 上依赖于图像分解技术、图像结构的修复技术和纹理合成技术的选取。 发明内容 发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种鲁棒高 效、修复效果好的图像修复方法。 技术方案:本发明公开了一种图像修复方法,包括以下步骤: 步骤一,对于给定的图像f (x, y),选择待修复区域,其中 x,y 表示像素点的坐 标值; 步骤二,利用方向经验模型对给定的图像f (x, y)进行分解,得到三级以上图像; 步骤三,根据已有信息修复每级分解所得图像的待修复区域中已破坏的边缘结构; 步骤四,自动修复各级图像,以每级分解图
22、像的边界上优先级最高的目标样本块 作为一次迭代填充单位,重复以下步骤,直到填满各级图像被修复区域内的所有像素: 步骤( 1) ,利用梯度值、置信度计算各级图像边界区域的优先级, 步骤( 2) ,根据优先级、相似度和相关性搜索策略确定本次各级图像填充的目标 样本块,完成对应区域的修复, 步骤( 3) ,更新本次迭代处理后的各级图像边界区域像素的置信度; 其中, 梯度值 Np yxpGpG N qG)()( 1 )( 22 ,其中,N 表示像素 q的邻域面积,大小与待 修复的目标样本块 t和源样本块为s的大小相同, N 表示 N 中所含像素个数; 置信度 , 1 , 0 )( Iq q qD,其中
23、,I为原图像,为待修复区域,当像素 说明书 - 4 - q, q点处的置信度)(qD初始化为 0,否则初始化为 1; 对于给定中心位置在 c q处的目标样本块 t, 待修复区域 的边界为, c q, 其优先级)()()( ccc qGqCqP,其中, t Ip c pD qC t )( )( )( , t 表示待修复的 目标样本块 t中所含像素个数, )( c qG为梯度值。 本发明步骤二中,采用方向经验模型将图像f (x, y)分解为: ),(),(),( 1 yxryximfyxf N N i i , 其中,为进行方向经验模型分解的方向,),(yximf i 是对应于方向的二维各级 图像,
24、),(yxrN对应于方向的残余图像。 本发明步骤三中根据已有信息修复每级分解所得图像的待修复区域中已破坏的边 缘结构,具体为:根据已有信息指定待修复区域中已破坏的边结构信息,并利用方向 经验模型分解得到的频率特征值修复选定的边缘结构,沿已知区域的已有边界绘制相 应的曲线,表示出完整的结构信息;在进行修复时,在各级图像中首先沿绘制曲线顺 序进行修复,第一个待修复的目标样本块 t为按照绘制顺序绘制的第一条曲线与待修 复区域的交界位置;对应的搜索匹配空间为在已知区域绘制的曲线上,并利用当前 级图像中目标样本块 t与源样本块 s的相似度在定义的搜索匹配空间中搜索与其匹 配的源样本块 s,直到边缘结构完
25、全修复; 对于图像中每个像素点 ( x,y) 的三个频率特征值计算公式为: ),(),(),(yxwyxAyxV k ii , 其中: )()( 22 iHii imfimfsqrtA , 22 )()( iHi i k iHiH k i k i imfimf imf d d imfimf d d imf w, imfiH (x, y)为第 i 级图像 imfi(x, y)对应于方向的 2D Hilbert 变换;k =1 对应方 说明书 - 5 - 向,k =2 对应+90方向。 本发明步骤四的步骤( 2)中,填充过程如下: 步骤(41) 在待修复图像中,利用梯度值、置信度确定剩余目标样本块
26、的填充优先 级,选取优先级最高的块作为当前待修复的目标样本块; 步骤(42) 在图像中待修复区域外的部分,利用方向经验模型分解得到的频率特征 值,在对应级图像的图像中待修复区域外的部分中搜索具有最高相似性的源样本块进 行复制,完成当前目标区域的修复; 步骤(43) 对于其它级图像的修复,利用相关性搜索策略完成对应的修复; 步骤(44) 更新本次迭代处理后的各级图像边界区域像素的置信度为1,重复以上 步骤,直到完成各级图像的修复。 本发明所述相关性搜索策略包括以下步骤: 初始化: Imf (i)和 Imf (i-1)为相邻两级待修复图像, Imf (i-1)为已经修复完毕的图像, Imf (i)
27、为当前待修复图像; 步骤( 51) ,采用优先级计算方法计算图像Imf (i)边界区域的优先级,选取具有最 高填充优先级的目标样本块 )( )(i imft 为当前待填充块,其中心点 )(i imfc p, )(i imf 为 当前待填充区域的边界; 步骤(52) , 在其上一级已修复完毕的IMF 图像 Imf (i-1)中的寻找对应位置 )( )1( i imft , 从对应的已知区域中通过频率特征值的相似度计算搜索与目标样本块 )( )1(i imft 匹配 的小于阈值的一些源样本块 )( )1(i imfs ,并构造一个集合; 步骤(53) ,在 Imf (i)图像中寻找与步骤( 52)
28、中构造集合对应的源样本块 )( )( i imfs , 并通过频率特征值的相似度计算,求得最为匹配的源样本块; 步骤( 54) ,重复步骤( 51)至步骤( 51)直到完成该级图像Imf (i)的修复后结束。 本发明所述当前级图像中目标样本块 t 与源样本块 s的相似度计算公式为: )( 1 ),( 1 2 )()( )()( N j jj imfsimft i imfs i imftii VV N sqrtd ,其中, )( iimft 指第 i 级图像中的目 标样本块 t,)( i imfs 指对应合成的第 i 级图像中的源样本块 s,N 指图像块在已知区 域所占像素个数, j i imf
29、t V )( 和 j i imfs V )( 指的是对应区域中第j 个像素的频率特征值。 有益效果:本发明的图像修复方法与现有修复方法相比优点在于:修复效果好, 说明书 - 6 - 鲁棒性高,有效地防止了错误信息的连续扩展,本发明的方法不仅能够修复较大尺度 缺损区域中的结构和纹理信息,还能够修复具有一定遮挡关系的图像。 附图说明 下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/ 或其他方面的优点将会变得更加清楚。 图 1 为本发明中所涉及到的符合定义。 图 2 为本方明主要流程图。 图 3 为本发明图像进行方向经验模型分解所得结果。 图 4 为本发明破损区域边缘结构修复
30、过程。 图 5 为本发明其中一级图像修复过程。 图 6 为本发明相关级图像修复过程。 具体实施方式: 结合附图和具体实施方式对本发明做进一步详细描述: 首先定义一些符号,如图1 所示:对于待修复图像I,定义待修复区域为,通常 手工标定,也称为未知区域,形状不受任何限制;的边界为,随着修复的进行, 不停地改变;已知区域为(I),是填充区域的采样空间,也称为源区域; 另外定义边界上待修复的目标样本块为 t,在源区域进行相似度匹配计算搜索得到的 源样本块为 s。 如图 2 所示,本发明包括以下步骤: 步骤一,选择出图像上待修复区域。 步骤二,采用方向经验模型分解方法对待修复图像进行分解。 步骤三,在
31、进行修复时将结构的整体特性融入到图像修复中,允许根据已有信息 修复每级分解所得图像的待修复区域中已破坏的边缘结构,并利用方向经验模型分解 得到的频率特征值相似度计算修复指定的边缘结构,使待修复区域中已被破坏的边缘 先行完成修复。 步骤四,利用梯度特征值结合置信度的方法来确定剩余目标样本块的填充优先级, 选取优先级最高的块作为当前待填充的目标块。 步骤五,利用方向经验模型分解得到的频率特征值计算相似度,在对应级图像的 已知区域中搜索具有最高相似性的源样本块,并将其复制到当前已选定的优先级最高 的待填充目标块中,完成当前目标区域的修复。 步骤六,利用相关性搜索策略完成其它级图像对应位置的修复。 步
32、骤七,更新各级图像边界像素的置信度。 说明书 - 7 - 步骤八,判断各级图像边界像素的置信度是否都为1,如果存在置信为 0 时,重复 步骤四到步骤七,直至各级图像边界像素的置信度都为1,完成各级图像的修复。 步骤九,最后将所修复的各级图像进行合并,得到最终修复结果。 本发明中,方向经验模型分解 (Direction Empirical Mode Decomposition, DEMD ) 为在修复图像前,将待修复图像进行方向经验模型分解,得到若干级图像,本发明中 默认的图像级数为3 级,当然根据需要可作适当调节。 对于给定的图像f (x, y),首先按给定的角顺时针旋转得到旋转图像),(yx
33、f。然 后对该图像先按每行抽取极大、极小值,并对这些极值点进行三次样条插值得到一维 采样的上下包络,计算其平均包络,再对该平均包络按每列抽取极值和插值得到垂直 方向上下包络,计算其平均包络,设最后得到的包络均值为m1 (x, y),则旋转图像 ),(yxf与 m1 (x, y)的差即: 11 ( ,)( ,)( ,)h x yfx ymx y( 1) 在理想状态下, h1 (x, y) 就是第一级图像;然而在实际计算中,这种现象是不可能 出现的。所以本发明将h1 (x, y) 作为输入信号,重复上面所叙述过程,可以得到: 11(1)1 ( , )( , )( , ) kkk hx yhx ym
34、x y - =-(2) 当 h1k(x, y) 满足 1、在整个数据集合中,极点的数目和过0 点的数目必须相等或 最多相差一个; 2、在任何一点,由局部最大值和最小值所形成包络的均值都等于0 要 求时,设其为第一级图像imf1 (x, y),则函数的残余图像为r1 (x, y)。本发明将 r1 (x, y) 作为新的输入信号,用公式(1),(2)重复计算,得到一系列图像。直到其残余图像沿水 平、垂直方向存在单调一维采样,算法终止。最后将所得的一系列图像和最后的残余 图像沿逆时针旋转, 得到最后的各级图像和残余图像。 这样对于给定的任意图像f(x,y) 都可以分解为下式: ),(),(),( 1
35、 yxryximfyxf N N i i (3) 其中, ),(yximf i 是对应于方向的二维各级图像, ),(yxrN 对应于方向的残余图 像。为叙述方便, 本发明将残余图像归结为最后一级待修复图像。最终分解结果如图3 所示。其中图 3(a)为自然图像;图 3 b图 3d 为分解得到的各级图像。 说明书 - 8 - 其中对于方向的求取,首先对图像f (x, y)进行 Fourier 变换 F (u, v),然后对 F (u, v)进行 Radon变换,并将超过规定阈值的局部最大值点周围的值去除,作逆Radon 变 换得到 F (u, v);最后将所有周围能量和超过规定常数的点按能量排序,
36、把能量最大的 点对应的方向设定为图像变化最为明显的方向即为。 本发明中基于频率特征值的相似度计算准则为:当对图像进行修复时,对于目标 样本块 t在已知区域 中寻找与之最相似的源样本块 s将是修复的重要步骤。因此, 一个好的相似度计算准则对图像修复结果的好坏起着至关重要的作用,分辨纹理是根 据纹理的高频、次高频等进行自适应的分辨。DEMD 在自适应的提取图像具有的独特 优势,反映了提取频率特征的过程,因而能够更准确有效地把握图像中细节的本质特 征与变化趋势,本发明从该角度出发进行图像修复,使修复后的图像更加符合图像整 体效果。基于这一点,本发明应用DEMD 提取得到的各级图像中每点的特征值进行匹
37、 配搜索。 本发明从 DEMD 提取得到的各级图像中每点的频率特征值出发进行相似度计算。 从 DEMD 中得到的主要特征是瞬时频率和包络,为了得到这些特征,首先采用二维方 向 Hilbert 变换( 2D Hilbert 变换)定义二维复信号。对于给定的二维信号f (x, y)的 Fourier 变换为 F(u, v),则 f (x, y)对应的复信号的 Fourier 变换为: 00 0)( 0)(2 )( ew eww eww wF F FA(4) 其中, w=u ,v是坐标向量,sin,cose是对应于方向(指定方向)的单位 向量,FA(w)逆 Fourier 变换 fA(x, y)称为
38、原信号对应于方向的复信号。从而 fA(x, y) 的虚部就是 f (x, y)对应于方向的 Hilbert 变换。 将经过 DEMD 分解得到的各级图像进行上述变换, 令imfiH (x, y)为第i级图像 imfi(x, y) 对应于所求方向的 2D Hilbert变换。 fiA (x, y)是对应的分析函数。其中每级图像的幅值 函数和相位函数分别为: )()( 22 iHii imfimfsqrtA )arctan( i iH i imf imf (5) 这样再对相位函数求导数,可得到对应的瞬时频率, 这里的频率是分别沿方向和 说明书 - 9 - +90的方向导数得到: 22 )()( i
39、Hi i k iHiH k i i k k i imfimf imf d d imfimf d d imf d d w(6) 其中, k =1对应方向, k =2对应+90方向。 通过上述计算,本发明得到对应一系列图像中每个像素点(x,y)的三个频率特征值: ),(),(),(yxwyxAyxV k ii (7) 因此,在计算当前级图像中目标样本块 t与源样本块 s的相似度时, 本发明采用 如下方式进行计算: )( 1 ),( 1 2 )()( )()( N j jj imfsimft i imfs i imftii VV N sqrtd(8) 其中, )( iimft 指第 i 级图像中的目
40、标样本块 t,)( iimfs 指对应合成的第 i 级图像中 的源样本块 s,N 指图像块在已知区域所占像素个数, j i imft V )( 和 j i imfs V )( 指的是对应区域 中第 j 个像素的特征值。 得到上述公式后,即可在已知区域中利用该匹配判断准则对当前目标样本块 t 进行匹配搜索,寻找小于规定阈值的源样本块 s构造一个集合,并随机从该集合中选 取一个作为最终的源样本块,直接拷贝相应的图像信息到目标样本块 t上,即可完成 当前区域的修复。 本发明中,根据已有信息完成破损边结构修复为:将图像整体信息融入到图像修 复中,通过已有信息完成待修复区域中已破坏的边缘结构的修复。当修
41、复具有遮挡关 系的结构信息图像时,如图4a所示,要修复的窗户结构信息被物体遮挡,从图像整体 信息出发,沿已知区域的已有边界绘制相应的曲线,使其可以表示完整的结构信息, 如图 4b 所示,其中紫颜色线段即为交互绘制的曲线,并且是从已知区域出发绘制得到。 在进行修复时,在各级图像中首先沿绘制曲线顺序进行修复,将第一个待修复的目标 样本块 t按照绘制顺序定义为绘制第一条曲线与待修复区域 的交界位置,如图4b 是先绘制水平方向,后绘制垂直方向的曲线,故先修复水平方向曲线,其中绿色块即 为第一个待修复的目标样本块 t。对应的搜索匹配空间定义为在已知区域绘制的曲线 上,并利用公式 (8)在定义的搜索匹配空
42、间中搜索与其匹配的源样本块 s,如图 4b 中 说明书 - 10 - 红色块即为搜索得到的与当前 t匹配的源样本块 s,将该样本块信息复制到相应位 置,如图 4c所示,即可完成当前位置的修复。 沿所绘制的曲线重复上述过程,如图 4c 图 4e所示,直到绘制的表示结构信息的所有曲线全部修复完毕。最后将各级图像对应 的修复结果进行叠加,得到最后的边界修复结果,同时更新待修复区域,最终边界 修复结果如图 4f 所示。图像的结构信息能够得到很好的修复。 本发明中,基于梯度特征填充优先级计算为:对于已经修复好边结构信息的各级 图像剩余区域,本发明采用区域优先级方法来决定修复顺序。由于图像的梯度特征反 映
43、了相邻像素间的连接紧密程度和相对变化程度,并且由于梯度是一个一阶微分算子, 计算简单,所以采用图像的梯度特征来进行优先级计算具有一定优势。因此本发明采 用该方法对修复好边结构信息的各级图像剩余区域的填充优先级进行计算。 如果像素q,那么规定 q 点处的置信度)(qD被初始化为 0,否则被初始化为 1, 即: , 1 ,0 )( Iq q qD(9) 另外,需要计算反映q点处局部边缘特征的梯度值)(qG,其大小由 q 处的梯度幅 值的大小决定,梯度值)(qG可以计算如下: Np yx pGpG N qG)()( 1 )( 22 (10) 其中, N 表示像素 q 的邻域面积,大小与 t, s的大
44、小相同,N 表示 N 中所含 像素个数,, yx GGG表示一幅图像在水平方向和垂直方向的梯度。 对于给定中心位置在 c q( c q)处的目标样本块 t,其优先级的计算如下: )()()( ccc qGqCqP 其中: t Ip c pD qC t )( )( )( 上式中 t 表示 t中所含像素个数, 梯度 )(cqG反映了cq周围的边缘和结构信息的 一种度量。计算样本块优先值)( c qP的目的是为了从具有较多边缘结构信息的位置最先 说明书 - 11 - 开始填补,这样做的结果有助于把不连续的线条结构,经过修复而有机的连接在一起。 优先值)( c qP越大,那么优先级也就越高, t处的区
45、域也就越先进行填补和修复。在 修复过程当前级图像过程中,选取当前具有最高优先级的目标样本块 t,在已知区域 中利用公式 (8)寻找与之最为匹配的源样本块 s,并将对应信息复制到相应位置,更 新区域,重复上述过程直到区域=,即可完成对应级图像的修复。其修复过程如 图 5 所示,其中蓝颜色区域为待修复区域边界,绿色块为当前待修复区域,红色块为 在已知区域中搜索得到的与其匹配区域。 图 5a原始图像;图 5b图 5e 为中间修复过 程;图 5f 修复结果。 本发明中,各级图像相关性搜索策略为:当把待修复图像进行DEMD 分解后,得 到一系列图像,首先根据已有信息对绘制边界进行修复,对于其它已经修复好
46、边结构 信息的各级图像剩余区域,如果直接在各级图像中进行,不能保证各级间修复位置的 一致性,同时计算量也过大。本发明采用各级图像之间固有的对应关系利用相关性搜 索策略进行搜索,也就是每级图像的搜索范围是由它上一级图像对应位置的搜索范围 所决定的。对于第一级待修复图像Imf 1,采用基于频率特征值的相似度计算准则和基 于梯度特征填充优先级计算部分完成对应的修复。 其它各级待修复图像的相关性搜索策略的修复过程如图6 所示, Imf (i)和 Imf (i-1) 为相邻两级待修复图像, 当修复到第 i 级图像时,首先计算该边界目标样本块的优先级, 得到待修复图像 Imf (i)当前需要修复的位置 )
47、( )( i imft ,然后不是在当前级图像中进行匹配 搜索,而是在其上一级已修复完毕的图像Imf (i-1)中的寻找对应位置 )( )1(i imft ,接下来在 Imf (i-1)图像中采用相似度匹配准则搜索与该位置相似的源样本块 )( )1(i imfs ,并在 Imf (i) 图像中搜索与其对应的源样本块 )( )(i imfs ,将其构造为一个集合,作为第i 级待修复图 像 Imf (i)当前要匹配的目标样本块的搜索集合,采用公式 (8)进行匹配计算, 选出最为匹 配的源样本块复制到当前位置,重复上述过程,完成当前级图像的修复。其它各级图 像都采用该方法来完成相应的修复。具体包括如
48、下步骤: 初始化: Imf (i)和 Imf (i-1)为相邻两级待修复图像, Imf (i-1)为已经修复完毕的图像, Imf (i)为当前待修复图像; 步骤 1,采用优先级计算方法计算图像Imf (i)边界区域的优先级,选取具有最高填 充优先级的目标样本块 )( )( i imft 为当前待填充块,其中心点 )(i imfc p; 说明书 - 12 - 步骤 2,利用相关性在其上一级已修复完毕的IMF 图像 Imf (i-1)中的寻找对应位置 )( )1( i imft ,从对应的已知区域中利用公式 (8)搜索与目标样本块 )( )1(i imft 匹配的小于阈 值的一些源样本块 )( )
49、1(i imfs ,并构造一个集合; 步骤 3,再次利用相关性,在Imf (i)图像中寻找与步骤2 中构造集合对应的源样本 块 )( )(i imfs ,并通过公式 (8)的计算,求得最为匹配的源样本块; 步骤 4,重复上述过程直到完成该级图像Imf (i)的修复。 本发明提供了一种图像修复方法的思路,具体实现该技术方案的方法和途径很多, 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来 说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也 应视为本发明的保护范围。 本实施例中未明确的各组成部分均可用现有技术加以实现。 说明书附图 - 1 - s t 图 1 说明书附图 - 2 - 图 2 选择待修复区域 对待修复图像进行方向经验模型分解 根据已有信息修复待修复区域中已破坏的边缘 结构 利用梯度结合置信度选择剩余区域优先级最 高块作为临时待填充目标样本块 在已知区域利用方向经验模型分解得到的频 率特征值计算相似度搜索相似度最高的源样 本块完成当前目标样本块修复 用相关性搜索策略完成其它级图像对应位置 修复 置信度 是否都 为 1 更新各级图像边界像素的置信度 结束 否 是 说明书附图 - 3 - a b c d 图 3 图 4 a b c d e f 说明书附图 -
链接地址:https://www.31doc.com/p-5207177.html