《图像融合算法研究毕业论文..pdf》由会员分享,可在线阅读,更多相关《图像融合算法研究毕业论文..pdf(41页珍藏版)》请在三一文库上搜索。
1、本 科 学 生 毕 业 论 文 2014 年 5 月 10 日 论文题目:图像融合算法研究 学院:电子工程学院 年级:2010 级 专业:电子信息工程 姓名: 学号: 指导教师:杜宝祥 I 摘要 对多元图像信息进行的一系列提取和合成,统称为图像融合。 通过对多元图像信息 的提取与合成,从而获得对同一目标的更为准确、更为全面、更为可靠的图像描述。研 究者可以得到包含多种情况下,不同条件下、不同环境下、不同模式下、不同观察角度 下,对同一目标的综合特征描述的图像。图像融合通常可分为像素级融合、特征级融合 以及决策级融合三个层次。 本文首先介绍了图像融合的大概、国内外研究现状、 面临的问题以及本文的
2、主要工 作。接着重点论述了图像融合的三个层次以及像素级图像融合的几种常用方法,并通过 matlab 仿真,比较加权平均法、主成分分析(PCA)法、IHS 融合法以及小波变换法的融 合效果。 关键词 图像融合;主成分分析( PCA) ;IHS;小波变换 II Abstract To a series of multiple image information extraction and synthesis, collectively known as image fusion. Based on multiple image information extraction and synthes
3、is, thereby gaining the same target is more accurate, more comprehensive, more reliable image description. The researchers can get contains a variety of situations, different conditions, different environment, different mode, different observation angles, the comprehensive description of the image o
4、n the same target. Image fusion is usually divided into pixel level fusion, feature level fusion and decision level fusion three levels. This paper first introduces the purpose of image fusion, domestic and foreign research present situation, problems and the main work of this article. Then mainly d
5、iscusses the three levels of image fusion, and several commonly used methods of image fusion at pixel level, and through matlab simulation, comparing the weighted average method, principal component analysis (PCA) method, IHS fusion method and wavelet transform fusion effect. Key words Image fusion;
6、 principle components analysis (PCA); Intensity-Hude-Saturation (IHS);wavelet transform 目录 摘要 I Abstract . II 第一章 前言 . 1 1.1 概述 . 1 1.2 国际研究现状 . 1 1.3 国内研究现状 . 1 1.4 图像融合技术发展历程 . 2 1.5 本文的主要内容 . 3 第二章 图像融合理论 . 5 2.1 图像融合的三个层次 . 5 2.2 图像融合规则 . 8 第三章 像素级图像融合的常用方法 . 10 3.1 加权平均法 . 10 3.2 主成分分析法( PCA 法)
7、 10 3.3 基于 IHS 变换的图像融合方法 . 12 3.4 基于小波变换的图像融合方法 . 错误!未定义书签。 第四章 MATLAB 仿真 错误!未定义书签。 4.1 MATLAB仿真结果 . 错误!未定义书签。 4.2 图像融合的客观评价参数 . 15 4.2.1 信息熵 . 错误!未定义书签。 4.2.2 均方根误差 错误!未定义书签。 4.2.3 信噪比 错误!未定义书签。 4.2.4 平均梯度 错误!未定义书签。 4.3 四种方法的客观评价 . 17 结论 . 18 参考文献 . 19 附录一 . 21 附录二 . 25 附录三 . 32 致谢 . 36 图像融合算法研究 1
8、第一章 前言 1.1 概述 图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计 算机技术等, 最大限度的提取各自信道中的有利信息,最后综合成高质量的图像, 以提 高图像信息的利用率、 改善计算机解译精度和可靠性、 提升原始图像的空间分辨率和光 谱分辨率,利于监测 1 。 本文重点论述了图像融合的三个层次以及像素级图像融合的几种常用方法,并通过 matlab 仿真,比较加权平均法、主成分分析(PCA)法、IHS 融合法以及小波变换法的融 合效果。 1.2 国际研究现状 近二十年,图像融合技术在航天、军事、遥感、医学等各个领域都取得了很大的应 用,发挥的作用也越来越大,能夠融合
9、的图像种类也越来越多。美国,作为世界上的超 级大国,在图像融合领域也是起步最早, 发展最快的国家 2 。在二十世纪七十年代初期, 由美国国防部出资, 麻省理工大学协助开发的声纳信号处理系统中,融合技术得到了最 早的应用 3 。后来的八十年代以来,美国军部一直对信息融合技术、图像融合技术给予 高度的重视, 自美国国防部在海湾战争中体会到该技术的巨大应用潜力,以后逐年加大 投资力度,建立了关于数据融合的军用系统 4 。在国际图像融合领域上, 除了美国,英、 法等发达国家前期也有了较大的投入,在算法融合、 实际应用融合系统上也处于领先的 地位。 1.3 国内研究现状 多传感器图像信息融合技术是正在蓬
10、勃兴起的一门学科,应用的前景十分广泛。 目 前,图像融合的研究重点在于:在尽可能的提高融合后图像的空间分辨率的同时,保持 原始图像的特征,从而使其后续分析理解的有效性能够得到保证 5 。此外,序列图像和 视频信息的融合问题, 也是一个非常有意义的研究课题。在融合技术中, 关于像素级融 合方法的文献较多, 而介绍特征级和决策级融合方法的文献相对较少,这也是融合技术 的又一个重要研究领域。 而在许多实际应用中, 要实时的进行并完成像素级的融合处理 图像融合算法研究 2 工作是 .相当困难的,于是,进行决策级和特征级图像信息融合的实时处理就成了主要 的选择。目前,目标自动识别和图像理解是特征级和决策
11、级图像信息融合技术中的难点 问题。 在我国,图像融合理论近几年成为研究热点,西工大、国防科技大、北理工、西电、 华科等高校在图像融合理论和应用系统的研究方面也都做了很多工作,但与国际先进水 平相比,仍然有很大的差距。 1.4 图像融合技术发展历程 传统的图像融合方法,都是基于彩色空间变换融合法实现的,譬如本文将介绍的 IHS 变换法、主成分析法等 6 。传统图像融合方法都没有对源图像进行分解变换,属于 比较简单的图像融合方法。 直到八十年代中期, 科学家们提出了金字塔法, 即基于基于 金字塔分解图像融合方法,包括拉普拉斯金字塔、梯度金字塔、对比度金字塔等。也从 此开始讲这一技术应用到一般的图像
12、处理中。可是,由于层与层之间存在分解量的相关 性,导致了融合的效果并不十分理想 7 。 直到九十年代, 随着小波变换理论的广泛应用, 小波变换也成为图像融合技术方面 新的工具。这也促进了图像融合技术的研究呈现上升的趋势。目前,在小波变换域中进 行图像融合的方法有基于极大值,局部能量,局部方差等融合算子。 这些特点使得图像融合在遥感、医学、计算机视觉、气象预报、军事目标检测与识 别等方面的应用潜力得到了认可。 多源图像融合作为多源信息融合的一个具体的研究领 域,具有信息融合特点的同时,也具有一些自己的特点 8 。如多源图像融合输入数据是 图像,因而对图像配准等预处理有更严格的要求。而且考虑到图像
13、融合的目的以及图像 融合的优势, 对于图像融合算法实现必须满足两个要求。一方面, 图像融合算法应使得 融合后图像包含原图像中所具有的重要信息;另外一方面, 图像融合算法不应引入任何 误导人类视觉感知或图像处理的错误信息。 然而,由一维度小波变换张成的二维度可分离小波只具有有限的方向,无法做到最 优表示含有线或面的奇异高维函数。这种“尴尬”直到2002 年 Do M.N 和 Verrtli M 提 出的 Contourlet 变换才逐渐被打破。 Contourlet 变换是一种二维图像的稀疏表示方法, 它不单具备小波变换多分变率时频分析特征,还拥有优越的各向异性特征, 当用它来表 示一条光滑的曲
14、线时,需要用到的系数比小波变换更少就可以抓住图像的几何结构。 图像融合算法研究 3 2006年,Arthur L.Cunha 等科学家在 Contourlet 变换的基础上,提出了NSCT 变换,与 之前的 Contourlet 变换相比, NSCT 变换具有多尺度、良好的频域、空域方向特性、局 部特性以及平移不变特性 9 。在 NSCT 的基础上, 基于多分辨率的图像融合技术得到了 更为广泛的应用与发展。 图像融合涉及信息融合、 图像处理等多个领域, 是一个较年轻的研究方向。 经过近 二十多年的发展,众多研究者的不懈努力,图像融合在算法研究方面取得了一些成果, 在军事、医学、遥感以及机器人等
15、领域内也得到了广泛的应用;但随着研究的深入,仍 面临许多问题,需要进一步深入研究解决。这些问题包括: 1.与目前各种图像融合算法快速发展的情况不相适应,缺乏系统的、完善的并被 广泛认可的评价手段衡量各种融合算法的优劣。实际应用中, 由于理想的融合图像并不 存在, 很难对融合结果进行客观的定量评价。 性能评价问题一直是图像融合领域的难点, 但一直未受太多的关注。 性能评价对融合算法的选择、 改进、算法参数的优化均具有非 常重要的作用,有待于进一步的深入探讨和完善 10 。 2.多尺度融合方案中的融合规则是除多尺度分解方法以外另一个重要环节,本论文 并未在这一点上展开, 而是延用了已有成熟的融合规
16、则。 目前融合规则的研究进展缓慢; 尽管有学者已经提出了更加复杂的基于区域的融合规则,但是受到区域分割技术的限 制,基于区域的融合规则还很难应用于实际。在多尺度融合方案下, 发展智能高效的融 合规则是今后一个值得研究的方向。 1.5 本文的主要内容 本文围绕图像融合展开研究, 首先介绍了国内外研究现状、 图像融合发展历程俩个 方面的基本情况。重点研究了几种像素级别图像融合的常用方法,其中包括加权平均法、 主成分分析法( PCA 法) 、IHS 变换法以及小波变换法。本文对上述四种图像融合算法 进行理论分析,在matlab 下对四种算法进行仿真实验分别得出四种不同方法下的融合 图像,对比四种方法
17、的融合图像、标准参数进行衡量。 图像融合算法研究 4 图像融合算法研究 5 第二章图像融合理论 图像融合是多传感器信息融合中可视信息的融合。它是对多个传感器采集到的关于 同一场景或目标的图像进行适当的融合处理,获得一幅融合后图像, 使之更适合视觉感 知或计算机处理。 它是一门综合了传感器、 信号处理、 图像处理和人工智能等的新兴技 术。一般多源图像融合的处理流程主要有:图像预处理、图像配准、图像融合、特征提 升取以及识别与决策。 依据融合在处理流程中所处的阶段,按信息抽象的程度, 多源图 像融合一般可分为三个层次:像素级融合、特征级融合和决策级融合 11 。 本章主要内容: 本章节先介绍了图像
18、融合的三个层次,然后简单介绍了图像融合的 规则。重点论述了图像融合的三个层次以及像素级图像融合的几种常用方法,从理论角 度出发,讨论加权平均法、主成分分析(PCA)法、IHS 融合法以及小波变换法各自的特 点。 2.1 图像融合的三个层次 图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计 算机技术等, 最大限度的提取各自信道中的有利信息,最后综合成高质量的图像, 以提 高图像信息的利用率、 改善计算机解译精度和可靠性、 提升原始图像的空间分辨率和光 谱分辨率,利于监测。 根据图像融合所处的不同阶段,图像通常可在三个层次上进行融合:像素级融合、 特征级融合、 决策级融合。
19、然而,多源图像信息融合的复杂形式也出现在不同的信息层 次上。 像素级融合: 基于像素级的图像融合。 是指针对多源图像对于同一目标场景、同一 目标事物进行的同一灰度级的综合处理。图像融合后所生成的新图像将包含原图像中, 所有像素点所包含的信息。像素级融合过程如图2-1 所示。 图像融合算法研究 6 源图像 1 源图像2 源图像 n 预 处 理 阶 段 图像配准像素融合特征提取分类决策输出结果 正如图 2-1 所示,通常在进行像素级融合之前,要对源图像预处理并且展开图像匹 配。这么做的主要目的是为了提高源图像融合的精度以及融合的可靠性。因为每一幅源 图像均可能来自不同的时间背景及空间背景,各幅源图
20、像均包含了各种不同的,目标图 像所需要的多方面信息。 通过像素级别的图像融合, 丰富了图像的信息, 在细节方面提 供的信息要优于特征级图像融合和决策级图像融合 12 。 像素级图像融合能得到更丰富的 可靠的图像,有利于进一步的分析、处理、理解,更方便的提供最优决策和性能辨别。 特征级图像融合: 利用原始图像中提供的特征信息进行综合分析处理。特征级融合 图像具体流程如图2-2 所示。 如图 2-2 所示,特征级图像融合从源图像提取局部特征进行融合综合分析处理后获 得复合特征。特征级图像融合为图像纹理、边缘、焦点、相似区域等。要在俩幅源图像 中找到目标的差异, 对目标进行特征提取, 然后对目标进行
21、对比分析, 最后进行识别和 决策。 图 2-1 像素级图像融合 图像融合算法研究 7 源图像1 源图像2 源图像n 预 处 理 阶 段 图像配准特征融合输出结果 特 征 提 取 阶 段 决策级图像融合:对每个图像源分别进行预处理、特征提取、识别与判断,如图 2-3 所示。 源图像1 源图像2 源图像n 预 处 理 阶 段 图像配准特征融合输出结果 特 征 提 取 阶 段 特 征 分 类 如图 2-3 所示,决策级图像融合首先对目标作出初级的判断与结论,然后对各阶段 的决策进行相关处理, 最后进行联合判断。 决策级图像融合是针对具体的决策目标,充 分有效的利用各自不同的图像源的初级决策 13 。
22、在预处理阶段对图像源的配准要求不 高,可以不用考虑。决策级图像融合主要包括表决法、贝叶斯推理、推广的证据处理理 图 2-2 特征级图像融合 图 2-3 决策级图像融合 图像融合算法研究 8 论、模糊集法等。 根据已有的数据证明, 像素级图像融合在预处理、 信息量、信息缺失分类性等多方 面性能最优。 而另外俩种图像融合方法融合性能一般。像素级图像融合也是最基础的图 像融合方法。故此,本文的研究重点为像素级图像融合。 2.2 图像融合规则 图像的融合规则是指图像融合概念的核心,融合规则的结果将会直接影响融合图像 的效果。外国科学家Burt 先生曾提出了过基于像素选取的融合规,是指将原图像分解 成不
23、同分辨率图像,以此为基础选取最大绝对值的像素系数作为融合后的像素值系数。 在不同分辨率图像中都有涉及,通常具有最大值的像素系数也包含更多的图像信息。 另外俩名科学家 Petrovic 和 Xydeas 却提出了根据分解层内各图像源及分解层间的 具备相关性的像素进行选取融合的规则。蒲恬先生在应用小波变换进行图像融合时,通 过观察人类视觉系统对局部布局对比度敏感度的特性,选择采用基于对比度不同的像素 选取融合的融合规则 14 。 基于像素级别的图像融合选取仅是以最小单位,单个像素点作为融合对象的, 这种 融合方法并未考虑到图像相邻像素点间的相关特性,故此,融合效果并不是十分理想。 考虑图像相邻像素
24、单位之间的相关特性,Burt 先生以及 Kolczynski 先生曾提出过基于 区域特性来选择的加权平均融合规则, 将像素系数进行融合并选取与其所在的局部区域 相互联系。 在科学家 Lietal 提出的图像融合规则中, 选取窗口区域中较大的像素值系数作为融 合后像素值系数的同时,还应该考虑窗口区域像素系数的相关特性。对此,Chibani 和 Houacine 在融合规则中通过计算源图像对应窗口区域里的像素绝对值,相比之下较大 个数的进行融合, 决定融合像素点的选取。 基于窗口区域的融合规则又因为需要考虑相 邻像素的相关特性,故此减少了融合像素点的错误选取。 融合效果明显有了较大的提高。 科学家
25、 ZZhang 和科学家 Blum 也曾提出过基于区域的融合规则,即将源图像中的 每个像素点都看作区域或边缘的一部分,并利用区域与边界的源图像信息来指导融合选 取。采用这类图像融合规则所得到的融合图像融合的效果比较好,然而,此规相对其他 图像融合的规则要更为复杂。对于稍微复杂的图像,此规则明显不易于实现。 图像融合算法研究 9 图像融合算法研究 10 第三章 像素级图像融合的常用方法 3.1 加权平均法 加权平均法是指:利用以往若干个按照发生时间顺序排列的同一目标的观测值并以 时间顺序数为权数, 计算出观测值的加权平均值, 以这一数值作为最终结果进行图像融 合的方法。 加权平均法的计算公式如3
26、-1 式所示: ),(),(),( 21 nmBnmAnmF(3-1) 其中: m 表示图像中像素的行号1,2,3.M n 表示图像中像素的列号1,2,3N 1 表示加权系数 在像素级图像融合方向,加权平均方法是将源图像对应的像素级灰度值做加权平 均,从而获得新的图像,它是最为直接的一种图像融合方法。其中,平均方法就是加权 平均的特别之处 15 。 使用平均方法进行像素级图像融合, 虽然提高了融合图像的信噪比, 然而却减弱图像的对比程度, 尤其针对一些仅出现在其中一幅源图像上的实用信息载体 信号。 3.2 主成分分析法(PCA法) 从多元数据统计分析中,主成分分析(英文全称:Principal
27、 components analysis, PCA)是一种分析并且能够简化数据集合的技术。主成分分析法(PCA 法)经常用来 减少数据集的维数, 同时保持源数据中对方差的贡献大的特征部分。这是通过保留低阶 主成分, 且忽略高阶成分来实现的 16 。 这样低阶成分往往能够保留住数据的最重要方面。 但是,这也不是一定的,要视具体应用而定。由于主成分分析依赖所给数据,所以数据 的准确性对分析结果影响很大。 主成分分析法也就是PCA 法最早是由科学家卡尔皮尔逊先生在1901 年发明的, 起初这种方法被用于分析数据并建立数理原始模型。其方法主要是通过对协方差矩阵进 行特征分解,以得出数据的主要成分(特征
28、向量)与它们的权(特征值)。主成分分析 图像融合算法研究 11 法是最简单的以特征量来分析多元统计分布的方法。其结果可以理解为对原始数据中的 方差进行合理解释: 在哪一方面对方差影响最为严重。也就是说, 主成分分析法提供了 一种可以降低数据维度的高效方法; 如果分析者在原始数据中除掉最小的特征值中对应 的成分,那么所得到的低维度数据无疑是最优化,这样降低维度也是失去讯息最少的一 种方法。主成分分析法在分析复杂数据之处显得尤为有用,比如我们整篇探讨的图像融 合技术领域。 主成分分析法是一种以特征量来分析多元数据统计分布的方法。一般情况下, 这类 运算可以被看作是揭露数据的内部结构,从而更完整的解
29、释数据变量的一种方法。如果 一个多元数据集能够在一个高维数据空间坐标系中被显现出来,那么主成分分析法就可 以提供一幅相对低维度的图像, 这幅图像可以看做是讯息最多的像素点上原图像的一个 投影。如此,利用少量的主成分来使数据的维度降低。 主成分分析法跟因子分析有关, 已经有了多个混合这两二者分析的统计包。而真实 要素分析则是假定底层结构的,导出微小差异矩阵的特征向量。 在图像融合技术领域中,主成分分析法(PCA 法)首先需要三个或三个以上的波 段数据来计算得出图像之间的相关系数矩阵,再由计算得出的相关系数矩阵来计算得出 特征值与特征向量, 之后再计算出各主分量图像, 再将高空间分辨率图像数据进行
30、对比 度拉伸,使其与第一主分量图像的数据具备相同的平均值与方差。最后,再用经过拉伸 的高空间分辨率图像来替代第一主分量,使它与其他的主分量经PCA 法逆变换导出融 合图像。主成分分析法图像融合的优点是适用于多光谱图像的任何波段,其不足之处则 是在 PCA 融合算法中只用高分辨率图像来替换低分辨率图像的第一主要成分,国语简 单,故此,会损失低分辨率图像第一主成分中的某些反映光谱特性的信息,使得融合图 像的光谱畸变严重 17 。按着统计的思路,不去考虑图像各个波段的特点是PCA 融合算 法最为致命的缺点。 主成分变换的变换公式如3-2 式所示: TXY(3-2) 其中:X: 待变换图像的数据矩阵
31、Y: 变换后图像的数据矩阵 T: 变换矩阵 主成分分析法的主要步骤: 图像融合算法研究 12 1.配准各幅参加融合的源图像 2.计算源图像的特征值及特征向量 3.按大小对特征值进行排序,相应的特征向量页跟着一同变动,记录最终的结 果为: nn.2, 1,2, 1 4.分量主量按式 3-3 计算 n j jkXPC 1 (3-3) 5.将全色图像和第一主分量图像进行直方图匹配,然后将第一分量用全色图像 替换。 6.做逆主分量变换,得到融合图像。 PCA 变换融合法的主要优点是:融合后的图像光谱特性保持良好,这一优点在多 波段时尤为突出。缺点是:计算量大,实时性差。 3.3 基于 IHS 变换的图
32、像融合方法 基于 IHS 变换法进行图像融合的一般步骤,如下: 假设 TM 为原始的多光谱源图像,PAN 为高空间分辨率图像。将TM 的三个波 段赋值 RGB 后进行 RGBIHS 变换,可以得到分量以及两个中间量V1、V2 如式 3-4 所示: B G R V V I 0 2 1 2 1 6 22 6 2 6 2 3 1 3 1 3 1 2 1 (3-4) 其中 V1、V2 可看作是笛卡儿坐标系下的横轴与纵轴,z 轴表示的则是亮度I,那 么色度 H 和饱和度 S 分别可以被表示为式3-5 与 3-6 H = arctan( v2 / v1 ) (3-5) 22 21VVS (3-6) 用 P
33、AN 替代 I 分量得到新的 I 分量 I_new,即 I_new=PAN,然后进行 HIS-RGB 变换。 得到融合后的多光谱图像这样获得的图像既有较高的空间分辨率,又有与原图像相同的 图像融合算法研究 13 色度和饱和度。高分辨率全色影像与多光谱影像融合时,先把多光谱影像利用IHS 变 换从 RGB 系统变换至 IHS 空间,同时将单波段的高分辨率图像经过灰度拉伸,使其灰 度的均值和方差和IHS 空间中亮度分量图像一致;然后将拉伸后的高分辨率图像作为 新的亮度分量代入到IHS,经过反变换还原到原始空间 18 。这样获得的图像既有高的空 间分辨率,又有与原图像相同的色度和饱和度。 传统的基于
34、IHS 变换的图像融合方法可以很大程度的提高图像融合在空间上的分 辨率,但是,传统的方法也存在着光谱畸变现象。IHS 变换可以做到增强图像的地物纹 理特性,提高图像空间细节的变现能量。然而由于在变换过程中,分量I 被高分辨率的 全色图像所取代了,故此, IHS 变换的结果将会产生比较大的光谱失真,图像融合后精 度不高。也正是因为上诉的原因,在实际的生产应用的范围中,传统的基于IHS 变换 图像融合方法所应用的范围其实很受限制,实际的应用主要使用的是一些改进过的IHS 变换融合方法。 3.4 基于小波变换的图像融合方法 在图像融合技术领域, 基于小波变换的图像融合方法早已经成为图像融合研究的一
35、个大热点,这类算法是利用眼睛对局部对比度的变化敏感, 再以一定的融合规则为基 础,从多幅源图像里选择出最明显的特征,譬如边缘、线段等。并将这些特征保留在最 终的融合结果中, 在一幅图像的小波变换中, 绝对值较大的小波系数对应于边缘这些较 为显著的特征,所以大部分基于小波变换的图像融合算法主要研究如何选择合成图像中 的小波系数, 也就是三个方向上的高频系数从而达到保留图像边缘的目的 19 。虽然小波 系数(高频系数 ) 的选择对于保留图像的边缘等特征具有非常主要的作用,但尺度系数 (低频系数 )决定了图像的轮廓,故此,正确的尺度系数对基于小波融合图像的视觉效果 具有十分重要的作用。 图像融合算法
36、研究 14 第四章 MATLAB 仿真 本章主要内容:通过对加权平均法、主成分析(PCA)法、IHS 变换法、小波变换 法四种主要像素级图像融合方法的理论和算法进行分析研究,再利用matlab 编写上述 算法的实现程序, 从而具体的分析对比四种算法的各自优缺点。matlab 实现的四种算法 详见本文的附录部分。 4.1 MATLAB 仿真结果 在此次仿真实验中,以我校正门的照片作为源图像如图a,为了对比四种算法的融 合效果,我们将源图像的左侧与右侧分别做模糊处理,如图4-1所示。 图 4-1 聚焦图像生成图 在实验过程中, 我们将右侧聚焦的图像与左侧聚焦的图像作为源图像信息输入,分 (b) 右
37、侧聚焦 ( a) 源图像图 ( c) 左侧聚焦 图像融合算法研究 15 别使用加权平均法、 主成分分析法(PCA 法) 、 IHS 变换法以及小波变换法, 运用 matlab 进行仿真,得到上诉四种方法的融合结果。如图4-2所示。 ( a ) 加权平均法融合之后的效果(b) PCA 法融合之后的效果 (c) IHS 变换融合之后的结果(d) 小波变换融合之后的结果 图 4-2 四种方法融合之后的结果 从以上几组图片中可以看出, 小波变换的融合效果是最好的。可以直观的看出, 基 于小波变换的融合方法得出的结果,左边与右边都很清晰, 而其他三种融合方法所得出 的结果都有不同程度上的模糊。主成分分析
38、法(PCA 法)与 IHS 变换法的融合结果基 本上相差不大,并且从直观感觉上来看,PCA 法与基于 IHS 变换法得到的效果都要比 加权平均法得到的效果好。 4.2 图像融合的客观评价参数 目前对图像融合质量的客观评价有四个常用的指数。分别是信息熵、均方根误差、 信噪比、平均梯度 20 。 图像融合算法研究 16 4.2.1 信息熵 源图像在融合前后的信息量会发生变化,所以,计算出信息熵可以客观的衡量图像 融合的效果好坏。 根据香农信息理论, 一副 2 的 n 次幂级表示的图像的信息熵可以用公 式 4-1 来表示: 1 0 l o g n k kkPPE(4-1) 其中,r 表示图像的总灰度
39、级数 k P 为灰度值为 k 时,像素数与总像素数之比。信息 熵值越大,表明所包含的的信息量越多,图像融合的效果越好。 4.2.2 均方根误差 根据图像融合理论,我们将融合图像与标准参考图像之间的均方根误差RMSE 定 义为公式 4-2: NM jiFjiR R M SE m i n j11 2 ),(),( (4-2) 其中, M、N 分别表示图像的行数与列数。均方根数值越小,表明融合效果越好。 4.2.3 信噪比 反应画质上画面是否干净无噪点的参数。峰值信噪比PSNR 定义为公式 4-3: 2 2 5 52 5 5 lg101 RMSE PSNR(4-3 ) PSNR值越高,说明融合效果越
40、好。 4.2.4 平均梯度 平均梯度 grad 反映了图像细节的反差, 能够作为图像清晰度检测的标准。 公式 4-4: 图像融合算法研究 17 M i N j i ji i ji y yxf x yxf NM grad 00 22 ) ),( () ),( ( 2 1 )1)(1( 1 (4-4) 式中, f(x,y)表示融合图像。梯度值越大,证明融合图像越清晰。 4.3 四种方法的客观评价 由上文可知,我们通过对比信息熵、均方根误差、信噪比、平均梯度四项参数便可 对四种算法的融合效果进行评价。利用matlab 分别计算以上四种算法的参数,对比得 出结果如表 4-1 所示。 表 4-1四种方法
41、的客观评价表 融合方法信息熵均方根误差信噪比平均梯度 加权平均4.153181.28979.90311.4943 PCA4.159580.484710.11501.3919 IHS 变换4.159280.479010.11721.3853 小波变换4.178980.210010.16802.0526 根据图像融合理论可知,信息熵越大、平均梯度越大、信噪比越高、均方根误差越 小的结果,其融合效果越好。所以,由此可以得出结论,基于小波变换的图像融合方法 效果最好,而加权平均法效果最差、主成分分析法(PCA 法)与基于 IHS 变换的图像 融合方法效果基本相同,与之前通过直观效果得出的结论基本保持一
42、致。 图像融合算法研究 17 结论 本文重点论述了图像融合的三个层次以及像素级图像融合的几种常用方法,并通过 matlab 仿真,比较加权平均法、主成分分析(PCA)法、IHS 融合法以及小波变换法的融 合效果。 直观的从四种算法的图像融合结果来看,小波变换的融合效果是最好的。可以直观 的看出,基于小波变换的融合方法得出的结果,左边与右边都很清晰, 而其他三种融合 方法所得出的结果都有不同程度上的模糊。主成分分析法(PCA 法)与 IHS 变换法的 融合结果基本上相差不大,并且从直观感觉上来看,PCA 法与基于 IHS 变换法得到的 效果都要比加权平均法得到的效果好。 从客观的角度出发,结合图
43、像融合理论,我们知道信息熵越大、平均梯度越大、信 噪比越高、均方根误差越小的结果, 表明其融合效果越好。 对比四种算法的以上四个参 数得出结论, 基于小波变换的图像融合方法效果最好,而加权平均法效果最差、 主成分 分析法( PCA 法)与基于 IHS 变换的图像融合方法效果基本相同,与之前通过直观效 果得出的结论基本保持一致。 图像融合算法研究 17 参考文献 1 H.Leung, Yifeng Li, et al. Improved Multiple Target Tracking Using Dempster-Shafer Identification . SPIE,1997,3068(8
44、):1257-1265. 2 敬忠良 , 肖刚 , 李振华 .图像融合理论与应用M. 北京:高等教育出版社, 2007:3-9. 3 王文武 .像素级图像融合技术研究D. 华中科技大学,2005:9-10. 4 H.Y.Sun. The Property of a Algorithm for Hierarchical Fusion of Multisensor Date. Chinese Journal Electronics. 2005,4(4):45-52. 5 刘卫光 ,李跃 ,张修社 .图像信息融合与识别M. 北京:电子工业出版社,2008:1-105. 6 Laferte J.M.,
45、Heitz F, et al. Hierarchical statistical Model for the Fusion of Multisensor Image Date. Cambrige MA, USA:Proc. Int. Conf. Computer Vision, June 1995:908-913. 7 Hoballan I, Varshney P.K. Distributed Bayesian Signal Dectection. IEEE Trans. On Information Theory,2004,35(5):995-1000. 8 J.F. Wilson. A F
46、uzzy Logic Multisensor Association Association Algorthm. SPIE, 1997, 3068(8):76- 87. 9 赵晓雷 .像素级图像融合技术研究D. 西安科技大学,2010:1-5, 38-42. 10 Kovacevic J, Vetterli M.Perfect reconstruction filter banks with rational sampling factors. IEEE Trans. on Signal processing,2009,41(6):2047-2066. 11 Vetterli M, Herle
47、y C. Wavelets and filter banks: Theory and design. IEEE Trans. On Signal Processin g,2002,40(11):2207-2232. 12 Mallat S G. A Theory for multiresolution signal decomposition: the wavelet Representation. IEEE Tra ns. on PAMI, 2007,11(7):674-693. 13Ranchin T., Wald L. Efficient data fusion using wavele
48、t transform:The case of SPOT satellite images. Proc. of SIPE, Vol 2034,2008,S:171-178. 14 郑南宁 .计算机视觉与模式识别M. 北京:国防工业出版社, 1998:121-122. 15 Li H., Manjunath B.S, et al. Multisensor image fusion using the wavelet transform. Graphical Models and Image Processing, Vol 57, No 3,2010, S:235-245 16 强赞霞 .遥感图像
49、的融合及应用D. 华中科技大学博士学位论文.2005. 17 刘贵喜 .多传感器图像融合方法研究D. 西安电子科技大学硕士学位论文.2001. 18 刘勇 .基于遗传算法的红外图像分割研宄D. 中南大学硕士学位论文.2009. 图像融合算法研究 17 19 王明 .乳腺 X线计算机辅助诊断关键技术研究D. 上海交通大学硕士学位论文.2009. 20 毕迎春 ,王相海 .小波基和图像分解层数对不同类型图像EZW 算法的性能的影响J.计算机科 学 .2006,33(6):232-246. 图像融合算法研究 21 附录一 Matlab 实现加权平均法的程序: clear g_R=0; g_G=0; g_B=0; h_R=0; h_G=0; h_B=0; fenzi_R=0; fenzi_G=0; fenzi_B=0; fenmu_up_R=0; fenmu_up_G=0; fenmu_up_B=0; fenmu_low_R=0; fenmu_low_G=0; fenmu_low_B=0; tableR=; tableG=
链接地址:https://www.31doc.com/p-5163031.html