一、课题背景

图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。

图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。

本论文的主要的研究内容有：

首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。

二、课题介绍

2.1 图像融合的概念

图像融合是二十世纪70年代后期提出的新概念，是多传感器信息中可视信息部分的融合，是将多源信道所采集的关于同一目标图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特性以供观察或进一步处理。它是一门综合了传感器、图像处理、信号处理、显示、计算机和人工智能等技术的现代高新技术。由于图像融合系统具有突出的探测优越性(时空覆盖宽、目标分辨力与测量维数高、重构能力好、兀余性、互补性、时间优越性及相对低成本性等)，在技术先进国家受到高度重视并己取得相当的进展。

图像融合的形式大致可分为以下3种：

(l)多传感器不同时获取的图像的融合；

(2)多传感器同时获取的图像的融合；

(3)单一传感器不同时间，或者不同环境条件下获取的图像的融合。

图像融合能够充分利用这些时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。以两个传感器A、B为例，其信息构成的示意图如图1-1所示。

图1-1 多源图像的信息构成

通过图像融合可以强化图像中的有用信息、增加图像理解的可靠性、获得更为精确的结果，使系统变得更加实用。同时，使系统具有良好的鲁棒性，例如，可以增加置信度、减少模糊性、改善分类性等。图像融合的层次可分为:像素级、特征级和决策级。

目前，将图像融合技术应用于数字图像处理的主要目的有以下几种:

(1)增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见/看清的特性;

(2)改善图像的空间分辨率，增加光谱信息的含量，为改善检测/分类/理解/识别性能获取补充的图像信息;

(3)通过不同时刻的图像序列融合来检测场景/目标的变化情况;

(4)通过融合多个二维图像产生具有立体视觉的三维图像，可用于三维重构或立体投影，测量等;

(5)利用来自其它传感器的图像来代替/弥补某一传感器图像中的丢失/故障信息。

显然，图像融合技术不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。

2.2图像融合的主要研究内容

2.2.1 图像融合的层次

图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理，最终形成一幅新的图像。它可以强化图像中有用信息，增加图像理解的可靠性，获得更为准确的结果。在各种融合应用中，由于应用目的、所处理的输入数据及融合处理前对数据预处理程度不同，使得融合系统在不同层次上对多源数据进行处理，每个层次表示不同的数据抽象级别。根据抽象程度可将图像融合系统分为三级：像素级、特征级和决策级。融合的层次不同，所采用的算法、适用的范围也不相同。下图示意了在图像处理全过程中，图像融合所处的位置与层次。

图1-2 三个不同层次上的多源图像融合示意图

(1)像素级图像融

像素级图像融合是在严格配准的条件下，对各图像传感器输出的信号，直接进行信息的综合与分析。像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目标和背景要素的测量结果进行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级的基础，但缺点是预处理的信息量最大，处理时间较长，对通信带宽的要求高。在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。

像素级图像融合通常用于:多源图像复合、图像分析和理解。

图1-3 像素级数据融合原理示意图

(2)特征级图像融合

特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状、轮廓、区域等)进行综合。特征级融合属于中间层次的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提取和目标识别等功能，以利于系统判决。一般从源图像中提取的典型特征信息有:线型、边缘、纹理、光谱、相似亮度区域、相思景深区域等。在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。尽管在模式识别、图像处理和计算机视觉等领域，已经对特征提取和基于特征的图像分类、分割等问题进行了深入的研究，但是这一问题至今仍是困扰计算机视觉研究领域的一个难题，有待于从融合角度进一步研究和提高。

图1-4 特征级数据融合原理示意图

(3)决策级图像融合

决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。这种方法是首先对各个源数据进行处理，分别得出判断和识别的结果，融合中心将这些结果按照一定的准则和每个数据源决策的可信度进行协调，以取得最优的决策结果。决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。此种融合实时性好，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失最多

图1-5 决策级融合原理示意图

图像融合的三个层次与多传感器信息融合的三个层次有一定的对应关系，在实际应用中，应根据数据融合特点、原始数据特点、可用资源及目标要求，选择适当的数据融合层次及融合方法，才能构成高效的数据融合系统和获得最优的融合效果。图像融合的三个层次不仅能够独立进行，而且它们有着密切相关性，还可以作为一个整体同时进行分层次融合，前一级的融合结果可作为后一级的输入。

三 图像融合

常用的像素级图像融合方法有：

(l)空域融合方法:①加权平均法；②像素灰度值取大/小法；③主分量法(PCA)。

(2)变换域融合方法:①IHS变换法；②小波变换法

3.1 加权平均融合法

空域法是把图像看作是平面中各个像素组成的集合，然后直接对这一二维函数进行相应的处理。

加权平均方法将源图像对应像素的灰度值进行加权平均，生成新的图像，它是最直接的融合方法。其中平均方法是加权平均的特例，使用平均方法进行图像融合，提高了融合图像的信噪比，但削弱了图像的对比度，尤其对于只出现在其中一幅图像上的有用信号。

假设参加融合的两个图像分别为A、B，图像大小为M×N，经融合后得到融合图像C，那么，对A、B两个源图像的像素灰度值加权平均融合过程可以表示为:

C(n1,n2)=ω1A(nl,n2)+ω2B(nl,n2) (2-1)

式中:

n1表示图像中像素的行号，nl=l，2，3，...……M;

n2表示图像中像素的列号，n2=1，2，3，...……N;

ω1表示加权系数1；

ω2表示加权系数2；通常ω1+ω2=1。

图像灰度值的平均可看作是灰度值加权平均的特例，即ω1=ω2=0.5。

加权平均法的优点是简单直观，适合实时处理。但简单的叠加会使融合图像的信噪比降低;当融合图像的灰度值差异很大时，就会出现明显的拼接痕迹，不利于人眼识别和后续的目标识别过程。

3.2 像素灰度值选大/小融合方法

假设参加融合的两个原图像分别为A、B,图像大小为M×N,经融合后得到的融合图像为F，那么：

基于像素的灰度值取大图像融合方法可表示为

基于像素的灰度值取小图像融合方法可表示为

式中：m为图像中像素的行号，n＝1,2,…,M；

n为图像中像素的列号，n＝1,2,…,N；

即在融合处理时，比较源图像A、B中对应位置(m,n)处像素的灰度值的大小，以其中灰度值大/小的像素(可能来自图像A或B)作为融合后图像F在位置(m,n)处的像素。这种融合方法只是简单地选择参加融合的源图像中灰度值大/小的像素作为融合后的像素，该融合方法的适用场合非常有限。简单的图像融合方法具有实现简单，融合速度快的优点。但在多数应用场合，这些简单的图像融合方法的局限性是显而易见的，无法获得满意的融合效果。

3.3 主分量融合法

主分量（PCA）变换，又称K-L变换，它是一种基于目标特性的最佳正交变换。在进行许多问题的分析时，多个变量的情况是经常遇到的。变量太多，无疑会增加分析问题的难度和复杂性，而且在许多实际问题中，多个变量之间具有一定的相关性。能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来的变量所反应的信息，主分量分析就是实现这个目标的一种强有力的方法，它是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术，用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量地反映原来较多指标所反映的信息，同时它们之间又彼此独立。针对主成分分析的特性，将其应用于图像融合，可以把多波段的图像信息最大限度的表现在融合后的新图像中。图像PCA变换的结果在舍弃相关性较差的次要成分后进行反变换所恢复出的图像是原图像在统计意义上的最佳逼近。

（1）主分量分析原理

各源图像的原始数据可表示为：

其中，m和n分别为源图像个数(或称变量数)和每幅图像中像素数；矩阵中的每一行向量表示一幅源图像。

一般图像的线性变换可以用下面的式子表示：

式中X为待变换图像数据矩阵，Y为变换后的数据矩阵，T为实现这一线性变换的变换矩阵。如果变换矩阵T是正交矩阵，并且它是由源图像数据矩阵X的协方差矩阵C的特征向量所组成，则上式的线性变换称为K-L变换，并且K-L变换后的数据矩阵的每一行向量为K-L变换的一个主分量。

(2)主分量变换的过程

用于图像的K-L变换的过程如下：

①根据原始图像数据矩阵X，求出它的协方差矩阵C：

X的协方差矩阵为:

②求出协方差矩阵的特征值和特征向量，并组成变换矩阵，具体如下：

写出特征方程：

式中：I为单位矩阵，U为特征向量。

解上述的特征方程即可求出协方差矩阵C的各个特征值

，并将其按

的顺序排列，求得各特征值相对应的单位特征向量(经归一化)

④将变换矩阵T代入Y=TX，将得到K-L变换的具体表达式：

式中Y矩阵的行向量

为第j个主分量。

经过K-L变换后，得到一组m个新的变量，它们依次被称为第一主分量，第二主分量，…第m主分量。在PCA反变换时，只需运用到前m个主分量，这也正是主分量名称的由来。

PCA变换用于图像融合的基本原理是:首先计算参加融合的两幅源图像的协方差矩阵，然后求其特征值对应的特征向量，最后利用与最大特征值相对应的特征向量来确定两幅图像的加权系数。

图3-1 基于PCA变换的图像融合方法

PCA融合算法的优点在于，它适用于多光谱图像的所有波段(IHS变换只能用3个波段)，但其不足之处在于，由于PCA融合算法中只是用高分辨率图像简单替换低分辨率图像的第一主成分，故低分辨率图像第一主成分分量会损失一部分反映光谱特性的信息，使得融合后图像的光谱畸变严重。用PCA方法确定加权系数优于加权平均融合方法中提到的根据像素灰度值自适应确定加权系数的方法，得到的融合图像效果相对较好，但是对比度的提高没有显著的效果。

3.4 IHS变换法

IHS分别表示强度I(Intensity)、色调H(Hue)和饱和度S(Saturation)，它们是从人眼中认识颜色的三个特征。强度是光作用在人眼所引起明亮程度的感觉，确定像素的整体亮度，与物体的反射率成正比。而色调和饱和度又统称为色度，反映颜色信息。色调反映了颜色的类别，饱和度则是彩色光所呈现彩色的深浅程度，这两个分量与人感受彩色的方式是紧密相连的。IHS变换有效地将RGB颜色信息表示成强度和色度信息，因此可以分离出大部分光谱信息，有利于图像光谱信息的保持。

IHS 变换是指将RGB(Red-Green-Blue,红-绿-蓝) 三原色信号表示的彩色图像转换为I(亮度)，H(色调)和S(饱和度)三个分量来表示图像信息。通常的色彩显示是通过RGB( 红绿蓝)信号的亮度值所确定的, RGB 彩色坐标系统中R、G、B呈非线性关系,使调整色调的定量操作较为困难。而IHS 彩色坐标系统中, 三个分量具有相对的独立性,可以分别对他们进行控制,并且能够准确定量地描述颜色特征。同时, 图像从RGB 转换到IHS这一彩色空间变换有效地分离了代表空间亮度信息的I 分量和代表光谱彩色信息的H 和S分量。

IHS变换的形式有多种，都是基于不同的彩色空间模型建立的，它们之间主要的不同在于亮度分量上。在此介绍Harrison和Jupp于1990年提出的变换模型，它是目前在多光谱图像融合领域中最常见的变换模型。

正变换公式如下所示：

将多光谱图像RGB三通道进行IHS变换，变换后的I分量与PAN全色图像进行直方图匹配，用匹配后的图像替换原图像的I分量再反变换，反变换如下式：

传统的基于IHS 变换法的图像融合步骤: 将多光谱的彩色图像由RGB 转换为IHS 格式, 而后将全色图像与多光谱的I 分量进行直方图匹配, 再将匹配后的全色图像替换掉多光谱图像的I 分量, 最后将替换后的多光谱图像进行HIS—>RGB转换生成融合图像。算法融合流程如下图：

图3-2 基于HIS变换融合流程图

基于IHS 变换的融合方法特点是: 算法简单易于实现, 图像的高频细节信息保留较好但光谱信息损失较大。因为IHS 变换法很好的保留了全色图像的高空间分辨率的细节信息, 所以在一般的地质遥感工作领域中普通的IHS 变换法可以满足基本要求, 但是对于一些大面积、低分辨率卫星图像, 多光谱图像所提供的彩色信息在解译工作中则变得更为重要。比如土地利用、植被监测等项目更注重遥感图像的色彩信息, 所以普通的IHS 方法并不能很好的满足要求。基于此我们针对传统IHS 变换法中多光谱信息损失严重的缺点提出了改进方案。

第四章 图像融合效果评价

图像融合效果的评价问题是一项重要而有意义的工作。目前，图像融合效果的客观、定量评价问题一直未得到很好解决，原因是同一融合算法，对不同类型的图像，其融合效果不同;同一融合算法，对同一图像，观察者感兴趣的部分不同，则认为的效果不同;不同的应用方面，对图像各项参数的要求不同。因此，探究图像融合效果的客观、定量评价方法十分必要。

4.1 主观评价

图像融合处理的目的一是改善图像的质量，以改善人的视觉效果;二是增加融合图像中的信息量或信息的精度及可靠性，为人的决策提供更丰富、更准确、更可靠的图像信息。图像的主观评价是以人作为观察者，对图像的优劣做出主观定性评价。观察者根据一些事先规定的评价尺度或自己的经验，对被评价的图像提出质量判决。

主观评价并没有具体的指标。尽管主观评价通过大量的统计，可以获得比较准确的判断结果，这个结果主要是针对人的视觉感受做出的，但是这种评价方式最大的不足是整个过程非常烦琐，如果没有进行大量的统计，所获得的结论可能不准确。另外，目前对人的视觉特性还没有充分了解，对人的心理因素也还找不出定量描述的方法，对图像评价结论的差异会很大，所以我们就需要给出客观的评价方法

4.2 客观评价

客观评价指标没有绝对的指标，它要依赖于融合图像的用途做出决定，但是也可以提出一些客观量来简单的衡量融合图像的质量。客观评价可分为两类:一类是用来评判融合图像所保持的光谱特征情况的评价指标，主要有偏差指数，光谱扭曲程度和相关系数等;另一类是用来评价融合图像所包含空间信息的评价指标，主要有信息嫡，均值，标准差，均方根误差，平均梯度等。

总结与展望

近年来，图像融合已成为图像理解、计算机视觉以及遥感领域中的一个研究热点，并广泛应用于医学、测量、工业及军事领域。而像素级图像融合获取的原始信息量最多、检测性能最好、应用范围最广，且是各级图像融合的基础。因此，对像素级图像融合的研究具有着重要的理论意义与应用价值

本文的研究内容主要是像素级图像融合的方法。涉及图像融合的概念、图像融合的目的和意义、图像融合的应用、图像融合的常用方法及评价标准。先后介绍了图像融合的简单方法（像素灰度选大、选小、加权平均算法）、图像的多尺度分解、基于塔形分解的图像融合方法、图像的小波变换、基于小波变换的图像融合方法。最后应用已知的图像融合效果主观和客观的评价准则。

本论文主要归纳总结了像素级图像融合方面的研究成果，研究工作的深度和还有待于进一步的深入。未来的发展方向主要包括：

(1) 有必要针对具体的应用领域对图像融合的预处理技术进行深入研究。本文中所用的待融合源图像大多为不含噪声干扰且经过精确配准的理想图像。然而在实际应用中，图像噪声或图像未达到要求的配准精度将阻碍融合的进行或者严重影响融合效果。

(2) 虽然当前的图像融合算法种类不少，但是多处于对不同的图像源分别采用相应算法的状态，也就是说融合算法各有优劣。如果我们能结合融合图像的评价标准，提出新的评价标准并建立一个相对完善的评价体系，针对不同的图像源，让计算机能自动选用合适的融合方法。这对图像融合在实际工程中的应用将有很大的帮助。

(3) 对实时图像融合方法进行研究。目前，图像融合的大多数方法是针对静态图像的，在一些实时性要求高的场合缺乏必要的实时性，就限制了应用范围。随着遥感技术的发展，用户对信息的要求正从静态非实时向动态实时转化，开发实时处理多源图像数据的算法也将成为一个研究热点。

(4)现有的融合算法大多数是以软件形式实现的。为了提高图像融合系统的实时性，在研究高效图像融合算法的同时，如何采用硬件实现实时的图像融合系统是一个很有价值的研究方向。

(5)当前并不存在一套比较系统而有效的图像融合理论和框架，如果能在这方面做一些思考和探索，也将是十分有意义的事情。如何实现更高级别的特征层和决策层的融合方法也是今后研究的一个方向。