关于配准

注：为便于学习，本文部分内容总结于中科大硕士论文，论文名称：基于SIFT图像配准算法的研究     

1.配准概述

      图像配准是一种寻找同一场景的两幅或多幅图像之间的空间变换关系、并对其中的一幅或多幅图像进行变换的过程。图像配准是所有图像分析任务中最为关键和基础的步骤，是图像拼接、图像重建、目标识别等应用的前提。对于常用的基于特征的图像配准方法，其关键在于如何对特征进行有效的提取，尺度不变特征（Scale Invariant Feature Transform，SIFT）算法能够为我们所提供需要的不变特征。SIFT 特征具有旋转、光照、仿射和尺度等不变性，SIFT 算法是目前特征检测和匹配算法中最为有效的算法。尺度不变特征SIFT 算法可以划分为特征检测、特征描述和特征匹配三个部分。

      图像配准是寻找在不同时间点、不同的视角下或由不同传感器拍摄的关于同一场景的两幅图像或多幅图像之间的空间变换关系，并对其中的一幅或多幅进行匹配和叠加的过程。图像配准可简单地理解为一个寻找空间映射的过程，重新排列一幅图像的像素点位置，并与另一幅图像的对应像素点保持空间上的一致性。图像配准是遥感图像处理、目标识别、图像融合、图像拼接、图像重建、机器人视觉等众多图像分析领域中的关键技术之一，是图像处理领域中的研究热点。图像配准可分为基于特征和基于区域的配准，其中基于特征的图像配准方法由于其只对特征进行操作，计算量较少，因此应用较为广泛。基于特征的图像配准方法的基本步骤为特征检测、特征匹配、匹配函数设计和图像的变换及重采样，图像配准操作围绕图像的特征展开。因此，如何提取具有良好不变性的特征成为基于特征的图像配准的关键所在。

      尺度不变特征SIFT算法所提取的特征具有旋转、尺度、仿射和光照等不变特性，是特征提取和匹配算法中应用最为广泛的算法。尺度源于对人类视觉系统的模仿，尺度越大，相当于看远处的物体，只能看到大致的轮廓；尺度越小，相当于看近处的物体，能够看到物体的细节信息。基于SIFT 算法的图像配准因其高效性、稳定性和多量性等优点，被广泛地应用于图像处理的各个领域，如物体识别、视频跟踪、三维重建、图像拼接和机器人定标等应用，因此具有重要的研究意义。SIFT实质为在不同尺度空间上查找特征点（关键点）的问题。

     图像配准大致可分为基于区域和基于特征的图像配准，对于匹配时采用的方法不同又可以做进一步的划分。基于区域的图像配准方法又称为模板匹配法，它不需要考虑图像的结构信息，利用区域相关的方法对图像的灰度信息进行匹配。但是它对复杂的图像变换几乎无效，同时算法的计算复杂度较高。基于区域的图像配准方法有互相关法（Cross Correlation ， CC ）, 序贯检测法（Similarity Detection Algorithm，SSDA），在频域中基于傅氏变换的Fourier-Mellin 变换相位相关法，互信息法（Mutual Information，MI），Levenberg-Marquardt 优化方法；基于特征的图像配准方法不是通过所有的图像区域而是通过图像上具有代表性的特征信息进行图像之间的匹配，从而达到图像配准的目的。由于该配准方法只考虑特征信息的匹配并且对噪声、形变的抗干扰能力更强，因而具有更小的计算量和更高的鲁棒性。基于特征的图像配准方法有采用空间关系的最近邻迭代点（Iterative Cloest Point，ICP）方法，采用不变描述子的方法，一致性标签（Consistent Labeling Problem，CLP）松弛方法，金字塔和小波方法等。目前图像配准中存在的一些主要问题有：①异构传感器图像配准技术；②快速图像配准算法；③高精度图像配准算法；④大失配图像配准；⑤自动配准。

       图像配准按配准操作的交互性可分为自动配准和手动配准。自动配准是指整个图像配准过程不需要人为干预，直接通过配准程序实现最终的图像配准目的。自动配准因其配准效果好、抗干扰能力强和鲁棒性高等优点，一直为人们所追求；手动配准是指在配准的过程中，需要人工参与来选择控制点，通过这些控制点实现图像配准。由于有人工参与，手动配准容易受到人的主观倾向和视觉误差等因素的影响，不可避免地会产生不可预测的配准误差。但是对于异源图像，由于人眼在图像判读方面的优势，手动配准比自动配准的效果要好，因此手动配准也具有一定的应用。

      图像配准按配准操作的过程可分为基于区域的图像配准和基于特征点的图像配准，其差别在于是通过区域还是通过特征进行图像之间的相似性比较。

• 基于区域的图像配准方法直接通过灰度信息建立相似性度量函数，相似性度量函数包括互相关函数CC、傅里叶函数和互信息函数MI 等，通过使用相似性最大情况下所对应的变换关系进行变换，最终实现图像之间的配准。基于灰度区域的图像配准对于比较简单的图像具有很好的效果和运算速度，但是对于复杂的图像变换几乎无效，同时算法的计算复杂度较高；
• 基于特征的图像配准方法是通过从图像中选择具有代表性的特征，通过这些特征之间的匹配建立图像间的变换关系，最终实现图像配准。基于特征的图像配准由于只选取特征信息而不是所有灰度信息进行计算，因而其计算量得到极大的减少。同时，基于特征的图像配准对噪声和形变的抗干扰能力更强，因而具有更高的鲁棒性。

2.图像配准步骤

      基于特征的图像配准步骤可大致分为如下四步：特征检测、特征匹配、变换模型估计和图像的变换和重采样。

       1） 特征检测：特征检测是从参考图像和待配准图像中提取显著性的特征，这些特征是图像属性的典型代表。显著性特征可以是区域特征（如森林、湖泊、田野），也可以是线特征（如区域边界、海岸线、道路、河流）或者点特征（区域角点、线分界点、曲线上的拐点）。这些显著性特征具有可区分性、分布在整个图像之上，并且能同时在参考图像和待配准中稳定检测到。图像特征是图像中具有代表性的属性，是人类提取出的图像典型表示。图像特征应满足以下特性：

           a) 差异性：图像特征是图像的准确表示，不同类型的图像应当具有不同类型的特征，因此图像特征之间必须具备一定的差异性。

           b) 同类性：图像配准在具备差异性也应当具有同类性，即相同类型的图像具有相同类型的特征，进而相同类型的图像可以通过特征建立联系。

           c) 独立性：同一幅图像所检测到特征之间应当相互独立，即某个特征的存在不是以其他特征的存在为条件的。

      对于图像上具备以上条件的特征，若其经历一个或多个空间变换之后仍然是图像的特征，则这样的图像特征称为图像的不变特征。图像的不变特征最能反映图像的本质内容，它是原图像和变换图像之间建立联系的纽带，是求解图像之间空间变换模型和参数的基础。图像不变特征不会随着图像的外部条件而变化，即不随视角、光照、噪声、尺度、遮挡和模糊等情况而发生变化。因此，图像特征检测的目标就是尽可能多的检测稳定的图像不变特征。由于图像不变特征的重要性，得到很多国内外科研机构的重视，像加拿大的英属哥伦比亚大学智能计算实验室、芬兰的Oulu 大学机器视觉小组、英国牛津大学机器人研究小组和国内的中科院自动化所NLPR 实验室等。

特征包括：点特征、线特征、面特征。

• • 点特征：最常用的一种图像特征，包括物体边缘点、角点、线交叉点等；根据各特征点的兴趣值将特征点分成几个等级。对不同目的，特征点的提取应有所不同。点特征提取方法有：
    • Harris算法：受信号处理中相关函数的启发，给出与自相关函数相联系的矩阵M，M矩阵的特征值就是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、视角变化和噪声的影响具有较好的鲁棒性。 
    • Susan算法：Susan算法使用一个圆形的模板在图像上滑动，将位于圆形模板中心的待检测的像素点称为核心点。假设图像为非纹理，核心点的领域被划分为两个区域：其一为亮度值等于（或相似于）核心点亮度的区域，称为核值相似区，其二为亮度值不相似于核心点亮度的区域。
    • Harris-Laplace：Harris算子能最稳定地在图像旋转、光照变化、透视变换条件下提取二维平面特征点，但在三维尺度空间中，Harris探测子的重复探测性能不好，不同尺度Harris特征点存在位置误差，Harris探测子不具有尺度和仿射不变性。而三维尺度空间中最稳定高效的特征尺度探测算子是归一化的Laplace算子。结合Harris和Laplace的优点提出Harris-Laplace算子。    Harris-Laplace特征点具有尺度和旋转不变的特性，且对光照变换和小范围视角变换具有稳定性。
    • SIFT特征点提取：使用DoG filter来建立尺度空间，在尺度空间上提取极值点。
    • SURF特征点提取：基于Hessian矩阵，它依靠Hessian矩阵行列式的局部最大值定位兴趣点位置。对于图像I中某点X在尺度空间上Hessian矩阵定义为：，其中L_xx(X,σ)表示高斯二阶偏导在X处与图像I的卷积。
    • FAST特征点提取：FAST是对SUSAN角点提取的简化，通过比较一个圆上16个像素点与中心像素点的灰度对比情况来判断中心像素点是否为特征点。
    • Moravec算子、Forstner算子…      
  • 线特征：图像中最明显的线段特征，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后用限制条件帅选出满足条件的线段作为线特征。线特征提取方法有：
    • Robert、Sobel、Prewitt、Kirsch、Gauss-Laplace、Canny…
  • 面特征：指利用图像中明显的区域信息作为特征。在实际的应用中最后可能也是利用区域的重心或圆的圆心点等作为特征。面特征提取方法有：
    • Mser：使用不同的阈值对图像进行二值化，这个过程中，所有阈值图像上形成的连接区域都是极小值区域，在阈值图像的变化过程中，形成了一系列嵌套的极值区域组。在每组嵌套区域里，有一类性质较为稳定的区域，这类区域在较大阈值范围内具有较小的变化，被定义为“最稳定极值区域”。

       2）特征匹配：检测到的参考图像和待配准图像上的特征可以通过相邻区域的图像强度均值、特征的空间分布或者代表特征的描述子进行匹配。特征匹配的关键一方面在于特征检测提供的特征，另一方面就在于匹配策略的选择。特征匹配要考虑采用何种参量进行相似性度量，以及何时达到最佳匹配。常用的相似性度量参量有基于区域的归一化互相关、互信息和基于特征的不变特征、金字塔和小波等。

特征匹配分两步：特征描述、利用相似度准则进行特征匹配。

• • 特征描述：现有的主要特征描述子：SIFT特征描述子、SUFR特征描述子、对比度直方图、DAISY特征描述子，矩方法。
    • SIFT特征描述子：基于图像梯度分布的特征描述子，特点：抗干扰性好，但位数高，计算复杂度大。
    • SURF特征描述子：将特征点的周围区域分成几个子区域，用每个子区域内像素点的X,Y方向的偏导和及其绝对值的和组成特征点的描述子。特点：有较好的抗亮度变化能力，但该描述子要求使用积分图像，限定了其应用范围。
    • 对比度直方图：将特征点周围区域的像素点与特征点的对比度形成直方图来描述该特征点。特点：该方法比基于梯度的描述子要快，但描述力比基于梯度的要略微弱一点。
    • DAISY特征描述子：受SIFT算法和GLOH算法启发，将梯度加权和用几个高斯方向偏导滤波器与原图像进行积分代替。特点：该描述子有和SIFT特征算子相似的优点，但是速度比SIFT特征算子要快。
    • 矩方法：Hu矩，zernike矩。
  • 利用相似度准则进行特征匹配：常用的相似性测度准则有如欧氏距离、马氏距离、Hausdorff距离等。

       3）变换模型估计：变换模型估计是根据匹配的特征对来估计变换模型。在有些情况下，特征匹配的同时就已经估计出变换模型，因此第二步和第三步也可以放在一起。变换模型估计就是要选择匹配函数的类型及其参数估计。

• • 刚体变换模型
  • 仿射变换模型
  • 投影变换模型
  • 非线性变换模型

       4）图形的变换和重采样：图像的变换和重采样是在得到变换模型后，对待配准图像进行变换和赋值，赋值方法有前向变换法和后向变换法。前向变换法是从参考图像上的像素点坐标出发，计算配准后像素点坐标位置，并将该像素点的灰度值作为新像素点处的灰度值；后向变换法是从配准后图像上的像素点坐标出发，计算参考图像上对应的像素点坐标，并将参考图像上该点的灰度值作为变换之前像素点处的灰度值。由于前向变换法可能产生没有赋值的像素点，或者出现多个像素点对应一个像素点的情况，并且实现较后向变换法困难，因此多采用后向变换法。后向变换法需要采用灰度插值法，常用的插值方法有最近邻插值、双线性插值和立方卷积插值等。（涉及输入图像变换后所得点坐标不一定为整数素数，则应进行插值处理。）

3.配准的变换模型

      图像之间的空间变换关系可以通过空间变换模型来进行表示，而空间变换模型又可以采用空间几何变换函数进行描述。图像之间的空间变换大致可以分为全局变换和局部变换。所谓全局变换，是指两幅图像上的所有像素点满足相同的变换关系，即两幅图像中的观测目标存在整体的运动关系。对于存在全局变换的两幅或多幅图像，它们之间的变换关系明确，可以采用统一的变换函数进行表示。全局变换是物体之间最基本也是最常见的变换，如物体的平移、旋转和缩放等。所谓局部变换，是指两幅图像上的像素点不存在相同的变换关系，即观测目标之间只存在局部的运动关系。在局部运动情况下，使用任一个函数均不能将两幅图像之间的关系准确表示。因此，需要采用多个不同的函数来表示两幅图像中不同部分的空间变换关系。局部变换是物体多个局部的全局变换复合而成，如人体或动物的动作所产生的局部运动等。常见的空间变换关系主要有刚体变换、相似变换、仿射变换、投影变换及非线性变换等。

4.尺度空间

     图像尺度空间是在图像处理模型中引入连续变化的尺度参数对图像进行处理，获得一系列的子图像，并从这些子图像的信息中获取图像的本质特性。在传统的不变尺度图像处理技术的基础上，采用尺度连续变化的多尺度分析技术，通过所建立的尺度空间能够更加准确的获取所需要的图像特征。因而，多尺度分析技术在图像分析、识别和理解等领域有着重要的应用前景和实际价值。

      经过高斯变换得到的尺度空间称为高斯尺度空间，高斯尺度空间的概念是由Witkin最早提出的，并经Koenderink等人的研究工作得到进一步的发展。Koenderink证明了高斯核函数是线性核函数，而Lindeberg又证明了高斯核函数是唯一的线性核函数。

      如前所述，图像的特征检测与图像的尺度有着密切的关系。对于特定的图像特征，是在特定的尺度范围上表现出来的，即在某个尺度范围上检测到的特征，在另外的尺度范围上却无法检测到。因此，在对图像进行特征检测时，有必要引入图像的尺度空间表示，通过图像的尺度空间表示来检测图像特征。图像的尺度空间表示可以有效地检测到所需要的图像特征，进而获取图像的本质内容。采用多尺度分析的方法对图像进行尺度空间表示获得了广泛的应用，像常见的金字塔分析方法、小波分析方法和四叉树分析方法等都属于多尺度分析范畴。对输入的图像采用多尺度分析，也就是对输入图像附加了可变的尺度参数，形成一系列的子图像即图像尺度空间表示。

      由图像尺度空间知，大尺度情况下能够很好的消除误检，但是特征的定位精度不高；小尺度情况下能够准确地进行特征定位，但是误检的风险明显变大。因此，可以先在大尺度情况下对特征进行检测，再在小尺度情况下对特征进行定位。通过图像的多尺度分析方法可以更加有效地对图像特征进行检测，得到图像的多尺度信息，进而获取图像的本质内容。

      图像的尺度选择以及微分比较函数：图像尺度空间是通过一簇不同分辨率的图像进行表示的，不同分辨率的图像是通过高斯核函数得到的。通过在不同尺度上采用微分等适当的函数处理，可以在不同的分辨率上对边缘、角点等图像特征进行表示。在一般情况下，空间微分的幅度会随着尺度增加而减小。然而，在尺度不变模式下，总希望幅值在尺度变化下保持不变。因此，为了保持尺度不变性，微分函数必须对观测尺度进行归一化处理。

     下面给出一些常用的微分比较函数，它们都已经进行了尺度归一化：

               

5.图像特征的检测与描述

      图像特征的分辨需要经过图像特征的检测和描述两个步骤。图像特征检测是在图像上对特征进行区分，图像特征描述则是对特征进行表达。

• 图像检测：有些算子将图像特征的检测和描述合二为一，即算子的前半部分是检测，算子的后半部分是描述，如SIFT算子及其变种。图像特征检测根据检测的特征类型可以分为基于特征点、基于blob块和基于区域的特征检测。图像特征检测一个重要的起点是Moravec所提出的角点概念，他于1981年提出了采用Moravec角点进行视频匹配；Harris和Stephens于1988年提出Harris算子，改善了Moravec算子对小的图像变化和边缘保持的有效性；针对Harris算子对尺度敏感问题，Kristian和Lowe分别提出Harris-Laplacian算子和SIFT算子；Matas等在2002年提出最大稳定极值区域（Maximally StableExtremal Regions，MSER）的仿射不变区域检测方法；Mikolajczyk和Schmid在2004年将Harris角点检测子结合尺度空间理论并构造仿射区域，得到具有尺度不变性的Harris-Affine检测子和仿射不变性的Hessian-Affine检测子；Tuytelaars于2004 年提出利用图像边缘和利用灰度检测仿射区域的基于边界区域（Edge-based Regions，EBR）检测子和基于强度区域（Intensity-based Regions，IBR）检测子；受信息论的的启发，Kadir和Brady于2004年提出寻找显著性特征的显著性区域（Salient Regions，SR）检测子。
• 图像描述：特征描述是对检测到的特征进行表达，是进行特征匹配的准备工作。图像特征描述的方法大体上可以分为三类：基于邻域分布的特征描述方法、基于滤波器的特征描述方法和基于不变矩的特征描述方法。

6.误差评价标准

      图像配准的评价是一个较为复杂的问题，其原因是没有统一的标准，不同的图像类型可能需要不同的方法进行评价。对于不同视角下的同一场景的配准，评价的准则就是重复率、不变性和特征点的数目。在分类识别应用中，对重复率的定义和测量较为困难，只能通过对微小变化的鲁棒性进行度量。图像配准的误差源于图像特征检测时的定位误差、图像匹配时的匹配误差和图像变换时的变换误差，其中影响最大的是特征检测时的定位误差，该误差将对后续的匹配精度和变换精度产生直接的影响。因此，本文在评价算法性能时，采用了Cordelia Schmid的重复率（Repeatability）作为算法误差的衡量标准。对于同一场景在不同的拍摄情况下获得的多幅图像，重复率明确表示在这些图像上所检测到的兴趣点的几何稳定性。对于其中的两幅图像，重复率是在这两幅图像均出现的特征点占所有特征点的比例。

7.细节

哪些点是SIFT中要查找的关键点？

      这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相会对应的匹配点。所谓关键点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。特征点有三个特征：尺度、方向、大小。同时也就使关键点具备平移、缩放和旋转不变性。

什么是尺度空间？

      我们精确表示的物体都是通过一定的尺度反应的，现实世界的物体也总是通过不同尺度的观察而得到不同的变化。尺度空间理论早在1962年提出，主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。尺度越大图像越模糊。

 

 

 

参考：

1.http://wenku.baidu.com/link?url=Q2Kl12o6ZH7aIooWno9LFOl1SybKpB5w4JdriJoUuas8ZjoaLEGR4yBovvPAY-xtjWmKCLezp2TT9nkhEa24RusdbyzXO8DO5QL-amFwcXq

2.http://blog.csdn.net/zddblog/article/details/7521424

3.http://wenku.baidu.com/view/e10ed068561252d380eb6eec.html?re=view

4.《图像局部不变性特征与描述》  王永明著

转载于:https://www.cnblogs.com/king-lps/p/6141439.html