文摘

在过去的几年中,许多多光谱系统由几个相同的单色相机配备不同的带通滤波器已经开发出来。然而,由于强度的显著差异不同波段图像,图像配准变得非常困难。考虑到常见的多光谱系统的结构特点,本文提出了一种有效的方法用于注册不同波段图像。首先我们利用相位相关法计算的参数coarse-offset不同波段图像之间的关系。然后我们利用尺度不变特征变换(SIFT)特征点检测。对于每一个特征点在参考图像,我们可以使用coarse-offset参数来预测其匹配点的位置。我们只需要比较的参考图像中特征点附近的几个特征点的预测位置,而不是在输入图像特征点。我们的实验表明,该方法不仅避免错误的匹配,提高正确匹配,而且解决红外波段图像之间的匹配问题,可见波段图像的情况下缺乏的人造物体。

1。介绍

近年来许多多光谱系统开发。例如,Oppelt和毛瑟枪[1]介绍了一种成像系统。一旦这种成像系统集成,很难改变带的带通滤波器获得其他波长的图像。Gorsevski和阿尔托(2)设计了一种机载测绘系统,可以为学生提供宝贵的经验的学习机会。多光谱系统只有一个子系统的复杂的机载测绘系统,和他们没有介绍注册方法。杨et al。3)发明了一种机载多光谱系统由四个相同的单色相机配备四个带通滤波器,并利用多项式变换模型注册不同波段图像。然而,他们并没有介绍的方法生成匹配点。吴et al。4]还开发了一个机载多光谱系统有四个单色相机和四个带通滤波器,并利用单应性产生的多光谱图像。与杨et al .,吴等人并没有介绍如何生成匹配点。大多数这些论文关注硬件设计和数据同步采集但未能详细介绍注册方法。我们迫切需要一个有效的登记方法多光谱系统。光的机载多光谱系统由四个相同的单色相机配备四个带通滤波器是由我们的研究小组,和一个有效的登记方法详细介绍了。

这些论文(5- - - - - -8审查各种各样的图像匹配算法。这些算法主要是提出了计算机视觉和医学图像处理和不适合匹配不同的乐队获得了多光谱图像系统。一般来说,图像配准方法可以放置到频域方法和空间域方法(9]。频域方法,例如,相位相关法,是可靠的噪声和强度不同(10,11]。从这个角度看,这些频域方法是适合不同光谱波段图像。然而,频率方法只能计算图像之间的抵消错位参数。因为不完美的机械一体化,相机的光轴不严格平行。只能获得coarse-offset参数如果我们用相位相关法。空间域算法可以进一步放入成立算法和基于特征的算法(12]。成立的原则方法是使用相同的图像窗口的强度来衡量两幅图像之间的相似性。以下是著名的成立方法:最小二乘匹配(LSM) (13),最大似然(14),统计差异(15),互信息(16,17),互相关匹配(18),和隐含的相似性匹配(19]。尽管大多数这些成立方法可以获得精度高,他们受到光照差异(12),不适合不同光谱波段图像。

基于特征的匹配方法提取一些特征点和匹配他们使用特征点周围的像素信息。与成立方法相比,基于功能特性的方法保持不变的照明和观点20.]。根据Mikolajczyk施密德的比较研究21),筛选匹配的方法(22)是一个最好的基于特征的方法。与收购商业摄像机的图像相比,不同的光谱带图像获得的多光谱系统强度有显著差异,特别是在植被区域,因为它的反射波长敏感。标准筛选方法比较参考图像中的每一个特征点和输入图像中的所有特征点描述符的最近邻和第二最近邻向量空间,计算最近邻的距离比第二个最近邻的距离,决定是否接受与最近的特征点描述符根据比率,然后使用一个注册模型和随机样本的共识(RANSAC)来消除误匹配的初始匹配。由于强度差异,正确的匹配特征点可能不是最近的特征点描述符的邻居,和其它一些特征点描述符的可能是类似于正确的描述符匹配的特征点。因此,在这种情况下缺少的人造物体,标准筛选方法可能会导致两个问题:一是初始匹配可能不多,和正确的初始匹配率低;另一种是,他们可能不均匀分布。然而,RANSAC算法是一个学习的方法来估计参数的特定模型的随机抽样观测数据,并使用一个投票方案找到最优拟合的结果;投票的方案是基于一个假设有足够的内围层(在本文正确匹配)来满足特定的模型。内围层很少时,RANSAC通常表现糟糕(23]。因此,标准的筛选方法不能用于不同光谱波段图像。

一些科学家与不同方面提高了筛选24- - - - - -26遥感图像。Goncalves et al。24)提出了一个自动图像配准方法通过图像分割和筛选。哈桑et al。25)提出了遥感图像配准通过筛选空间关系分析要点。虽然这些改进的方法可以获得更多正确的比赛,他们必须确保所有的选择匹配空间关系分析是正确的。基于筛选和互信息,龚et al。26)提出了而且自动图像配准方案图片与当地严重变形。这三种改进方法并不适合不同的波段多光谱图像获得的系统。考虑到近平行集成不同的相机,本文提出了一种有效的匹配方法对不同波段图像。首先,我们使用一个频率的方法,相位相关法,计算coarse-offset一个参考图像和一个输入图像之间的关系。对于任何参考图像中特征点,我们使用这个coarse-offset关系来预测其在输入图像的匹配点的位置。然后我们搜索匹配的特征点附近的预测位置以外的所有输入图像的特征点。

本文描述了一种机载多光谱系统,提出了一个优秀的注册方法,并详细介绍了这种方法。第二部分描述了多光谱系统;第三节描述方法;第四部分介绍了实验;最后部分给出了结论。

2。多光谱系统

近年来,许多机载多光谱系统,由几个相同的单色相机配备不同的带通滤波器,是由一些科学家,如Gorsevski和阿尔托(2),杨et al。3吴,et al。4),和他们多光谱系统分别如图1(一),1 (b),1 (c)。这些多光谱系统有一个共同的特点:他们的相机几乎都是相互平行的。我们的研究团队也开发了一个机载多光谱系统,如图1 (d)由一组记录,一个坚固的Getac计算机PC,四个相同的日立KPF120CL单色相机,和四个带通滤波器。四个相同的单色相机,坚定地安装和光学轴相互平行,有能力获得8位图像和1392×1040像素,分别配备红外(800海里),红(650海里),绿色(550海里),蓝色(450海里)带通滤波器。结果,该系统可以灵活地改变过滤器为特定的需求。因为四个相机是独立的,他们有一个好处,那就是每个相机可以单独调整的最佳焦点和光圈设置。由于不完美的机械一体化,相机光学轴不严格平行(旋转向量)之间,是不可能使不同波段图像光学或机械(27),所以注册方法是必要的。

3所示。方法

3.1。相关联

在图像处理阶段相关的图像配准方法,并使用快速频域计算方法之间的相对偏移量转移的两个相似的图像。给定两个图片,和,只有位移不同,

后两个图像的傅里叶变换(FT),我们得到的和。根据英国《金融时报》的翻译属性,我们有以下关系: 在哪里和是频率变量的列和行。我们可以看到,在空间域的转变产生一个相位差在频域。因此图像的归一化交叉功率谱被定义为 在哪里的共轭复数吗。通过逆变换(IFT)的归一化功率谱,,我们可以获得相关联,这是一个二维脉冲函数与对应位移的峰值位置两者之间的图像。

在过去的几年里,许多改进的相位相关方法,如二次拟合方法(28,29日),高斯拟合方法(28,29日],Sinc拟合方法(10),频域掩蔽方法(11),和子空间识别扩展方法(30.),提出了。虽然这些改进的方法可以达到亚像素精度,他们需要一个严格的翻译图像之间的关系。由于不完美的机械一体化,相机的光学轴不严格平行。没有严格的翻译两个多光谱图像获得的系统之间的关系。因此,这些为我们的多光谱系统改进的亚像素方法是毫无意义的。我们只需要使用标准的相位相关法得到coarse-offset搜索正确的匹配关系。

3.2。筛选

筛选,一个最强大的图像匹配方法,提出了劳(22]。它包含五个主要阶段:尺度空间极值检测、关键点的位置,定位任务,任务描述符,关键点匹配。

3.2.1之上。尺度空间极值检测

在这个阶段,潜在特征点识别使用不同的高斯(狗)函数在所有尺度和图像的位置。对于一个图像,空间被定义为使用高斯核函数,构造不同的价值观,如 在哪里卷积运算在吗,,和可以被描述为在吗

这个操作是重复使用进一步模糊图像。为了检测稳定特征点在尺度空间中,狗是计算从附近的两个模糊图像由一个常数乘法因子,如

找到的极值,计算每个点的八个当前规模的邻居,九个邻国在上面的规模,和九个邻居在低于规模。关键是选为特征点只有大于或小于它的所有邻居。

3.2.2。关键点的位置

提高稳定性,低对比的特征点局部沿着边缘被拒绝或不佳。当地的检测可以使用一个恰当的定位方法,提出了布朗(6]。通过拟合函数当地最大能被探测到附近的数据。

3.2.3。定向分配

每个选择的特征点分配一个取向是基于局部图像梯度方向。方向直方图36箱覆盖了360°范围的方向形成梯度方向的采样点周围区域内的特征点。分配方向直方图的峰值特征点。因此,特征点相对于表示方向和可以实现图像旋转不变性。

3.2.4。描述符的分配

特征点描述符是一个128维向量,总结了图像梯度的大小和方向在周边地区特征点的位置。归一化后统一大小,它有一个政党不变性的图像强度。

3.2.5。关键点匹配

对于每一个特征点的参考图像,其最佳候选人可以通过搜索找到最近的邻居描述符在所有输入图像的特征点。最近的邻居的特征点描述符从给定的最小欧氏距离描述符。有时,在参考图像特征点,其正确的匹配点在输入图像中可能不存在。在这种情况下,不同的距离其最近的邻居和第二个最近邻距离小。一个有效的方法是计算最近邻的距离比第二个最近邻的距离。如果比例是小于一个阈值,我们接受它作为参考图像特征点的匹配点。虽然这个方法可以拒绝很多错误匹配,一些正确的匹配可能会被删除。这种情况变得更糟,因为非线性强度区别两种不同波段图像获得的多光谱系统。有时我们甚至不能获得足够正确的匹配计算通过使用RANSAC转换模型。

3.3。使用筛选和相位相关的动机

相位相关的图像配准算法使用快速频域方法计算两个图像之间的翻译补偿。它有优势的计算效率高,边缘和突出图片强烈反应,免疫变化的图像强度与其他特殊域算法和频域算法相比。适用于注册在不同光谱波段多光谱系统获得的图像。我们选择这个方法之前,我们也尝试过许多其他方法如统计差异法、最大似然法、互信息法、互相关法,该方法通过克伦et al。31日),频域方法”等。32),发现只有这个方法可以得到一个正确的和稳定的结果。

筛选功能是一种当地的特点和维护缩放和旋转的不变性和也保持一定程度的稳定性与亮度的变化,观察变化、仿射变换、噪声。根据一项比较研究[21]不同的局部描述符的性能评估,筛选执行最佳规模变化、仿射变换、jpeg压缩、旋转、图像模糊和照明的变化。我们不能找到一个更好的地方比筛选描述符的方法。

尽管筛选执行比其他当代描述符,当我们使用它为不同的乐队直接收购多光谱图像系统,存在一些问题:太多的虚假匹配存在于初始特征匹配由于图像强度的显著差异;只有少数得到正确的匹配及其分布是不均匀的。应用标准筛选法直接多光谱系统不能产生理想的结果。因此,我们需要一个可靠的匹配算法来解决这些问题。

3.4。不同的光谱带图片的注册方法

因为相机的多光谱系统近平行排列,我们可以假设有一个coarse-offset不同光谱波段图像之间的关系。coarse-offset关系可以用相位相关法估计中提到的部分3.1。一旦获得coarse-offset关系,我们可以使用一个预测策略大大减少搜索空间。假设coarse-offset每个筛选功能点与协调在参考图像,其匹配点近了。搜索匹配的点,,我们只需要比较和附近的特征点而不是在输入图像特征点。因此,我们可以避免消除一些正确的匹配和生产一些假匹配通过标准筛选方法通过使用我们的方法。

如图2任何特征点与协调在参考图像,其匹配点近了在输入图像。我们假设128 -维描述符向量是和附近的特征点是与描述符。我们需要计算之间的欧氏距离每一个找到最近的和第二最近邻。如果从最近邻的距离比第二个最近邻的距离小于给定的阈值(0.8,推荐Lowe)和之间的距离的特征点描述符是最近的一个小于给定的初始半径(本文10像素),我们选择它作为匹配点,或者我们认为没有匹配的点在图像。的步骤如下。

步骤1。计算coarse-offset之间的参考图像和输入图像利用相位相关法。

步骤2。给一个初始半径定义“附近。”在这篇文章中,初始半径,10个像素,实心圆,如图2。

步骤3。计算特征点的数量,。如果,继续;或半径扩大到。如图2,只有一个特征点的固体圆,我们扩大半径;然后两个多特征点在虚线圆,我们停止扩大半径。

步骤4。计算之间的欧氏距离每一个找到最近的第二最近邻。

第5步。计算最近邻的距离比第二个最近邻的距离。假设的最近邻是。如果比率低于给定的阈值(0.8,推荐Lowe)和之间的距离和小于给定的初始半径(本文10像素),我们选择和作为一个初始匹配。

这些步骤之后,获得匹配的数量大,正确的利率较高。仍有一些错误匹配;可以使用RANSAC消除它们。

4所示。实验和分析

我们的多光谱系统是安装在一个金属防护盒安装在飞艇,ASQ-HAA380命名,它是由我们的研究小组。2014年8月16日,该研究小组进行飞行试验Haibei藏族自治州,中国青海省。飞行高度为300米,图像大小。实验场景如图3。

4.1。登记可见光波段和红外波段之间的结果

我们选择四个图像对收购我们的多光谱系统,如图4。因为它并不难注册三种可见光波段图像,我们只是展示的结果每一对图像中包括一种可见波段图像(红色波段图像)和一个红外波段图像。数据1中有许多人造物体,如图4(一)和4(a),减少人工对象在数据2,如图4(B)和4(b),没有人工对象在数据3,如图4(C)和4(c)和数据4,如图4(D)和4(d)的数据4(一),4(B),4(C)4(D)显示登记结果的标准筛选方法;数据4(一),4(b),4(c)4(d)结果登记使用我们的方法。他们的统计结果如表所示1852、208、73和80年初始匹配(IM)和547年,44岁,5和7正确匹配数据1中(CM),数据,数据3、4和数据,分别使用标准的筛选方法;有1243、614、258、196米个人混合泳和1085年,523年,152年和127年的1厘米数据,数据,数据3、4和数据,分别由我们的方法。筛选匹配的现象说明减少的减少人工对象不管IM或厘米,无论使用哪种方法。与数据相比4(一)和4(B),数字4(一)和4(b)有更多的IM和厘米。在图4(B),比赛只在人工道路面积分配,同时也说明了增加的增加相匹配的人工物体在图像对。然而,比赛分发几乎所有的形象图4(b)。它可以得出结论,得到多厘米,和他们分发更好的使用我们的方法。正确的初始匹配率(CR)数据1、2的数据,数据3和4是数据,分别为64.20%,21.15%,6.85%,和8.75%使用标准的筛选方法,87.29%,85.18%,58.91%,和64.80%的方法。可以得出结论,CR也减少的减少人工物体,和CR的方法显然是高于CR的标准筛选方法,特别是在数据2,数据3和4的数据。因为数据3和4中不含人造物体,CM较少,CR低时使用标准的筛选方法;RANSAC不能直接使用。所以,标准的筛选方法不能得到正确的结果,如图4(C)和4(D),但仍有许多厘米获得数据3和4中使用我们的方法,以及他们的CR依然很高。所以,正确的登记结果也可以通过我们的方法,和CM分发。所有这些实验测试在ThinkPad L440, 2.5 GHz的英特尔i5处理器,4 g内存。如表所示1的时间消耗大约16 s标准筛选方法。和时间的消耗我们的方法大约是13.5秒,大约2.5 s小于标准筛选方法。

4.2。注册结果多光谱图像组成

多光谱图像组成的过程如下:三个空输出矩阵在相同的像素大小创建参考图像(红乐队图片)。三个中的任何一个,使用单应性模型(27),输出图像中每个像素的坐标转换矩阵来确定相应的原始输入图像中的位置。然而,由于小的差异在镜头CCD传感器和方向在铝框,这个转化细胞位置不会直接覆盖输入矩阵中的一个像素。插值用于分配一个数字号码(DN)值输出矩阵像素的基础上确定其周围像素值转换在输入图像矩阵中的位置。可以选择一些常见的插值方法,包括最近邻算法,双线性插值,立方卷积,逆距离权重(IDW)。采用最近邻算法,因为它分配接近新的像素值的输入图像像素和不改变原始数据值。当然,如果有必要我们可以使用其他复杂的插值方法。

数据5(一)和5(B)显示放大的部分地区CIR复合(红外、红色和绿色)的未注册数据1和2,分别;数据5(一)和5(b)显示放大的部分地区CIR复合注册数据1和2的分别。不同波段之间存在着严重的混乱的未注册的多光谱图像。相比之下,这些混乱的是失踪在注册多光谱图像。由于缺乏这些图像中的人工对象在数据3和4中,可见有很大差异筛选的特性和红外筛选功能,CR的初始匹配点对低使用标准的筛选方法。因此,它无法正确注册红外波段的多光谱图像,如图5(C) -对5(D) -对,正确CIR复合材料,如图5(C)离开5(D)离开。然而,我们的方法可以得到一个很好的结果,有许多厘米和CR很高。因此,单一的红外波段,如图5(c) -对5(d) -对,圆形的复合材料,如图5(c)离开5(d)离开,是正确的。

为了有一个定量测量登记错误,红色的乐队组合的多光谱图像作为推理的乐队,和注册组成的红外波段多光谱图像作为输入乐队;我们的方法或标准的筛选方法,用于获得正确的匹配。所有匹配的特征点的坐标参考波段图像,分别的坐标输入带图像中的对应点,分别,和代表点在输入参考乐队和乐队,分别。与随着点对,数量的序列号,均方根误差方向,均方根误差方向,总均方根误差,(,,)可以按照下列公式计算:

这些错误表明良好的参考波段图像之间的登记和输入乐队的形象。较小的这些错误,多光谱数据的质量就越高。表2表明,我们的方法和标准筛选方法几乎相同的质量数据1;在数据2中,我们的方法的误差是0.073像素低于标准的筛选方法;在数据3和4中,标准的筛选方法无法得到正确的结果,但是我们的方法。其总误差约2.7像素,这仍然很低。

5。结论

我们开发了一个机载多光谱系统使用四个多变的带通滤波器,四个相同的黑白摄像机、录音机,和加固的电脑。多光谱系统和其他系统类似,我们提出了一个有效的注册方法。在没有人工物体,强度之间的差异可见波段图像和红外波段图像获得的系统或其他多光谱系统很重要,和标准筛选登记方法不能解决匹配问题。因此,不能获得正确的多光谱图像。为了解决这个问题,本文提出了一种有效的方法基于常见的多光谱系统的结构特点,阶段相关,和筛选。它使用相位相关法估计coarse-offset参数,使用筛选获得特征点,利用coarse-offset参数来预测一个输入图像中匹配点的坐标为任何参考图像特征点,然后比较预测附近的特征点坐标的输入图像与参考图像中特征点的匹配点。与标准方法相比,我们的方法不仅提高注册的性能,而且解决了红外图像和可见图像之间的匹配问题的情况下缺乏的人造物体。

利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作是由中国国家自然科学基金项目(国家自然科学基金委41071255),国家关键技术研发计划(2012 bah31b01),和北京自然科学基金重点项目B (KZ201310028035)。这项工作是由专业高等教育的博士项目研究基金(SRFDP20131108110005)和高素质人才的引进和开发项目北京市机构(CIT&TCD20150323)。