文摘

本文提出了一种新颖的基于图像镶嵌方法筛选线段(尺度不变特征变换)的特点,旨在解决事件的缩放、旋转、光照条件的变化等等全景图像马赛克两幅图像之间的过程。该方法首先利用Harris角点检测算子检测要点。其次,它构造有向线段,描述他们筛选功能,并匹配这些导演片段获取粗略的匹配点。最后,使用Ransac方法消除错误的对为了实现图像马赛克。实验的结果基于四双图像表明,我们的方法具有较强的鲁棒性决议,照明、旋转和缩放。

1。介绍

最近图像马赛克(1- - - - - -4)一直是图像处理研究的一个重要课题。图像镶嵌技术在遥感图像处理广泛的潜在应用,计算机识别、医学图像分析、人工智能等领域。也有很多技术来捕获全景图像真实世界的场景(5]。以来,在真实的应用程序,输入图像在不同方向和风险,提出了注册技术类似的文献[2,6)是用于自动对齐输入图像。图像匹配精度将直接影响质量的全景图像。目前,有两种类型的图像匹配的方法:一个是grayscale-based方法,利用两幅图像的重叠区域中灰度的相关性获得最佳匹配通过相关性最大化。grayscale-based方法很容易实现,但它是对图像灰度变化比较敏感,特别是在变量照明。其他基于图像特征的匹配方法使用图像像素值来提取特征。部分不变照明变化,因为这些特性匹配歧义会极好地解决了图像匹配的过程。对于图像特征点的提取,已经有很多方法,例如,哈里斯方法(3],苏珊方法[7),Shi-Tomasi方法(8]。这种基于特征图像镶嵌方法有两个主要优点如下:(1)图像匹配的计算复杂性将显著降低的原因远远低于像素图像特征点;(2)特征点不平衡照明和噪声有很强的鲁棒性;因此,图像马赛克的质量将会提高。

的方法来描述点特性主要是依赖于图像块的描述(9),如筛选(尺度不变特征变换)方法(10]。近年来的文献[11- - - - - -14)表示,研究人员越来越重视SIFT-based匹配精度的提高,同时限制计算体积。图像特征描述的方法在图像马赛克的质量起着至关重要的作用。和性能评估的鲁棒性和速度。有几个研究如何提高健壮性和减少计算时间11,15]。灵感来自文学作品(16- - - - - -18),我们已经知道图像的网格特征具有较强的鲁棒性的图像旋转和缩放。提出了一种基于有向线段的筛选特征匹配方法在图像。为了提高健壮性和效率,类似的文献[19,20.),我们将我们的方法如下。它首先使用Harris角点检测算子提取关键点,然后构造有向图中提取的点。其次,它描述了有向线段与筛选特征和匹配他们获得粗略的匹配点。最后,它通过Ransac方法调整和消除错误的匹配点对来完成图像的拼贴画。整个框架的方法可以看到从图1。这里的方法具有以下主要优点:(1)基于特征的描述网格具有较强鲁棒性的图像旋转、扭曲,和扩展;(2)有向线段的描述与筛选功能具有一定的鲁棒性的图像照明影响和旋转;(3)粗匹配点的统计方法可以提高匹配精度。

我们的论文的其余部分的结构如下。部分2回顾了哈里斯和筛选特征描述方法。部分3小说描述了我们的图像镶嵌方法基于线段的过滤特性。节演示了实验和分析4。结论部分5。

2。Harris角点检测和筛选功能描述

当筛选方法来检测特征点,采用计算图像金字塔结构,过程的关键点位置的决心通过极值检测和别人,将会非常耗时。哈里斯算子的性能良好的优点来检测角点,所以由哈里斯方法特征点检测和筛选描述、图像马赛克将加速。

2.1。Harris角点检测

哈里斯算子是一种ieee的点特征提取算子提出了克里斯·哈里斯(21]的特点是用简单的计算、均匀、合理提取角特性,可用定量提取和稳定的操作符。哈里斯角检测方法适用于自相关函数理论定义点的信号处理与高行曲率和曲率。哈里斯方法可以表示为 在这意味着梯度方向,意味着梯度方向,意味着高斯模板,意味着之间高斯卷积模板和功能。

在此基础上,哈里斯角落检测方法的响应函数 在这意味着矩阵的行列式,意味着矩阵跟踪,意味着一个默认的常数,通常是0.04~0.06。在实际应用程序中,一个点确定将角点响应函数如果角落大于给定的阈值。不同的图像有很大程度上不同的结构和纹理特征,导致其合适的阈值这将在一个大范围不同。之后,史和预提出了一种改进方法:如果较小的两个特征值大于最低阈值,它将获得强大的角落。提出的方法施和预相对完美的在很多情况下,可以获得更好的结果。

2.2。筛选功能描述

筛选(10提取不变的特性基于不变的描述符,于2004年提出的劳。筛选功能从根本上仍然是不变的图像平移、旋转、缩放、亮度变化,和噪音。筛选功能描述主要包括两个步骤:(1)确定特征点的方向参数;(2)使用图形信息特征点构造128 -维描述符。

2.2.1。方向的确定参数

,以确保旋转不变性的特征点描述符应当计算特征点的主方向和创建筛选特征描述符的主要方向。检测到的特征点,有限差分计算将被应用到计算出像素梯度模块和角度的梯度幅值在该地区以特征点为中心。形式主义者的如下: 在这意味着金字塔图像特征点的灰度它的规模。然后使用像素梯度直方图统计状态模块和方向在这个地区。直方图的横轴是梯度方向的角振幅,纵轴是梯度模块对应的累积值梯度方向角。梯度方向分为36列的图形显示的范围0°~ 360°,每10°是一列。直方图的峰值代表了该特性的图像梯度方向附近的点,这个点的主要方向,并选择80%的峰值作为辅助方向值。因此,一个功能点可以设置许多方向提高匹配的鲁棒性。

2.2.2。筛选描述符的建设

旋转周围局部区域的特征点;角是由主方向保持其旋转不变性。在旋转地区,同样把矩形窗口以特征点为中心亚区,在每个子区域,找出八个方向的梯度直方图(0°、45°、90°、135°、180°、225°、270°和315°)。以同样的方式,有必要进行高斯加权处理每个像素的梯度大小。因此,每个特征点生成一个128维的特征向量。

3所示。有向线段匹配

基于特征线段描述方法不仅可以获得本地信息的图像,如材质和梯度,但也可以是能够获得图像内容之间的线段和其他信息。我们的方法有两个创造性方面:(1)它描述了图像特征的描述要点之间的连接线,不是通过图像块;(2)基于线段可以反映拓扑结构的描述方法的图像,因此具有较高的鲁棒性的非线性失真和旋转图像。

3.1。线段特征

给定两个图像和匹配,我们使用哈里斯算子检测要点和利用这两个图像中检测到重点建设两个图形,和。定义和这意味着从图像中提取关键点和分别为,和是导演的边集图形和分别在哪里,。把两个关键点之间的有向线段特征描述的对象。设置一个图的边缘,(起点,终点)。为了减少计算时间的描述特性优势,我们等距样本5分的优势,,在这,;指的是图像的坐标点。的特征点有向线段的采样,提取他们的筛选功能,分别。每一列中,,128维向量,代表筛选的特征点。这些特征点采样均匀线段有很强的鲁棒性的图像缩放,旋转,以及分辨率的变化。

3.2。加权匹配的线段

与粗匹配的目的,一行segment-matching方法提出了基于加权准则。假设图像有有向线段,和图片有有向线段,,一个静态的矩阵,,可以被定义为 因为本文使用矩阵来描述特征线段,它需要规范的矩阵计算测量的加权分;也就是说,和意味着线段的特点;意味着线段的特点。矩阵的计算过程所示的过程吗1。

3.3。匹配的点

在最后一节中,我们获得的有向线段匹配nearest-neighborhood的规则。有必要让更多的点匹配精度的马赛克图像。的设置要点在两个给定的图像,和投票,我们使用基于统计的方法获得的频率点匹配。我们知道,如果两条直线互相匹配,他们的起点和终点应该互相匹配。首先,启动一个统计矩阵零矩阵;的计算过程所示的过程吗2。在矩阵,更大的元素值表示更高的概率对应点匹配。

标准选择匹配点是:(1) ,在这是一个适当的正数;(2)选择相对应的点最大元素在每一行和每一列的匹配点,,在这是一个合适的正数,比如在吗行,如果元素和列是最大的,和相互匹配;它将所有元素的行和列是零;(3)如果行中的最大元素和列中的最大元素是不一样的,它会随机选择其中一个;选择例如行中的最大元素,,和每个不相匹配;它将所有元素的行和列是零。

4所示。实验和分析

实验选择四对由普通相机拍摄的图像。为了证明我们的方法的有效性,所选的四对图像变化很大程度上照明,旋转,缩放和决议。在图2,左图像和图像分辨率不同。图7显示两幅图像中的对象是不同的方向。这两个图片在图12在不同的光线条件下,左一个暴露更多的时间。此外,在图17建筑在左边的图像大于一个正确的图像。所有图片和大小的匹配实验中在像素。

4.1。实验在不同分辨率的图像

在这个实验中,我们选择两个由一个普通的相机拍摄的图像。这两个图像预处理的两张图片有不同的决议。图2(一个)是一个低分辨率的图像,所以它看起来模糊。此外,图2 (b)看起来更干净,因为它具有较高的分辨率。数据3- - - - - -5从不同的方法,显示匹配的结果。图6给最后一个全景图像缝合的方法。

4.2。实验旋转图像

在这个实验中,两个图像缝合在图7是由普通的相机。建筑有不同方向的两张图片是因为相机的位置发生了变化。匹配的结果,不同的方法所示数据8- - - - - -10。此外,图11给最后一个全景图像缝合的方法。

4.3。实验在不同照明条件的图像

在这个实验中,我们选择两个图像采样从原来的相机。两幅图像中的光照条件在很大程度上是不同的。图12(一个)有更长的曝光时间。数据13- - - - - -15由不同的方法匹配的结果。和图16给出了全景图像缝合的方法。

4.4。实验对象缩放图像

在这个实验中,我们选择两张图片有不同的规模。这两个图像相同的建筑有不同的尺度。图(17日)被当相机的镜头放大相对于图吗17 (b)。因此,建筑在左图像大于一个在右边。数据18,19,20.通过几种方法的结果匹配。图21给最后一个全景图像缝合的方法。

4.5。实验观察和讨论

基于先前提供的四个不同的实验,我们的方法应该强调的一个重要的优势,那就是,匹配的准确性。根据实验结果,我们可以得出以下结论。(1)从数据3- - - - - -6,我们的方法明显优于传统方法基于灰度特征和方法基于筛选特征匹配的精度。方法基于灰度特征的表现是如此严重,甚至无法完成最后一步。这可能是因为灰度特性会改变很大程度上随着分辨率的变化。(2)从数据4和5,它可以证明了筛选功能强劲的方差在一定程度上解决。这可能是因为筛选特征描述图像的本地路径。和我们的方法优于基于筛选的方法,因为它通过描述图像中的线的提取特性筛选功能。(3)从数据8- - - - - -10筛选和我们的方法可以获得良好的结果,作为旋转的筛选功能是不变的。对旋转和灰度敏感。(4)从数据13- - - - - -15筛选和我们的方法能取得好的结果,筛选功能是不变的,不同的光照条件。和灰度不均匀光照敏感。(5)从数据9,10,14,15,我们的方法具有更高的精度,它可能是我们的方法包括更多信息和统计投票策略可以获得更精确的匹配对。(6)从数据18- - - - - -21论文中,只有方法可以获得良好的性能,因为它可以描述的图像。和均值来描述对象扩展的线是健壮的。基于灰度和筛选的方法无法获得良好的匹配结果;他们甚至不能完成最后一个缝合步骤。总之,本文提出的方法具有显著的性能在图像匹配中,因为它是健壮的不同分辨率,图像缩放,旋转,和照明。

5。结论

本文提出了一种新的图像镶嵌方法基于有向线段的过滤特性。这对解决方法具有较强的鲁棒性,旋转,照明,和可伸缩性。基于行的描述方法有鲁棒性的图像旋转和缩放;有向线段的描述与筛选功能可以更好地避免不均匀照明;和粗匹配的基础上统计投票可以获得更精确的匹配对和提高图像马赛克的质量。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

这个项目是国家自然科学基金支持的部分中国没有。60875010)。