可以通过各种方法获得放大图像。缝合是有效方法之一,长期以来吸引从图形和计算机视觉领域的研究者的关注。它的主要目标是将多个图像集成到单个全景(gydF4y2Ba 1gydF4y2Ba]。gydF4y2Ba

缝合取决于角度转换从一个扭曲的像素坐标系到另一个地方。其算法一直试图使用变换矩阵参数化的扭曲,如gydF4y2Ba 3gydF4y2Ba ×gydF4y2Ba 3gydF4y2Ba 仿射或对应的矩阵。gydF4y2Ba

这依赖于参数化变形提供了健壮性的灵活性和成本仅仅是准确的,只要一套满足限制条件(gydF4y2Ba 2gydF4y2Ba]。例如,对应的转换是只适用于平面场景或parallax-free相机相邻图像之间的运动。因此它要求拍照的人是不允许改变一个人的位置但只有以旋转的方式移动。gydF4y2Ba

大的转换必须保持视觉精确对齐图像区域,它必须宽容的重要观点的转变。室外环境超出控制,转换也必须健壮的光照变化和运动对象。gydF4y2Ba

检测功能在一个图像的分布是已知的影响从他们(单应性计算的准确性gydF4y2Ba 3gydF4y2Ba]。这是可取的特点是均匀地分布在整个图像,因为许多视觉算法健壮的只有当这些条件得到满足。gydF4y2Ba

当图像包含多个平面,很难缝合在一起成一个单一的全景图像。例如,一个图像包含一个遥远的平面和一个地平面,从相机的角度是这样困难的图像之一。因为飞机有不同的单应性变换矩阵,很难建立一个通用矩阵申请整个图像缝合。gydF4y2Ba

dual-plane图像缝合,现有方法估计一个平面角度变换使两个相邻的图像。然而单个单应性不能经正确的图像,需要后处理去除失调。gydF4y2Ba

在[gydF4y2Ba 4gydF4y2Ba),它提出了一个方法来解决dual-plane全景场景,估计每个像对two-perspective变换,从而改进后处理前对齐。从匹配点估计双单应性和不同重量适用于每个单应性取决于距离对应的像素。gydF4y2Ba

双单应性方法匹配的特征点分为两组。然后一个矩阵估计每组的观点。每个像素使用单应性矩阵的加权和来扭曲到新的位置如下:gydF4y2Ba (1)gydF4y2Ba HgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba =gydF4y2Ba ωgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba HgydF4y2Ba ggydF4y2Ba +gydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba ωgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba HgydF4y2Ba dgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba HgydF4y2Ba ggydF4y2Ba 和gydF4y2Ba HgydF4y2Ba dgydF4y2Ba 意味着地面飞机和遥远的平面单应性,分别gydF4y2Ba ωgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba 是重量的像素gydF4y2Ba (gydF4y2Ba 我gydF4y2Ba ,gydF4y2Ba jgydF4y2Ba )gydF4y2Ba 表示,飞机接近像素。gydF4y2Ba

在[gydF4y2Ba 5gydF4y2Ba),它可以提高双单应性的问题:曲线的影响;也就是说,直线在原始图像缝合后弯曲。这减少副作用通过添加另一个加权和单应性,导致三重单应性:gydF4y2Ba (2)gydF4y2Ba HgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba =gydF4y2Ba ωgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba HgydF4y2Ba ggydF4y2Ba +gydF4y2Ba 1gydF4y2Ba - - - - - -gydF4y2Ba ωgydF4y2Ba 我gydF4y2Ba jgydF4y2Ba HgydF4y2Ba dgydF4y2Ba ×gydF4y2Ba WgydF4y2Ba - - - - - -gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba WgydF4y2Ba +gydF4y2Ba HgydF4y2Ba ×gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba WgydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba WgydF4y2Ba 图像的宽度和吗gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba 代表的水平坐标像素。gydF4y2Ba

两双单应性及其增强版需要找到两组特征点来估计单应性。因此他们是依赖于特征检测算法。gydF4y2Ba

在本文中,我们提出三个功能覆盖率指标评估的缝纫性能特征探测器和缝合的预测结果。它一直试图提供一组索引来评估图像处理结果的质量。在[gydF4y2Ba 6gydF4y2Ba),凸包是用来表示特征点的空间范围。在[gydF4y2Ba 7gydF4y2Ba),特征点之间的空间关系是衡量茂密的抽样方案。我们比较双单应性四个特征检测算法。我们使用筛选[gydF4y2Ba 8gydF4y2Ba],[冲浪gydF4y2Ba 9gydF4y2Ba],ORB [gydF4y2Ba 10gydF4y2Ba),和快gydF4y2Ba 11gydF4y2Ba估算单应性)来检测特性。gydF4y2Ba

剩下的纸是组织如下。部分gydF4y2Ba 2gydF4y2Ba描述的细节双单应性过程,介绍了功能覆盖索引。节gydF4y2Ba 3gydF4y2Ba,我们与三组实验的图像缝合和评估提出的探测器索引。部分gydF4y2Ba 4gydF4y2Ba总结了纸。gydF4y2Ba

图gydF4y2Ba 1gydF4y2Ba显示了缝合的流程图两幅图像通过使用双重单应性。首先,从图像中提取特征点。然后互相匹配的特性,导致一系列的配对。然后对集群基于他们所属的飞机:地面和遥远的飞机。通过对两组特性,分别两个单应性估计。缝合是反向投影:逆的加权和单应性是用来计算像素位置填满的位置对结果图像缝合。gydF4y2Ba

探测器特性会影响图像拼接因为以下的成功取决于特征探测器:检测到的特征点数量,配对的数量,每个集群特征点的数量,聚类质心的位置,估计单应性的集群。gydF4y2Ba

我们提出三个指标来衡量和评估的效率特性估计探测器的单应性。可以使用这些索引的方式,如果一个特征检测器获得高分在所有三个索引,我们可以期待双单应性估计的探测器生产无缝缝合图像有高概率。gydF4y2Ba

第一个索引gydF4y2Ba kgydF4y2Ba 1gydF4y2Ba 衡量许多检测功能后仍然匹配步骤:gydF4y2Ba (3)gydF4y2Ba kgydF4y2Ba 1gydF4y2Ba =gydF4y2Ba 米gydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba ngydF4y2Ba 检测到的特征点的数量和吗gydF4y2Ba 米gydF4y2Ba 是匹配特征点的数量。它间接的代表特征探测器的效率。在特征检测探测器需要计算资源,如CPU处理和内存来描述和存储特征点。因此,越来越多的特征点匹配,减少资源浪费。gydF4y2Ba

第二个指数gydF4y2Ba kgydF4y2Ba 2gydF4y2Ba 特征点的数量之间的比率是属于每个集群:gydF4y2Ba (4)gydF4y2Ba kgydF4y2Ba 2gydF4y2Ba =gydF4y2Ba cgydF4y2Ba ngydF4y2Ba dgydF4y2Ba cgydF4y2Ba ngydF4y2Ba ggydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba cgydF4y2Ba ngydF4y2Ba dgydF4y2Ba 是匹配特征点的数量属于遥远的飞机吗gydF4y2Ba cgydF4y2Ba ngydF4y2Ba ggydF4y2Ba 是匹配特征点的数量属于地上飞机。如果每个集群包含相同或相似的特征点数量,成功概率估计单应性矩阵变得更高。否则,集群更少数量的特征点更有可能无法估计单应性,导致双单应性扭曲的失败。gydF4y2Ba

第三个指数gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba 的方差是集群特征点到质心的距离:gydF4y2Ba (5)gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba ngydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba ngydF4y2Ba dgydF4y2Ba 我gydF4y2Ba - - - - - -gydF4y2Ba μgydF4y2Ba dgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba 在哪里gydF4y2Ba μgydF4y2Ba dgydF4y2Ba 平均距离每个集群的指向一个重心,gydF4y2Ba dgydF4y2Ba 我gydF4y2Ba 是距离gydF4y2Ba 我gydF4y2Ba th聚点的质心gydF4y2Ba ngydF4y2Ba 是特征点的数量的集群。如果特征点是均匀分布于飞机,估计单应性变得更加健壮。gydF4y2Ba

总之,这三个索引指定间接估计需要三个条件单应性与成功;特征点分布广泛和均匀地在不同的飞机数量足够大的探测点。gydF4y2Ba

我们评估功能探测器通过比较三个提议索引和生成的全景图像的质量。我们考虑四个探测器:筛选、冲浪、ORB,轻快的。gydF4y2Ba

对于评估,我们使用三组图像。第一集,我们将一个图像分成三部分,每一个都与相邻的子图象重叠区域。每个子图象包含两个平面:地面和遥远的如图gydF4y2Ba 2(一个)gydF4y2Ba- - - - - -gydF4y2Ba 2 (c)gydF4y2Ba。gydF4y2Ba

通过这组,缝合评估结果可以很容易地通过比较完整的原始图像。gydF4y2Ba

第二集,第一集的每个图像转换利用随机透视变换矩阵如图gydF4y2Ba 2 (d)gydF4y2Ba- - - - - -gydF4y2Ba 2 (e)gydF4y2Ba。注意,中心和正确的图像扭曲,离开左一个不变。它评估是否双单应性对图像正确执行角度转换。gydF4y2Ba

第三组包含三个分别采取图片,每个重叠区域如图gydF4y2Ba 5(一个)gydF4y2Ba- - - - - -gydF4y2Ba 5 (c)gydF4y2Ba。每个图像包含两个平面:地面和遥远。缝合这组结果图像的全景图像。gydF4y2Ba

图gydF4y2Ba 3gydF4y2Ba显示第一个图像的拼接结果集时使用四个功能探测器。他们缝子图象成功到原始图像。由于每个子图象不修改任何角度变换,缝合是简单的翻译的过程。gydF4y2Ba

图gydF4y2Ba 4gydF4y2Ba显示了第二个图像的拼接结果集。三个特征探测器能够针的图片而轻快的失败。冲浪和ORB并不令人满意的结果。只有筛选管理生产结果类似于原始图像。gydF4y2Ba

图gydF4y2Ba 6gydF4y2Ba显示了第三盘图像的拼接结果。所有的四个特征探测器能够缝合成更大的图像全景图像。然而,存在的差异之间的无缝性结果。冲浪和筛选生产更高质量的结果比ORB和轻快的。特别是,建筑物的轮廓线在轻快的区别,因为扭曲的结果。gydF4y2Ba

我们现在评估四个特征探测器通过比较提出的索引值。图gydF4y2Ba 7gydF4y2Ba显示的三个指标的值gydF4y2Ba kgydF4y2Ba 1gydF4y2Ba ,gydF4y2Ba kgydF4y2Ba 2gydF4y2Ba ,gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba 当第一组图像处理的四个探测器。为gydF4y2Ba kgydF4y2Ba 1gydF4y2Ba 值越高,效率越高的探测器。自第一图像集包含更大的垂直分割图像,找到匹配的特征点其中并不困难。因此,四个探测器显示类似的性能。为gydF4y2Ba kgydF4y2Ba 2gydF4y2Ba 接近1的值是,越有可能获得双重单应性。所有的gydF4y2Ba kgydF4y2Ba 2gydF4y2Ba 周围的四个探测器的值1,这意味着双重的缝合单应性进展顺利。为gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba 值越高,更准确的估计单应性是因为它意味着特征点均匀分布在飞机。所有的gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba 有超过200的值,这意味着所有的四个探测器能够缝合成功的图片。因为所有的四个探测器也有类似的索引值,我们可以预测他们产生类似缝合的结果,这是真的,当观察全景图的图像gydF4y2Ba 3gydF4y2Ba。gydF4y2Ba

图gydF4y2Ba 8gydF4y2Ba第二图像显示索引值设置取决于探测器。因为第二集的图像扭曲分裂后更大的图像。因此找到匹配的特征点是具有挑战性的探测器。注意,只有筛选值落在适当的范围;特别是gydF4y2Ba kgydF4y2Ba 2gydF4y2Ba 非常接近1,gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba 高达600。快没有结果,因为它未能针图像。冲浪和ORBgydF4y2Ba kgydF4y2Ba 2gydF4y2Ba 从1和价值观gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba 值约200暗示不合适的特征点估计正确的单应性。从这些,只是预测,筛选可以缝合的图像正确而其他人不能,这是真的当观察的结果图gydF4y2Ba 4gydF4y2Ba。gydF4y2Ba

图gydF4y2Ba 9gydF4y2Ba显示了第三图像的索引值集。所有的功能探测器排除快有类似的索引值。请注意,gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba 轻快的价值低于200,这意味着估计单应性错误。从这些,据预测,冲浪的拼接结果,筛选,和ORB相似而轻快的产生不正确的结果,由图的结果属实gydF4y2Ba 6gydF4y2Ba。gydF4y2Ba

总之,可以预测缝合结果只有通过观察三个索引捕获功能探测器的能力有助于双单应性的评估。特别是,我们可以观察到gydF4y2Ba kgydF4y2Ba 2gydF4y2Ba 和gydF4y2Ba kgydF4y2Ba 3gydF4y2Ba 与正确的估计单应性密切相关。gydF4y2Ba

我们提出三个功能覆盖率指标评估功能的缝纫性能探测器和缝合的预测结果。特别是这些索引开发评价缝合过程涉及的双单应性的图像包含多个不同的飞机。我们评估了四个著名的特征探测器通过该索引将他们应用到图像拼接过程和显示索引值的预测缝合的结果是一致的。gydF4y2Ba

我们注意到该索引需要改进以下地区未来的工作。首先,指标只适用情况下缝图像包含超过两架飞机。尤其因为gydF4y2Ba kgydF4y2Ba 2gydF4y2Ba 其中包括飞机作为参数的数量。其次,指标不够充分评估全景结果的完整性,因为索引大多与登记,而混合部分不是覆盖。未来的工作将扩展索引能够评估缝边界的质量。gydF4y2Ba