功能覆盖指标双单应性评估在构建全景图像

文摘

可以通过各种方法获得放大图像。缝合是有效方法之一。它可以生成全景图像的拼接相邻图像包含重叠的区域,尽管他们是通过不同的图像传感器。图像包含多个不同的飞机每架飞机很难缝合在一起,因为有不同的单应性矩阵的角度扭曲。为此,提出了一种双单应性。然而其性能取决于特征探测器用于找到图像之间匹配的特征点。在本文中,我们提出三个功能覆盖率指标评估的缝纫性能特征探测器和缝合的预测结果。我们评估四个著名的特征探测器通过该索引将他们应用到图像拼接过程和显示索引值的预测缝合的结果是一致的。

1。介绍

可以通过各种方法获得放大图像。缝合是有效方法之一,长期以来吸引从图形和计算机视觉领域的研究者的关注。它的主要目标是将多个图像集成到单个全景(1]。

缝合取决于角度转换从一个扭曲的像素坐标系到另一个地方。其算法一直试图使用变换矩阵参数化的扭曲,如仿射或对应的矩阵。

这依赖于参数化变形提供了健壮性的灵活性和成本仅仅是准确的,只要一套满足限制条件(2]。例如,对应的转换是只适用于平面场景或parallax-free相机相邻图像之间的运动。因此它要求拍照的人是不允许改变一个人的位置但只有以旋转的方式移动。

大的转换必须保持视觉精确对齐图像区域,它必须宽容的重要观点的转变。室外环境超出控制,转换也必须健壮的光照变化和运动对象。

检测功能在一个图像的分布是已知的影响从他们(单应性计算的准确性3]。这是可取的特点是均匀地分布在整个图像,因为许多视觉算法健壮的只有当这些条件得到满足。

当图像包含多个平面,很难缝合在一起成一个单一的全景图像。例如,一个图像包含一个遥远的平面和一个地平面,从相机的角度是这样困难的图像之一。因为飞机有不同的单应性变换矩阵,很难建立一个通用矩阵申请整个图像缝合。

dual-plane图像缝合,现有方法估计一个平面角度变换使两个相邻的图像。然而单个单应性不能经正确的图像,需要后处理去除失调。

在[4),它提出了一个方法来解决dual-plane全景场景,估计每个像对two-perspective变换,从而改进后处理前对齐。从匹配点估计双单应性和不同重量适用于每个单应性取决于距离对应的像素。

双单应性方法匹配的特征点分为两组。然后一个矩阵估计每组的观点。每个像素使用单应性矩阵的加权和来扭曲到新的位置如下: 在哪里和意味着地面飞机和遥远的平面单应性,分别是重量的像素表示,飞机接近像素。

在[5),它可以提高双单应性的问题:曲线的影响;也就是说,直线在原始图像缝合后弯曲。这减少副作用通过添加另一个加权和单应性,导致三重单应性: 在哪里图像的宽度和吗代表的水平坐标像素。

两双单应性及其增强版需要找到两组特征点来估计单应性。因此他们是依赖于特征检测算法。

在本文中,我们提出三个功能覆盖率指标评估的缝纫性能特征探测器和缝合的预测结果。它一直试图提供一组索引来评估图像处理结果的质量。在[6),凸包是用来表示特征点的空间范围。在[7),特征点之间的空间关系是衡量茂密的抽样方案。我们比较双单应性四个特征检测算法。我们使用筛选[8],[冲浪9],ORB [10),和快11估算单应性)来检测特性。

剩下的纸是组织如下。部分2描述的细节双单应性过程,介绍了功能覆盖索引。节3,我们与三组实验的图像缝合和评估提出的探测器索引。部分4总结了纸。

2。双单应性

图1显示了缝合的流程图两幅图像通过使用双重单应性。首先,从图像中提取特征点。然后互相匹配的特性,导致一系列的配对。然后对集群基于他们所属的飞机:地面和遥远的飞机。通过对两组特性,分别两个单应性估计。缝合是反向投影:逆的加权和单应性是用来计算像素位置填满的位置对结果图像缝合。

探测器特性会影响图像拼接因为以下的成功取决于特征探测器:检测到的特征点数量,配对的数量,每个集群特征点的数量,聚类质心的位置,估计单应性的集群。

我们提出三个指标来衡量和评估的效率特性估计探测器的单应性。可以使用这些索引的方式,如果一个特征检测器获得高分在所有三个索引,我们可以期待双单应性估计的探测器生产无缝缝合图像有高概率。

第一个索引衡量许多检测功能后仍然匹配步骤: 在哪里检测到的特征点的数量和吗是匹配特征点的数量。它间接的代表特征探测器的效率。在特征检测探测器需要计算资源,如CPU处理和内存来描述和存储特征点。因此,越来越多的特征点匹配,减少资源浪费。

第二个指数特征点的数量之间的比率是属于每个集群: 在哪里是匹配特征点的数量属于遥远的飞机吗是匹配特征点的数量属于地上飞机。如果每个集群包含相同或相似的特征点数量,成功概率估计单应性矩阵变得更高。否则,集群更少数量的特征点更有可能无法估计单应性,导致双单应性扭曲的失败。

第三个指数的方差是集群特征点到质心的距离: 在哪里平均距离每个集群的指向一个重心,是距离th聚点的质心是特征点的数量的集群。如果特征点是均匀分布于飞机,估计单应性变得更加健壮。

总之,这三个索引指定间接估计需要三个条件单应性与成功;特征点分布广泛和均匀地在不同的飞机数量足够大的探测点。

3所示。绩效评估

我们评估功能探测器通过比较三个提议索引和生成的全景图像的质量。我们考虑四个探测器:筛选、冲浪、ORB,轻快的。

对于评估,我们使用三组图像。第一集,我们将一个图像分成三部分,每一个都与相邻的子图象重叠区域。每个子图象包含两个平面:地面和遥远的如图2(一个)- - - - - -2 (c)。

通过这组,缝合评估结果可以很容易地通过比较完整的原始图像。

第二集,第一集的每个图像转换利用随机透视变换矩阵如图2 (d)- - - - - -2 (e)。注意,中心和正确的图像扭曲,离开左一个不变。它评估是否双单应性对图像正确执行角度转换。

第三组包含三个分别采取图片,每个重叠区域如图5(一个)- - - - - -5 (c)。每个图像包含两个平面:地面和遥远。缝合这组结果图像的全景图像。

图3显示第一个图像的拼接结果集时使用四个功能探测器。他们缝子图象成功到原始图像。由于每个子图象不修改任何角度变换,缝合是简单的翻译的过程。

图4显示了第二个图像的拼接结果集。三个特征探测器能够针的图片而轻快的失败。冲浪和ORB并不令人满意的结果。只有筛选管理生产结果类似于原始图像。

图6显示了第三盘图像的拼接结果。所有的四个特征探测器能够缝合成更大的图像全景图像。然而,存在的差异之间的无缝性结果。冲浪和筛选生产更高质量的结果比ORB和轻快的。特别是,建筑物的轮廓线在轻快的区别,因为扭曲的结果。

我们现在评估四个特征探测器通过比较提出的索引值。图7显示的三个指标的值,,当第一组图像处理的四个探测器。为值越高,效率越高的探测器。自第一图像集包含更大的垂直分割图像,找到匹配的特征点其中并不困难。因此,四个探测器显示类似的性能。为接近1的值是,越有可能获得双重单应性。所有的周围的四个探测器的值1,这意味着双重的缝合单应性进展顺利。为值越高,更准确的估计单应性是因为它意味着特征点均匀分布在飞机。所有的有超过200的值,这意味着所有的四个探测器能够缝合成功的图片。因为所有的四个探测器也有类似的索引值,我们可以预测他们产生类似缝合的结果,这是真的,当观察全景图的图像3。

图8第二图像显示索引值设置取决于探测器。因为第二集的图像扭曲分裂后更大的图像。因此找到匹配的特征点是具有挑战性的探测器。注意,只有筛选值落在适当的范围;特别是非常接近1,高达600。快没有结果,因为它未能针图像。冲浪和ORB从1和价值观值约200暗示不合适的特征点估计正确的单应性。从这些,只是预测,筛选可以缝合的图像正确而其他人不能,这是真的当观察的结果图4。

图9显示了第三图像的索引值集。所有的功能探测器排除快有类似的索引值。请注意,轻快的价值低于200,这意味着估计单应性错误。从这些,据预测,冲浪的拼接结果,筛选,和ORB相似而轻快的产生不正确的结果,由图的结果属实6。

总之,可以预测缝合结果只有通过观察三个索引捕获功能探测器的能力有助于双单应性的评估。特别是,我们可以观察到和与正确的估计单应性密切相关。

4所示。结论

我们提出三个功能覆盖率指标评估功能的缝纫性能探测器和缝合的预测结果。特别是这些索引开发评价缝合过程涉及的双单应性的图像包含多个不同的飞机。我们评估了四个著名的特征探测器通过该索引将他们应用到图像拼接过程和显示索引值的预测缝合的结果是一致的。

我们注意到该索引需要改进以下地区未来的工作。首先,指标只适用情况下缝图像包含超过两架飞机。尤其因为其中包括飞机作为参数的数量。其次,指标不够充分评估全景结果的完整性,因为索引大多与登记,而混合部分不是覆盖。未来的工作将扩展索引能够评估缝边界的质量。

利益冲突

作者宣称没有利益冲突有关的出版。

承认

这项工作得到了仁川国际大学合作研究格兰特在2012年。

引用

1. b, g .赵,刘问:“全景视频拼接在多个摄像机监视系统,”学报》第25届国际会议的图像和视觉计算新西兰(IVCNZ 10)昆士城,页1 - 6,新西兰,2010年11月。视图:出版商的网站|谷歌学术搜索
2. 大肠Bostanci:坎瓦尔,a·f·克拉克”功能覆盖更好的单应性评估:应用程序图像缝合,”19国际会议的程序系统、信号和图像处理(IWSSIP 12),第451 - 448页,维也纳,奥地利,2012年4月。视图:谷歌学术搜索
3. r·哈特利,a . Zisserman计算机视觉中的多视图几何英国剑桥,剑桥大学出版社,2003年。视图:MathSciNet
4. j .高、s . j . Kim和m . s .布朗,“构建图像使用dual-homography扭曲全景照片,”《IEEE计算机视觉与模式识别会议(CVPR 11)2011年6月,页49-56,。视图:出版商的网站|谷歌学术搜索
5. c .元,j·潘,m .许凤,t·陈,“快速图像融合和deghosting全景视频,”学报》第九届国际会议上智能信息隐藏和多媒体信号处理,第107 - 104页,北京,中国,2013年10月。视图:出版商的网站|谷歌学术搜索
6. t . Dickscheid和w . Forstner评估功能的适用性探测器自动图像定位系统,”计算机视觉系统卷,5815在计算机科学的课堂讲稿施普林格,页305 - 314年,柏林,德国,2009年。视图:出版商的网站|谷歌学术搜索
7. t . Tuytelaars“浓厚的兴趣点,”《IEEE计算机学会学报计算机视觉与模式识别会议(CVPR 10)2288年,页2281 - 2010年6月旧金山,加州,美国。视图:出版商的网站|谷歌学术搜索
8. d·g·劳”独特的形象特征尺度不变的要点,国际计算机视觉杂志》上,60卷,不。2、91 - 110年,2004页。视图:出版商的网站|谷歌学术搜索
9. t·h·湾Tuytelaars l .干傻事,“冲浪:加快健壮的特性,”电脑Vision-ECCV 2006卷,3951在计算机科学的课堂讲稿施普林格,页404 - 417年,柏林,德国,2006年。视图:出版商的网站|谷歌学术搜索
10. e . Rublee诉Rabaud、k . Konolige和g . Bradski”ORB:一个有效的替代筛选或冲浪,”《IEEE计算机视觉国际会议(ICCV 11)2011年11月,页2564 - 2571。视图:出版商的网站|谷歌学术搜索
11. s . Leutenegger m . Chli, r . y . Siegwart“快:二进制健壮的不变的可伸缩的要点,”《IEEE计算机视觉国际会议(ICCV 11)西班牙巴塞罗那,页2548 - 2555,,2011年11月。视图:出版商的网站|谷歌学术搜索

版权

版权©2016 Kyungkoo君和Sijung金。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。