工厂:快速角二进制描述符匹配的视频图像的角点

文摘

图像匹配是一个基本步骤在几个计算机视觉应用程序要求快速、准确、鲁棒的图像匹配的存在不同的转换。检测和更重要的是底层图像特征的描述是一个更合适的选择这个目的,如边缘、角落,或斑点。现代描述符使用二进制值存储社区信息的特征点匹配,因为二进制描述符是快速计算和匹配。提出了一种描述符叫做快速角二进制(FAB)描述符,说明了附近的一个角落点使用一个二进制向量。它有别于传统的描述符,因为只选择有用的拐角点附近,而不是整个圆形区域的半径。描述符使用角点的角度减少搜索空间,增加的概率找到一个精确的匹配使用二进制描述符。实验表明,FAB描述符的表现很好,但是计算和匹配时间明显小于短暂,最著名的二进制描述符,和女朋友,一个描述符,使用熵和平均强度的一个角落点描述的一部分。

1。介绍

需要建立一个自主计算设备、计算机实现人类的视觉。这包括检测和识别不同的物体(1)、分段对象从他们的背景2),分类不同的场景片段识别或缝合3),文本分类和识别,脸或手识别(4]。精确匹配的图像内容的基本组成部分是基于这些视觉任务,突出图像的识别和描述区域的方法是人类视觉密切相关。因此,在过去的两个或两个以上的几十年的检测和描述技术被开发出来。其中最流行的是局部图像特征提取和描述技术,包括边缘、角落,斑点或山脊低层图像特征。

认识到只有独特的图像等领域的角落或blob是远远不够的,因为他们不能直接匹配等其他转换图像的旋转,缩放,或者照亮。然而,如果我们可以得到足够的社区信息功能,然后变得更容易识别相同的像点在不同转换图像。这附近的集合称为描述信息。尽管所有类型的图像特征很重要,角落点更多的信息5]。这是因为他们携带一些固有的信息比其他特性,比如边缘或斑点。图像中独立优势可能发生在任何地方,有一些强度差异(6];同样一个blob主权图像显著点识别明亮或黑暗区域的附近(7,8),可以匹配。然而,角点只能出现当有两个或两个以上的交叉边缘。存在两个或两个以上的边缘给额外的信息,如对象的存在或存在两个不同的飞机可以用于图像内容的分类。文献显示了一个数量的特征描述符;然而,他们中没有人探索这个固有信息与角点。

先前提出的先进的描述符使用图像像素梯度及其取向如尺度不变特征变换(筛选)9),加速健壮的特性(冲浪)10),梯度方向直方图(GLOH)位置并将其存储为数字/浮动描述符的数据匹配。这些描述符显示很好的表现在匹配图像转换,但在高计算成本。然而,一些其他描述符使用二进制向量存储独特的梯度信息功能的社区如二进制健壮的独立的基本特性(简要)11),面向快速旋转短暂(ORB) [12),二进制健壮的不变的可伸缩的要点(快)13),和快速视网膜关键点(怪物)14]。二进制文件描述符获得更多的关注由于少计算昂贵的但相当准确。虽然比二进制数字描述更准确描述符,他们需要更多的时间来计算和匹配为实时应用程序使其不受欢迎的。此外,几乎所有的上述描述符描述圆形特征点描述和周围地区,因此,生产大尺寸的描述符。

本文提出一种描述符描述有用的一个角落附近的观点:在两个边缘之间,因此命名为快速角二进制(FAB)描述符。它结合了两个简短描述符和一个最近的优势提出了角点数值描述符叫做角,意味着强度和信息熵弧(女朋友)15]。短暂的需要特征点周围的圆形区域创建二进制文件描述符和,因此,不能产生良好的匹配在动态变化的背景,而艾米只选择的区域(位于两条边)的一个角落点但计算描述符使用基本的图像强度,从而产生更多的错误匹配。工厂另一方面结合了短暂的特殊性和效率的女朋友计算能力更强,健壮和可靠的描述符。因此,它更适合识别对象实时动态变化的背景。与女朋友,工厂能够适应尺度和旋转变化,同时匹配的视频帧跟踪、机器人导航、和其他基于视频分析的应用程序。此外,最低处理应该在自主机器人导航使更快的数据处理和其他应用程序。

剩下的纸是组织如下:部分2。1描述了短暂的工作原理、女朋友和工厂。部分2。2和3现在工厂描述符的匹配,以及它是如何比其他描述符更有效和准确。新开发的性能描述符与短暂和女朋友在部分4所示。1。部分4所示。2描述了应用程序匹配的图像使用工厂描述符在不同的视觉应用程序和最后一节5总结本文并提出一些未来的修改。

2。材料和方法

2.1。特征描述符

特性描述是一个社区的创建矢量过程信息的特征点。这个描述符应该包含足够独特信息匹配的另一个改变形象。这些转换包括缩放、旋转、光照和变化的观点也称为仿射变换。然而,考虑问题的对象跟踪视频图像,图像转换的数量相当低。例如,在一个正常的帧之间的帧速率变化规模非常小,有时可以忽略不计。同样的旋转只发生由于相机抖动和没有连续的视频帧的仿射变换。因此,对于视频图像特性,匹配不需要复杂的计算描述符规模,旋转,或仿射不变量发生在筛选和冲浪。此外,小和二进制描述符向量时间大大减少计算和匹配,因此,更有吸引力等实时应用程序简短和女朋友。下面简要介绍其工作原理。

2.1.1。短暂的

随机选择两个像素和从一个圆形特征点的附近。这两个像素的强度而产生一个二进制值(0/1)如下所示:

一个64位的描述符为每个图像特征向量生成。但由于二进制性质的描述符,匹配成为efficient-calculating异或,Jackard-Needham或骰子矩阵(16两个向量的非常快。然而,短暂,对邻近像素的选择相比,是一个重要的步骤。作者在11)执行五个测试来选择最佳的样本对,发现各向同性高斯分布能够产生良好的匹配点数比像素的选择根据等模式等效点的距离。

2.1.2。女朋友

女朋友是一个数字描述符,它存储意味着强度和熵的圆弧角点。此外,这些弧只覆盖的地区在拐角点而不是整个圆形区域。尽管描述符包含非常基本的像素信息,就歧视时只计算弧像素。它产生一个向量的长度16只包含角,意味着强度,和不同的弧线和熵值来描述的方向信息。尽管埃是一个数字描述符,其匹配时间相当短暂的由于它的体积小。同样,女朋友不是规模不变,不适用于应用程序之间的匹配需要转换图像如缩放、旋转或照明。

2.1.3。工厂

快速角二进制(FAB)描述符用于角点是一个描述符,结合了短暂的优势和女朋友上面讨论促进与提高精度的实时匹配。它计算二进制向量不同半径的五个不同的弧线类似于女朋友。然而,它的描述符是完全不同于女朋友因为它的可变长度的向量的角度根据角落。所以每一个角落点可能有不同的长度描述符;然而,平均长度为60位发现1000视频帧。这包括五个不同的二元向量弧的半径3,5,7,9岁和11岁时的角度和方向。女朋友的描述符的长度是固定的,因为它存储集体信息的平均强度和熵等弧。计算工厂所需的详细描述步骤描述符下面。

在图像角点的检测使用一个好的探测器(哈里斯和斯蒂芬斯算法(17这里使用]),下面是随后的伪代码描述符的计算:读取视频帧对每一帧 (1)转换成灰度(2)检测角点(3)对所有角点(4)查找边缘在拐角处(5)计算夹角的两个检测边缘(6)找到方向的角度(7)选择定位最相关的转折点(8)只计算描述符选择角落里的一部分

下面的章节将详细描述这些步骤。

2.1.4。角度和方向的角点

图1显示五个圆弧半径的3、5、7、9岁和11岁时在一个角落里。这些选择的半径覆盖最大nonoverlapped附近区域。进一步,这些圆弧是用来发现边缘像素,然后决定一个角落的角点。每个圆弧扫描发现特征值(和)根据图图像像素的分类2。角的角点计算通过计算两个边缘像素之间的像素数量在每个弧解释(2),是像素的数量在一个弧半径而是像素的圆半径的数量吗。考虑以下: 尽管由于数字图像的光栅化每个弧可以给不同的角度信息,它是有用的,同时补偿不规则形状(nongeometrical形状如的手和衣服)。所有五个弧角平均存储为角落的角度。此外,这些边缘像素的圆形拐角点周围区域划分为两个部分。你可以给一个对象(信息也许从边缘1到边缘2图1),另一个可能属于背景(从边2边在图11)。

一旦我们有角信息的下一步是找到其内部部分的取向应该用于描述的目的。逻辑上的部分显示了拐角点应该选择更多的相似性。因此每个部分的强度与角点和一个显示了描述符选择接近平均强度计算和存储它的方向取向角的角。为简单起见比特值1代表顺时针方向,0代表逆时针方向。

2.1.5节讨论。描述符计算

传统、二进制描述符是由比较随机选择一双像素或一些特定的模式。例如,简短选择像素对基于各向同性高斯分布而狂使用一个模式类似于人眼视网膜和它比短暂的索赔提供更好的性能。实益,选择圆形弧线给模式类似于狂和,因此,似乎更有效。每个不同的弧半径对描述符的数据。因为不同的半径为每个弧位的数量是不同的,这就是为什么它被称为可变长度的描述符。最大数量的比特弧等于半径的圆的像素总数用于描述符计算,虽然很少,它发生在只有一个边缘像素上发现多数的圆弧或没有找到边缘像素。描述这种发现点可以认为是因为他们不应该被检测到的角点检测算法和可以被认为是虚假响应的角落。然而,增加整个图像内容信息我们认为他们同样重要的和完整的圆弧是用来描述的目的。为了构建二进制文件描述符的内部角点的一部分,连续像素在每个弧比较使用以下方程: 在哪里是一个阈值集在这里。图3显示了两个角点与不同的角度有效地导致了不同大小的弧或描述符。左侧角落点像素的数量是6,10日,14日,18日和22日半径3,5,7,9,11,分别。描述符的长度将达到71;同样的描述符长度右边拐角点46包括6位每个弧的方向角和一点,小于短暂狂(64位)和筛选或冲浪(128位)。

边缘像素不用于描述符计算因为最大强度的差异从其邻近的像素。因此,它不会使描述符中贡献更多的歧视。

2.2。角点匹配

匹配的步骤,使工厂最有吸引力的描述符。如前所述在工厂故意描述符包含数字和二进制值。因此,匹配执行两个步骤(我)匹配的角度和方向,(2)匹配二进制文件描述符。这两步匹配技术减少了搜索空间,帮助找到最优解。二进制文件描述符只匹配的角点定位是相同的和角之间的一些指定范围。这有助于进一步实现工厂描述符的尺度不变性。

方向和角度描述符匹配的一部分通过寻找最小欧氏距离的每一个角落的参考点图像从所有角点属于测试图像。所以每次找到接近的比赛,二进制文件描述符匹配使用XOR和它的汉明距离是存储为匹配差异应该最小。因此,在每次迭代中如果前面匹配差异大于新计算,当前被选中作为一个更好的选择和存储未来比较其差异。这种方式,可能比较方向和角度的一部分以500分,二进制文件描述符可以匹配只有10 500年,显著减少不必要的比较多。然而,重要的是要强调工厂的可变长度的重要性。如果两个描述符下比较有不同的长度,然后描述符都对齐的方式确保正确匹配的部分。这两个描述符的核心部分是离开左和右对齐的无与伦比的大的描述符。虽然似乎有一些信息丢失,实际上并非如此,因为与类似角点匹配的角落;最多两到四位通常是无与伦比的。进一步促进匹配图像尺度变换下制造工厂规模不变。 Experimental results shown in next sections prove this argument.

2.2.1。离群值删除使用RANSAC

匹配计算,直到这一步可以有一些错误的匹配。这是因为描述符的点在图像可以有类似的角度在不同的位置。因此,抛弃错误的匹配,使用随机样本的共识(RANSAC)方法。这种方法发现单应性矩阵(3×3矩阵表示图像之间的平移和旋转副)两个图像之间的匹配点使用一个随机选择的子集。然后,它是支持支持计算单应性的匹配并保持最大的单应性支持。匹配的点支持所选单应性是真正的比赛,也叫内围层,其余为虚假匹配或局外人。

3所示。计算和匹配时间的比较

图4显示平均计算时间的三个描述符包含大约50000个角落点100张照片。检测角点使用哈里斯和斯蒂芬斯角落探测器为所有三个描述符;因此,其计算时间是相同的。描述符计算工厂的时间和女朋友是略高于短暂,但仍小于0.2秒。然而,大大减少匹配时间工厂的描述符是一个总冠军。这绝对是由于基于角匹配二进制文件描述符,这本身是非常快的。

4所示。结果与讨论

4.1。绩效评估

工厂的性能描述符与短暂的和女朋友描述符。这个描述符匹配主要是开发视频帧等应用程序对象跟踪、模板匹配和导航。因此,大量的视频这里给出结果。因为它不可能显示成千上万的视频帧图像,定义一个框架为此称为不同的图像(DOI)。DOI的计算是通过使用以下过程:(我)寻找一双单应性图像使用相应的匹配点。(2)经第一帧使用计算单应性矩阵。(3)从第二帧减去扭曲框架和结果将是零形象良好的匹配和非零的形象。换句话说像素强度的总和DOI将接近于零,如果图像扭曲使用良好的匹配点,否则大于零。这个框架被应用在所有的性能评估测试介绍如下。用于测试的视频捕获使用手持相机一起使用监控录像数据从PETS2009公开18]。此外,单应性矩阵之前使用,证明是一个更好的性能分析指标与可重复性和检出率(19]。在讨论这些结果之前,值得显示工厂比女朋友规模不变的或短暂。为此,已经进行了三次测试使用两种不同的图像和视频序列,在图像匹配规模差异和结果如下所示。

图5显示图片和图等6显示工厂的结果描述符匹配每个参考图像与相应的缩放图像。同样,显示视频图像匹配结果在规模变化,第一帧的视频被手持相机与后续帧,如图7。在这里,两个配对的框架所示,因为视频匹配结果很难显示在印刷形式,图形如图8像素强度的总和在不同扭曲图像(DOI)策划的三个描述符。对于好的结果DOI应该包含黑色像素(0像素的强度)整体形象的总和将图中接近于零。工厂生产的结果描述符如图8超过所有其他生产良好的匹配点和最小值的DOI(像素强度的差异图像之和)整个视频。

4.2。工厂在不同的视觉应用的有效性

绩效评估工厂的描述符按比例缩小的图像显示了有前景的结果在静止图像和视频图像。因此,它还应该测试等不同的视觉应用程序模板匹配,在监控视频运动检测,和对象跟踪。

4.2.1。准备对象跟踪

对象跟踪是计算机视觉的一个最流行的应用程序。图9显示了两个样本帧从一个视频通过手持相机拍摄的。在视频一辆汽车正在和它的位置被找到角点跟踪女巫匹配使用工厂在后续帧描述符。工厂获得的匹配结果描述符来跟踪这个移动汽车呈现在图10。跟踪汽车的位置被一个矩形图像的区别。

4.2.2。监测

下一个应用程序,使用监控摄像头运动检测,在当今世界具有重要意义,安全也成为最重要的全球和当地的问题。基于视觉监测系统越来越关注这些天,因为它的低成本和一个畅通无阻的传感器(相机/ s)的使用。宠物是一个非常流行的视觉社区公共领域的监控录像数据集可用于研究目的。我们还利用不同的监控视频测试工厂的描述符。一些示例图像如图11而匹配结果如图12使用DOI的运动很容易被检测到。

4.2.3。模板匹配

最后,模板匹配进行显示,工厂可以同样适合应用,如基于视觉工程、医疗和文本分类。模板包含一些文本匹配的视频序列。图13显示在不同的视频帧匹配的模板。图14显示准确的匹配模板及时在不同间隔的视频帧。在这个图前两帧视频在最后两帧的初始部分从中间结束视频的一部分。

工厂角落点描述符在两个不同的维度,提出了改进等不同的视觉应用程序使用一个角落点跟踪,监测,和模板匹配,这有助于识别有用的图像内容。其次,它描述了只有有用的拐角点附近使用二进制向量方便匹配对象变化的背景中可以看到跟踪和模板匹配结果如图10和14。此外,这些结果的匹配结果按比例缩小的图像如图6和7证明工厂规模不变的描述符是非常有用和需要快速特征描述符的属性。工厂的时间比较短暂,艾梅表明,它可用于实时应用程序,精度有所改善。

5。结论

高效和健壮的特征描述符匹配图像准确的关键。特征描述符和减少计算时间和存储空间是实时应用程序的基本需要。本文提出了一种新的混合描述符称为工厂(快速角二进制)描述符,其中包含两种功能的社区信息,第一个角度和方向的角点和第二二进制向量表示像素的强度比较只有有用的邻国的转折点。这个混合信息协助实施两步匹配技术实际上是微不足道的部分工厂的成功。匹配只有那些有相似的角度和方向的角点使搜索空间明显小,支持快速得到最优结果。

工厂的性能比较与其他先进的描述符证明它更高效,可靠,准确的为不同视觉应用程序。为未来的修改,工厂描述符可以宽松的方向来实现旋转和仿射不变性,但添加了一些信息。

相互竞争的利益

作者宣称没有利益冲突。

引用

1. f . Porikli和a . Yilmaz”对象检测和跟踪为商业智能视频分析卷,409研究计算智能页,3-41 Springer,纽约,纽约,美国,2012年。视图:出版商的网站|谷歌学术搜索
2. p . Kapsalas和美国Kollias仿射形态学形状稳定边界地区(SSBR)图像表示,”诉讼18 IEEE国际会议上的图像处理(ICIP 11),页3381 - 3384年,布鲁塞尔,比利时,2011年9月。视图:出版商的网站|谷歌学术搜索
3. m·布朗和d·g·劳”自动全景图像拼接使用不变的特性,”国际计算机视觉杂志》上,卷74,不。1,59 - 73年,2007页。视图:出版商的网站|谷歌学术搜索
4. r·r·Igorevich p .公园,j . Choi和d . Min”两个手势识别使用立体相机,“国际计算机与电子工程》杂志上,5卷,不。1,第72 - 69页,2013。视图:出版商的网站|谷歌学术搜索
5. n .坎瓦尔s•e . Bostanci, a·f·克拉克,“评估角角落探测器的敏感性,”《IEEE国际会议在虚拟环境中,人机接口和测量系统(VECIMS 11),页28-31,渥太华,加拿大,2011年9月。视图:出版商的网站|谷歌学术搜索
6. j .精明的边缘检测的计算方法,“IEEE模式分析与机器智能,8卷,不。6,679 - 698年,1986页。视图:出版商的网站|谷歌学术搜索
7. a . j .潮湿和a·罗森菲尔德“Blob检测到放松,”IEEE模式分析与机器智能,3卷,不。1,第92 - 79页,1981。视图:谷歌学术搜索
8. 海因茨,“快速和亚像素精确blob检测和归因,”《IEEE国际会议上图像处理(ICIP ' 05),3卷,第460 - 457页,2005年9月。视图:出版商的网站|谷歌学术搜索
9. d·g·劳”,从当地的扇区特征对象识别,”学报》第七届IEEE计算机视觉国际会议(99年ICCV”),2卷,第1157 - 1150页,1999年9月。视图:谷歌学术搜索
10. t·h·湾Tuytelaars, l . Van干傻事,“冲浪:加快健壮的特性,”电脑Vision-ECCV 2006女孩,a . leonardi h ., a . Pinz Eds。卷,3951在计算机科学的课堂讲稿施普林格,页404 - 417年,纽约,纽约,美国,2006年。视图:出版商的网站|谷歌学术搜索
11. m . Calonder诉Lepetit、c . Strecha和p . Fua“简单:二进制健壮的独立的基本特性,”电脑Vision-ECCV 2010: 11日欧洲计算机视觉,伊拉克里翁,克里特岛,希腊,第5 - 11年9月,2010年,诉讼,第四部分卷,6314在计算机科学的课堂讲稿施普林格,页778 - 792年,柏林,德国,2010年。视图:出版商的网站|谷歌学术搜索
12. e . Rublee诉Rabaud、k . Konolige和g . Bradski”ORB:一个有效的替代筛选或冲浪,”《IEEE计算机视觉国际会议(ICCV 11)西班牙巴塞罗那,页2564 - 2571,,2011年11月。视图:出版商的网站|谷歌学术搜索
13. s . Leutenegger m . Chli, r . y . Siegwart“快:二进制健壮的不变的可伸缩的要点,”《IEEE计算机视觉国际会议(ICCV 11)西班牙巴塞罗那,页2548 - 2555,,2011年11月。视图:出版商的网站|谷歌学术搜索
14. a . Alahi r·奥尔蒂斯,p . Vandergheynst“狂:快速视网膜关键点,”《IEEE计算机视觉与模式识别会议(CVPR 12)IEEE,页510 - 517年,普罗维登斯,RI,美国,2012年6月。视图:出版商的网站|谷歌学术搜索
15. n坎瓦尔、大肠Bostanci和a·f·克拉克“匹配使用的弧角,”专业计算机视觉,8卷,不。3、245 - 253年,2014页。视图:出版商的网站|谷歌学术搜索
16. e . Bostanci”是汉明距离匹配二进制图像特征描述符的唯一途径吗?”电子信件,50卷,不。11日,第808 - 806页,2014年。视图:出版商的网站|谷歌学术搜索
17. c·哈里斯和m . Stephens,”角落和边缘检测器相结合”第四届阿尔维愿景会议学报》上15卷,第151 - 147页,曼彻斯特,英国,1988年9月。视图:谷歌学术搜索
18. 摆渡者和a . Shahrokni“宠物的概述2009年挑战,”学报》第11届IEEE国际研讨会上追踪和监测的性能评估美国佛罗里达州,迈阿密,2009年。视图:谷歌学术搜索
19. 大肠Bostanci:坎瓦尔,a·f·克拉克,“空间图像统计特性的性能比较,”IEEE图像处理,23卷,不。1,第162 - 153页,2014。视图:出版商的网站|谷歌学术搜索|MathSciNet

版权

版权©2016 Mehwish Tahir等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。