比较研究的多个对象检测使用Haar-Like特征选择和局部二进制模式在几个平台

文摘

对象检测一直是吸引感兴趣的广泛使用它的应用程序。这推动了一个增加软件和硬件平台中可用的处理能力。在这个工作我们现在开发的应用程序基于OpenCV的多个对象检测库。complexity-related方面考虑的对象检测使用级联分类器。此外,我们讨论应用程序的分析和移植到嵌入式平台和比较结果与传统平台上获得的。该应用程序处理实时系统实现,结果给一个指标能够选择对象检测应用程序的情况下可能更复杂,它可能是更简单。

1。介绍

目标检测是检测一个特定对象的具体位置和尺寸的图像或视频的场景。检测安全与工业应用的需求越来越大,对象检测快速、可靠的方式吸引感兴趣。

有两种类型的应用程序可以使用这个系统。应用程序不需要实时反应如监控摄像机来检测某些形状如动物形状在医院和应用要求实时响应如火武器检测在机场,例如,需要一个更好的性能的检测精度和响应时间。这个系统的力量在于,它可以为任何类型的培训对象为不同情况下被发现。扩展这项工作将使系统适应低成本卡,从而适应卡架构,以获得更好的性能,能够满足实时要求。

有许多类型的对象检测。其中一个是基于知识的方法,这依赖于一组规则对象结构特征之间的关系的基础上检测到特定的对象(1]。第二种类型是基于模板匹配的方法。在人脸检测的情况下,面对模板存储。检测面是基于图像和存储之间的联络模板(2]。第三种类型的对象检测是基于机器学习的方法。这种方法需要一个学习阶段3]。算法需要被训练来检测特定对象从一组图像。然后它可以用来检测对象。

实现高性能和近实时目标检测是一个关键问题在大规模系统和嵌入式平台。因此,一个可靠的和精确的近实时目标检测应用程序,运行在嵌入式系统中,是至关重要的,由于不同领域的安全问题。级联分类器的算法在实时运行最少。其高性能的关键是使用积分图像,它只执行基本操作在一个非常低的处理时间。然而,级联分类器只能执行在一个固定的长宽比。有许多试图应对实时约束对象检测。中提琴和琼斯3想出了一个方法的矩形Haar-like特性与演算法学习算法结合一连串的强分类器。然后Leinhart Maydt [4)改善Haar-like特性集。然后,在[5),Ahonen等人应用人脸检测局部二进制模式和Haar-like结果相比,取得了明显的效果。

该对象检测应用程序可以部署在不同的平台;它可以部署在一个高性能平台以及移动平台。它也可以用于监测系统与分布式相机和一个后端服务器的检测。它也可以用于移动设备配备摄像头和处理器。极短的响应时间的检测对这种系统至关重要。

在以前的工作(6我们已经报道了目标检测的实现使用Haar-like特征选择使用OpenCV嵌入式平台。在本文中,我们开发一个扩展来比较两种特征选择算法的中提琴和琼斯检测技术基于Haar-like特征选择与级联分类器相结合,和枸杞多糖(局部二进制模式)特征选择与相同的分类器相结合,在性能和精度标准平台和嵌入式平台。

2。相关工作

有许多出版物相关对象检测但剩下的主要挑战在大多数发表的工作精度。然而,有许多成就的目标检测的速度和精度。领域的改进主要集中在特征选择和分类。不同类型的特征选择算法。主要是哈雾特性(3]最初介绍了人脸检测和局部二值模式(LBP) (5]。

目标检测的研究趋势之一是结合多个来源的信息,如颜色和运动(7]。有更多的信息来源提高检测质量但重要的检测时间。在分类方面,SVM(支持向量机)分类器由于其检测速度很流行。

介绍了支持向量机的更高级版本Felzenszwalb et al。8)这是一个框架,用于目标检测已经应用于大量的对象类型。首先介绍了另一个复杂的分类器中提琴和琼斯3面孔识别)和广义检测其他对象类型。

Gall et al。9),使用广义霍夫变换对象检测,取得了非常有趣的结果精度基准检测数据集。

另一个研究方向提出增加更多的硬件资源。在平行的cpu是证明给好的结果实时检测。并行算法在不同的cpu上处理是一种有效的方法来提高算法的性能在特定平台(10,11]。

级联分类器(3),目标检测,采用基于Haar-like特性相结合,由许多复杂的分类器级联结构,从而提高目标检测的速度。

2.1。Haar-Like特性

Haar-like特性的原理是基于检测的特征编码的类被探测到的信息。他们是相邻矩形图像的在一个特定的位置。图1显示了类型的Haar-like特性取决于相邻矩形的数量。根据(4)有三种类型的Haar-like特性。第一种是边缘特性,如图1由两个广场。第二种类型是(图线特性1左下广场)。最后一个类型的特征是center-surround特性(图1右下广场)。

如[6),Haar-like特征选择算法背后的想法是简单的。它位于的原则计算之间的区别白色像素的总和和黑色像素的总和。这种方法的主要优势是快速和计算使用积分图像。它被称为Haar-like因为它是基于同样的原理Haar小波(4]。

2.2。积分图像

可迅速计算矩形特征通过一个中间表示的图像称为积分图像3]。小单元的积分图像由给定图像的表示。

例如(见图2和3),这个积分图像在位置1的值是在矩形像素的总和。在位置2的值等等。所以在矩形像素的总和是 在哪里矩形像素的总和只是,在矩形像素的总和,由,-积分图像的矩形,-的整体形象,最后我们有矩形的整体形象(执行添加,因为该地区中减去两次和)。

图中的例子4显示图像的积分变换。蓝色的矩阵表示原始图像,紫色代表了整体形象。阴影部分的积分值在第一个矩阵是20,这是阴影区域的像素值的总和,从左上角图片的像素。以同样的方式,的积分图像阴影区域在第三矩阵是17。它可以很容易地计算第四矩阵通过减去积分图像像素3,-积分图像阴影区域以外的地区从左上角像素。因此,的积分图像阴影区域是34岁代表阴影区域的像素3 - 14,这是该地区的整体形象在阴影区域,- 8,这是该地区的整体形象在左边的阴影区域,+ 5,这是包括在两个整数值减法(14和图8),该收益率34−−14 8 + 5 = 17。

积分图像的定义如下: 在哪里整体形象和吗是原始图像。

因此,特定的积分值像素像素的总和在上面向左[3,12]。然后在更少的像素图像可以集成操作,自穿越从左上角到右下角开始。

2.3。局部二进制模式

2.3.1。局部二进制模式操作符

局部二值模式(LBP)是一个简单和有效的纹理运营商标签图像的像素的阈值每个像素的相邻,导致一个二进制数,如图6。它最初是由Ojala引入et al。13]。对于每一个像素,该算法考虑了8个相邻像素。然后根据选择的像素的灰度值,它分配邻近像素的值0或1。因此,每个像素都有一串二进制值。数据4和5计算显示的一个例子。

2002年,Ojala et al。13)扩展他们的原始LBP算子的一个圆形的半径大小不同。另一个扩展原始算子的定义统一的模式,可以用来降低特征向量的长度,实现一个简单的旋转不变描述符。

局部二进制模式被称为统一如果二进制模式包含最多两位转换从0到1,反之亦然,当循环遍历位模式。例如,模式00000000(0转换),01110000(2的转换),11001111(2)的转换是统一而模式11001001(4转换),11001001(6)的转换。

2.3.2。枸杞多糖检测算法

使用的算法是级联算法引入的一种变体中提琴和琼斯3)和使用枸杞多糖功能而不是Haar-like功能来更快的处理,提高了分类器。LBP算法的幻灯片的处理窗口对象图像连续评估阶段的级联算法通过评分功能。每个特性描述×3×3相邻矩形区域。

每个特性的值是通过比较计算中心区域与周围的邻近区域(8邻居)。其结果是一个8位二进制值的形式称为枸杞多糖。一系列级联的特性代表阶段算法。每个功能都有积极的和消极的与之关联的权重。的情况下,特征是与待检测对象的一致性,添加积极的重量之和。的情况与对象特性不一致,负价值之和。和舞台的阈值进行比较。如果低于阈值之和,阶段失败和级联提前终止,和,因此,处理窗口移动到下一个窗口。如果金额高于阈值,下一个阶段的级联是未遂。一般来说,如果没有舞台拒绝候选人窗口,假设已经检测到的对象。

为了避免冗余的计算矩形的积分,积分图像计算加快计算的功能。

2.4。学习演算法

中提琴和琼斯3)演算法学习算法用于选择特定Haar-like特性作为阈值。演算法用于创建强分类器结合收集的弱分类函数(11]。

最强的分类器使用最强大的特性,它是最好的Haar-like特性,即功能,最好把正负样本。

2.5。级联分类器

级联分类器(3]是一种链弱分类器的有效分类的图像区域。它的目标是提高目标检测的性能,减少计算时间。如图7链中的每个节点,是一个哈雾特性的弱分类器和过滤器。演给节点权重,权重最高的节点。

当一个过滤器未能通过图像区域,具体好子窗口图像的进一步处理消除。然后视为一个物体。这意味着图像区域不包含待检测对象的处理。这是非常重要的分类器的性能,因为所有或几乎所有的负面形象好子窗口将在第一阶段被淘汰。另一方面,图像区域成功通过过滤器时,他们去下面的阶段,其中包含一个更复杂的过滤器。只有地区成功地通过所有过滤器被认为包含一个匹配的对象。这意味着地区形象包含对象的检测。

多级分类器是背后的原因拒绝有效和快速的物体好子窗口。链中的下一个节点图7代表复杂的分类器,在人脸检测中。使用分类器拒绝更多的假阳性(nonface地区)的好子窗口3]。假阳性的数量从根本上减少经过几个步骤的处理。

3所示。实现和结果

3.1。标准平台

对象检测系统已经开发了基于PC xeon的服务器上(E5670时速为2.93 GHz)和使用gcc 4.4.5。

训练阶段是这台机器上执行不同的对象。因此,不同的xml文件生成的每个对象。

在桌面平台上执行检测结果作为参考使用一个标准的中档相机和使用生活照片和图片给程序。这些图像同时包含对象受到培训和其他随机的对象。检测的结果显示在计算机的屏幕上。

3.2。嵌入式平台

这项工作中所使用的嵌入式系统是德州仪器DM3730数字媒体处理器、数字4。它有1 GHz的手臂Cortex-A8处理器和DSP核心。它支持硬件视频加速器启用高清720 p视频解码和编码独立于ARM处理器。它包含一个USB 2.0槽作为输入用于检测。它有512 mb的RAM。系统通过使用一个鼠标和键盘在卡通过USB接口连接(图8)。

操作系统(OS)是埃嵌入式Linux版本。处理器的系统文件,引导,存储在flash-NAND记忆。

3.3。训练数据集

级联分类器的训练,关于一个特定对象的检测中,我们使用的一组图片来自对象本身。

实现高检测率的对象,我们需要使用大量的图像在训练阶段。图像的数量我们用作训练集的一个特定的对象是大约4000正面形象。积极的图像是图像,包括目标对象。其他图片也(负面形象),不包括使用对象培训阶段。

我们使用的数据集包含的图像对象从不同的角度为了检测可能在大多数角度。

我们在这个应用程序中使用的图像的对象包括face对象,对象,行人(人体对象)。

对于人脸检测,我们使用范的脸数据库(14),它由大量的脸图像从不同的角度和不同的位置。对于其他对象,我们创建了一个数据库的图像提取视频捕捉对象的培训从各个角度和立场。

级联的输出训练是一个xml文件,其中包含数据对象被探测到。为每个对象生成一个xml文件被检测到。我们的应用程序中使用的xml文件然后为了执行检测。两种算法分别执行培训。

3.4。提出了应用程序的实现

应用程序实现了使用c++语言使用OpenCV库。编译执行使用GCC (GNU Compiler Collection)。

你需要GNU项目C和c++编译器来编译C程序和目标平台创建一个可执行文件。

平台包括嵌入式Linux环境中包含一个预先构建的SD卡的图像,您可以启动并运行交叉编译的应用程序代码。进行代码更改时,它是有价值的重新运行一个纯软件编译验证您的更改没有不利改变你的计划。

级联分类器检测函数“detectMultiScale”给出了参数表1。

检测函数使用了两个参数在表列出1,比例因子决定了可能的对象大小与多远的对象是相机,和最低的邻居是所需的最少数量的支安打检测对象。如果发现有低于“minNeighbors”对象发现会被丢弃。

3.5。结果

比较两种算法执行的两个步骤。

第一个代表了每个算法的性能测量的检测一个对象在一个特定的场景。

第二个比较两种算法的性能检测多个对象在一个特定的场景。

图9显示了目标检测的结果为不同的对象。第一个图片是人脸检测的结果,第二个是行人目标检测的结果,和第三图像显示手势检测的结果。

比较哈雾和枸杞多糖单一对象的性能结果

结果分析。表2显示了性能的比较结果Haar-like和LBP算法在这两个平台单一对象检测。

像普遍预期,固定平台上的每个算法的性能比在嵌入式平台。如表所示2标准平台,执行时间小于在嵌入式系统的执行时间。Haar-like建立级联是在标准平台上优于基于LBP的级联。

然而,在嵌入式平台上我们可以清楚地发现枸杞多糖表现比Haar-like特性,检测时间。这表明LBP算法执行的更好在有限的资源下,和Haar-like功能算法对常规执行更好的平台,有更多的资源可用性。

显示的准确性,Haar-like性能优于枸杞多糖在标准平台。它对枸杞多糖准确率为96.24%和94.75%。在嵌入式平台上,我们也注意到Haar-like精度略优于枸杞多糖和枸杞多糖的93.56%和92.65%的命中率。这个比例计算比率的基础上,小姐,和错误检测率检测的对象。

比较的性能结果同时检测多个对象使用两种算法。表3显示了每个算法的性能同时检测多个对象在一个给定的场景。

总体表现在多个对象的标准平台比那些在黑板上。然而,我们注意到板上的检测系统是稳定的,当我们增加了检测。

结果给出了嵌入式系统可以被认为是积极和鼓励。事实上,我们可以注意到,多个检测、消耗时间的增加相比标准平台为每个算法是有限的。实际上,增加消耗时间似乎更小的LBP算法的嵌入式平台。这使得使用该系统的可行性在嵌入式平台上更为现实。

图10展示了每个算法的两个平台之间的比较。

结果的讨论。枸杞多糖和Haar-like算法在多个检测的结果有竞争力和鼓励。实时约束仅仅是达到标准的平台。

然而,对于嵌入式平台上的一些改进算法仍然需要实现实时约束。

另一方面,因为它是第一组的结果,枸杞多糖嵌入式系统提供了更好的性能。这证明它执行更好的在资源有限的环境中。Haar-like算法给出更好的结果比LBP在标准平台,为单一对象检测在一个场景和多个对象检测。这证明Haar-like算法需要更多资源所提供的系统能够表现的更好。

对于所有的情况下,分析在嵌入式平台上允许我们检测算法的集团消费最处理器时间。结果有助于识别算法需要增强的集团为了实现更好的结果在嵌入式平台上。我们可以运行独立执行任务并行处理器,以提高检测的性能达到实时约束。

4所示。结论和未来的工作

在本文中,我们讨论两种特征选择算法的性能Haar-like特征选择和枸杞多糖对单个对象的检测和在同样的场景中多个对象和标准平台和嵌入式系统。

上述结果说明帮助我们确定哪些算法能在不同的环境中更有效率。

我们已经结合Haar-like特征选择与级联分类器级联分类器和枸杞多糖对准确的比较。

目标是提高低资源嵌入式系统上的性能以满足实时约束。

从上面的结果我们可以看到,在标准平台上两种算法性能达到或接近实时目标检测。

下一步的工作将提高嵌入式平台的性能。此增强功能可通过并行性的使用。我们可以得到多个处理器同时运行单独的任务,以提高性能和响应时间。

利益冲突

作者宣称没有利益冲突有关的出版。

引用

1. 李z和a . k . Jain手册的人脸识别施普林格,2005年。
2. a . l . Yuille p . w .并不遥远,d . s .科恩“特征提取使用可变形模板,从脸”国际计算机视觉杂志》上,8卷,不。2、99 - 111年,1992页。视图:出版商的网站|谷歌学术搜索
3. p .中提琴和m·j·琼斯,“健壮的实时人脸检测,”国际计算机视觉杂志》上卷,57号2、137 - 154年,2004页。视图:出版商的网站|谷歌学术搜索
4. r . Leinhart和j . Maydt”一组扩展的haar-like特性快速目标检测,”《图像处理国际会议(ICIP ' 02),1卷,页我- 900 - 903,IEEE,罗切斯特,纽约,美国,2002年9月。视图:出版商的网站|谷歌学术搜索
5. t . Ahonen a哈迪德,m . Pietikainen”面临与局部二进制模式描述:人脸识别应用程序,”IEEE模式分析与机器智能,28卷,不。12日,第2041 - 2037页,2006年。视图:出版商的网站|谷歌学术搜索
6. s . Guennouni a Ahaitouf, a . Mansouri“嵌入式平台上多个对象检测使用OpenCV,”学报》第三届IEEE国际讨论会在信息科学与技术(石棺的14)IEEE,页374 - 377年,得土安,摩洛哥,2014年10月。视图:出版商的网站|谷歌学术搜索
7. b . Heisele美国Kressel和w·里特,“跟踪非刚性的,移动对象基于颜色集群流”《IEEE计算机学会学报计算机视觉与模式识别会议(97年CVPR”)圣胡安,页257 - 260年,波多黎各,1997年6月。视图:出版商的网站|谷歌学术搜索
8. p . f . Felzenszwalb r . b . Girshick d . McAllester和d . Ramanan”对象检测与区别式模型部分原因,“IEEE模式分析与机器智能,32卷,不。9日,第1645 - 1627页,2010年。视图:出版商的网站|谷歌学术搜索
9. j .胆,a .姚明:哈,l . Van干傻事,诉Lempitsky,“脚腕森林为目标检测、跟踪和行为识别,”IEEE模式分析与机器智能,33卷,不。11日,第2202 - 2188页,2011年。视图:出版商的网站|谷歌学术搜索
10. w . Bing和c . Chareonsak”学习演算法的FPGA实现检测的生物识别技术,”《IEEE国际生物医学研讨会电路和系统2004年12月,页17日,新加坡,。视图:出版商的网站|谷歌学术搜索
11. M.-T。范教授和T.-J。可汗,”哈雾特性的快速培训和选拔在增强型人脸检测的使用统计数据,”学报》第11届国际会议上计算机视觉(ICCV ' 07)IEEE,页1 - 7,里约热内卢,巴西,2007年10月。视图:出版商的网站|谷歌学术搜索
12. r·纳森·m·马赛厄斯·r·Timofte, l . Van干傻事,“行人检测在100帧每秒,”《IEEE计算机视觉与模式识别会议(CVPR 12)普罗维登斯,页2903 - 2910年,RI,美国,2012年6月。视图:出版商的网站|谷歌学术搜索
13. t . Ojala m . Pietikainen, t . Maenpaa”多分辨率灰度和旋转不变的纹理分类与局部二进制模式,”IEEE模式分析与机器智能,24卷,不。7,971 - 987年,2002页。视图:出版商的网站|谷歌学术搜索
14. “范的脸数据库”,http://fei.edu.br/ cet(中央东部东京)/ facedatabase.html。视图:谷歌学术搜索

版权

版权©2015索海尔Guennouni等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。