对深度的信息融合和红外一个简单的户外环境障碍物检测方法基于

摘要

本文针对现有的识别率低和障碍物检测的鲁棒性问题;一个简单但在深度信息融合的有效障碍物检测算法和红外提出。该场景是由均值漂移算法分割并计算前景的像素梯度。边缘检测和形态学运算的预处理后，深度信息和红外信息融合。深度图和红外图像中的边缘检测的特征被用于凸起的方法，检测的误检率减小，并且检测精度得到提高。由于深度图和红外图像不受自然阳光，对障碍物识别由于诸如光强度和阴影的因素的影响被有效地降低，并且该算法的鲁棒性也得到改善。实验表明，信息融合的检测算法能够准确地识别小的障碍在视图中，障碍物识别的精度不会受到光的影响。因此，该方法对在室外环境障碍物检测机器人或智能车辆具有十分重要的意义。

1.介绍

障碍物的检测在智能机器人，智能车辆和自主农用车有广泛的应用。其中，障碍物检测基于视觉图像信息[1，2主要用于自动驾驶车辆或机器人的视觉系统中，该系统完成了一些类似人眼的特殊功能，为路径规划提供了可靠、准确的环境信息。因此，视觉导航系统必须能够快速准确地检测障碍物，具有较好的鲁棒性。

用于传统障碍物检测传感器主要包括激光雷达传感器，超声波传感器，红外线传感器，及视觉设备[3]。激光雷达传感器的基本原理是，距离信息可以通过计算发射之间的时间间隔和接收激光的[获得4]。名为斯坦利[智能车辆五]从斯坦福大学安装很多激光雷达传感器中的汽车，其用于判断该区域是否为障碍物或可以通过由2D网格根据相邻点之间马尔可夫模型和高度差被传递的区域的顶。然而，激光雷达传感器的尺寸比较大，成本非常高，而且在安装和使用也更为复杂。在通过使用超声波传感器，菲格罗亚和Lamancusa [检测障碍物的研究6]提出了一种利用相位延迟与回波峰值的关系再结合回波时间检测障碍物的方法，具有较高的检测精度。此外，Hua等[7]提出了一种通过调制双边带幅检测相位位置的方法，该方法利用低频信号调制超声波脉冲的激励信号，并采用适当的调制数据。该方法不仅保证了相位检测障碍物的分辨率，而且在一定程度上扩大了障碍物检测的范围。但在检测过程中，超声传感器的定位较差。在移动或野外环境等复杂条件下使用，效果不佳。红外传感器的原理是红外热成像技术[8]，这是一种波长转换技术。它是红外辐射的可见图形的转变。红外热成像系统具有一定的穿透能力，它可以明辨是非，具有较强的抗干扰能力。根据红外成像的特性，红外线传感器具有更好的适应性和更强的方向。但它是非常容易被物体的颜色的影响，并且它不能提供距离信息。近年来，随着计算机技术的发展，它已成为越来越流行使用双目摄像机获取对象和场景的深度信息。然而，这种方法的缺点是，它很容易被光[影响9，10]。张和朱[11]提出了一种基于双目视觉的图像分割方法，但该方法很容易受到光线的影响，鲁棒性较差。虽然多传感器的使用可以避免单个传感器的不足，但难以实现信息的集成和保证各传感器之间的同步。

针对鲁棒性差，检测精度低的问题，基于深度信息和红外信息的快速且准确的检测方法，提出了超高动力学V2.0传感器在本文中，能够获得同时深度信息和红外线信息使用。障碍物检测的本文中的主要流程如下。首先，要被检测的区域由均值偏移算法被分割。其次，梯度计算被执行以突出显示对象的边缘信息。最后，障碍物可以通过使用边缘检测或其它方法和熔合红外线和深度信息进行检测。在本文提出的方法可以解决的准确性和障碍物检测在复杂的环境中的移动机器人和智能车辆的鲁棒性的问题。

2.问题描述

通常情况下，室内和室外都需要检测障碍物。唯一的区别是户外障碍物可能更加复杂和多样化。通过Kinect收集到的两个不同的场景以图形的形式显示出来1和2。它可以从两个图像可以看出，在深度图中的障碍物和地面之间的接触部分的边缘信息还不是很清楚。障碍物的上部边缘信息更加明显。但它是在红外图像相反。使用的红外图像信息的字符，则深度图可以被改善。因此，如果深度信息和红外信息被有效地融合在一起，所述检测到的障碍物的边界，可以从视觉场景准确分割。此外，它会增强鲁棒性和可保证较高的识别率，因为深度信息和红外线信息不受自然光。

目前，大多数基于单一视觉的障碍物检测算法都采用了不同图像的运动信息[12]。然而，由于缺乏更多的信息，这让障碍产生异常值。但它可以通过红外图像和深度图的融合来解决。在深度图最困难的信息是一致的，因为同样的障碍的深度信息，也有类似的特点和障碍物之间的连接部位的深度差异和维护者都很小。因此，深度信息可以用于在检测区域作为背景或超出检测区域的范围的一些区域去除异常值。如果仅深度图像用于障碍物检测与障碍物是所识别的范围的边缘，障碍物的深度值是类似于当障碍物较小地面的值。因此，地面和障碍很容易识别为一个对象，然后可能会发生错误。此外，即使对象有超过设定的检测距离，用良好的反射，Kinect的摄像头依然是能够得到深度信息，并能检测到它。这使得已查明的障碍exceede要求的范围。在另一方面，如果用于检测仅红外图像，很多错误的领域将因为红外信息的字符检测。 The colors of areas are diversified and most of these errors are relatively close to the camera and at the same time further obstacles will be ignored. The detection results of infrared images are shown in Figure3(一个)。

根据上面的分析，我们发现，深度图和红外图像的错误检测方面的错误探测区域不重合。因此，红外图像可用于去除深度图的错误侦测区域。深度图和红外图像的融合后的检测结果显示在图3 (b)，其中的障碍是可以的。因此，为了提高精度和性能，深度图和红外图像应该被稠合以检测障碍物。

3.融合方法

本文采用Kinect V2.0传感器，可采集512×424分辨率、30帧/秒的深度图和红外图像。同时还可以采集分辨率1920×1080、30帧/秒的彩色图像。有效射程为0.5米至8米[13]。与其他传感器相比，超高动力学V2.0可以收集同时深度信息和红外和颜色信息。它有效地避免了不协调因使用不同的传感器问题。此外，它有很多的优势;例如，该传感器具有体积小，可以得到图像的精度信息。此外，最重要的是它具有很强的适应性，复杂的环境。这里，方法提出了张某等人。[14，15]采用检测障碍物前校准Kinect的摄像头。粗红线在图4表示垂直壁。与校准前的照片相比，所造成的摄像机失真得到明显纠正。

据的Kinect V2.0，基于深度的信息融合和红外障碍物检测算法的优点，提出了深度图的前景是由均值漂移算法首先截获，然后将边缘信息被提取，并通过深度图和红外图像的融合，其在图中所示处理五。The detection range is 0.5 m–4 m. Edge detection based on depth image or infrared image alone has its own characteristics. Gradient features of depth information can be obtained in obstacle detection with depth image alone. However, since the edge information of the areas segmented by mean-shift algorithm is more prominent, they also can be detected. Similarly, in obstacle detection with infrared image alone, the edge information of the front object in the image taken by the Kinect camera can be extracted according to the characteristics of infrared image, while the edge information of the rear object cannot be detected. Finally, a perfect detection result can be obtained as long as combining these two features.

在由超高动力学获得的深度图像，它是一种有效的方法，以通过均值漂移算法检测区域的段的前景。当均值漂移理论提出的福永和霍斯泰特勒[它并没有受到很多关注16]，直到核函数由Cheng提出[17]。均值漂移算法的使用范围扩大，而且只是开始吸引越来越多的关注。Comaniciu等。[18，19]成功地将均值漂移算法应用到图像处理中，在图像的平滑性和分割方面取得了很好的效果。Cheng定义的核心函数是:如果一个函数具有配置函数,即 并应满足以下条件：是不是消极的;没有增加，即如果,然后;是分段连续的，并且,然后是核函数，在哪个是在空间中的点，由列向量和表示代表实数域。

根据核函数，均值漂移公式可以描述如下[16]: 在这要被处理的像素的深度，为采样像素点的深度，为单位核函数，是采样点的权值吗，和带宽矩阵通常是用一个正定对称矩阵表示的吗。使用此函数时，误差值为首先设定。均值漂移算法是循环计算的过程;使

第1步。计算。

第2步。替代物的价值成。

第3步。如果作为用于像素点的位置：位置标识符，该周期将终止。当时，对于任何像素点， 我们有 在这为分割区域在这个时候，像素坐标是图像。否则，像素点将其作为新的空间起点，然后第一步将重新开始。

我们可以得到预期的前景，只要而满足结合在一起的要求。那是， 在这，是前景区域。通过均值漂移算法获得前景的结果显示在图图6（c）。前景是靠近摄像机的区域，前面的障碍物将被分割成整体的前景。计算前景中每个像素点的梯度的目的是根据梯度的特点突出障碍物的边缘信息。在深度值连续的区域，梯度值较小，变化是连续的。但是在物体的边缘处，梯度值会发生剧烈的变化，边缘信息更加明显。在深度像中中，当一个像素点是其深度值表示为中，点的卷积梯度算子在方向和方向如下[20]: 那么，像素点的梯度值是

经过前景梯度计算得到新的梯度图像，如图所示图6（d）。然后利用边缘检测算法对图中的梯度图像进行检测图6（d）。Canny边缘检测器更容易改善的边缘检测算法的性能。类似地，红外图像的边缘检测可以通过这种方式来进行。大部分区域的图像中的值是一致的。检测的结果表明，它可以完全避免光，阴影，和其他因素的影响。障碍检测的两个图像之后，形态的动作。详细地说，扩张操作被进行，然后腐蚀运算，最后，合并相邻点并除去孤立点。表示取得了梯度计算和边缘检测前景。表示用于扩张的结构元件。表示用于侵蚀的结构元件。表示像素点的位置。扩大通过， 我们有 在这是的域。对于腐蚀通过， 我们有 在这是的域。

然后，我们的标签形态学运算的结果，并通过交点计算结合两种图像的检测结果。通过这种方式，检测错误的结果可以被删除。到目前为止，障碍物检测的全过程已经实现。障碍物区域的中心点的值被认为是障碍物的深度值。和分别表示在的位置标记后深度图像和红外图像的像素值。表示混合物之后这些点的像素值：

当检测到障碍物时，的值和是1;如果不是，则为0。如果的值和是1在同一时间，的值是1。最后，已查明的障碍是由蓝框标示。

4.实验和结果

4.1。单张图像识别

障碍物检测的经由在由超高动力学传感器的草的单个图像的结果显示在图7。In the picture, the size of carton is 25 cm × 45 cm, and the distance from the sensor is 1 m. The size of the paper baskets is 16 cm × 25 cm, and the distance from the sensor is 1.5 m. The angle of inclination of Kinect sensor is。Since the yellow flowers are far away from the sensor and have over 8 m in color image, their information cannot be collected in depth image and infrared image. We can clearly conclude from the pictures that any results from single image cannot accurately identify the obstacles. In color image, due to the abundant color information and color change, the edge information is really distinct. As shown in Figure图7（b），可以检测出前景和背景的边缘信息，但只需要检测前景中的障碍物。因此，彩色图像不适合我们的研究。此外，彩色地图的获取也容易受到光照条件的影响。单独使用深度图时，如果障碍物靠近分割的前景的边缘，则区域边缘和障碍物很容易被识别为一个物体，如图所示7 (f)。同时，当没有在前面区域没有障碍检测出的边缘信息和误差信息少在后部区域，其在图中所示图7（e）。然而，当所述红外图像是单独使用，前方的障碍物的边缘信息可以被有效地检测。但草更远的边缘信息也可以被检测和后对象的信息被忽略，这在图中所示7 (h)。总之，如果检测仅获得单个图像时，会产生许多错误。准确的识别障碍无法实现而且也不鲁棒性。

4.2。实验与结果分析

然而，本文的方法是在图保险丝图像（e）和图像（H）7合理的。它不仅能准确地识别的障碍物的位置，而且还有效地避免的照明条件的影响。使用深度和红外信息的融合障碍物检测的实验结果显示在图8。边缘检测和形态学运算的实验参数示于表1，其中和分别表示Canny算子在红外图像和深度图像中的值。当值小时，检测到更多的边缘信息，当值太小时，粗糙的道路也被认为是障碍。当值过大时，无法检测到障碍物的边缘信息，因此要选择合适的值。根据我们的测试，最好的值是3。，和分别表示三种图像的扩展半径。当值较大时，边缘信息的扩展更为明显。但当值过大时，会使障碍物检测面积大于实际面积。反之，如果太小，一个障碍就会被认为是多个障碍。表中的值1将在几次测试后被选中。，和分别表示3种图像的扩张附近。他们的价值观对实验结果的影响不大，使他们有4个在这个实验。实验结果表明，以上所使用的参数可以准确地识别的障碍。

在深度图像中经过前景分割、梯度计算、边缘检测和形态学操作后，会对障碍物进行大致轮廓，但有时无法对地面与障碍物的接触面进行分割。均值移算法分割出的前景边缘与障碍物的边缘重合。此外，还有一些其他杂乱的识别信息。在红外图像中，从前向目标检测到的边缘信息是丰富的。经过形态学操作，大部分区域被识别为障碍物。然而，在综合数据之后8 (c)和8 (e)通过相交，我们可以得到图形8 (f)。从图8 (f)，障碍物的位置，可以很容易地识别和标记。结果显示在图8 (g)。实验验证之后，该方法的准确率达到98％，比检测率是1.1％，漏检率是根据每个被1-3个对象作为障碍物50个图像0.6％。的障碍物识别精度不会受到光照的影响。障碍物检测的随深度的融合和红外信息的方法更优于单图像信息的方法。此外，它具有很强的实用性。

障碍物检测的结果示于表2。可以得出结论，障碍物与摄像机之间的距离是影响结果的主要因素。以罐头为例，当实际距离为1 m时，测量距离与实际距离的误差为0.011 m。当距离达到3米时，误差达到0.029米。由于障碍物的表面不光滑，有时障碍物是一群物体，所以深度值不是恒定的。相机的局限性也是造成这种结果的原因之一。但对于户外机器人、智能汽车等来说，这种精度相对较高。在道路场景中，障碍物越小，测量精度越高。这是因为小障碍物的边缘信息在深度图像和红外图像的融合中表现较好。当障碍物较大时，由于障碍物的不同部位颜色不同，会影响图像的边缘信息和测量精度。 According to the data from the table, the proposed method can detect the obstacle accurately, and it can be applied to practical problems and holds a significant position for its research value.

5。结论

提出了一种基于深度与红外图像融合的障碍物检测方法。分析了场景特征和图像信息。摘要根据传统边缘检测中深度和红外图像的特点，提出了一种基于视觉信息融合的现场障碍物检测算法，用于检测传感器近距离区域(前景)的障碍物。它克服了彩色图像容易受光影等因素影响的缺陷，也克服了单一视觉算法的局限性。最后，该算法有效地去除了单一视觉算法造成的错误检测区域。实验表明，该方法能较准确地识别障碍物区域，且不容易受到光照条件和强度等因素的影响。此外，实现了更好的鲁棒性。从而为智能机器人提供可靠的数据。

相互竞争的利益

作者宣称，他们没有竞争的利益。

致谢

作者承认了中国的国家自然科学基金（编号51605039），自然科学基础研究计划在中国的陕西省（无。2016JQ6066），中国博士后科学基金（编号2016M592728）和基础研究基金中央高校（编号310825151041）。

参考文献

1. G. B.维托尔，D. A.利马，A.C.维多利诺和J. V.费雷拉，“A 2D / 3D视觉为基础的方法施加到在城市环境道路检测”，在在IEEE智能车辆研讨会（IEEE IV '13）的程序，第952-957，Glod海岸城，澳大利亚，2013年6月。查看在：出版商网站|谷歌学术搜索
2. 王建民，“多机器人导航系统之避障控制器生成可达设定点之研究”，民国89年9月IEEE智能车辆研讨会论文集(IV '13)，第487-492页，Glod海岸城市，澳大利亚，2013年6月。查看在：出版商网站|谷歌学术搜索
3. A. Discant，A Rogozan，鲁苏C.和A. Bensrhair，“传感器的障碍物检测，一项调查显示，”在第30届国际春季研讨会电子科技论文集，第100-105，克卢日 - 纳波卡，罗马尼亚，2007年5月。查看在：出版商网站|谷歌学术搜索
4. S. Wang和Z.-Y.祥“由多光谱融合探测植被的障碍，”浙江大学学报卷。49，没有。11，第2223至2229年，2015年。查看在：出版商网站|谷歌学术搜索
5. S.特龙，M. Montemerlo，H. Dahlkamp等人，“斯坦利：赢得了DARPA挑战机器人，”日志栏机器人卷。23，没有。9，第661-692，2006年。查看在：出版商网站|谷歌学术搜索
6. J. F.菲格罗亚和J. S. Lamancusa，“一种用于精确检测的到达时间的方法：分析和超声波测距系统的设计中，”杂志美国声学学会卷。91，没有。1，第486-494，1992。查看在：出版商网站|谷歌学术搜索
7. H.华，Y. Wang和D.严，“基于振幅调制的连续超声波的低成本动态测距装置”IEEE交易的仪表与测量第51卷，no。2002年，第362-367页。查看在：出版商网站|谷歌学术搜索
8. K.冲电气和K. Omasa，“A用于映射土地覆盖内的热红外辐射的变化的技术，”IEEE交易对地球科学与遥感第41卷，no。2003年，第1521-1524页。查看在：出版商网站|谷歌学术搜索
9. X.-M。肖,小时。胡,Z.-X。Cai，和L. Wang，“基于自适应分割和立体视觉的快速障碍识别”，计算机应用研究第24卷第2期9，第182-184页，2007。查看在：谷歌学术搜索
10. 刘振华，“基于单目视觉的室内机器人障碍识别”，国立中山大学机械工程研究所硕士论文。计算机应用杂志卷。32，没有。9，第2556至2559年，2012。查看在：谷歌学术搜索
11. H.张和朱军，“战略研究基于双目视觉避障算法”杭州电子科技大学卷。33，没有。4，第31-34，2013。查看在：谷歌学术搜索
12. J.彩，D.金，H.柳，和K.孙某，“基于从超高动力学深度后方障碍物检测系统，”在智能交通系统的第15届国际IEEE会议论文集（ITSC '12），第98-101，安克雷奇，阿拉斯加，美国，2012年9月。查看在：出版商网站|谷歌学术搜索
13. 微软Kinect的Windows [OL]http://www.k4w.cn/news/1.html。
14. Z.张，“相机校准的灵活的新技术，”IEEE模式分析与机器智能汇刊卷。22，没有。11，第1330至34年，2000。查看在：出版商网站|谷歌学术搜索
15. 戴志强、王元义、宁宁、易建杰、李s.大学，“基于张方法的13号相机标定实验研究”，[中国农业机械化第36卷，no。2，第287-289页，2015。查看在：谷歌学术搜索
16. K. Fukunaga的和L. D.霍斯泰特勒，“密度函数的梯度的估计，以在模式识别的应用程序，”IEEE交易信息理论卷。21，没有。1期，第32-40，1975。查看在：谷歌学术搜索|MathSciNet
17. Cheng，“均值转移、寻模式与聚类”，IEEE模式分析与机器智能汇刊第17卷，no。1995年，第790-799页。查看在：出版商网站|谷歌学术搜索
18. D. Comaniciu和P. Meer的“平均数移：朝向特征空间分析一个健壮的方法，”IEEE模式分析与机器智能汇刊第24卷第2期5，第603-619，2002。查看在：出版商网站|谷歌学术搜索
19. D. Comaniciu, V. Ramesh，和P. Meer，“使用平均位移的实时跟踪非刚性物体”，in计算机视觉和模式识别的IEEE会议论文集（CVPR '00），第2卷，第142-149页，2000年6月。查看在：谷歌学术搜索
20. N.达拉尔和B. Triggs，在“对人体检测方向梯度直方图，”计算机视觉和模式识别的IEEE会议论文集（CVPR '05），第1卷，第886-893页，2005年。查看在：谷歌学术搜索

版权

版权所有:朱亚光等这是一篇开放获取下发布的文章知识共享署名许可，其允许在任何介质无限制地使用，分发和再现时，所提供的原始工作正确的引用。