文摘

人类使用的设备位置检测机械安全主要包括安全光幕,安全激光扫描仪、安全垫,和视觉系统。然而,这些设备可能绕过使用时,与人类或设备不能区分。为了解决这个问题,提出了一种深度相机作为一个人的位置检测装置在机械安全。人类的位置检测的过程是基于深度相机图像信息;它主要包括图像信息采集,人类存在检测和距离测量。与此同时,人类的位置检测方法基于英特尔RealSense深度相机和MobileNet-SSD算法并应用于机器人安全保护。结果表明,图像信息采集的深度相机可以检测人类的实时位置,可以取代现有的机械安全人类位置检测装置。同时,深度相机只能检测人类而不是移动设备和实现分离和早期预警和移动设备的人。

1。介绍

机械安全是人类的状态和条件不受外部因素的各种状态下使用机械从人类的需求。针对实现机械安全在机械设计阶段和使用阶段,主要采取了三个步骤:内在的安全措施,安全保护和辅助保护措施,减少风险的使用信息(1]。使用安全保护和补充保护装置的目的是为了防止移动部件对人类造成威胁。当使用安全防护设备进场速度有关人类的部分,首先,我们需要准确地检测人类的存在或位置。目前,人类存在的检测设备在机械安全主要包括安全光幕,安全激光扫描仪、安全垫,和视觉系统。在使用这些设备时,方向、角度、高度、和其他因素的检测区域和绕过需要考虑的可能性。使用安全光幕,例如,当一个人可能会爬上从最低的光束,从最高的梁跨越,介于两束等。2]。另外,大多数的这些设备属于硬件设备和没有对象识别的函数。人类存在的检测是人为指定,也就是说,只有一个人出现在检测区域。然而,应用对象检测可以弥补上述缺陷,使用摄像机采集图像并结合人类探测对象检测算法准确。

智能工厂更多的关注产品制造的自动化和灵活性和使用大量的移动设备,如工业机器人和自主移动小车。为了不影响自主移动小车的通道和其他移动设备,有必要删除安全围栏,设置一定的危险区域安全激光扫描仪。当人类进入危险区域,机器人减慢或停止,以保护人类的安全。自主移动小车和其他移动设备,移动路径计划提前,一般不会影响机器人的工作。然而,除了检测人类,激光扫描仪也检测到自主移动小车和其他移动设备,导致触发机器人的减速或停止,影响工作效率。

学者进行的研究对人类的位置检测基于深度相机,因为在许多检测场景中,不仅准确检测也是人类位置测量是必需的。与普通相机相比,深度相机的最大特点是,它可以收集位置测量的深度信息。与此同时,它也有功能,比如语音识别、手势识别、表情识别。此外,相比之下,一些可以实现位置测量的硬件设备,它能实现人类基于图像信息的准确检测。目前,广泛使用的深度相机主要包括RealSense英特尔和微软Kinect。这些相机的特点总体规模小、强环境感知、图像采集精度、低价格。装置建立et al。3)确定外科医生和机器人之间的位置通过Kinect防止机器人干扰医生的工作。是和绿色(4)面具R-CNN RealSense结合使用(5)算法来确定行人和摄像机之间的相对位置关系实现行人距离检测。剑et al。6意识到人类识别和位置测量通过深度相机结合级联分类器演算法和RGB-D形象。基于三维骨架信息通过Kinect,李et al。7)注册与SMPL模型获得人类的真正的姿势。Yu et al。8)深度相机使用Kinect检测人类地位的研究机器人自动避免行人。李等人。9)提出了一种基于双Kinect人体姿态跟踪系统,它可以确定人的位置通过获得准确、稳定关节位置轨迹。总之,深度相机可以精确检测人类在一定距离的位置和范围,可以应用于人类存在的检测或机械安全位置。介绍了人类基于深度相机位置检测流程和需要英特尔RealSense深度相机结合MobileNet-SSD [10)算法为例,给人类的位置检测方法,应用于机器人安全保护。

2。人类的位置检测方法基于深度相机图像信息

2.1。人类的位置检测过程

人类的位置检测过程基于深度相机图像信息如图1主要包括图像信息采集,人类存在检测、测距和其他链接。首先,人类图像信息采集的深度相机。其次,人类的存在检测是根据收集到的图像信息和实现人类的检测算法。最后,通过检测信息和测量的距离深度相机所提供的信息来确定人的位置。

2.1.1。图像信息采集

深度摄像头一般包括RGB摄像头和红外激光发射模块。在图像采集之前,有必要建立视觉软件之间的通信库和相机,然后,图书馆视觉软件驱动摄像头通过程序实现彩色图像的采集,深度图像和红外数据。和收集到的图像转换成对应的图像数据进行后续工作。

2.1.2。人类存在检测

人类存在检测属于目标检测的范畴。对象检测主要包括机器学习和深度学习算法。机器学习检测算法首先选择基于滑动窗口遍历检测区域,然后提取图像的特征在滑动窗口,如猪(面向梯度直方图),哈雾,和枸杞多糖(局部二进制模式);最后,SVM(支持向量机),演算法和其他分类器是用来提取的特征进行分类意识到人类存在检测(11- - - - - -12]。深度学习检测算法实现目标检测通过多层卷积神经网络的自学习特性。检测精度和速度与机器学习相比显著提高检测算法(13- - - - - -15]。目前,人类的存在基于深度学习的检测算法主要包括更快R-CNN [16],SSD [17有人知道由罗[],18]。此外,基于工业现场相关机械安全的考虑,本文中使用的人体检测算法必须满足实时检测的要求,确保一定的检测精度。

2.1.3。距离测量

深度相机双目立体视觉测距主要包括,结构光,飞行时间(TOF)方法。相机使用双目立体视觉深度不需要项目外部活动的光源。它获得的图像对象从不同位置测量双目相机,计算位置偏差(即。视差)对应像素之间的两个图片和获得物体的三维信息。文献[19)结合对象检测和双目测距前对象的检测和测量距离的工程车辆,以便工程车辆安全、独立工作。结构光方法使用特定波长的不可见的红外光作为光源照射物体,然后获得物体的位置和深度信息根据返回的光学畸变图像。文献[20.在结构光)基地;高性能、小体积和模块化的结构光三维相机设计,可直接获取三维数据。TOF不断发射光脉冲是观察到的对象,然后接收从物体反射的光脉冲,并计算测量对象和摄像机之间的距离通过探测飞行(往返)光脉冲的时间。在文献[21],TOF相机是用来提供对象的距离信息和三维坐标实时重建和三维物体的几何结构是基于距离信息和相机参数。

3所示。人类的位置检测方法基于RealSense图像信息

机械安全要求较高的实时检测人类的地位。需要快速检测人体位置的情况下保证一定的精度。基于测量的精度和速度,本文选择RealSense深度相机和MobileNet-SSD算法实现人类的位置检测。首先,人类的彩色图像和深度图像的实时获得通过使用RealSense深度相机。然后,MobileNet-SSD算法用于检测人类根据彩色图像。最后,得到深度图像对应像素值根据检测到的像素的位置信息,和人类和相机之间的距离计算来确定人的位置。

3.1。RealSense图像信息采集

获取彩色图像和深度图像的步骤与RealSense深度相机如下:(1)声明RealSense管流对象(2)创建一个配置对象,定义图像像素大小,指定的帧数读的摄像头和图像采集的类型(3)使用管流对象打开配置并启动循环读取视频帧(4)创建一个对齐对象,深度一致的颜色(5)读取视频帧对齐处理视频帧,并得到一致的深度图像和彩色图像(6)从彩色图像得到相机内置的参数(7)数据格式转换人类存在的彩色图像检测

3.2。人类存在基于MobileNet-SSD检测

MobileNet SSD算法改变原来的SSD的骨干网算法从VGG MobileNet网络。网络结构如图2。基于精简架构,MobileNet使用切除可分离旋转而不是标准构建轻量级深的卷积神经网络。切除可分离旋转分解标准切除卷积,卷积和 点态卷积的角色过滤和线性组合,分别,而减少的参数和计算。网络检测速度有了很大提高,适用于移动终端。

表1显示常用的目标检测算法的检测性能的通用数据集VOC2012 FPS(每秒帧数)表中用于测量算法的检测速度,和地图(意味着平均精度)是用来衡量算法的检测精度;FPS越大,检测速度越快,和更大的地图,更精确的检测。从表中,我们可以发现MobileNet-SSD不仅具有绝对优势的算法检测速度也具有良好的检测精度,和地图高达72.7%,完全满足人类的需要检测。

在这篇文章中,OpenCV [22](一个开源软件计算机视觉和机器学习库)是人类用于负载MobileNet-SSD模型实现检测。OpenCV集成模块称为款,是专门用来实现深层神经网络的相关功能。OpenCV加载相应的检测模型时,模块将重写款检测模型,使模型的运行效率更高。

加载的MobileNet-SSD模型OpenCV需要两个模型文件;一个是二元模型描述文件,另一个是文本文件。OpenCV加载MobileNet-SSD模型的一般过程实现目标检测如图3,具体步骤如下。(1)加载MobileNet-SSD模型。使用“dnn.readNetFromCaffe()方法来加载模型。该方法的两个参数是文本文件和模型的描述文件,分别(2)读取图像和格式图像的数据。使用“dnn.blobFromImage()方法来实现图像格式转换,转换后的数据可以用于网络广播,也就是说,它可以通过加载模型(3)使用图片作为模型的输入。使用“dnn.setInput()方法来加载图像(4)广播。使用“dnn.forword()方法完成广播,也就是说,模型预测。预测的结果是一个四维矩阵,关注数据的第三和第四维度。第三个维度是发现目标,第四维是每个目标的检测信息。信息主要包括目标类别数,置信水平和对象的位置(5)遍历所有的预测结果判断每个目标的信心大于给定阈值的信心。如果大于给定的阈值,认为预测是正确的,和目标位置和目标类别是画在原始图像。如果小于给定的阈值,它被认为是预测是错误的,并继续遍历

人体检测MobileNet-SSD如图的效果4。从图可以看出,MobileNet-SSD一般对小目标探测的影响,但对现场提出,人类的身体属于大目标,所以它不会影响整体的检测效果。此外,测试视频是用来测量MobileNet-SSD,测量和检测速度大约是25帧/秒;大的差异的原因从表中的数据1是电脑的性能和输出视频的帧率将对检测速度有很大的影响,但是很明显,MobileNet-SSD具有良好的及时性;因为视频处理,一般认为12.5 FPS是实时的。测量结果如图所示5。

3.3。人类距离测量

RealSense深度相机主要由左相机,摄像机,红外投影仪,和RGB相机,如图6。RealSense利用双目立体视觉测量的距离(23- - - - - -25),如图所示7。摄像头L和R是左、右摄像机,分别。图像平面的成像平面的两个摄像头,这是坐落在镜头面前平面和相机平面平行。基线代表摄像机基线;和代表了两个空间的投影点被测量的成像平面。根据相似三角形原理,测距计算如下:

在哪里测量距离,mm;照相机的焦点,mm;是左边和右边的中心距相机,mm;是点的坐标在图像平面上,mm;和是点的坐标在图像平面,毫米。

4所示。机器人应用程序的安全保护

图8是一个原理图的机械安全保护系统的机器人生产线,图吗9是一个物理图像,图呢10是一个机器人的机械安全防护监控系统实时监控系统的状态。

为了不影响自主移动小车的流逝,传统的安全栅栏被移除。根据人类和机器之间的距离,构造分级预警系统通过使用激光扫描仪。人类活动的范围分为四个领域:预警区域,早期预警区域II, III预警区域,危险区域。保护人类安全通过投射光线字幕、广播警告声音,机器人减速或停止,等。当人们侵入到预警区域,光投影副标题“早期预警区我”出现在地面上,和声音广播“你已经进入了早期预警区域我”,如图(11日)。当人们入侵预警区域二世光投影副标题“预警区域II”出现在地面上,广播的声音“你已经进入了早期预警区域II”,和机器人的速度1轴自动降低70%的工作速度。在图所示的监控系统11 (b)。当人们入侵预警区域三世,光线投影标题“预警区域III”出现在地面上,广播的声音“你已经进入了早期预警III”,和机器人的速度1轴自动降低20%的工作速度。在图所示的监控系统11 (c)。当人们入侵危险区域时,机器人停止,监控系统图所示11 (d)。因此,分层机械安全保护系统可以实现早期风险预警的情况下保证人类的安全,大大减少停机时间,提高机器的工作效率。

然而,自主移动小车经常进入预警区III和预警区二世在工作过程。因为激光扫描仪不能认识到对象进入预警区III和预警区二世是人类或自主移动小车,机器人经常处于减速状态,影响工作效率。然而,如果RealSense相机安装在机器人和结合MobileNet-SSD算法来测量人类和机器人之间的距离实时给出相应的信号来控制机器人的运动状态根据距离,和RealSense相机不监控自主移动小车的位置信息,所以它可以实现预警当人类进入预警区域,但自主移动小车不报警时进入预警区域。的实时状态监测系统当自主移动小车进入预警区域如图12。

5。讨论

5.1。使用深度相机的优点,实现人类的位置检测

(1)使用深度相机来检测人类的位置已经有了成本优势安全地毯、安全光幕,安全激光扫描仪(2)与人类相比位置检测设备,如安全地毯和安全光幕,深度相机之间的距离可以测量人类实时和风险来源和执行分级预警节中描述2(3)深度相机时用作人类的位置检测装置,它可以检测人类的位置没有检测的位置可移动设备,从而达到分离人类的早期预警和移动设备(4)当使用安全光幕或安全垫作为人类的位置检测装置,必须阻止人们穿越检测区域的检测设备。如果人们已经在危险的区域,他们不能被探测到。如果融合增加多个深度照相机的视野,可以消除检测盲区

5.2。探测范围的深度相机

深度相机的检测范围是有限的。例如,视野FOV RealSense深度相机 ,也就是说,在水平方向上和在垂直方向。检测距离是 。如果我们想要建立一个检测区域比相机的视场,只使用一个深度相机不能满足检测要求。然而,融合多个深度照相机可以增加视野,扩大检测区域的范围。目前,学者们进行了融合系统研究多个深度照相机。例如,燕et al。26)四个深度照相机用于建立一个跟踪系统和使用FOV方法跟踪和匹配对象的运动特点,以解决问题的对象转换多个摄像头之间的重叠区域;为了解决模糊图像的问题当检测部分用一个摄像头,广域网(27研究摄像机标定的方法和良好的全景图像马赛克图像马赛克和用于检测。是et al。28]提出了一种具有成本效益的360°全景生成系统,可以处理单一视图和三维全景照片,消除拼接差距相邻摄像机之间的重叠区域。

5.3。人与机器之间的最小距离

有一些限制人机距离的测量。例如,如果一个人类的一部分(如手和腿)进入危险区域和身体躯干的安全区域,距离测量人机不能判断是否进入危险区域。因此,有必要进一步衡量人机最小距离。人机之间的距离可以通过计算获得最小距离人类和机器人的身体的每一部分。以人机最小距离为判断是否进入危险区域的基础是一个人机合作安全研究的重要方向。目前,学者们进行这样的研究,如陈和歌曲29日]分离人类深度图像从协作空间背景,生成的点云,集群使用的点云 - - - - - -最近邻算法寻找人与机器之间的最小距离。王等人。30.)建立了一个人机距离模型在合作环境下基于机器人的结构特点和人类骨骼特征提取的三维视觉传感器和迭代计算的最小人机距离基于这个模型。

6。结论

(1)英特尔RealSense深度相机结合MobileNet-SSD算法可以实时检测人体位置和替换机械安全人类位置检测设备,如安全地毯,安全光屏幕,和安全激光扫描仪在特定的应用场景(2)当深度相机作为人类的位置检测装置,它只能检测人类但不是可移动设备和实现人类的分离和早期预警和移动设备

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他们没有竞争的经济利益或个人关系可能出现影响工作报告。

确认

这项研究是财政支持的国家重点研发项目(2017号yff020720)。