文摘

传送带上的偏差是一种常见的故障,影响带式输送机的安全运行。在这篇文章中,带式输送机的偏差检测方法提出了基于检验机器人和深度学习在任何位置检测偏差。首先,检查机器人捕捉图像和感兴趣的区域(ROI)包含输送带边缘提取和暴露空转的优化MobileNet SSD (OM-SSD)。其次,脚腕线变换算法用于检测输送带边缘,和一个椭圆的弧检测算法提出了基于模板匹配检测空转外缘。最后,提出了一种基于单应性变换的几何校正算法正确检测到的边缘点的坐标,和传送带的偏差度(DD)估计基于修正后的坐标。实验结果表明,该方法可以检测传送带的偏差不断的RMSE 3.7毫米,4.4毫米的美,和平均时间消耗135.5 ms。它提高了监控范围、检测精度、可靠性、健壮性和实时性能偏差检测的带式输送机。

1。介绍

带式输送机是连续运输设备在现代化生产大容量的优势,适合于长途,运费低,效率高,运行平稳,装卸方便,适合散装物料运输,等。它已经成为三个主要工业交通工具以及汽车和火车,已广泛应用于煤炭、矿山、港口、电力、冶金、化工、等领域(1]。带式输送机的操作条件苛刻,和偏差的故障发生时由于安装和调整不当,制造错误,轴承空转失败,材料的不均匀分布,附着力的黏液传动皮带轮和弯曲滑轮,等等。2]。带式输送机的偏差故障会导致输送带撕裂的,物质溢出,带式输送机的伤害。为了确保安全运行,应检测传送带上的偏差。

目前,偏差故障的主要检测方法是安装两套机架上的偏差开关两侧的传送带上。一旦出现偏差,传送带将偏差的一组开关的操作部门转移,和偏差触发开关,发出报警信号。如果传送带继续偏离设置停止位置,它触发另一组偏差开关控制带式输送机停止。这个方法只能检测两个固定带偏移位置和无法估计的偏差度(DD)。与此同时,它常常给假警报造成停机,影响生产。此外,偏差开关容易损坏的传送带运行速度高,及其可靠性和准确性差。由于偏差故障不能有效地发现,纵向撕裂,皮带断裂,带式输送机损坏频繁发生。

为了有效检测传送带上的偏差,近年来,研究人员已经相当关注机器的方法,建立非接触式和更可靠。杨et al。3)提出了一种基于图像分割算法的偏差检测方法。线性阵列CCD用于收集图像的下表面运行的传送带,和基于列阈值的图像分割算法被用来检测输送带边缘,根据传送带上的偏差可以定性检测。这种方法既简单又有效,但相机的镜头很容易被材料和粉尘污染,影响成像质量。梅等。4)提出了一种基于图像增强算法的偏差检测方法,利用自适应阈值和图像增强算法来检测输送带边缘,计算偏移量和失真的传送带,根据DD估计和预测偏差故障。这个方法是有效和准确的,但仍然与镜头的缺陷是容易受到污染。神经网络(NN)是著名的非线性映射和特征提取能力。它已经被应用于微创手术,机器人机械手的控制,机械故障检测、人类活动监测、机器人工具动态识别,医学图像(5- - - - - -11)等,并演示了其性能优越。刘等人。12)提出了一种基于深度学习偏差检测方法的带式输送机,可靠的对象检测和抗干扰能力,但估计DD的误差很大。上述偏差检测方法的相机都是安装在固定位置,只能检测到固定位置。然而,偏差故障可能发生在任何位置的带式输送机。因此,它更适合使用检查机器人检测偏差在带式输送机。检查机器人是一个很好的代替人类在危险的场景和执行定期检查任务已广泛应用于电力系统(13)和建筑业(14]。近年来,它已被实现在煤矿15),但偏差检测的带式输送机仍不能得到解决。

为了解决这个问题,一个带式输送机的偏差检测方法提出了基于检验机器人和深度学习在这篇文章中,它提供了一个更聪明的带式输送机的监控解决方案。主要的思想是结合深入学习算法和数字图像处理技术检测偏差检查输送带的机器人。总而言之,我们的贡献如下:(1)这部小说提出了偏差检测方法。检查机器人应用于检测偏差沿带式输送机在任何位置。为了确定传送带上的相对位置,空转外缘作为参考,并介绍了深度学习算法来提高检查机器人的能力来处理复杂的环境。此外,数字图像处理算法相结合来检测边缘和正确的失真。(2)ROI探测器基于MobileNet SSD (M-SSD)旨在检测输送带边缘和暴露空转。预测源层M-SSD定制,提高检测精度和速度。(3)传送带上基于霍夫线变换的边缘检测方法检测输送带边缘设计,它比其他方法更健壮。一个椭圆的弧检测算法提出了基于模板匹配检测空转外缘。模板生成椭圆弧线线性变换的一个半圆,这方法能有效地检测空转外边缘。(4)提出了一种新颖的几何校正方法。几何校正是简化的三维(3 d)投影变换到平面单应性变换的组合和飞机几何变换。DD是拟议DD估计方法估计的,它在不同的DDs是有效的。

本文的其余部分的结构如下。部分2提出了偏差检测方法及其组件的细节。部分3介绍了实验平台和结果分析。部分4总结我们的工作并给出了进一步研究的方向。

2。材料和方法

2.1。带式输送机偏差检测方法的示意图

检查机器人机架轨道上运行在带式输送机,它平行于中心轴移动 带式输送机的 。移动相机是固定的金属框架检查机器人,和光轴垂直于 。移动摄像机捕获图像包含传送带和暴露惰轮,和图像的横向轴是平行的 。该方法结合了深层学习算法和图像处理技术,如图1。它可以归纳为两个阶段。在阶段1中,包含输送带的ROI提取边缘和暴露空转。在阶段2中,输送带边缘和惰检测到外缘,和DD估计基于修正后的坐标。该方法结合了深度学习的抗干扰能力和数字图像处理的精度和检测偏差在复杂多变的背景环境。


图1
带式输送机deep-learning-based偏差检测方法的示意图。检查机器人捕获图像划分成imgO imgI;然后,他们被输入到ROI检测器(OM-SSD)提取ROI_O ROI_I,分别。roi是转换成灰色图像,然后,输送带边缘检测算法和托辊的外边缘检测算法实现的边缘。发现点的中点线代表传送带空转外缘的边缘和顶点,分别。点的坐标修正的几何校正算法,然后用来估计DD。两个点之间的距离在ROI_O和ROI_I代表暴露空转内外的长度和长度之间的差异表明了弟弟。(一)第一阶段:ROI提取。(2)第二阶段:DD估计。

第一阶段由三个步骤组成:(1)算法捕获图像不断和农作物图像的两个相同的子图象大小,分别名为imgO和imgI。(2)我们两个子图象输入训练有素的ROI探测器OM-SSD包含输送带边缘提取ROI和暴露空转,名叫ROI_O ROI_I,分别,它们可能包含外部空转或内空转(传送带的空转外一侧出现在图像的上半部分,和内部的一个出现在下半身,称为外空转和内心的空转,分别)。(3)如果roi提取成功,我们进入第二阶段;否则,该过程将中止与我们去下一个图像。第二阶段包括以下四个步骤:(1)输送带边缘检测使用的脚腕行transform-based算法。(2)空转外缘是椭圆的弧检测到的基于模板匹配的检测算法。(3)输送带边缘点的坐标和惰外缘点修正通过实现几何校正算法是基于单应性变换;然后,暴露懒汉的长度可以计算。(4)DD估计基于暴露懒汉的长度。

2.2。基于M-SSD ROI提取算法
2.2.1。该框架的ROI提取算法

ROI提取可以被视为对象检测。根据检测阶段,deep-learning-based对象的方法检测可分为2类:两级和单程检测方法。两级检测方法由快RCNN [16),由两个阶段组成。在第一阶段,建议同时边界框和客体性分数预计,该地区在第二阶段,建议用于检测和回归。快RCNN可以看作一种结合快速RCNN [17)和地区建议网络(RPN),它执行在公共数据集。然而,快速RCNN和RPN必须训练有素的交替分享卷积层的参数和预测层,这使得它不方便的集成和实现。单程检测方法由SSD (18有人知道由罗[]和19,他们没有一个明确的边界框生成阶段的建议。与YOLO和更快的RCNN意思相比,固态硬盘采用金字塔结构,模仿的RPN生成默认的盒子从多个源层,在每一个位置和每个分类预测分数每个默认的盒子,因此充分利用每个特征图谱和避免分类网络和RPN的替代训练,这使得它更加灵活和广泛应用于不同的应用程序(18,20.]。

2.2.2。基于MobileNet对象检测网络

上级卷积神经网络的非线性映射能力(CNN)主要是来自网络的深度和能力,和模型深入的更好的性能和更大的准确性,如AlexNet [21],VGGNet [22],GoogLeNet [23],ResNet [24]。然而,他们的训练和部署要求更高的硬件成本(内存和GPU),限制其应用在嵌入式和移动设备。因此,简化网络已经成为一个活跃的研究领域近年来(25- - - - - -27]。网络修剪的关键是平衡精度和成本之间的权衡,也就是说,大幅减少的参数和计算精度略有下降。MobileNet [27)是一种有效的CNN指定移动视觉应用程序。核心是一个流线型的建筑命名切除分离卷积(DSC)。给定一个输入特征的地图大小 ,卷积核的大小 ,标准的卷积假设跨步和填充,成本的计算 在哪里 是multiadds [27), , ,和 宽度,高度,和数字地图输入通道的特性,分别卷积的宽度和高度的内核是什么 ,和渠道的数量 。DSC卷积的标准分为两部分:切除卷积和逐点的卷积。前者是应用作为一个过滤器每个输入通道和输出特性图的大小 ,,后者创建一个输出的线性组合使用一个简单的卷积的大小 。然后,计算成本的DSC跨步垫可以计算

然后,计算成本比率(CCR)的DSC和标准卷积可以写成

先进的网络通常使用小型内核(22),即 = 3。当输出通道 变大,CCR可以接近1/9。此外,参数的个数 在标准的卷积 在DSC,参数的个数 是 和他们的比例如下:

它可以证明,较大的特征映射和输出通道的数目,计算和参数降低,实验结果表明,DSC的性能退化是几乎可以忽略不计27]。与轻量级架构,cnn和对象检测框架可以部署成功的嵌入式设备。特征提取的M-SSD网络表所示1,22层,和所有的卷积层随后batchnorm层和纠正线性单元(ReLU)层,包括标准的卷积(Conv)层和DSC的切除和卷积点态层。

表1
M-SSD的支柱。
2.2.3。ROI探测器

大小不同的检测对象,M-SSD使用不断化解,L13,课时,L17,由于和L21预测源层预测对象的边界框。为kth的6层,比率 默认的框来确定输入图像 在哪里 和 的最小和最大比例,分别是0.2和0.9。 = 6是预测源层的数量。检测对象有不同的形状,M-SSD集不同的纵横比 为每个默认的盒子在每个位置kth层,它可以确定如下:

此外,一个正方形违约规模的盒子 添加的时候 。假设一个输入图像的大小 ,默认的箱子的数量是1917。

摘要OM-SSD算法提取包含输送带边缘和暴露的ROI空转。M-SSD的基础上,OM-SSD设置方面的比率不断化解的默认盒子的其他层相同的比率,和L14-L21删除;不断化解和L13唯一来源层预测,原因如下。提取的ROI,它是一样的检测的形象暴露空转一段小补丁的传送带上。自检验机器人和托辊之间的距离不会改变很多,ROI图像大小的变化在一个小范围内,和默认的盒子与检测无关的规模几乎没有贡献但减慢了速度18L14-L21),因此预测源层,用于生成大规模违约M-SSD框,删除。由于空转是细长的,暴露的长宽比空转千差万别,所以不断化解的纵横比扩大。因为大多数特征提取层OM-SSD DSCs,模型中的参数的数量很小,然后,OM-SSD少麻烦过度拟合(27]。SSD的原始损失函数(18采用培训: 在哪里 是匹配的数量默认的盒子, 是默认的匹配指标盒和地面真理, 是预测多个类的信心, 和 的参数预测盒和地面真理盒,分别。信心丧失 和本地化的损失 是主要的组件的重量损失函数和加权项呢 ,这是设置为1。

为了有效地提取ROI,输入图像分为两个子图象:imgO imgI,这可能包含外部空转和内托辊,分别。然后,它们的大小 并输入到OM-SSD。探测器输出的标签指示空转的分类和ROI的边界框。

2.3。传送带基于霍夫线变换的边缘检测算法

输送带边缘的ROI可以被看作是一条直线。传统的线检测算法可以分为两类:踝关节transform-based和行基于航段算法(28]。后者效率和精度高的优点;然而,这种方法是基于区域生长,如果排着长队阻塞或模糊的部分,通常是发现多个行。前者不受这个缺点,更健壮。脚腕行变换地图边缘点 在图像空间中sine-like曲线的参数空间 在哪里 线的距离,起源和 之间的角度吗x设在线。相对应的曲线边缘点在同一条直线相交于一个点( )。合理的线路可以得到曲线的交点的坐标方程(10)。

输送带边缘检测算法基于霍夫线变换包含六个步骤和描述的算法1。

输入:ROI图像ROI_O或ROI_I。
输出:提议的开始点和结束点的坐标。
(1) ROI_O或ROI_I转换为灰度图像;
(2) 使用高斯滤波器降噪的灰度图像;
(3) 获取地图边缘 通过精明的边缘检测器(29日];
(4) 地图的边缘点 的参数空间使用的脚腕行变换,然后设置蓄电池;
(5) 提取合理的线路通过设置一个合适的蓄电池阈值;
(6) 从可信的线提取建议行先验知识的传送带上的优势。
算法1
传送带基于霍夫线变换的边缘检测算法。

减少噪音,保持清晰度,内核高斯滤波器的大小设置为3,和标准差是1.0。精明的边缘的低和高阈值检测器是最大梯度的0.2和0.4,分别和合理的蓄电池阈值线提取设置为30经验。传送带的先验知识优势如下。传送带之间的角和边缘x设在不超过 ,然后,合理的线路 被丢弃。此外,ROI_I可能包含的上、下表面的边缘传送带,和一般来说,上一个是更加突出,所以最建议线被认为是传送带上的优势。ROI_O只包含上表面边缘;因此,建议行底部的时间越长ROI_O提取。

2.4。基于模板匹配的空转外边缘检测
2.4.1。特性空转外缘的形象

惰的总体结构是一个圆柱体,及其外缘的形状是一个标准的圆。然而,空转外缘的形象通过检查机器人是一个大的椭圆弧形缺口,不同尺度和干扰类似的弧线,如图2;这是由于以下原因:(1)由于拍摄位置,空转外缘的平面之间的夹角和图像平面不是0°,导致标准圆垂直被压缩,而且只有外空转外缘的上半部分可以获得和内空转外缘下部支架阻塞。(2)空转外缘可能剪切水平和规模的变化,这是由检查机器人的运动造成的。(3)空转外缘上的突出优势将诱导伪弧,和传送带的阴影边缘惰也会出现干扰。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图2
典型的ROI图像及其边缘地图。检查机器人的运动,ROI图像中变化的位置从左到右,空转外缘提供了一个椭圆的弧,边缘的地图ROI_I被类似椭圆弧线。(一)ROI_O在左边,(b) ROI_O在中间,(c) ROI_O在右边,左边(d) ROI_I, (e) ROI_I在中间,和(f) ROI_I在右边。
2.4.2。惰外边缘检测算法

一般的弧检测算法可以分为两类:踝关节transform-based [30.)和梯度地区以算法(31日]。前遭受巨大的计算,而后者更适合于简单的图像内容。更重要的是,他们在检测椭圆弧线表现不佳。

惰外缘的椭圆弧线可以生成通过水平扩展,垂直扩展,和横向剪切的半圆,根据一个惰外边缘检测算法提出了基于模板匹配。首先,模板椭圆弧线的生成是基于之前的转换参数,然后,相应的模板椭圆弧线和边缘点 遍历寻找最高的一个匹配的信心。该算法由以下三个步骤:(1)给定的半径 和垂直比例因子 ,坐标 基弧上的任意点确定 在哪里 和 和 用于规模基地弧横向和纵向。鉴于水平剪切因子 ,坐标 模板上的任意点可以确定椭圆的弧

代表图像的模板与不同的参数如图椭圆弧线3。(2)我们考虑 在 作为原点坐标,计算边缘像素的数量 模板上的椭圆弧形路线和有效像素的数量 ,和遍历所有模板椭圆弧线的组合决定的 , , , ,和 , ( , ,和 的最小值是半径,垂直比例因子,和横向剪切因子, , ,和 是他们的步骤,然后呢 , ,和 分别的数量),匹配的信心 表明真正的空转外缘的概率可以被定义为

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图3
典型的模板椭圆弧线与不同的参数。(一)r 我= 43岁年代 j= 0.4,c k0.3 = 0.5−−−0.1,0.1,0.3和0.5。(b)r 我= 43岁年代 j= 0.8,c k0.3 = 0.5−−−0.1,0.1,0.3和0.5。(c)r 我= 60,年代 j= 0.4,c k0.3 = 0.5−−−0.1,0.1,0.3和0.5。(d)r 我= 60,年代 j= 0.8,c k0.3 = 0.5−−−0.1,0.1,0.3和0.5。

随水平位置的ROI图像。假设的横坐标值ROI_O或ROI_I的左边界 和它比imgO或imgI的宽度 , 可以确定为 由 对齐的整数倍吗 在 。(3)我们遍历所有的边缘点 ,重复步骤(2),计算所有 ,然后,在降序排序,输出参数 顶尖的k .空转外缘的原点坐标位于左边的一半 ;因此,只有左边的边缘点一半是遍历加速。一般来说,匹配的信心真正的空转外缘是高于伪弧;然后,最高的参数匹配的信心是用来描述空转外缘。

我们总结了空转外边缘检测算法基于模板匹配的算法2。

输入:边缘地图 ,之前的转换参数 , , , , , , , , 和 。
输出:惰轮外缘参数 。
(1) 计算模板椭圆弧线使用方程(11)和(12);
(2) 考虑边缘点 在左边的一半 作为原点坐标,计算出匹配的信心 利用方程(13);
(3) 遍历所有边缘点 在 然后重复步骤2,输出参数 最高的匹配的信心。
算法2
惰轮外缘基于模板匹配的检测算法。
2.5。基于单应性变换的几何校正
2.5.1。等价的传送带上成像

几何校正是测量所需的单眼相机。槽表面的传送带上不是一个平面,和变形将发生在表面投影到图像平面。

为了纠正这种扭曲,成像过程分析如下。传送带上的偏差是定义在其横截面平面,和成像模型图所示4。 和 的外边缘的顶点是内在与外在的懒惰, 和 边缘点的传送带上表面,和他们的图像平面上的投影点吗 是 , , ,和 ,分别。传送带的厚度不应该被忽视和被标记为 或 ,在哪里 和 下表面的边缘点的传送带上。根据几何,裸露的懒汉的长度 和 可以通过相机的内部和外部参数以及像素的距离 和 ,他们可以用来估计的DD传送带。然而,直接获得这些参数,3 d视角转换是必要的,这需要更多的参考点,是很难得到工程。


图4
横截面的传送带的成像模型飞机。

为了解决这个问题,成像过程相当于两个预测。我们假设有一个横向辅助面 与 和 在上面。 和 投影点的 和 在 与 透视中心和第一个相同的投影是3 d对象的形象如传送带和公开的懒汉预计将飞机 。第二个图片 预计将 。单眼相机的测量的过程可以被视为上述逆成像过程。

2.5.2。几何校正算法

成像过程相当于两个预测,3 d投影变换的几何校正是简化成平面单应性变换的组合和飞机几何变换。

对于任何一个点 图像平面上的 ,有一个满秩矩阵 的大小 和一个比例因子 可以映射 来 在 线性。均匀的表达式如下:

有八个自由度 ,和四对校准点,至少需要解决方程(15)。校准点可以通过一个矩形校准板放在 。标定板的宽度和长宽比 和 ,和校准点 ( )左上角的坐标,右上角,左下角,和右下角的标定板图像平面上的吗 ,分别。修正后的坐标 可以被定义为 然后, 通过计算 和元素 可以得到解决

时的坐标 , , ,和 被检测到,他们可以转换吗 , , ,和 由方程(15)。的垂直投影点相机光心 在飞机 是 ,之间的垂直和水平距离 和 在截面平面 和 ,托辊中心轴之间的夹角和水平面 ;然后,暴露懒汉的长度可以计算飞机几何变换如下:

2.6。DD估计

输送带边缘的斜率是温和,和的中点线中发现部分2。3可以被视为边缘点吗 和 的形象。与此同时,发现椭圆弧线的顶点2。4作为顶点吗 和 的形象。然后, 和 可以通过方程计算(15)和(19)。根据中国行业标准(GB / T 10595 - 2017),传送带的偏差定义为中心线之间的偏差的传送带和带式输送机和输送带被认为是在正常操作时,偏差在5%的带宽度,和早期预警或关闭命令时应发出持续超过5% (4]。

弟弟被定义为输送带的百分比偏差及其宽度 。当这两个 和 可以获得,DD计算如下:

然而, 和 并不总是可用的。当只有 ,DD应该计算 在哪里 托辊组的槽的长度,时间比吗 。 暴露空转的槽长度设置,也可以从之前的正常获得检测结果:

当只有 ,DD应该计算

如果 和 都不可用,这个检测过程将中止。DD是一个签署了变量,一个积极的一个传送带越轨行为表明,外端,和- 1表明内心的一面。

3所示。结果与讨论

实验设置了验证该方法。为了说明拟议的ROI探测器的优点,OM-SSD M-SSD相比自建数据集。偏差检测算法的性能,验证了在不同标准的DDs和拍摄高度,和首选的拍摄高度是通过比较实验。此外,提出的算法的时间消耗在NVIDIA Jetson TX2检查。

3.1。实验装置

检查机器人和带式输送机实验平台如图5。检查机器人旁边的齿条轨道上运行皮带输送机和配备了一个源光穷人照明。移动相机(相机传感器:索尼IMX298,决议: ,光圈:f / 2.0)是固定在金属框架,检测移动机器人和高度可调。带式输送机是7.7米长,1米宽,1.55米高(从顶点的空转外缘到地面),皮带是11毫米厚度。支持上带5套惰轮(直径:89毫米, :30°),只有一边懒汉的每组可以被捕获,命名为内空转1 - 5和外空转1 - 5,分别。


图5
检查机器人和带式输送机的实验平台。

带式输送机在煤矿巷道接近承重墙,所以水平距离 不能改变太多,将0.35经验。由于隧道的限制身高和图像内容的完整性,拍摄高度 到地面2.4米至3.0米之间变化,和 可以通过减去的带式输送机高度拍摄高度。模拟拍摄高度的影响,它被设置为2.4米,2.6米,2.8米,3.0米,分别。带式输送机的模拟偏差,标准的DD是调整+ 5%,0%,分别和−5%。应该注意的是,只有一组的懒汉和相应的输送带边缘可以用来指示的标准DD由于捻传送带背离。在这12个组合,水平和垂直视角角度将−60°和0°,分别检查机器人捕获图像沿传送带每0.06米从头部到尾部,然后,12组获得的图像和图像没有懒汉被丢弃。拟议中的偏差检测方法的验证数据集是由184个图像包含特定的懒汉,从每组挑选出,当标准DD + 5%或0%,包含空转2挑出的图像,当标准DD−5%,包含空转的图片4挑出;典型的图像如图6。每个剩余的图片是两个子图象剪裁 像素的微调ROI探测器。裁剪的子图象是随机排序并分为三组进行培训,验证和测试,和他们的数量是551,237和388年,分别。

(一)
(一)
(b)
(b)
(c)
(c)
图6
在不同的DDs和高度输送带图像捕获。(一)DD = + 5%,拍摄高度从左到右:2.4米,2.6米,2.8米和3.0米。(b) DD = 0%,拍摄高度从左到右:2.4米,2.6米,2.8米和3.0米。(c) DD =−5%,拍摄高度从左到右:2.4米,2.6米,2.8米和3.0米。

台式电脑配置为英特尔i7 - 7820 x3.6 GHz CPU、16 GB的内存,NVIDIA RTX 2080 ti和Ubuntu 18.04用于微调ROI的探测器,和性能验证的偏差检测方法进行NVIDIA杰森TX2,配置为Ubuntu 16.04, Python 2.7, 4.11 OpenCV,咖啡。该算法提出了部分2。4是用c++写的,嵌入到OpenCV 4.11编译的源代码。集成所有提出的算法是基于Python 2.7。

3.2。培训结果的ROI探测器

骨干网络参数M-SSD OM-SSD采用参数(https://github.com/chuanqi305/MobileNet-SSD),平均0.727的平均精度(mAP),这是pretrained帕斯卡VOC0712。OM-SSD很好调节中提到的数据集3.1。优化算法的均方根道具(RMSProp)基础学习速率为0.0002,这是在第5000和第20000迭代减少一半。30000次迭代后微调结束。部署训练模型之前,batchnorm层和层规模与前面的卷积层,合并和统一计算设备架构(CUDA)单位用于卷积计算进一步加速向前推理。调查的影响不同的预测源层模型,比较实验的OM-SSD实施不同的预测源层,和配置如表所示2,选择层被用作预测源层,和所有后面的特征提取层最后选择一个被删除。培训和每个OM-SSD的地图——损失x(x= 1,2,…,6)和M-SSD如图7和8。结果表明,每个模型的最后训练损失是在2.5,和地图超过0.98,但微妙的差异可能会影响检测的准确性。在模型中,训练OM-SSD-2损失小于2.0后期阶段,最终收敛于在1.0,而其他模型是超过1.0。OM-SSD-2的地图是超过0.995后期阶段,最终为0.9995,这是比别人更好,这表明用于检测的特性主要来源于不断化解和L13 ROI。地图M-SSD曲线显示了一个负峰阶段后期,表明该模型并不强劲。因此,可以得出结论,提出OM-SSD-2更适合检测包含输送带边缘的ROI和暴露空转。

表2
OM-SSD配置不同的预测源层。

图7
不同模型的训练的损失。

图8
不同的模型在训练的地图。
3.3。偏差检测的结果
3.3.1。ROI检测的准确性

训练有素的OM-SSD-2用于从图像中提取ROI的验证数据集提出偏差检测方法。根据射击序列,每组的图片编号为0,1,2,…,分别。由于不同拍摄高度,图片在每组的数量从11到20,不等和拍摄高度越高,较大的图像的数量。

发现别人ROI_Is和ROI_Os描绘在图9。ROI检测时,信心变化[0.2,1.0],和更高的信心表明一个更准确的结果。信心是0 ROI时错过了。从投资回报的角度来看,错过了ROI_I ROI_O是7和19岁的分别,也就是说,ROI_I失去的检出率(3.8%)低于ROI_O(10.9%),和前展示了一个平均的信心(77.6%)高于后者(44.9%)。的原因是更多的纹理和细节可以捕获内空转,和更可区分的特征。从拍摄的角度高度,四个拍摄高度的漏检率5.7%,6.0%,15.3%,和2.6%,分别和较低的2.4米和3.0米。当拍摄高度是2.4米,ROI_Is被检测到,和别人接近1.0,而ROI_Os错过了4次。当拍摄高度是3.0米,错过的ROI_Is数量的增加,而ROI_Os减少1。的部分原因是,当拍摄高度较低,相机接近内心的空转和可以捕获更多的纹理和细节,拍摄高度较高时,可以捕获更多的外空转的内容,虽然有些内空转的细节丢失。它可以得出结论,达到更好的ROI检测准确性,2.4米和3.0米的拍摄高度优先。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
图9
发现别人在不同标准的DDs和高度。(一)ROI_O DD: + 5%。(b) ROI_O DD: 0%。(c) ROI_O DD:−5%。(d) ROI_I, DD: + 5%。DD (e) ROI_I: 0%。DD (f) ROI_I:−5%。
3.3.2。DD估计的准确性

当检测到roi,执行传送带的弟弟可以估计边缘检测,空转外边缘检测,几何校正,DD估计算法。

之前的经验值转换参数的空转外边缘检测如表所示3和4。典型的输送带边缘检测的结果和惰外边缘检测图所示10。可以看出,输送带边缘和惰正确检测到外缘。同时,输送带边缘点和惰外缘的顶点是标有圈。

表3
之前的转换参数内空转外边缘检测。
表4
之前的转换参数外空转外边缘检测。

图10
检测结果的懒汉,线和弧。(一)外空转,DD: + 5%。(b)外空转,DD: 0%。(c)外空转,DD:−5%。(d)内空转,DD: + 5%。(e)内空转,DD: 0%。(f)内空转,DD:−5%。

估计DDs在每个标准DD和拍摄高度图所示11。它可以显示检测结果的波动增加以及降低标准的DD−5% + 5%。这可以解释为一个大的ROI可以导致更高的检测精度的边缘,和内心的形象外惰惰比。作为标准DD减少,那么内部暴露空转的长度,和检测精度降低。另一个原因是,当只有一个ROI_O ROI_I发现,错误将之前使用正常的检测结果。假输送带边缘或假空转时检测到外缘,估计DD偏离地面真理。它也可以显示图像数量影响的结果DD估计不规则;也就是说,空转的水平剪切图像并不影响检测精度的主要因素,验证验证提出的间接空转外边缘检测算法。

(一)
(一)
(b)
(b)
(c)
(c)
图11
估计DDs在每个标准DD和拍摄高度。(一)DD: + 5%。(b) DD: 0%。(c) DD:−5%。

估计DDs为每个标准DD和拍摄高度,平均值和标准偏差(SD)是用来评估的准确性和精度,如表所示5。这表明估计DDs 2.4更接近地面真理比在其他拍摄高度。当标准的DDs + 5%,−5%,意味着估计DDs的5.04%和−5.03%至2.4米,这是最好的在所有的拍摄高度,和SDs在0.20%。当标准的DD是0%,估计的均值DDs在每个拍摄高度为0.3%以内。此外,RMSE和梅(32)是用来评估精度平均在每个拍摄高度。如表所示5、RMSE值和梅2.4分别是0.37%和0.44%,分别是最小的。在实验中考虑输送带的宽度是1米,RMSE和梅是3.7毫米和4.4毫米,分别,这是更准确比16毫米的误差12]。与此同时,2.4也是首选拍摄高度ROI检测。因此,可以得出结论,2.4是首选拍摄高度偏差检测的带式输送机。

表5
偏差检测的结果带式输送机。
3.3.3。时间消耗

该算法的时间消耗如表所示6。平均偏差检测算法135.5毫秒的时间消耗和比260 ms的快12]。时间消费主要由三部分组成:OM-SSD-2的时间消耗,输送带边缘检测,空转外边缘检测算法,几何校正的时间消耗和DD估计可以忽略。在每个偏差检测过程中,OM-SSD-2叫做两次;如果一个人的内在和外在空转被传送带上而不是发现,其余组件只会被调用一次。

表6
该算法的时间消耗。

是耗费时间执行高分辨率彩色图像的单应性变换(即, )。在本文中,所有的检测算法是在原始图像上执行,实现几何校正和DD估计只有4分,并显著提高了实时性能。

4所示。结论

在这篇文章中,带式输送机的偏差检测方法提出了基于检验机器人和深度学习在任何位置检测偏差。首先,带式输送机的形象不断被检查机器人,并提议的ROI提取ROI探测器基于M-SSD。其次,脚腕行变换算法用于检测输送带边缘,和椭圆的弧检测算法提出了基于模板匹配检测空转外缘。最后,提出了一种基于单应性变换的几何校正算法来纠正输送带边缘点的坐标和惰外边缘点,基于估计的DD传送带。从实验结果可以得出以下结论:(1)该方法可以在任何位置检测偏差的带式输送机,和镜头,它克服了镜头的缺点是容易污染现有机器应用方法。此外,这种方法提供了一种新的智能监控解决方案的带式输送机。(2)的准确性提出OM-SSD-2自建数据集是0.9995,输送带边缘检测方法和惰外边缘检测算法能有效地检测边缘。(3)实验结果表明,该方法可以检测传送带的偏差不断的RMSE 3.7毫米,4.4毫米的美,和平均时间消耗135.5 ms,这比现有的方法,和首选的高度是2.4米。

为了进一步提高带式输送机的性能偏差检测方法的,下面的研究可以在未来研究:(1)自建数据集应该扩展到提高该方法的适应性。(2)提高边缘检测的准确性和对象检测、互补信息应该融合到形象,和热红外信息在机械故障检测可能是最好的选择。(3)由于深度学习的强大的非线性映射能力和方便的访问多光谱数据,偏差检测方法基于端到端的深度学习框架和多光谱信息可能成为下一个研究方向,CNN-based图像配准,多光谱信息融合、目标检测,应当追究和偏差估计量,改进和集成。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称他们没有利益冲突有关的出版。

确认

这部分工作是由中国国家自然科学基金(批准号51274150),天津的科技重点项目支持,中国(批准号18 yfzcgx00930),和支持的重点研发项目成果转化继电器的天津,中国(批准号18 yfjlcg00060)。