文摘
电动铲子广泛应用于矿业挖矿石,和牙齿铲子的桶可以失去了由于操作期间矿石材料施加的巨大压力。当牙齿脱落,进入破碎机与其他矿石材料,严重损害破碎机齿轮和其他设备发生,导致数以百万计的经济损失,因为它是高锰钢板做的。因此,迫切需要开发一个高效的算法和自动检测破碎的牙齿。然而,现有的方法检测破碎的牙齿有什么影响和大多数的研究依赖于传感器的技能,将会被封闭腔在铲和在实践中不稳定。在本文中,我们提供了一个智能计算机视觉系统用于监控牙齿条件和检测缺失的牙齿。自进行像素级算法进行计算的数量应减少到改进算法的优越性。释放压力计算的后续工作,突出检测提出了基于深度学习从视频中提取关键帧图像的流由摄像机安装在挖掘机上包括牙齿我们打算分析。此外,为了更有效地监测条件和检测缺失的牙齿,牙齿的语义分割基于深度学习处理得到牙齿在图像的相对位置。一旦完成语义分割,浮动图像包含牙齿的形状。有效地检测缺失的牙齿,图像配准算法。 Finally, the result of image registration shows whether teeth are missing or not, and the system will immediately alert staff to check the shovel when teeth fall off. Through sufficient experiments, statistical result had demonstrated superiority of our presented model that serves more promising prospect in mining industry.
1。介绍
铲挖掘机被广泛用作初级生产设备移除覆盖在地表采矿和矿石材料由于其灵活性和流动性(1]。他们挖的工作前和负载采矿卡车在3至four-pass加载周期。铲由三个主要组件:低架,顶架和附件桶(2),负责挖掘有效载荷的卡车。装载机的铲斗齿是装载机的结构的一个重要组成部分3),以及一个脆弱的一部分;越来越多的斗齿的一部分在桶的前端,以减少摩擦(4]。铲加载过程中,斗齿与岩石材料直接接触,所以它的工作条件非常糟糕;它不仅增加了斗齿磨损量的但也导致桶的牙齿,牙齿坏了,后脱落。它会导致一系列的问题,比如增加铲在加载操作期间的摩擦阻力,加速桶的磨损,影响其使用寿命。牙齿必须更换如果坏了。据统计,目前有2000年到2500年在中国大规模矿山挖掘机服务,和每年直接经济损失的失败牙达到约3000万元。更糟的是,高锰钢板制成的牙齿比矿石材料具有更高的硬度。如果硬齿进入破碎机以及矿石材料,严重损坏破碎机齿轮和生产线。目前,它是不可能完全避免牙齿的骨折虽然许多学者进行了大量的研究工作从牙齿力学分析(5),铲齿的最佳更换时间(6),牙齿材料(7),和热处理方法(8]。
在这种情况下,机器视觉技术结合自动检测算法可以实时监控牙齿的工作状态。牙齿脱落时,它可以提供准确的预警信息和指示工作人员及时处理,具有重要的现实意义和经济价值的生产。许多学者和企业已经做了很多研究工作发现的铲齿断裂和脱落。Xiujuan罗提出了一个检测系统的解决方案,它使用激光测距仪扫描和重建三维模型的牙工作状态,然后比较它与原始模型,以确定是否有牙下降20049]。提高计算速度,它使用并行计算方法来收集和处理数据同步,这样整个检测系统具有更好的实时性能。该方法由照明和环境变化的影响较小,具有良好的检测效果与机器视觉检测方法。李,他提出了一个新颖的目标检测算法相结合的外观,结构,和形状特性(2011年10]。它遵循的模式对象的检测部分,首次使用探测器为对象的各个部分,然后开发中实施结构性限制部分检测的整个对象。他们进一步整合先验形状信息对象部分的检测,以提高对象检测器的性能。验证这个物体检测算法,把它应用到检测齿线的挖掘铲,在各种照明条件。实验结果表明,该系统可以显著提高检测的性能时使用形状信息的一部分。Ser南林提出了视觉系统用于监控牙齿条件和检测失踪2016年矿业铲齿(11]。首先,它提取图像样本的桶在铲的运动和使用这个样本信息来定位齿的近似位置。第二,它使用帧差分法,光流法正确的结果,然后使用模板匹配和牙齿齿线拟合方法来准确定位目标。最后,它结合了牙齿图像的灰度特征来确定牙齿脱落。卓越的性能和高可靠性的系统已经被实验证明视频序列收集从一个铁矿石矿区和两个月的试验安装单位在生产线上。阿卜杜拉阿尔玛'aitah利用芽WSN平台监控钢牙齿铲铲设备用于在英尺McMurray油砂开采业务,加拿大亚伯达省(12]。豆芽平台是利用监测的可行性铲的铲齿桶的牙齿适配器。此外,如果一个shovel-tooth变得超然,豆芽是用来估计它的位置。Hannington关注一个方法来防止牙齿的结局在破碎机基于红外探测系统读取桶概要文件每次运输量2008年铁矿石到卡车。同时,市场上出现了另一个检测系统研究和可能的预防性维修计划建议(13]。
与深度学习技能的快速发展在多个领域(14- - - - - -17],在这篇文章中,一个新颖的电动挖掘机牙齿缺失的检测方法包括以下重要步骤提出了监控牙齿条件和检测牙齿脱落。首先,突出基于深度学习的对象检测提出了有效提取视频的关键帧流并释放计算终端的压力。此外,铲齿是相对特殊的工作环境,和混乱的矿石会产生很多噪音帧图像。提出了语义分割得到的相对位置的牙齿在嘈杂的背景。最后,检测破碎的牙齿,介绍了图像配准的方法。提出的过程,没有人类的影响,电动挖掘机牙齿缺失的检测方法是保证自动高精度的速度和结果。我们建议的程序缺失牙质量检测是一个全自动的,它提供了在采矿行业具有重要意义。如果这项工作由人力资源支持,它应该增加危险风险尤其是低可见环境。此外,根据实时人力监督检测,精度不能保证从经济的角度,将导致巨大的成本。
总结我们的主要贡献如下:(1)基于深度学习的显著目标检测提出了删除无用的帧图像和释放计算压力的后续工作。因为边缘凸检测完成后,进行像素级算法的效率提高。(2)语义分割可以找到相对位置的牙齿帧图像和解决噪音问题产生的电动挖掘机的工作环境。基于机器视觉的与以前的方法相比,实验结果的语义分割更有效。(3)图像配准的牙齿转换成矩形结构;通过处理图像配准实验的结果,提出的策略是能够处理系统不确定性引起的电铲齿的工作环境。最后的结果表明,电动铲牙检测算法适用于实际生产的高精度。
2。方法
该方法是一个智能计算机视觉系统,它由凸物体检测、图像分割、图像配准。一般来说,铲齿的数量是固定的, 。这个不变量值可以作为一个指标的检测缺失的牙齿和关键帧提取。通过设置发现牙齿的数量 ,我们适应以下公式来确定是否牙齿缺失:
当 ,没有牙齿的形象;当 ,牙齿坏了;当 ,这是在一个正常的状态。
2.1。显著目标检测
在采矿过程中,数十个矿山机器同时工作。更有效地检测是否铲在每台机器上的牙齿缺失,摄像机安装在每个铲监控状态的牙齿。相机的位置检测系统具有重要意义。最好的位置应该允许安装摄像头是稳定在操作如图1。监测过程中牙齿,视频帧的帧图像提取边缘照相机获得的计算。如果每一帧图像的视频发送到服务器终端,计算将会非常大,这将降低计算效率,需要高度的服务设施。
(一)
(b)
缓解的压力数据处理中心,确保设施的成本,我们提出了一个策略基于显著目标检测获得更重要的帧的视频流量和删除不必要的帧。本文的目的来检测是否铲上的牙齿缺失,缺牙时及时报警。因此,当没有牙齿的帧图像,我们可以确定,这帧图像是一个不必要的帧图像。的功能显著目标检测是找到感兴趣的区域(ROI),显然,在本文中,我们的ROI是牙齿。显著目标检测的概念特征图的深度学习取决于像素值位于深层神经网络。一般来说,像素的值指示前台我们探索的突出部分。
然而,传统的显著目标检测基于深度学习有很多问题:(我)培训分为几个阶段,步骤比较复杂:微调网络+训练支持向量机+训练边境回归(2)培训是耗时和占用大量的磁盘空间:5000图像产生数百gb的特性文件(3)计算缓慢:需要47年代VGG-16利用GPU处理图像
计算效率低和大量的计算不是我们愿意看到的边缘计算。基于这些传统的突出对象的缺陷检测和我们的目的来删除不必要的帧图像,提出了一种神经网络的二分法,保留帧图像用牙齿和删除标记帧图像没有牙齿。网络结构如图2。
模型包含三个简单的卷积层和两个完整的连接层。通过计算在这个网络的参数,可以发现网络结构的复杂度低于AlexNet。边缘的低复杂性网络结构决定了效率计算,提高了整个系统的效率的前提下实现显著的检测。
2.2。图像分割
突出的对象检测后,得到关键帧图像。为了便于后续的图像配准检测铲牙,图像分割是进行提取信息的牙齿。显著目标检测过程中,发现牙齿的位置相对倾斜,和牙齿的大小太小了。因此,常见的卷积神经网络是不能够完成高精度图像分割,因为无法获得信息的牙齿。在这种情况下,采用DeepLabV3 +模型,实现准确的收购牙齿信息通过扩张卷积处理图像配准,最后意识到牙齿缺失检测。保证实验的科学性,膨胀率变化为零作为常见的卷积神经网络的对比测试。通过对比的结果正常卷积神经网络和扩张的结果卷积神经网络,它表明扩张卷积是更有效。
DeepLabV3 +是一种有效的图像分割模型。它扩展了DeepLabV3 +优化结果与一个简单、高效的解码器模块,尤其是在目标边界。此外,encoder-decoder结构,提取编码器的分辨率特性可以控制任意使用扩张卷积妥协精度和运行时间。深黑色的空间金字塔池(ASPP)模块包含四个扩张卷积层和一个全局池层。在本文的实验,更高效的图像分割是通过调整内核在ASPP卷积的膨胀率。译码器进行11卷积前减少渠道低层次信息的融合。然后,upsampling编码器的结果,结合前面的卷积和翻了两番 卷积。最后,最终的结果是upsampling通过四倍。特定的网络结构如图3。
获得更多的像素信息,根据权限没有添加参数,它包含扩张卷积层DeepLabV3 +。然而,有网格效应(18)在扩张卷积自卷积核并不连续卷积层深处。在这种情况下,总有一些像素没有参与计算。此外,很难实现扩张卷积的小对象的分割与大膨胀率。因为本文牙齿很小的相对大小的图像,扩张卷积小膨胀率提出了确保牙齿的准确分割。确保所有像素都参与计算,深卷积层的膨胀率满足以下公式: 在哪里的最大膨胀率吗th层和表示的膨胀率th层, 。
实际工作中发现,牙齿的相对位置和大小由相机记录图像中是不断变化的,这是一个具有挑战性的难题。DeepLabV3 +采用扩张卷积级联的结合和与多个扩张率有效地提取多尺度的语义信息。结果,无论相对位置的牙,无论大小的牙齿模型过程有效地图像分割。同时,通过结合映像级别信息,全球ASPP提取语义信息的能力提高进一步改善效果。
2.3。图像配准
图像分割后,二进制图像仅包含牙齿了,如图4(一个)。在本节中,提出了图像配准来检测是否牙齿缺失。牙齿的数量(的形象米)是零被删除在突出对象检测。因此,在图像配准过程中,牙齿的数量(米范围从1到5。
(一)
(b)
图像配准的过程中,参考图像是首先设置的。本文获得的图像经过图像分割非常相似,除了牙齿的相对位置是不同的。同时,每个齿的相对位置是相同的。因此,一个相对清晰的图像从图像分割获得完整的牙齿可以用作参考图像。最后参考图像显示五个几乎相同的矩形结构底部的二进制图像,如图4(b)。
然而,在分割图像,牙齿的相对位置是不同的,图像的像素的信息也非常不同。图像配准的参考图像和过程如图所示4。如图5,牙齿在注册图像底部的形象,有明显的矩形结构。当没有牙齿缺失,注册图像包含五个矩形结构。牙齿缺失时,矩形结构的数量小于5。此外,注册图像是一个二进制图像,这是非常有益的一些边缘检测等处理方法。因此,我们在注册检测矩形图像并计算矩形的数量来确定是否牙齿缺失。
3所示。实验和讨论
我们所进行的实验,分为三个主要部分:(1)显著目标检测,(2)图像分割,(3)图像配准。
第一组实验进行删除图片没有牙齿,减少的数量计算,第二组实验进行找到感兴趣区域(ROI)和牙齿的位置在图像。此外,它应该注意到多个膨胀率提出了提取multisemantic信息,和扩张卷积神经网络合同正常卷积证明DeepLabV3 +模型更有效地工作。第三,图像配准进行检测是否牙齿缺失或不通过计算矩形的数量。
3.1。数据集和硬件
本文中的数据集来自视频的帧图像由铲上的相机拍摄的。帧图像从视频流中提取,包括500年和500年没有牙齿。标记这些图片之后,百分之二十的图像作为验证测试训练模型,和其他百分之八十的图像作为训练集训练分类模型。的培训和推理模型运行两个NVIDIA GTX1080 Ti 11 GB gpu, 32 g RAM,英特尔i7 - 7700 k的8芯4.20 GHz CPU。特别是,我们没有采用任何预处理的噪音对我们的数据集管理为了保持原始细节,避免可能的构件进行培训和推理过程。
3.2。显著目标检测研究
减少终端服务器的计算,显著目标检测,提出了删除的图片没有牙齿。为了解决传统显著目标检测的缺点,两个神经网络是适应删除图像标签没有牙齿。
3.2.1之上。预处理
这组实验旨在利用边缘计算减轻终端服务器的压力。因此,为了更快地完成边缘计算,降低了计算量,图像大小为643所示。
3.2.2。参数
网络的详细的连接和内核配置见图2。和所有卷积核的大小是一样的大小的33所示。池层的每一个卷积层MaxPooling,内核大小是22,步长是2。这种神经网络的数量是233472,小于AlexNet的一半。亚当优化器是调整学习速率为0.0001。批处理大小设置为32,迭代次数设置为8000。
3.2.3。培训过程
通常,太多的迭代可能导致模型以适应训练的噪音和不必要的特性集,然后出现过度拟合。过度拟合的情况下,模型的高复杂性和不工作的数据除了训练集。为了避免过度的计算,验证数据集的损失函数和验证数据的准确性被改编为模型选择的评价指标。当验证数据的准确性达到高水平和准确性不是提高10时代后,也损失函数是不拒绝,提前终止迭代。最终的模型。在训练过程中,训练数据集的准确性验证数据的准确性,损失函数的验证数据集在图所示6。
如图6,验证数据的准确性和训练数据集内达到全球最大50时代,和损失函数的验证数据集不会减少在随后的时期。如图6定期培训和验证的准确性波动,因为一些组织采样图像含有大量噪声由于复杂的野外工作环境,导致语义分割的糟糕表现。因此,为了防止过度拟合训练模型,迭代的数量变成1600年时代到64年,减少训练时间和训练模型的计算量。培训结果如图7。
4所示。结果
从图可以看出7,在时代,训练数据集的准确性和精确性和验证数据集的损失函数达到最优水平。训练数据集的准确性为93.75%,验证数据的准确性为96.87%,和损失函数的验证是0.0965。因此,“teeth-no牙齿-模型- 1400”生成的模型训练时代是适应检测是否牙齿缺失。
工作的一个视频流铲挂牌交易,所有帧图像提取,和帧图像放入训练有素的预测模型。如果图像的预测结果是“ ,“这张图片保存在接下来的实验的一部分。否则,这张照片被删除。在预测实验中捕获的视频帧图像的,预测结果都是正确的,表明该模型有效地预测。的卷积三层网络,图像的特征图谱与牙齿和没有牙齿下图所示。正是通过学习这些特性,我们的模型可以正确地预测是否图像包含的牙齿,然后完成显著目标检测。
4.1。图像分割
检测是否牙齿缺失,应该发现牙齿的相对位置。DeepLabV3 +模型用于处理语义分割发现牙齿的位置。膨胀率调整几次在我们的模型中,以避免卷积过程中缺失的信息。卷积来验证扩张的优势,网络改变的膨胀率为零的对比实验。
以下4.4.1。进行预处理
首先,为了方便以后的培训过程中,帧图像大小为512512年。然后,感兴趣的区域的图像通过“注释“一个图像标记的工具。图像与牙齿与牙齿的位置标记,和图片没有牙齿不需要任何操作。图像标记完成后,为了保证我们的模型的合理性,图像处理方法如旋转、缩放和裁剪,处理过的图像添加到数据作为新的图像。在图所示的标记图像8。
(一)
(b)
(c)
4.1.2。参数
的细节DeepLabV3 +如图3。在本节中,模型的结构将不会改变,但膨胀率改变了扩张防止信息丢失的卷积。获得每个像素的信息扩张卷积,膨胀率改为0,1,2,3。之后,证明的优越性扩张卷积图像分割,扩张率设置为0,0,0,0进行比较实验。
4.1.3。培训
彩色图像转换为灰度图像进行训练,减少色差日夜带来的噪声。最初的学习速率是设置为0.01,将动态地调整学习速率(19]。
4.1.4。评价指标
(我)像素精度意味着正确的比例分类像素点在所有像素点。在本文中,只有两种类型的类的像素:牙齿和背景。代表背景像素的总数预计的牙齿。代表真阳性,意思是假阳性,意味着假阴性,代表真正的负面: (2)意思是交叉在联盟是标准的语义分割的度量。它的比例计算两个集合的交集和工会,真正的价值,预测价值。计算交点在每个类和联盟平均,然后得到如下:
4.1.5。结果
后1000时代的训练,一个相对有效的语义分割模型的牙齿。损失函数的变化趋势,像素的准确率在培训过程如图9。
(一)
(b)
(c)
(d)
从图可以看出9经过1000次的训练,指标稳定。然而,太多造成的,以避免过度拟合迭代,第512期的训练结果改编为语义分割我们的模型。从图可以看出9当迭代达到第512期,损失函数在一个时代是稳定在大约25,一个迭代的损失函数是稳定在0.3左右,约为0.95,大约是0.75。因此,第512期的模型是一个非常有效的训练结果。模型适应过程几十个图片不是在训练数据集进行语义分类,找出这些图片的牙齿。后,手动验证预测结果发现,牙齿的预测结果是准确的。此外,训练数据集包括灰度图像在这个实验中,日夜的图像可以准确地分割出牙齿。分割结果如图10。
4.1.6。比较实验
比较实验进行验证的有效性扩张卷积。膨胀的扩张率卷积层改为零,和一个新的模型。通过观察模型的评价指标,比较实验结果如图11。
(一)
(b)
如图11,扩张卷积的结果更好。在第500期模型是稳定的,但比较实验直到第1000期才会收敛。此外,实验结果的扩张卷积是相对稳定的,而其他的结果显示每个时代后巨大的差异。因此,这组比较实验有效地说明了快速收敛和稳定的优秀特性实验结果扩张卷积的牙齿语义分割。
4.2。图像配准
图像分割后,牙齿的二进制图像。牙齿的数量这些二进制图像被认为是度规排放是否牙齿缺失。因为牙齿的形状类似于一个矩形,矩形的数量计算后的图像注册。如果牙齿的数量小于5,牙齿人失踪;否则,它是完整的。
首先,参考图像是图像配准的需要。一个图像较清晰和完整的牙齿被选中作为参考图像从图像配准的结果。由于相机的视角,牙齿总是只集中在图像和向上或向下移动。注册过程并不复杂。图像配准实验的对象都是牙齿的二进制图像从图像分割在以前的实验。图像配准后,计算矩形底部的图片。实验结果显示在图的一部分12。
根据矩形结构的数量登记实验结果,有一些缺陷在判断是否牙齿缺失。矩形结构的最小矩形覆盖每个连通域的图像。当连接多个牙齿由于噪音,如图(13日)计算矩形的数量的方法失败。此外,当牙齿破碎不脱落,如图13 (b)破碎的牙齿也将图像配准后的矩形结构。由于噪音,可能有更多的矩形结构比牙齿图像配准的结果,如图13 (c)。因此,这种方法不工作。
(一)
(b)
(c)
因此,另一种方法,提出了适应面积比牙齿的注册图像参考图像作为评价指标。噪音会影响该地区,更准确地判断牙齿损坏或脱落,牙齿在注册图像的面积计算,牙齿都位于参考图像。图像配准中,由于噪声、登记异常发生。如图14,牙齿面积的比例在注册图像参考图像太小或太大。
(一)
(b)
不考虑同时脱落或断裂的多个牙齿,下面的阈值来判断是否牙齿脱落或骨折可以获得:(我) ,登记异常(2) ,至少一颗牙齿脱落(3) ,一颗牙齿骨折(iv) ,牙齿完好无损(v) ,登记异常
来验证图像配准的有效性,我们进行了两组测试实验,观察测试结果。两组实验的数据集由以下组成:一个是在70年正样本没有牙齿缺失和35负样本缺失的牙齿,另一个是65正样本和20负样本。测试实验结果如表所示1。
从表可以看出1,所有负样本可以准确检测,检测精度超过95%。然而,仍然有一些图片没有发现破碎的牙齿破碎的牙齿图像,仍然是一个假警报率,但它仍然可以满足牙齿的缺失检测功能。
通过观察图像的假阳性,铲的空间位置是罪魁祸首。当铲远离相机,图像中的相对大小很小。另一方面,当铲靠近相机,相对规模很大。调整多个图像处理是一种有效的解决方案。这些图片是名为“ 。”的空间位置的差异铲,七个参考图片被选中,如图15。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
图像配准后,因为严格的登记是适应本文的起点可以找到注册的像素特征。如图16,红线代表了图像配准的起点和获得红线的纵坐标 。从图17登记,每个分母的形象都有一个起点,这是 。而 ,的分母图像面积比的调整。
展示实验结果更清晰、图像的面积比小于0.6比1.1删除异常或大型注册图像。检测结果可分为两类:(我) 意味着不正常的牙齿(2) 意味着完整的牙齿
与此同时,检测实验转化为two-classifier,阈值的选择是至关重要的。中华民国曲线是适应获得最佳阈值。
设定一个范围的阈值后,一个分类表(混淆矩阵)为每个阈值是建立。每个表产生一个点ROC曲线(20.]。表2显示了如何计算这些点的表演。这些阈值将数据集分为两个子集:错误并没有错误。如以下公式所示,ROC曲线上的点的坐标得到的混淆矩阵:
最接近点对点是最好的阈值的分类器(21]。如图18最接近点对点的坐标是 和这个点的阈值是0.899。在选择相应的分母图像,阈值是接近理想值为0.9,显示了实验的逻辑正确性。本文实验也已被证明有高工作效率时应用于鞍钢矿业公司的我。
5。结论
本文提出了一种基于深度学习的检测方法检测的失踪我的牙齿电动挖掘机。该方法有效地解决了不稳定的传统方法,可以实时监控铲齿的状态,并能及时检测牙齿脱落或断裂。矿山生产具有重要的现实意义。
数据可用性
原始数据支持了本文的结论将由作者提供,没有过度的预订。
的利益冲突
作者声明,关于这项工作他们没有利益冲突。