文摘
随着轨道交通的不断发展,开关机的维护变得越来越重要,和接触深度的移动接触和静态接触开关机的关键部分。目前,手工测量方法的主要测量深度接触,效率低的问题,强烈的主观性。基于机器视觉的深度接触的测量包括两个步骤:移动和静态接触距离定位和转换。定位结果将对距离测量有重要的影响。因此,一个移动的定位方法和静态接触基于双层面具R-CNN (DLM)本文提出:首先,大致定位滑动接触的面具R-CNN获取预测目标区域;第二,目标区域的子图预处理;最后,精确定位用于确定的精确位置移动和静态接触。提出了DLM的准确性和鲁棒性验证的内部开关机的图像。
1。介绍
近年来,该技术在轨道交通领域的发展越来越成熟,和轨道交通安全是一个重要的属性。轨旁设备开关机等发挥重要作用在轨道交通的安全运行。一旦开关机失败,严重的火车脱轨事故会发生,所以开关机必须在良好的工作条件。开关机将不可避免地穿在日常使用中,需要观察和维护。的接触深度移动和开关机的静态接触决定开关机是否能正常工作,因此他们成为维护的关键。
移动和静态接触来完成这一任务是不可或缺的部分。如图1,红色的中空框静态接触区域,一个在顶部和底部。小红固体圆是静态接触本文摘要滑动接触时蓝色实心圆。它上下波动的状态之间的联系和开关机带式弹簧进行电流的开关机工作。黄线之间的距离是深度接触,可以计算的相对位置移动和静态接触。接触效应是由滑动接触的深度决定开车到静态接触。
其中,滑动接触的接触深度列和静态接触的开关机成为维护的关键。如果接触深度不符合标准,电路和一些严重后果会接触不良引起的深度。目前,仍然需要人工参与的检验开关机。由于开关机结构的复杂性,调查人员需要大量的专业知识和测试经验,测试方法不能被提升,等等。这些原因造成的低效率的维修和保护开关机。
维护效率可以提高通过使用自动方法测量接触滑动接触的深度和静态接触,和人工智能已经取得了很大的进步在数据驱动建模(1,2]。自动检测方法主要非接触检测,不会影响设备的表面变形和磨损。目前,常见的非接触距离检测方法主要分为超声波检测方法(3,4)、激光检测方法(5),基于立体视觉测量,机器视觉测量,等等。超声波和激光检测方法需要测量物体表面的反射率高。如果物体表面的反射率不符合标准,测量的效果会差。基于立体视觉的测量技术是更严格的数量和位置条件的相机。然而,在开关机情况下现场条件不满足上述需求的方法,和上面的距离测量方法不适合驾驶的检测深度的手机开关机的静态接触。因此,机器视觉测量方法被选中。
使用机器视觉自动测量时,第一步是准确定位和静态接触移动的目标区域,另一种是基于图像的距离测量。将大大影响结果的准确性,每一步和目标定位精度影响最大。因此,有必要选择一个准确的定位方法。
目前,目标位置的方法分为传统方法和现代方法。传统的目标定位方法包括特征提取和特征分类。模板匹配(6,7)是一种常见的传统定位方法。在图像特征提取方面,有局部二进制模式特性(8),面向的柱状图的梯度(猪)9,10],哈雾特性[11),和其他特性。在获得图像特征,[的相似性度量方法12,13)是用于分类和定位目标。一个基于模板匹配的动态定位算法14是阴等人提出的检测区域,宽度,和距离的槽的形状。这种方法的局限性是它需要较高的图像质量和无法识别匹配的旋转或大小变化的目标。这些传统的图像特征提取方法有很高的归一化图像,不能适应复杂多变的环境。在工程实践中的应用,在检测精度和抗噪声能力差,图像数据处理的鲁棒性弱,需要改善的影响。
随着图像处理和图像分类基于深度学习15- - - - - -17现代目标位置的方法,取得了重要的研究成果,如你只看一次(Yolo)的意思18),卷积神经网络(cnn)、区域卷积神经网络(R-CNNs),快速Region-Convolutional神经网络(快速R-CNNs) [19),快Region-Convolutional神经网络(快R-CNNs) [20.),而面具R-CNN [21- - - - - -24]。目前,面具R-CNN是个优秀的深度学习网络与上一代相比。它增加了分割树枝和同步进行目标检测和分割任务。介绍的对齐(RoI)对齐来取代的池(RoI池)R-CNN更快,这大大提高了区域分割的准确性。与传统方法相比,面具R-CNN强高层语义抽象能力,翻译不变性的卷积神经网络在训练和尺度不变性,这对图像分类也是必要的。面具R-CNN是最有效和广泛使用的方法在目标位置。
当我们使用面具R-CNN一步定位开关机的静态接触,我们发现滑动接触的定位效果好但静态接触的定位效果很差。这是因为开关机底盘的内部结构很复杂,有许多地方相似的形状和颜色,和静态接触的形状位置太小,这将导致定位精度较低的静态接触面积。因此,静态接触面积不能一步面具R-CNN准确定位的方法。
解决上述问题,本文提出了使用两个面具R-CNNs定位移动和静态接触,分为粗定位和精确定位。粗定位本文的定义如下:面具R-CNN用于得到包含移动的子图和静态接触面积,从而降低无关的环境的影响,提高后续的定位精度。精确定位的定义如下:在子图预处理后,面具R-CNN用于定位移动和静态接触,最后得到他们的准确位置。定位不准确的问题,可以有效地解决了DLM的静态接触。
与R-CNN相比,改善了DLM在于以下几点:由于使用多步定位方法,DLM的定位精度将高于R-CNN,尤其是对对象与一个较小的像素值。R-CNN定位目标时,它使用一个矩形框来定位,而DLM精确到像素级,这有利于随后的接触深度测量。R-CNN的训练过程是非常复杂的,包括预处理训练样本、参数调整、支持向量机训练,和边界框回归训练。使用多个gpu加速DLM训练时间,提高了效率与R-CNN相比。
本文的主要创新如下。(1)机器的移动和自动定位方法建立的静态接触开关机,提出了一个复杂的环境中进行精确定位。(2)一个multimodel方法提出了对象位置和子图分割。DLM方法用于解决问题,很难找到小像素对象大像素的图片,和提高定位精度。
本文的其余部分组织如下。部分2介绍了面具R-CNN理论。部分3描述的理论提出了DLM开关机移动和静态接触定位法。部分4介绍了DLM理论的实验结果,验证DLM的准确性的提高相比单一面具R-CNN和Yolo。意思部分5全文总结和前景。
2。面具R-CNN的基本介绍
图像分类是图像识别的基本任务。面具R-CNN主要用于目标检测和实体分割。它输入图像和输出图像类和对象的面具。其网络结构如图2。
与快速R-CNN相比,进行一些更改如下:(1)ROI池层替换ROI对齐(2)添加平行FCN层(3)添加特征提取网络resnet101 +红外系统提高特征提取能力
面具R-CNN采用多任务损失函数如下:
的损失函数,每个ROI区域包括三个部分:分类边界框的价值损失,位置回归边界框的价值损失,和损失的价值的面具。面具分支维输出为每个RoI (面具和数量吗该决议)。数量有2(2类:目标和背景)二进制面具决议在训练。针对一类RoI,只考虑这个目标类的面具。其他类型的口罩的输入不会损失函数计算。在功能层 ,每个值是一个二进制掩码:0或1。第一个目标地区的预测,第一个功能层的第一个决议被选中,然后平均损失计算二进制叉,这是面具的损失函数的分支。
3所示。移动和静态定位基于DLM联系
3.1。算法流程
本节将介绍算法的基本过程,具体过程如图3,整个过程分为两个步骤。第一步是粗略的定位,开关机输入的原始图像到步骤1面具R-CNN粗定位,以获得移动接触面积,消除其他无关紧要的不利影响在随后的测量区域像素。第二步是精确定位,这过程获得的移动接触面积的形象在步骤1中获得与固定大小的子图,包括移动和静态接触。子图是输入步骤2面具R-CNN和静态接触可以准确地通过pretrained子图模型准确的接触深度测量。
的基础上面具R-CNN, DLM可以在复杂的环境中实现精确定位并解决问题,开关机的内部结构很复杂,普通定位方法的效果是不好的。可以使用DLM定位小物体在大图像,实验结果表明,它可以提高定位精度。
3.2。粗略的定位
在大多数情况下,手动开关机的照片的方向是不一样的。因为输入图像的大小在神经网络输入层,将被重新设置一些图像将被压缩,导致偏差在距离测量。因此,在调整大小,图像的长度和宽度计算决定是否90°旋转图像。
固定大小和方向的照片放到网络,模型1加载测试,和移动预测的接触面积,如图4。黑色背景是原理图的原始图,和白色的部分是感兴趣的领域的面具R-CNN步骤1,也就是移动的接触面积。
3.3。精确定位
由于大尺寸的图像数据集,静态接触占更少的图像中像素,因此很难直接从原始图像定位,很容易导致定位偏移和不完整的面具。为了得到静态接触更好的位置,本实验采用循序渐进的方法。在获得滑动接触的位置,从粗定位,进行预处理和子图分割,然后预测子图的静态接触的位置。在此方法中,有四个步骤如下:(1)灰度处理进行的预测区域滑动接触的面具。因为预测区域的颜色不同于背景,很容易变白后段的边缘。(2)灰度图像的关键是形成一个黑白图像,这是容易找到最小的封闭循环,如图5二值化。(3)二进制图像,顶部,底部,左,和白色区域的像素标记为A, B, C和D,和最小的圆的半径和中心C1周围的4个点计算,如图6(一)。然后,对每个像素重复操作一次。如果有一个点e边界之外的C1, e添加到,B, C,以及d继续寻找最小包容圆C2,如图6 (b),直到所有的像素没有界限的指出,这圆的中心坐标的中心坐标移动接触。(4)以获得中心坐标为中心拦截固定大小的小图表,图表是后续处理的子图。处理过程如图5,包括灰色,二值化,最小的封闭循环,获得最终的接触面积。
(一)
(b)
固定区域的子图由滑动接触拦截列上一步获得的中心坐标,如图7(一)。如果滑动接触列坐标得到的第一个模型是图像边缘太近,被截取的图像面积将超过极限,如图7 (b),导致程序崩溃。
(一)
(b)
(c)
为了解决这个问题,一些黑色像素填充每个图像的边缘,和移动呼叫中心已经在二维空间中对应的像素,解决问题,截图的中心接近边缘的图像和截图失败。处理后的效果如图7 (c)。精细定位所需的子图可以成功地通过像素扩张。
子图发送到面具R-CNN精确定位的步骤中,我们可以得到准确的移动接触和静态接触面积。定位的准确性决定了接触深度测量的准确性,因此有必要使用DLM方法。
4所示。实验结果
4.1。实验环境和数据集建设
以下4.4.1。实验环境配置
在这个实验中使用的实验环境如下:专业的操作系统是Windows 64位;中央处理器是英特尔i7 - 8700 @ 3.2 ghz;GPU NVIDIA GeForce RTX 2080;深度学习框架Tensorflow 1.5.0;记忆是32 G;编程语言是Python 3.5。
4.1.2。数据集建设
本文中使用的数据图片来自通过手动开关机拍照手机。由于不同大小的图片,有必要统一图片大小9601280年。为了模拟识别率在特殊工作条件下射击条件差,一些操作,如角转换、亮度变换,增加噪音。图像的数据集是非常不同的,定位是具有挑战性的。
粗定位的训练集由500开关机的内部图片,和精确定位的训练集由1500子图。每个测试组有50个图片,总共6测试集。本文提出的方法用于收集定位结果的六倍,和移动的定位精度和静态接触的开关机。
本实验采用转移学习方法,可可数据被用作pretraining模型加速模型的收敛时间。
在这个实验中,判断它是否的关键是积极的还是消极的样本是由十字路口在联盟(借据)。的判断候选人是否框架锚是一个积极或消极的样本为例。如果校准阈值是0.5,然后计算每个引用框之间的借据和地面真理。如果超过设定的阈值,这是一个积极的样本,否则负样本,地面坐标的获得真理的左上角和右下角的面具训练图像标签。 在哪里锚参考箱和吗是地面真理。
因为这个实验涉及到感兴趣的位置,面具分割,和目标分类、三个判断阈值集。特定的值如表所示1。
4.2。分析单层面具R-CNN定位结果
为了验证DLM精度高和鲁棒性的方法,单一位置方法用于设计的比较实验。只有单层面具R-CNN用于定位的接触开关机画面。
移动接触面积得到单一的定位很准确,这是类似于粗糙在DLM定位方法的方法。然而,对于静态定位的接触,因为目标面积小和原始图像是9601280大像素图像,静态接触面积很难确定。比DLM定位效果较差方法在本文中。如图8,滑动接触的面具是准确的,但是静态接触的面具是不完整的,甚至消失了。
4.3。粗略的定位结果的分析
4.3.1。粗略的定位开关机移动接触
图像输入预测到在步骤1中面具R-CNN面具的分割图像。滑动接触的比较定位效果如图9。图9(一个)是原始图像被手机,和图吗9 (b)是定位和标记的结果由面具R-CNN原始图像。
(一)
(b)
滑动接触的地区利益获得如图9 (b)分割前处理。灰色后,二值化,最小包容圆,圆实验获得的高与原始图像重叠。具体的实验照片如图10。
从图可以看出10该方法中提到的部分3所示。3可以用来定位滑动接触在极端条件下,和面具涵盖了一个完整的区域没有导致圆的中心转变。
4.3.2。子图采集和识别
在滑动接触的区域分割原始图像,为了防止分割失败,像素进行扩张。结果表明,有效扩大200黑色像素的两个维度,和200像素的分割过程中被添加到相应的坐标。子图的大小不会改变分割后,如图11。
(一)
(b)
根据每个滑动接触的中心坐标处理目标区域后,子图分割,分割图像如图12。可以看出,所有的子图包含所需的部分接触深度测量。
4.4。精确定位结果的分析
粗定位得到的子图输入到第二阶段面具R-CNN获得感兴趣的区域的静态接触,这是一个接触深度的后续计算的重要基础。
其中,分割的滑动接触原始图片如图13(一)图13(b)显示滑动接触周围的关键领域确定的精确定位步骤,包括带弹簧和静态接触。带弹簧的面积和静态接触的面积数据所示13(c)和13(d)。通过计算圆柱的中心之间的距离和区域利益桨和静态接触,接触的深度可以计算和静态接触移动。
(一)
(b)
(c)
(d)
的多任务损失函数曲线掩盖R-CNN如图14。
(一)
(b)
(c)
(d)
的变化过程的损失函数值子图模型如图14。训练用的数量x设在,损失函数值是由y设在。数据(14日)- - - - - -14 (d)显示了损失函数、分类分支损失函数,面具分支损失函数,分别和定位分支损失函数。从图可以看出14的损失往往收敛增加训练时间。有跳形式在每个图的中间,因为从只有培训网络模式转变全球培训。尽管损失函数的曲线表明,它是收敛的,有时训练时间达到一定值时,损失函数突变将会出现,所以我们需要参考趋势图的损失函数在选择模型。
移动的定位的准确性和静态接触设置。真正的接触( )表明样品的数量与正确定位的接触。真正的静态接触( )表明样品的数量与正确定位的静态接触。滑动接触的准确性( )显示活动触点的定位精度。静态接触(精度 )显示静态接触的定位精度。每个原始图像有三个静态接触,所以在这个实验中,只有当这三个静态接触定位在一个图像可以被认为是正确的。共有六个样本组,每组和样品的数量是50。DLM定位结果数据如表所示2。
,如图15,集团为代表的数量x设在,所代表的精度y设在,滑动接触的定位结果统计的红线,和静态接触的定位结果由蓝线数。根据DLM的结果,可以看出,静态接触比滑动接触,更难以找到和之间存在正相关的静态接触和定位精度的接触。在SPSS软件相关计算,R值大于0,等于0.955,接近于1,即意味着两组数据呈正相关,相关性强,值为0.02,小于0.05,两组实验中获得的数据有显著的正相关。这也表明,两步定位过程中,每一步都会有一个重要的定位结果对后续实验的影响。
表3显示定位结果的三种方法的移动和静态接触开关,分别。因为Yolo和R-CNN意思是常用的算法在目标位置,我们比较他们增加文章的可靠性。的数量和是六组的总和的结果。直观上可以看到在图的数据16。
从图可以看出16,没有很大的区别在DLM移动定位精度的联系,Yolo,意思和R-CNN面具,和他们的准确率是97.33%,97.67%,95.67%。然而,静态接触的准确性是非常不同的,这意味着静态接触小原始图像的像素并不容易找到。静态接触定位的准确率基于DLM是94%,而Yolo 62.33%意思和面具R-CNN是5%。DLM算法可以用来解决静态接触定位精度的问题。目前,该算法达到了检测精度高,可以达到94%在正常情况下,它也有一个好的检测效果在照片严重的工作条件。
与此同时,它可以从图中找到16Yolo比面具R-CNN意思的一步定位的静态接触。这是因为Yolo定位结果是一个矩形框,意思有静态点及其附近地区。但是,面具R-CNN可以准确定位像素级,所以检测面积远小于Yolo,意思导致定位效应的差异。
5。结论
本文提出了DLM定位开关机的移动和静态接触。首先,进行粗定位得到原始图像的移动接触面积为后续测量;其次,进行精确定位。从粗略的定位是预处理获得的子图,然后进行二次定位目标区域的提高检测精度。通过两个定位,可以准确地获得静态接触面积,提高自动接触深度测量的准确性。实验结果表明,DLM可以自动定位开关机框的内部零件在批,静态接触的定位精度大大提高,和鲁棒性好。
开关机移动的定位和静态接触基于DLM更好的促进轨道交通维护工作的自动化,减少了维护人员的劳动强度,为进一步的研究提供了一个参考未来检验工作。本文中的检验方法也可以应用于各种工业场景,以提高操作效率。本文的DLM方法有以下几点需要改进:(1)DLM是两步定位方法,该方法需要很长时间与一步法相比,定位,因此检测效率需要改进(2)面具R-CNN训练之前,大量的标签需要手工制作,和训练效果与标签生产(3)角修正算法可以有效地解决角便携设备造成的干扰
数据可用性
使用的数据来支持本研究的发现可以从相应的作者。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作是由中国国家自然科学基金(51975347)上海值得信赖的工业控制平台的开放项目(TICPSH202103003-ZC)。