文摘

全球模板匹配(GTM)常用于铁路紧固件的定位,只有紧固件模板用来搜索全球形象在两个两个维度,这将导致错误的两个维度,将导致定位精度越低。铁路紧固件定位方法提出了基于双模板匹配(DTM)本文的双模板包含铁路模板和紧固件模板。首先,铁路模板用来扫描原始图像在水平维度,和的平方欧氏距离(SED)用于获取铁路在原始图像定位。结合先验知识的紧固件模板图像,图像由铁路和紧固件,叫做铁路区域地图(RAM)。然后,RAM和紧固件模板图像预处理后,使用紧固件模板映像扫描竖直维度的RAM,以及归一化相关系数(NCC)是用来计算模板和子图之间的相似度的紧固件的RAM实现精确定位。拟议的DTM法采用一个定位战略从粗到细,和两个模板是用于完成不同定位的任务在自己的维度,分别。由于铁路可以精确定位在水平维度,紧固件定位的误差在水平维度是可以避免的,因此,可以提高定位精度。现场实验线扣图片证明该方法可以有效地实现紧固件的精确定位。

1。介绍

作为最重要的现代运输方式之一,铁路运输已经大大发达世界各地,特别是在中国,和铁路的总里程已经达到世界第一,除了铁路紧固件在列车的安全性发挥至关重要的作用。根据研究,许多火车脱轨事件是由于缺乏铁路紧固件;所以,有必要经常检测铁路紧固件(1]。快速增长的中国铁路运营里程,高成本的问题,效率低,以及各种安全隐患造成的普通手工检查(2- - - - - -4)已无法满足频繁的需要检查的铁路网络。因此,实现铁路紧固件(自动检测5- - - - - -7)已经变得尤为重要。

近年来,人工智能技术已经取得了很大的进步8- - - - - -17],许多基于计算机视觉技术应用于铁路扣件检测任务(3,18- - - - - -21]。然而,如果整个图像经行检测,它不仅会无法满足实时要求的紧固件检测由于识别时间长而且复杂背景图像在整个铁路将不可避免地导致检测精度下降。为了提高检测效率,降低复杂背景的干扰,铁路紧固件的精确定位已经成为一个必不可少的先决条件紧固件检测(22]。目前,基于边缘轮廓的定位方法(23- - - - - -25),基于像素统计的定位方法(PS) (26基于GTM[的],定位方法27),和改进的方法基于上述方法(28)是主要的方法用于紧固件定位。

冯et al。29日]用线段检测器(LSD)来确定边缘的位置rails和睡眠检测直线,然后扣定位可以实现基于睡眠的几何关系,rails和紧固件。在文献[30.),边缘密度特性结合随机样本共识(RANSAC)来定位铁路和睡眠区域,然后,紧固件的定位也可以实现基于轨道的几何位置关系,卧铺,紧固件。然而,上述两种方法主要是用于压载,睡眠者。睡眠的碴轨道,取而代之的是整体道床和紧固件直接安装在整体跟踪床,上面的方法不适用。此外,碴轨道逐渐取代了传统的轨道。

针对定位碴轨道紧固件,魏et al。26)使用PS的垂直灰度值特征计算紧固件和铁路的水平灰度值特征,然后,选择合适的阈值来定位铁路和紧固件支持板块,分别;最后,紧固件领域是间接的位置位于根据紧固件之间的几何位置关系支持盘子和铁路。然而,紧固件之间的像素灰度支持板块整体道床非常相似,这使得它很难确定阈值划分这两个领域。

针对上述问题,杨et al。31日)提取定向字段作为紧固件的特征描述符,然后,紧固件可以通过GTM的定位;风扇等。32)使用改进的局部二进制模式算法获得紧固件目标特性和重构紧固件模板图像和原始图像,然后,GTM用于实现紧固件定位。GTM可以有效地应用于碴轨道。然而,GTM使用单一紧固件模板匹配在整个图像在二维空间(垂直和水平维度),所以会有错误在二维空间中,紧固件定位精度将降低。

因此,基于DTM紧固件定位方法提出了。根据先验知识,整个图像是由铁路垂直渗透。因此,首先,铁路模板用来扫描原始图像水平,SED是用来测量铁路模板和子图之间的相似度的原始图像来获取原始图像中的铁路定位。由于灰度之间的明显差异的铁路和其他地区,只有一个维度(水平方向)是搜索,这有效地确保没有水平轨道定位误差。根据紧固件模板的宽度,RAM包括铁路和紧固件可分为从原始记录图像,它可以确保内存图像的宽度等于紧固件模板图像的宽度。然后,图像预处理可以抑制噪声和提高紧固件领域之间的对比和其他领域,这有利于提高紧固件定位的准确性。最后,NCC [33- - - - - -35)是用来测量紧固件模板图像和子图之间的相似度的紧固件的RAM实现精确定位。匹配一个维度的RAM可以避免错误的其他维度。因此,拟议的DTM可以提高紧固件定位的准确性。

本文的主要创新如下:(1)当GTM用于定位铁路紧固件,唯一紧固件模板需要扫描和匹配在二维整个原始图像的同时,这将导致两个维度上的失误。本文在理论上,DTM法只有在垂直方向上的错误,使紧固件定位的准确性。(2)通过实验紧固件定位基于DTM,紧固件提高定位精度,验证了方法的有效性。

本文的其余部分组织如下。部分2介绍了GTM的理论。第三节描述了理论提出了DTM铁路紧固件定位方法。第四节介绍了DTM理论的实验结果,改进的DTM法的准确性验证GTM方法相比,除了DTM的准确性的方法,和现有的常用的方法进行比较。第五节全文总结和前景。

2。GTM的基本介绍

GTM方法主要是使用模板映像执行相似的计算从左至右,从上到下的原始图像,最后,一个相关系数矩阵可以得到:参数值的系数矩阵是用来比较之间的相似性模板图像和原始图像的子图。原理图所示1;搜索图片 ,在哪里 图像的宽度, 图像的高度;模板是 ,在哪里 图像的宽度, 图像的高度。所覆盖的区域搜索图像的模板映像被称为子图 , 和 协调立场的子图的左上角搜索图,和搜索范围是什么 , 。通过使用相似性计算方法,模板和子图之间的相似度计算。当模板图和子图之间的相似度最大,相应的子图 是匹配的目标。

(一)
(一)
(b)
(b)
图1
GTM的原则。(一)搜索图像年代年代(W,H)。(b)模板映像T T(N,米)。

3所示。基于DTM紧固件定位

DTM紧固件定位方法的详细描述在本文提出本节将提供。流程图包括两个模块:在水平方向模板匹配定位在垂直方向铁路和模板匹配定位紧固件。综合流程图如图2,以下描述的细节内容。


图2
基于DTM流程图紧固件的定位。
3.1。铁路定位

为了减少计算量,用于处理图像灰度处理(36]。由于原始图像的彩色图像是三个通道,数据相对较大,计算耗时。灰度图像将从单通道三个频道,以及单通道的数据相对较小,所以它将是容易的过程。加权平均法的方程如下: 在哪里 后获得的灰度值加权平均, , ,和 是红色通道的像素值,绿色通道,分别和蓝色通道。

根据先验知识,每个原始跟踪图像至少包含以下三个特点:(1)铁路贯穿原始跟踪图像在垂直方向,紧固件区域横向分布两岸的铁路轨道的图像(37],紧固件面积的大小是相同的。(2)铁路基本上是固定的位置在所有铁路地图,和横向偏移量很小,也就是说,水平偏移的铁路连续捕获的图像可以忽略。(3)由于重复之间的摩擦轮和铁路,铁路显然是白色和明亮,其平均灰度值明显不同于其他地区的形象。

首先,铁路模板是由离线,在铁路模板的行数等于原始图像,也就是说, 如图3。然后,使用模板映像在水平方向滑动 原始图像和模板图像之间的相似度值和区域(子图)被计算。根据先验知识,铁路的灰度值明显不同于其他地区。铁路之间的相似度,因此,模板图像和原始图像可以测量通过使用SED。计算公式如下方程: 在哪里 指的是模板图像之间的相似度值 和子图的坐标 在跟踪原始图像 , 灰度值的坐标吗 模板中 ,和 灰度值的坐标吗 在子图 。当模板和子图完全相同,相关系数为0。在原始图像完全搜索, 发现,其相应的子图 铁路在原始图像中的位置。

(一)
(一)
(b)
(b)
图3
模板匹配的原理图在水平方向。(一)搜索图像年代年代(W,H)。(b)模板映像T T(N,米)。

的列坐标定位铁路后,包含紧固件的RAM和铁路在原始图像可以通过以下方程: 在哪里 是列坐标位于RAM的左边缘的原始图像; 是右边缘的列坐标位于RAM的原始图像; 是铁路的左边缘的列坐标的获得的原始图像在水平方向模板匹配; 是铁路的右边缘的列坐标原始图像; 是紧固件模板图像的宽度已知的先验知识; 是左边的宽度紧固件紧固件模板映像中已知的先验知识;和 的参数控制内存的宽度等于紧固件模板图像的宽度,也是对紧固件的宽度在紧固件模板映像。

3.2。紧固件定位

在这一节中,本文所涉及的图像预处理将首次引入,其中包括图像增强(38和图像去噪39),然后,如何使用垂直模板匹配的原理来实现准确的扣定位将解释道。

3.2.1之上。基于直方图均衡化的图像增强

图像中每一灰度的分布概率显示图像的灰度直方图。因此,直方图均衡化方法可以用来重建原始图像到一个新的图像的灰度值符合平衡分布通过调整图像的灰度分布不均匀分布均匀分布。和直方图均衡化已经被证明是有效的在跟踪图像预处理(40]。一个图像的像素值 ,概率密度函数 ,和它的值可以通过以下方程:

输入 包含 灰色的水平,及其概率 , 。 由柱状图吗 ,和 表示数量的像素的灰度值等于 。输出 有 灰色的水平, 可以通过以下方程: 在哪里 是累积分布概率值的像素值 在原始图像,和圆形 新的图像的灰度值可以通过以下方程:

3.2.2。图像去噪基于高斯滤波器

高斯滤波可以有效地抑制噪声,平滑的图像。函数表达式如下:

后的灰度值 的原始图像 由高斯滤波器处理,灰度值的新形象吗 可以通过以下方程:

3.2.3。精确定位的紧固件

对称是一个基本的几何属性。图像对称和对称特性广泛应用于图像处理、和效果是显著的41]。根据紧固件图像特征的分析,标准紧固件是一种轴对称物体。因此,选择一双完整的正常紧固件紧固件模板,根据控制方程(3),紧固件模板的宽度与RAM的宽度是一致的;这限制了内存只能扫描从上到下的对称紧固件模板,最后,紧固件将获得的精确定位。原理图如图4。由于复杂的紧固件的灰度特征和光照的影响,如果使用简单的欧氏距离计算相似度,只考虑像素之间的大小关系,会出现一个更大的错误,影响精度。因此,考虑到紧固件的精确定位,NCC是用来测量模板和铁路之间的相似性区域的地图,和计算公式所示以下方程: 在哪里 指的是紧固件模板图像之间的相似度值 和RAM 在坐标 , 灰度值的坐标吗 模板中 , 灰度值的坐标吗 在子图 ,和完美的匹配,相关系数是1−1匹配不佳,和0没有相关性。找到 ,及其相应的子图象 是紧固件位置的精确定位。

(一)
(一)
(b)
(b)
图4
3在垂直方向模板匹配的原理图。(一)搜索图像年代年代(W,H)。(b)模板映像T T(N,米)。

根据方程(9),一双紧固件可以准确的坐标位置,然后,离开了紧固件,紧固件的图像可以通过结合铁路模板的宽度 ,左紧固件的宽度 ,的宽度合适的紧固件 ,和紧固件模板的高度 。左边的左上角坐标紧固件的RAM ,它的高度是 ,和它的宽度 。左上角坐标对紧固件的RAM ,它的高度是 ,和它的宽度 。

4所示。实验结果

本文一直被视为真正的应用程序场景,所捕获的图像的分辨率扫描相机是2048×4096。总共631块从收集石太铁路紧固件。每个图像是由一对左和右紧固件,如图5,原始图像的碴轨道(i)是紧固件和(2)是铁路。在图所示的模板6,(a)是铁路模板,(b)是对称的紧固件模板,和(c)是图像预处理后的紧固件模板。


图5
原始记录图片:(i)紧固件和(2)铁路。
(一)
(一)
(b)
(b)
(c)
(c)
图6
模板图像。(一)铁路模板。(b)对称的紧固件模板。(c)图像预处理后的紧固件模板。
4.1。实验结果分析

为了提高紧固件定位的准确性,采用粗精定位方法。首先,战略经济对话是用来测量铁路模板图像和子图之间的相似度的原始图像跟踪。结果如图所示7,那里的x设在表示原始图像的子图的列坐标,和y设在代表铁路模板图像之间的相似度值和每个子图。从图我们可以看到,有一个值非常接近0的列坐标约2200,也就是说,最相似的区域之间的铁路模板图像和原始图像跟踪。子图由这个值可以实现铁路的定位,然后,RAM的列坐标可以通过方程计算(3)。还可以看到,铁路的匹配时间小于4000次/框架。/ RAM数据所示8(一个)和8 (b)是图像预处理后的RAM。


图7
铁路模板和每个s ubpicture之间的相似性。
(一)
(一)
(b)
(b)
图8
RAM。(a)的RAM分割原始图像。(2)图像预处理后的RAM。

分割后的RAM,紧固件之间的相似性值模板映射和RAM中的子图可以测量通过使用NCC,结果如图所示9。行协调子图的上边缘的RAM为代表x设在,紧固件模板图像和子图之间的相似度值表示y设在。DTM本文算法的实验结果是由红色的曲线,和使用方法的实验结果本文但跳过图像预处理步骤是由蓝色曲线表示。由于NCC是用来测量在紧固件定位模板和子图之间的相似度,越接近紧固件模板图像和子图之间的相似度值是1,越相似。从图我们可以看到,有一个最大值0.871 1008列坐标。比较模板匹配相似性曲线图像预处理前后,蓝色曲线没有明显的最大价值,这表明紧固件的灰色特征不明显的RAM时,图像预处理,但红色曲线的最大价值是显而易见的,这表明紧固件的灰色特征很明显在RAM图像预处理。在这个实验中,实现紧固件定位预处理图像,在紧固件定位迷失在non-preprocessed形象。同时,从图可以看出,紧固件的精确定位匹配时间小于1400次/框架。


图9
紧固件模板和每个子图之间的相似度。

模板匹配的相似性曲线使用全球两个维度如图10,为代表的数量计算x设在和紧固件之间的相似性值模板图像和原始图像的子图表示y设在。与DTM法相比,匹配的DTM的数量小于5400次/框架,但全球的模板匹配时间两个维度超过350万次/框架。越匹配,更大的计算方法,将消耗更多的时间。


图10
GTM的相似性曲线。

,如图11,代表不同的不同的相似性度量算法x设在,紧固件的数量错误的定位为代表y设在,错误定位使用DTM算法本文由蓝色的直方图,计算,错误的使用全球二维模板匹配定位是由橙色直方图统计。的优化算法,错误的紧固件位置的数量显著减少。第二,错扣的数量位置位于利用DTM算法显著小于的数量错了扣位置位于GTM通过使用算法。第三,当使用SED测量相似时,只有模板之间的距离和相应的计算原始图像的灰度值,这将不会实现精密紧固件定位。然而,在归一化相关匹配(42)和NCC方法,添加后的相似性测量图像内容的变化趋势和方向,错误定位的数量明显减少。


图11
比较数量的错误定位DTM和GTM之间。

精确定位的困难等实际的铁路紧固件增加破碎的紧固件,紧固件,紧固件被异物覆盖。紧固件位置的结果本文基于DTM法如图所示12,(a)的形象松动的紧固件,(b)的形象被扣,和(c)紧固件的形象被电缆。可以看出,上述干扰问题得到有效解决。

(一)
(一)
(b)
(b)
(c)
(c)
图12
损坏的位置铁路紧固件。(一)宽松的紧固件的形象。(b)的形象破碎的紧固件。(c)紧固件的形象被电缆。
4.2。评价实验方法

为了评估该方法的性能,定位的准确性率(AR)作为评价标准。 是表示为原始图像的数量,然后呢 被表示为成功地分割图像的数量。

从表可以看出1列车定位的准确率是100%,这证明在整个紧固件定位过程中,水平误差降低。

表1
列车定位的准确率。

从表可以看出2在碴轨道,因为没有卧铺,边缘轮廓的方法不是相比。和紧固件的阈值支持盘子碴轨道很难由PS方法,所以扣定位的准确率仅为86.05%。此外,如果不预处理,图像的灰度特征紧固件在整体形象并不明显,这也会导致不准确的定位的紧固件。因此,DTM的方法在本文中使用但没有预处理图像,和紧固件的准确性定位仅为82.09%。自全球两个维度的匹配,计算量比较大,这将导致两个维度上的失误;DTM法提出了本文的定位精度显著提高紧固件。DTM的准确性为1.9%高于GTM,及其准确率高于其他方法。

表2
定位精度的比较。

5。结论

本文基于DTM紧固件定位方法提出解决定位精度低的问题造成的GTM扫描全球现有紧固件中两个方向的定位方法。首先,铁路模板用来扫描整个图像在水平方向上,SED是用来测量相似;然后,结合紧固件模板图像的先验知识,可以位于内存从原始图像,从而降低紧固件定位的复杂性。其次,通过图像预处理、图像质量提高,紧固件的灰色特征更显著。最后,对称的紧固件模板用来扫描内存只有在垂直方向,这样可以减少造成的定位误差两个方向GTM, NCC是用来测量紧固件模板图像之间的相似性和RAM的子图,通过紧固件将实现的精确定位。通过实验验证,该方法可以有效地应用于在实践中无渣轨道。

当轨道紧固件进行定位是通过原始轨道图像,因为本文中使用原始图像仅包含一对完整的紧固件,方法不讨论如何实现多个紧固件当一个原始的定位跟踪图像包含多个紧固件。在未来,团队将尝试进一步优化该方法DTM和有效地使用位置信息,这是通过测量相邻紧固件之间的距离,实现多个紧固件定位。

数据可用性

数据用于支持本研究的发现正在禁运,而研究成果商业化,可从相应的作者要求12个月后发表这篇文章。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作得到了国家自然科学基金(51975347)、上海科学技术委员会(18030501300)、上海(18 yf1409200)航行计划,上海工程技术大学的人才计划,上海开放项目值得信赖的工业控制平台(TICPSH202003021-ZC)。