文摘

在这项研究中,基于摄像头深度智能方法的提出。首先,道路的损坏图片进行收集和转换为训练集,然后培训、缺陷检测、缺陷提取和分类。此外,YOLOv5用于创建、火车、验证和测试标签数据库。该方法不需要预先确定的测量目标和传感器之间的距离;可以应用于移动场景;和是重要的检测、分类和量化路面的疾病。结果表明,该传感器可以实现平面拟合调查工作距离通过深入学习网络。此外,两个路面的例子表明,该检测方法可以节省大量的人力,提高探测效率有一定的准确性。

1。介绍

作为重要的一种运输方式,公路发挥重要作用在政治、经济和军事的发展,以及人民生活水平的提高。到2018年底,道路网密度达到50.13公里每100平方公里,每年新增约5000公里。然而,路面很容易损坏由于外部因素,如重载和过度使用(1- - - - - -4]。如果路面病害的处理不够及时,它不仅会减少道路的寿命,并导致更严重的疾病,但是也会引起巨大的维持成本,甚至导致交通事故,从而危及公民的生活(5- - - - - -7]。因此,路面状况评估构成必要的任务。传统的手工方法检测公路路面疾病是效率低下,容易出错。因此,许多方法提出了基于图像处理和机器学习研究路面疾病检测。

激光扫描可以用来获得道路路面疾病地图和执行疾病检测和分析。Aleskey和Funkhouser8]分析了叠加扫描的三维离散数据在不同时间点,成功提取路面病害的特点。关等。9)扫描图像的道路路面病害,通过形态学算法分割图像获得疾病的功能。此外,除了扫描数据,使用传统的图像处理算法。传统的图像处理算法大致可以分为三类,即纯图像分类,块级分类,进行像素级分割。路面数据的收集通过特殊设备和最新进展在高性能计算裂纹检测算法铺平了道路。例如,薄熙来et al。10)用形态学滤波算法来检测路面的疾病,和[11)提出了一个本地二进制算法。然而,最近,机器学习算法具有更高的精度和更好的特征提取能力已经应用于路面疾病检测。施等。12)使用一个基于结构随机森林算法提取路面疾病特性、李(13使用LeNet-5网络结构,和张14]YOLOv5用于路面疾病检测和分类效果很好。郭et al。15使用支持向量机(SVM)方法检测钢板的表面缺陷。Cha et al。16)提出了卷积神经网络(CNN)模型来检测裂缝。Snavely [17融合卷积编码器和译码器网络特性和建立基于SegNet DeepCrack架构裂纹检测。歌等。18)提出了一种新的可训练的卷积网络自动检测裂缝在复杂环境中使用多尺度特性的关注网络。Jahanshahi et al。19)提出了一个先进的进行像素级裂纹检测架构称为CrackU-net,它的特点是利用先进的深卷积神经网络技术(DCNN)。

在各种类型的公路路面病害(如裂缝、坑槽、车辙和fructuring),凹坑和裂纹两种典型路面的疾病,严重影响路面的平滑度和驾驶舒适性。其中,由于凹坑的视觉独特性,机器学习方法可以快速检测道路坑坑洼洼基于二维图像。然而,二维图像只能检测和分类病变,不能量化的体积损伤的凹坑。因此,一些学者采用结构与运动(SfM)的方法来研究沥青路面条件的三维深度图像(17]。托罗et al。18]提出了SfM-based数据采集方法收集灾后现场数据从一台机器平台3 d重建、损伤识别、记录和几何数据。RGB-D传感器和深度传感器构成的传感器系统还用于提取三维点云检测和量化在路面坑洞19]。

然而,这些方法是手动或半自动定量认识疾病。尽管数据收集过程可以使用系统能够检测数据,评估疾病仍然是一个手动过程由受过训练的评估员。由于主观检测和分类的过程,不同的评估可能解释不同的缺陷。这些方法可以独立地识别凹坑或其他类型的体积损失。

基于这些因素,一个智能检测的方法,提出了分类和量化路面疾病。基于微软Kinect V2相机,2 d图像首先被训练了缺陷检测、缺陷提取,路面疾病和疾病分类。由于轻量级的财产和适合大规模培训,通过深度传感器,YOLOv5算法被用来确认道路坑坑洼洼,然后确定凹坑是量化。该方法不需要预先调整测量目标和传感器之间的距离,可以应用在移动场景。

2。研究方法

基于深度相机Kinect V2,在这项研究中提出的方法可以自动检测和定位上的疾病。如图1具体过程分为:(1)图像为彩色图像集合;(2)深度信息收集基于深度传感器包括一个红外摄像头和一个红外投影仪;(3)基于彩色图像缺陷检测和提取,并根据ResNet疾病分类网络;和(4)疾病分类和量化使用YOLOv5基于深点云数据。注意缺陷检测和提取是研究的启发,20.];通过异常检测的基础上出现的小块图像,它是灵活的控制检测的误差公差节省计算成本。

四种类型的疾病,包括裂缝、洞穴、墨守成规,和压裂是探索在这项研究中,如表所示1。为了避免冗余,裂缝的常见疾病,结果坑主要内容所示,而常规的结果和压裂中列出附录。

2.1。二维图像的疾病分类

2.1.1。二维图像数据集

在这篇文章中,200张图片拍摄与微软Kinect V2路面疾病和储存在1920×1080像素的分辨率。在适当的情况下,一个三脚架和一个稳定剂都必须保证图像质量。为了消除环境变化的影响在不同的道路上,不同的拍摄角度,光线,和距离需要获得道路路面疾病地图,从而增加训练数据集的大小,提高模型的泛化能力。由于GPU内存的限制,无法直接使用完整的高分辨率图像作为输入。因此,图像需要裁剪成小块,和道路路面检测到疾病分类块的块使用深度学习模型。在这项研究中,被裁剪成小块300×300像素,和图2显示模块的例子(裁剪图像)为不同类别的道路路面的疾病。

2.1.2。检测过程

图3说明了道路损坏的建筑分类用于这项研究。过程有三个核心组件步骤,即缺陷检测、缺陷提取和路面疾病分类。首先,缺陷检测是实现生产缺陷地图。根据缺陷地图,可疑路面疾病可以提取和未受损区域可以过滤。后来,提取的阴谋被归类为相应的疾病类别。

2.1.3。缺陷检测

在检验过程中,缺陷检测允许快速和可靠的路面检测疾病从一个大的图像数据集。在这项研究中,路面被归类为异常的疾病,而正常(未损坏的)路面和其他对象中发现路面被归类为正常。在这项研究中,缺陷检测器由构造卷积autoencoder训练,这是一种重建深度学习模型。在现有的研究中,类似的缺陷检测方法已经应用在许多领域,例如,纺织品表面,视频监控,发现异常温度区域从热图像21- - - - - -23]。此外,一些深度学习模型等变分autoencoders (va)和生成对抗网络(甘斯)也可以用于缺陷检测。扩展已经被广泛应用于医学影像和航空安全检查。然而,这些方法有局限性。深层生成模型、模式训练过程中经常出现崩溃。此外,发电机只能产生有限的各种样品,所以分类器可能无法区分正常和异常样本。Hendrycks et al。24]声称深度学习所学到的概率分布模型可能无法描述地面训练数据的真理。因此,基于Chow et al (20.)提出,本研究决定运用卷积autoencoders路面缺陷检测的疾病。主要功能描述如下。

卷积autoencoder本质上是一个结构由编码器模块和译码器模块(25]。编码器负责学习和提取特定功能的输入数据,然后向后解码器地图的功能重新输入数据。编码后获得的特征维度(也称为瓶颈)通常是远小于输入维卷积autoencoder防止直接复制。使用大量的正常图像,卷积autoencoder训练是重建正常的实例。因为没有提前学会了有缺陷的特性,重建性能较差的路面疾病和巨大的错误。

编码器的输入数据被送入一个连续两次卷积块和渠道的数量在每个采样下来模块提高编码的功能。出现瓶颈前,特征之间的传播和down-sampled一致性特性映射到一个完全连接层。相反,译码器是反向操作,执行进步up-sampling重建原始数据。介绍了双曲正切函数激活在最后一层压缩每个神经元的价值−1和1的范围。

地上的平方区别真理与预测计算来评估一个像素的重建质量。这个错误被称为重建误差e: 在哪里和是输入像素和重建输入像素定位在哪里x y行和列分别;c在彩色图像的通道。由于像素的输入和输出值的区间(−1,1)e的最大价值是12。

2.1.4。缺陷提取

获取缺陷地图后,下一个块的分割和提取路面疾病根据缺陷评分。高价值的阈值,分割可能不足,和提取的疾病可能与地面不完整的和不一致的事实。然而,如果门槛过低,这可能导致过分割,浪费计算资源和时间。

随机选择缺陷评分作为阈值的方法是无效的,因为路面疾病的性质有很大区别在不同的测试位置。在这项研究中,多个阈值计算基于缺陷成绩促进缺陷提取疑似人行道上的疾病。结合当地的阈值(根据个人形象,T_l)和全局阈值(根据整个数据集,T_G)是用于提取病变和过滤器正常路面图像块。在正常路面图像的情况下,只有几个街区,可以提炼出无论缺陷评分采取局部阈值。因此,介绍了全局阈值,以避免不必要的信息影响后续数据分析。

根据Chow et al (20.),全局阈值的值T_G设置为默认值0.5作为一般情况。图像的所有像素的缺陷分数第一排序,然后缺陷分数对应选择所需的百分比如下: 在哪里代表了缺陷的百分比P_G,n_我是图像中的所有像素的总数吗我,N总数量的图像。如果超过阈值T_G的价值,T_G是更新。接下来,T_l确定缺陷的成绩如下: 在哪里P_l表示选择的百分比计算T_l和n代表图像中的像素总数。然后,降低门槛,确保最好的权衡之间的数量获得块和块有疾病,最终的阈值T通过比较确定T_l与T_G减少的因素α(0 <α< 1)。确定阈值的过程T是下面的:(1)设定的值T_G到0.5。(2)计算基于所选的百分比P_G。(3)如果超过默认阈值,更新T_G价值。(4)计算T_l基于所选的百分比P_l。(5)确定 。如果方程,选择T_l的阈值T,否则,选择T_G的阈值T。

当阈值的值T决定,图像被分成相同大小的街区。如果任何缺陷的块大于一个像素T,相应的块提取路面疾病分类。

2.2。深度图像的疾病分类

2.2.1。RGB-D传感器

微软Kinect V2是深度相机RGB图像数据的分辨率为1920×1080像素,在点云数据的分辨率512×424像素。最小和最大深度距离从0.5米到4.5米不等。飞行时间(ToF)概念可以使用深度相机实现红外发射器和红外传感器。在工作过程中,红外发射器发射红外光线的对象,然后从表面光线反弹和红外传感器接收反射的红外光线。由于红外传感器和红外发射器是手动放置和距离是已知的,每个传感器的三维坐标像素可以获得从红外光线传播从发射器到传感器。

2.2.2。点云数据获取

微软Kinect V2与MATLAB接口,可以获取深度数据。然后,本地产生的深度相机的3 d网格坐标点与中心像素传感器的原点。传感器的内部算法将非数值的值转换为深度像素(x,y,z)。由此,可以区分不同的点的坐标。请注意,由于透镜畸变,出错率值的深度帧边界比较大。元等(26]提出这个问题可以避免通过使用图像中心区域的深度传感器特定大小为300×300像素。

2.2.3。YOLOv5-Based路面障碍检测

一般来说,深度图像有噪声,中值滤波可以用来降低噪音。地图的像素可以被邻近像素的中值滤波器取代,确保de-noised深度图只包含值从现有原始数据集。

检测和定位不同的路面坑坑洼洼,YOLOv5检测(27)方法。该方法只需要RGB-D传感器的照片。采用YOLOv5检测路面坑洞。相比YOLOv4[的最后版本28文件),YOLOv5节省近90%重量。计算机视觉领域的一些先进的技术相结合,YOLOv5的参数大小只有27 MB,远小于244 MB的YOLOv4使用Darknet架构。因此,YOLOv5适合嵌入到设备旨在应用实时分析。YOLOv5由三个街区的结构,即骨干;颈部;头,如图4。骨干作为功能苛捐杂税部分包含几个计算模块从输入图像中提取特征。然后给出了特征的对象探测器都有不同的安排模块(包括检测颈部和检测头)。颈部聚合特点从骨干和发送到探测头。最后,边框有坐标的生成对象和预测精度。

2.3。巷道参考面

量化的壶穴体积,应该首先确定巷道的参考平面。随机样本的共识(RANSAC)算法是用于巷道平面拟合(19]。该算法获得随机点根据预定义的参数,例如,参考向量,阈值的距离,和角点的法向量之间的距离和参考向量,根据阈值,因此适合飞机到类似的数据点达到最大值。此外,表面生成的边界框YOLOv5也可以属性适合飞机RANSAC算法。

在一般情况下,参考向量的最大角距5°的正常方向平行于所使用的传感器。这消除了极限位置传感器完全平行的平面上。距离的阈值设置为5毫米的RANSAC算法。数据点超出阈值被认为是离群值。

现有的研究(10,11,16,18)通常识别道路遇险根据固定的外部测量获得的初始参数。然而,这种方法并不可行的用于自动应用程序和方法忽略了多个表面的可能性。该方法能适应飞机是不受限制的传感器和目标之间的距离,条件是传感器被放置在设备的覆盖距离。该方法依赖于传感器输出和其他不需要任何手动测量。

2.4。巷道壶穴分割

点云的三维深度和异常进行了分析,和值在同一个平面内异常的范围被确定为凹坑。同时,这个过程中过滤掉潜在NaN值深度数据。

单独量化多个凹坑在同一平面,使用层次聚类算法的缺陷分割成单独的凹坑。欧氏距离d为每个数据点P₁,P₂首先计算出输入数据。 在哪里我对应于每个点的参考坐标。

然后点紧密相邻的两对合并成两个集群。此外,集群不断相互融合产生更大的集群。注意预设数量的集群组,并且每个数字被认为是一个功能点对应的深度。

在这项研究中,集群的数量被预设为10,这使得它可以段10个人坑洞在同一个平面上。注意量化聚类算法是至关重要的,因为这段深度数据显示每个壶穴区域相关的平面,以确保生成的像素YOLOv5之外的边界框也可以用来探索洞穴量子化。

2.5。量量化

输出平面的法向量拟合平面模型和常系数表示一个₀,一个₁,一个₂,d:

的Z_pn=f(x,y)函数可以由提取这些值的实际距离计算数据点拟合表面,如图5。 在哪里的坐标吗n像素在深度方向上。

根据相应的每个像素的面积不同深度平面。当距离很小,一个像素的面积大约1毫米²,而随着距离的增加,覆盖范围可达35毫米²。这个公式来确定覆盖范围如下: 在哪里的覆盖范围nth像素;α和βKinect常数在水平和垂直方向,分别。

量化像素的体积,它是至关重要的收购价值从像素点的距离表面平面得到方程(2)。此外,表面平面的像素的深度值计算方程(3)。因此,相对深度表面平面的像素点的值是通过减去每个像素的坐标价值从相应的安装平面z设在方向,表示如下: 在哪里深度的差异吗n像素,协调的深度吗nth像素,协调的深度吗n像素在安装表面平面。

后的体积计算像素的壶穴区域,它可以量化路面坑坑洼洼的体积形状。

对于每个分段路面壶穴,覆盖面积和相对深度增加计算像素的体积,然后这些像素卷总结获得每个路面壶穴的体积。最后,每个路面壶穴的体积之和作为最终计算总量。 在哪里计算的体积吗我th路面壶穴,是计算总量。

3所示。模型训练和验证

在本节中,算法部分2实现和结果进行了分析。所有的流程都写在Python与深度学习TensorFlow框架和执行在桌面配备11 g的Nvidia GTX2080Ti图形处理单元。

3.1。二维图像的疾病分类

创建不同大小的图像块数据扩展增强学习的特性模型,一个不重叠的滑动窗口是用来将图像分解成不同尺度的小街区在最初的训练数据集。然后根据Ronneberger等的方法。29日),所有的块新300×300像素,确保无缝地图生成缺陷在随后的测试阶段。每个像素的值都是规范化的间隔(−1.0,1.0),然后块准备培训。均方误差被选中作为损失函数,和亚当(30.)被选中作为损失最小化的优化值。最后,最初的学习速率是设置为0.01学习速率衰减指数为0.9。动量参数被设置为0.9,300年时代进行的训练和批量大小32。

培训后进行模型验证。归一化原始块被送入分类器一个接一个来计算分类熵和准确性。模型的最小损失值对验证集选为最终的模型。每个训练和验证过程需要大约160年代的设备在这个研究。基于上述设置,培训过程大约需要13个小时。由于标签图像本身,培训是一个无监督培训过程。因此,对于这个费力而直观地密集的标记任务,可以节省大量的时间和人力。

在测试阶段,采用了滑动窗口进行作物测试图像成不同尺寸,然后块新300×300像素。缩放和裁剪块规范化生成缺陷地图,其中一个像素表示重建误差。缝合然后执行产生缺陷的整幅图像地图。获得图像的概率属于正常,裂缝,或凹坑,规范化块按顺序发送五个分类器得到的5倍交叉验证。然后,最高的类的概率值是类最有可能属于块。分类结果如图6。注意,整个测试过程需要不到1分钟输出一个缺陷的高分辨率图像地图。

3.1.1。分类器性能评估

损失的变化值和平均精度一交叉验证如图7。尽管损失值继续减少在训练阶段,重量参数至少选择确认损失,防止过度拟合。此外,验证每个类的交叉验证计算的准确性。其中,裂缝的分类精度,坑坑洼洼,和压裂具有良好性能的93.8% - -95.9%,92.4% - -94.3%,分别为-96.3%和94.1%。然而,正常类和发情的精度相对较低,分别为91.2 -92.1%,-92.5%和90.4%。发情的原因是,因为这种类型的道路少疾病数据由于低频率发生,原因为正常类是一个更复杂的图像子集包括正常获得的图像在不同的摄影距离,照明和拍摄角度,和图像的对象在不同的路面。

3.1.2。应用程序分析

路面疾病识别的最终目的是总结路面疾病信息和提供足够的数据支持的潜在维护路面。因此,分析智能路面疾病检测系统的有效性基于深度学习方法在这项研究中,该方法是在几个城市道路干线公路在长沙(部分从陆家嘴交换Yunqi路上Changtan高速公路)。比较检测结果,人工视觉疾病检测也在路段上执行。样品确认的结果如图路面疾病8。

表2和3显示检测结果路面裂缝和坑的手动检测和该方法。为了避免冗余,其他疾病的检测结果如表所示4和5。注意识别裂缝和壶穴同时在手动检测,所以消费时间计算根据裂缝和坑的比例,分别;消费时间的方法包括处理,收集到的数据的模型训练和测试。比较人工和智能检测的结果,它可以观察到:(1)手动检测结果和方法基本上是相同的,和病变的准确性小于10%,满足中国需求的工程检查。与手工测试相比,该方法花费更少的时间,不影响正常交通。(2)与手动检测结果相比,该方法相对不准确的结果,但准确率仍高于90%。错误的原因主要包括:(a)获得的数据集拍照不够全面;(b)的提取一些疾病的特性是不完整的。

3.2。深度图像的疾病分类

YOLOv5模型训练、验证和测试路面坑深度识别形象训练。检测路面坑深度云信息使用和量化的数据使用上述算法。数据集包含749个RGB图像通过Kinect V2和射击距离从0.5调整到2.5不同照明条件下的数据扩展。然后,获得的图像分解成1107图像大小为853×1440像素,和标签与标签添加到他们形成一个数据库,如图9。

的数据集训练、验证和测试的比例根据分离8:1:1。注意,相同的凹坑形象不同时出现在不同的数据集。此外,扩展训练集和验证集通过执行水平和垂直翻转和风险调整值+ 20和-20年的训练和验证集。数据扩张后,数据集包含一个共3455张图片和5522年边界框标记为凹坑。

深度学习模型需要准确的培训在大型数据集和过程非常耗时。由于小数据集的限制,传输可以使用学习和YOLOv5 pretrained。然后原来的学习速率将0.005学习速率衰减指数为0.9。动量参数被设置为0.9,800年时代进行了最后的训练与批量大小32。注意,锚YOLOv5模型的大小设置为10;胡,北达科他州。(16,19,24,31日]特征图的大小为75×75。

3.2.1之上。YOLOv5仿真分析

由于在训练集图像的调整设置,培训过程在GPU计算成本约15个小时。减少图片的大小可以减少培训时间。

YOLOv5过程需要0.08秒853×1440像素的图像在GPU计算和2.80秒在CPU计算。最高的AP值是90.79%在所有训练。最终的模型被新的图像测试数据集测试,结果如图10。

3.2.2。量化的道路坑坑洼洼

在每种情况下,三组的像素点计算体积值,平均。无论目标大小、深度和距离传感器,该算法能够检测表面和段和量化坑坑洼洼的道路。生成的边界盒YOLOv5表示在路面凹坑的存在。一旦凹坑分段和表面的坐标是已知的,可以提取出相对应的像素凹坑。

体积计算的结果在图所示11。总量的相对误差范围从1.49%到13.83%,而平均精度误差(MPE)为每个单独的壶穴考虑所有的距离是14.9%。

误差变化之间的距离传感器和检测时目标是改变。和准确性是最好的100厘米和200厘米的距离。

此外,每组的最大深度值的凹坑也计算如表所示6。每组测试的错误率小于10%。最低的100厘米的距离,测试的相对误差为3.96%。此外,MPE值的方法在这项研究是在200厘米低于8%与8%的迈普元et al (31日]。

3.2.3。应用程序分析

路上的困难量化方法在这项研究具有实际应用意义。验证的有效性道路坑坑洼洼的基于深度学习提出量化方法在这项研究中,100厘米的模型是用来进行深度学习自动检测在多个乡道长沙县长沙城市。为了比较检测结果,手动疾病检测也表现在路段和凹坑量化。

这两种方法的检测结果如表所示7,可以获得比较结果:手动检测和深度学习检测的结果基本上是一样的,和壶穴体积量化的误差小于10%。与手动检测相比,坑坑洼洼的量化方法基于深度学习提出了研究时间较短和更有效的计算在一定精度范围内,大大节省了人力劳动。

4所示。结论

本研究提出了一种基于深度学习智能检测系统基于深度相机的路面病害。第一,200路面疾病图像被转换为300×300像素块通过裁剪和作为训练集,然后训练了RGB图像缺陷检测、缺陷提取和分类。在缺陷检测阶段,构造卷积编码器提取疾病从大量的路面图像映射。然后在缺陷提取阶段,人行道上疾病特性提取使用阈值分割方法。此外,在人行道上疾病分类阶段,ResNet结构用于训练模型来确定类路面疾病所属分类。

此外,RGB图像转换成深度点云数据和YOLOv5用于识别疾病和量化他们的体积。首先,RANSAC算法用于识别和段路面基础上的位置和深度数据确定道路坑坑洼洼。使用该算法,可以识别和量化多路壶穴卷,仅依赖RGB-D传感器的输出,从传感器和检测到的目标之间的距离。此外,标记创建数据库时,使用YOLOv5训练,验证,和测试。

ResNet模型结果表明,大约需要3分钟为一个模型训练和分类精度在90%以上。深入学习网络,传感器实现平面配合调查工作距离与AP值的90.79%。为每个沟测量体积,平均精度误差值小于10%。此外,研究路面两个例子表明,该检测方法可以节省大量的劳动力和提高检测效率在一定精度。

在不久的将来,传感器可以安装一个无人驾驶的车辆数据收集在偏远或危险区域,所以获得的数据更可靠。由于深度传感器在这项研究中的应用是相对便宜,代之以一个更高级的深度传感器可能会进一步提高定量精度。

数据可用性

论文中使用的数据都包含在这篇文章。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由中国交通运输部批准号2020 - 5 - 145,由中国国家档案局批准号2021 - x - 45。