实时道路裂缝映射使用卷积神经网络进行了优化

文摘

测量和路面损坏映射完成巷道当局量化战略预防局部和结构损伤水平或康复行动。未能一次预防性或康复行动和控制危机传播可能导致严重的结构性和经济损失的资产要求完成重建。连续和计算机辅助测量措施不仅可以消除人为错误分析,识别、定义、和映射路面表面祸患,还可以提供一个数据库对道路的损坏模式及其位置。数据库可用于及时获得的最大耐久性沥青道路维修和维护的最低成本。介绍了自主测量计划,收集、分析和基于图像映射遇险实时数据。一个描述性的方法是考虑识别裂缝从收集图片使用卷积神经网络(CNN)分类几种类型的裂缝。通常,CNN-based计划需要一个相对较大的处理能力在图像实时检测所需的对象。然而,这项工作的可移植性目标需要利用轻量级的处理单元。为此,美国有线电视新闻网的培训由贝叶斯优化算法优化(BOA)达到最大精度和最小的处理时间与最低层神经网络。首先,数据库组成的不同类型的裂缝压力类型如纵向、横向、鳄鱼裂缝,以不同角度拍摄,准备。 Then, the database was used to train a CNN whose hyperparameters were optimized using BOA. Finally, a heuristic algorithm is introduced to process the CNN’s output and produce the crack map. The performance of the classifier and mapping algorithm is examined against still images and videos captured by a drone from cracked pavement. In both instances, the proposed CNN was able to classify the cracks with 97% accuracy. The mapping algorithm is able to map a diverse population of surface cracks patterns in real time at the speed of 11.1 km per hour.

1。介绍

社会经济活力和增长密切相关的基础设施和安全的能力,有效地处理货物的转移从一个点到另一个地方。路面管理、保护和恢复策略是至关重要的组件在维持长期的基础设施和经济的可行性。道路网络包含数百万英里的人行道上,这些系统的维护操作成本高达每年250亿美元(1]。作为维护操作的一部分,路面调查,包括表层和次表层的评估,需要经常对路面状况的评估,帮助优先康复和防腐剂的行动。此外,国家公路交通安全管理局称,16%的交通事故是由于巷道环境因素主要是由路面条件差(2]。糟糕的路况也导致汽车过度磨损和倾向于增加延迟和崩溃的数量会导致额外的经济损失(3]。目前,手动检查是最常见的技术识别路面遇险路调查(4]。手动检查可以,然而,费时,昂贵的,劳动密集型的。此外,在手动检查操作期间,人类视觉误差是可能的,手术本身可以不安全因附近的汽车,和可能阻碍交通流的操作5]。克服人工检测的局限性,自动或半自动的裂纹检测技术可以开发测量,监控,和地图路面表层和次表层结构的演变和痛苦(6]。半自动的现代路面遇险映射或需要无损诊断技术,具有成本效益的,准确的,使得在高速数据采集,和相对用户和环境友好7]。的一部分,努力降低成本,加速维护操作,运输部门优先的发展自动化系统分析路面压力评估系统(8]。然而,仍然是一个需要有开发自动和实时遇险映射和评估工具,可以为最终用户提供大量信息相关的痛苦类型、几何,痛苦来源没有手动监测原位或代理。突出解决用机器人代替专家核查人员可以自动收集数据和分析近年来广泛研究或建议。

自动化探伤方法进行文献,重点工作是利用图像处理的数据分析和发展中自动快速数据收集方法使用机器人或车辆。优势可移植性、无损,莱恩关闭避免使用车辆的一些重要方面的数据收集路面压力研究,建议在许多出版物(9,10]。

尽管自动数据收集方法的好处,它会导致大量的原始路面数据。解释原始数据需要人类专家的分析和决策。关于按时维护人行道的重要性,是不可能的过程所有原始数据依赖专家人类绩效导致研究人员开发自动智能算法处理收集原始数据。利用计算机视觉方法对路面工程应用成倍地增加在过去的几十年里(11),而许多挑战应该实现一个完整的和无缝实现解决由于不必要的和高度可变图像噪声的随机变化亮度的颜色,相机,和环境12]。近年来,许多交通和公路机构在美国已经成为感兴趣提供基于图像处理分析的方法收集原始数据从高速公路和道路13]。

经典的图像处理算法提出了路面困境分析。像边缘检测算法14),小波变换(15- - - - - -18),强度阈值、纹理分析等已经被充分研究过(18,19]。虽然很多建议古典方法在路面压力分析,帮助一些缺点像容易环境噪音,不适用在所有道路条件下,被依赖特定的图像质量等减少了他们对处理不同数据的鲁棒性。在最近的文献中,基于机器学习的方法,特别是深度学习,展示出了一些有希望的结果在人行道上痛苦的分析(20.- - - - - -24]。与经典方法,基于机器学习的算法被证明是更健壮的处理不同路面遇险图像在噪声条件下。一些机器学习方法,如神经分类器(25)和支持向量机(SVM) [26)提出了路面困境分析。计算机综合评估中应用缺陷检测和评价沥青路面条件,科赫et al。11)确定支持向量机作为最强大的机器学习技术,基于图像的路面压力检测在2015年。此外,最近,深度学习已经成为一个受欢迎的选择路面困境分析由于其令人信服的性能支持向量机和其他方法27]。

Cha et al。10)创建了一个数据库有40000 sizepixels和注释的图像成裂纹或完整箱利用MatConvNet [28裂纹检测,可以达到98%的准确率。Gopalakrishnan et al。29日]研究转移学习在一个单层pretrained路面压力检测的神经网络分类器。他们标签数据(“1”)和无裂纹或裂缝(“0”)。同时,他们可以通过使用ImageNet获得90%的准确率pretrained VGG-16特征提取器。Dorafshan et al。30.)准备一个数据库1574裂纹和16426没有裂纹图像。他们比较深入学习和边缘检测方法和建议两者的结合对提高混凝土的裂缝检测的结果。同时,他们AlexNet架构用于特征提取。分享服务数据采集提出了Maeda et al。31日),他们已经测试了几个对象检测系统,如R-CNN更快,YOLO,意思SSD, R-FCN。在[葛27),广泛回顾了最近深上优于路面压力检测的方法。除了发展裂缝压力检测算法是基于经典的还是深学习方法,论文提出一些具体数据收集的平台。由于广阔的道路系统,自动人行道筛查是必要的。Prasanna et al。9)提出了一个自动裂纹检测算法,称为空间调multifeatured强劲,监测混凝土桥梁和他们在机器人平台上实现该算法。在[32),一些研究自动图像道路裂缝检测方法和一场基于车辆发动的数据收集平台是用来从不同的地方收集数据进行进一步处理。在几个数据收集方法,车辆安装摄像头是最受欢迎的一个。

计算机视觉方法的集成使用深卷积神经网络(cnn)显示特殊承诺用于裂纹检测应用程序,但需要很多图片训练过程(10,27,33]。虽然利用cnn提高裂纹检测的准确性,有已知的缺陷在传统方法研究裂缝(10]。在可用的工作10,27),沥青路面或其他表面,路面的目的是区分裂缝区域无裂缝的收益率的二选一的决定有两个结果:破解或noncracked。由于证明出色表现的深度学习和支持向量机等机器学习方法相比,演算法,和随机森林,仍然存在一些不足。例如,在[11),尽管它是证明一个CNN与高精度检测裂缝的能力,作者建议CNN对未来的优化改进。同时,对路面使用转移学习压力检测,葛et al。29日)建议添加一个特性评估检测裂缝的严重性,这显示了路面压力检测可能的进一步改善。在深度上优于方法、路面遇险检测当前的重点是改善神经网络识别裂缝的准确性。此外,最近的工作在这个应用程序中使用AlexNet VGG-16 CNN架构,和一些转移学习方法用于路面压力检测的任务。是很重要的考虑,大多数提到的架构设计和测试数据集,不包括路面压力数据。虽然在许多情况下转移学习适用于减少训练时间,提高准确性,对象在MNIST这样的数据集,ImageNet, cifar - 100等不共享类似的模式在路面的应用程序中,因此使用转移学习与CNN架构是有限的。

2。方法

如上介绍,深上优于路面压力检测方法提高了假noncracked人行道内检测的准确性,是否使用不同的CNN架构或学习或pretrained转移模型。本文提出了一种几何映射方法对沥青路面表面裂缝使用技术,包括图像分割和裂纹几何和空间分类。这种技术允许用户检测存在和地图上的裂缝路面实时使用原始输入图像。工作延伸CNN-based分类技术的功能,只更新仅限于裂纹检测和不提供同步对象的几何映射(34,35]。裂缝图像数据库中的聚合和索引根据他们的方向和空间位置在一个平方分区面积较大的原始图像文件,然后允许位置和姿态估计一些使用13独特的类别。通过应用这种方法,而不是在每一帧预测裂纹位置的边际误差取决于搜索窗口中,我们不仅能够检测和分类的裂缝,而且地图造成的裂缝,避免错误搜索窗口。

而不是依赖预先设计CNN的体系结构,我们提出了一个优化的架构内的CNN和hyperparameters路面压力检测任务。也,而不是采取这种方法在裂纹检测任务,重点是检测裂纹从noncrack,介绍一些假阳性分类后,在这项工作中,我们提出一个启发式算法CMA就是能自动重新生成裂纹形状。或者,在这项工作中,我们提出一个方法来映射一个裂缝的形状或分析结果基于模式的裂纹在整个图像或视频帧可能产生平滑裂纹地图通过消除小裂缝或错误。此外,该方法是自动化路面裂缝的一般概念分析以后,可以适应与几个公路机构协议像美国州国家公路运输官员协会(AASHTO) (PP67-10和PP44-00)或Mechanical-Empirical路面设计指南(MEPDG) [36]。换句话说,通过改变相机参数,如传感器尺寸,焦距、镜头类型,距离相机的人行道上,等,可以达到的最小缺陷长度被认为是裂纹在几个协议。

在该方案中,每个图像首先划分为300相等的正方形瓷砖。然后,CNN是开发和训练,把瓷砖裂缝预定义的类别。由于裂缝的分类是tile-by-tile进行了地图显示不连续边界的瓷砖。减轻这种不连续错误,启发式实时裂纹映射算法(CMA)。CMA流程分类结果,基于区域裂缝的信息,修改当前段收益率统一和连续映射的路面裂缝图像。此外,CMA有能力消除小裂缝或假阳性对象隔离在一个分区连续多个分区的瓷砖瓷砖。因为本文的目的是地图的裂纹real-in-time从流媒体视频图像帧,CNN hyperparameters (HPs)必须优化处理时间和输入图像的分类误差同时最小化。为此,一个贝叶斯优化算法(BOA)是利用代替试验和错误的方法。实验结果表明,CNN安装在便携式计算机可以处理5帧/秒提供地图的能力的一个乐队real-in-time路11.1公里每小时的速度。

这项工作的主要目的是使用实时图像绘制出沥青路面表面裂缝。裂纹是定义为一个机械或热应变材料的分离。这种材料分离允许水分渗入路面结构内部,导致过早失效或加速恶化。裂缝分类的几何定位、来源、宽度、和浓度单位长度或面积。只有肉眼可见裂缝,区分被认为是痛苦的调查。

如图1,提出裂缝映射方案包括三个阶段:数据库准备、训练和优化,实时裂纹映射。准备数据库,一个描述性的方法是给定裂纹分类根据其相对位置和几何图像中的方向。这种方法根据裂缝几何定位标签。多个图像的裂缝沥青路面聚集,并且每个图像细分成更小的瓷砖(Tls)。Tls被分为12个不同的类别根据Tl是否包含一个裂缝。如果检测到裂纹,裂纹位置和姿态的进一步分类,即:水平、垂直、对角。Tls不包含可见的裂纹,而是包含的对象如草,阴影,修补裂缝,路面标记,一般无裂缝的路面,等等,他们到13^th类别。CNN是用于学习的独特功能包含在每一个Tl,然后每个Tl分类到一个特定类别(1-13)基于裂纹存在,位置,方向。进一步完善过程中,美国银行是用来客观、系统地实现最优HPs通过选择最优初始学习速率和动量,显著减少了培训时间的操作已经被证明是乏味当手动调10,12]。训练有素的CNN用于实时裂纹映射使用视频帧的破碎巷道表面收到一个相机安装在一个飞行器。分类Tls然后发送到CMA实时地图的裂缝。CMA旨在提高决策由CNN通过消除裂缝发现,只有在一个孤立的Tl和要求裂纹映射是连续的多个Tls的平滑度和准确性提高映射字段。

3所示。实验研究

3.1。数据库准备

开发和评估CMA, 1500的图像裂缝沥青路面表面收集数据库培训CNN做准备。图像由FLIR E5相机拍摄55°×43°的视野和640×480像素的分辨率。相机放置在1.5米至2.5米的道路和一个垂直的视线和倾斜误差。每个图像被分为300等于Tls像素。几乎每一个Tl当时分为9等于块,如图2(一个),散列块显示可能的裂纹位置在一个给定的范围有界区域;这是唯一为每个类别定义。图2 (b)显示了一个实际的路面表面图像与一个给定的类别。类别组{1,2,3},{4、5、6},{7…12}代表水平、垂直和斜裂缝。noncracked类别如图(13)2 (c)。

基于建立类别的定义,共有6695个Tls是精心挑选的1500张图片,适合13类别之一。用于表示数据,CIFAR-10 [37使用布局,取得了13个不同的data-batches等于裂纹类别的数量。每个数据批包含类似的手工注释Tls代表13类以及一个指定的标签 说明Tl的类别数。然后,每个数据批的90%随机被连同他们的标签形成训练集,另10%是用于测试集。一组测试用于测量的准确性训练CNN。

3.2。CNN架构

图3说明了整体CNN architecture-input和多重卷积层,紧随其后的是一批标准化层,ReLU层,max-pooling层,完全连接(FC)层,SoftMax层和输出层的分类任务。

第一层是输入层接收到输入图像分类的Tls。裂纹特征提取每一个数据批卷积使用多个层。这一层由各种组神经元组成,其重量和偏见将更新相对于裂纹的特性。卷积层的神经元输入由上一层的小行业,被称为过滤(内核)。过滤器的大小, ,可以调输入图像的像素的大小。在卷积层,过滤器沿着地图输入和构建一个复杂的功能。增加特征图的数量,应该使用多个过滤器,每个滤波器有不同的重量和偏见能够提取图像的各种特性。步(数量的水平和垂直运动的过滤输入/卷积)被设置为2像素。

卷积层后,一批标准化层是用于减少初始HPs CNN灵敏度值和减少培训处理时间。批标准化层后,修正线性单元(ReLU)激活层添加到零阈值应用到所有负值批归一化层;这意味着,从上一层的输入经过 。max-pooling层downsamples输入除以成矩形池区域来计算每个区域的最大聚集特性矩阵。设计特征提取器后,完全连接(FC)层是用来映射矩阵的特性在最后一层的形式向量,选择等于数据库中类别的数量。为代表的概率分布在多个类分类器的输出,一个通用的二元逻辑回归模型分类器(SoftMax函数)是利用FC(后38,39]。考虑将SoftMax函数的输入样本瓷砖,属于13个类别之一,在哪里 ;然后类别先验概率(40)被定义为 ,显示的概率和条件概率 ,在哪里 权重的参数向量,由吗和偏见 。将SoftMax函数是描述为 在哪里 和输出是将SoftMax的概率分布函数,在哪里和 。

将SoftMax函数后,分类输出层(交叉熵函数)是用来分配每个输入的相互排斥的类别使用损失函数如下所示: 在哪里的样品和数量吗是一个矩阵显示与概率多少样品Tl属于类别。

3.3。培训

随机梯度下降法与动量(个)是用来训练分类的CNN。这种方法更新CNN的重量和偏见的损失函数最小化措施真分类和假的区别分类Tls。个使用训练数据的一个子集(mini-batch)。梯度源自mini-batch内的数据用于更新重量和偏见。每次更新的重量和偏见被定义为一个迭代。梯度下降法更新法律被描述为 在下标代表了迭代数,初始学习速率 , 是一个向量包含重量和偏见,损失函数和吗是动力,它定义了上一步的贡献水平。为值接近于0,学习过程是减缓和值接近1导致发散或非最优权重。此外,为了防止过度拟合的CNN在培训过程中,L2正规化(39,41使用如下: 在哪里是正则化的因素。防止过度拟合和记忆特性和改善将SoftMax泛化的分类器在训练过程中,每次迭代修改数据扩增过程中使用(38],Tls翻译随机在水平和垂直方向的最大像素。值得注意的是Tls不能翻转或旋转自分类过程依赖于裂缝方向。

3.4。网络Hyperparameters (HPs)优化

HPs提出CNN架构和个过滤器的大小 ,数量的过滤器 ,CNN层的数量 , , ,和 。惠普的搜索范围被定义为 , , , , ,和 。可能的值 , ,和是整数, , ,和对数间隔的值在0和1之间。分类错误的数量是不是Tls的分类器(SoftMax)。优化的目的是找到最优值HPs的分类误差最小化。所以,目标函数可以被认为是一个函数与HPs作为输入和分类错误作为输出。这个目标函数的建模是代数复杂和计算量。执行优化HPs的蟒蛇能够最小化分类误差,而目标函数被视为一个黑盒42]。执行美国银行,验证集的定义,由10%的随机选择从训练集Tls。目标函数的输入是训练集和验证集,如图4目标函数的列车,CNN和返回验证集上的分类错误。通过使用高斯过程建模计算错误(GP)所43),在多个迭代 ,在哪里 ,宝儿发现HPs最小化分类误差的最优值。用于GP的核函数自动相关性测定(ARD) Matern 5/2 [44]。此外,收购函数( )用于全科医生是预期的改进功能(45),如下:

执行美国银行,验证集的定义,由10%的随机选择从训练集Tls。目标函数的输入是训练集和验证集,如图4目标函数的列车,CNN和返回验证集上的分类错误。通过使用高斯过程建模计算错误(GP)所43),在多个迭代 ,在哪里 ,宝儿发现HPs最小化分类误差的最优值。用于GP的核函数自动相关性测定(ARD) Matern 5/2 [44]。此外,收购函数( )用于全科医生是预期的改进功能(45),如下: 在哪里是当前最大观测值为目标函数。的下一个估计最大化目标函数是通过收购获得的功能。全科医生在每次迭代后更新使用方程(6): 在哪里 。

的极值得到数值采样值的函数。一个封闭的形式表达美国银行内的目标函数不需要数学结构(46]。目标函数和收购两个HPs的函数,也就是说,和 ,在优化过程中在图所示5。如图5(一个)观察到的蓝点点划分了( ),意味着从观测获得的模型是描述为红色的表面,和随后的评估点划定一个黑点。此外,图5 (b)说明了采集功能。显示了目标函数达到最低在69年^th迭代;这一点与一个黑人明星划定。图5 (b)显示生成的最大可行值最小化分类误差。

迭代的总数是设置为100。每次迭代计算分类错误600随机选择从13 data-batches Tls。图6代表了估计(预期)在每个迭代和计算改进改进优化。蟒蛇是评价统计使用瓦尔德方法(47]代表图像的测试设置为独立事件与一个已知的成功概率。图像分类错误的数量代表了二项分布。通过应用测试集上的优化训练有素的CNN HPs的数量和计算正确分类Tls,测试误差定义如下: 在哪里和正确的数量分类Tls, Tls的总数在测试集,分别。注意评估测试集上的训练有素的CNN性能而不暴露CNN优化过程,用于获取标准误差。这种方法有助于提高优化速度。标准误差表示如下:

此外,本研究的目标,获得一个误差范围,97%的置信区间的定义来计算泛化误差定义为

最后HPs CNN的值 , , , , , , , ,和 。同时,个的优化值 , ,和 。

惠普应用最优值的CNN和个收益率CNN 24层和96.67%精度在10世纪,如图7(一)。此外,损失函数最小值是0.033十世,如图7 (b)。广义误差间隔的测试集 。图8说明了24个随机选择的输出卷积第四层,表明由CNN Tls的特征提取。提取裂纹的位置和姿态的特点在每一个Tl图可以很容易认出8。图9描述了测试集的混淆矩阵,得到基于CNN,训练使用的最终值。如图9最高的两个类别之间的5和6是混淆。原因是,从图2(一个)类别5和6代表垂直裂缝在中间和右边的Tl,分别,这本质上导致误分类的概率更高。24随机选择Tls从被选为测试的测试集优化训练CNN如图10随着他们属于每个类别的百分比概率。训练有素的CNN在本节中,将用于地图的裂缝CMA在以下部分中描述。

4所示。实时裂纹映射算法(CMA)

在本节中,提出了实时裂纹映射算法进行了探讨。到目前为止,CNN是训练有素的,把一个Tl的裂缝。然而,如果CNN直接用于地图裂缝,导致地图不会是连续的。不连续的结果分类错误,由于瓷砖的大小块和CNN的有限数量的类别分类器识别。为了缓解这个问题,因为它是显示在图1,CMA块添加到映射方案,柔滑导致最终的地图。如图3,一个输入图像或视频帧划分Tls在数据库的大小一样,Tls假设输入图像像素。相关的分类器分配一个分数Tls每个类别的相似。得分越高,越可能Tl的裂纹属于一个类别。Tl在所有打分,如果分数小于85%的定义的阈值,它假定noncracked Tl是13^th类别。如图11,将输入图像有15行 ,和20列, 。如图12,对于每一个裂缝的类别,原始映射图的定义。原始的映射图是一组直线段估计裂纹位置和姿态根据其分类。这种映射不会瓷砖之间的相互联系,从而导致两种直接的缺陷:孤立的裂缝和nonconnected裂缝导致整体映射错误。

改善裂缝连通性之间的瓷砖,没有精炼Tls的像素尺寸和增加的数量分类类别,CMA块创建“领带”破解线段之间的邻近瓷砖。这个过程描述如下:如果一个Tl有任何与其他常见的一边(Si)或角落,Tls叫做邻居Tl。每一个Tl至少3邻居图像角落和最多8邻居在图像内部。一个孤立的Tl是一个Tl发现裂缝,但没有邻居Tls发现裂缝。CMA开始地图实时输入图像的扫描行从左到右。绘制每一行,CMA流程吧,左,和上的邻居。虽然连续扫描,孤立的Tls被丢弃noncrack Tl。另一方面,如果两个或两个以上的裂纹邻居Tls存在,原始的线性段情节将翻译垂直或水平,直到原始映射段Tl和邻居Tl相交。因为它是描绘在图(13日),Tls的裂缝是由一个线性映射段和CMA开始扫描行(左到右)。瓷砖A2与共享方面有邻居A2和B2。CMA开始转换的线性段垂直向下,直到结束的交叉段在A2,如图13 (b)。一个扫描行后,下一行然后扫描的CMA B。瓷砖B2裂纹检测,检测到一个裂缝在邻居瓷砖A2。如图13 (c),CMA转换线段的结束在B2水平向右移动,直到在A2相交线段的开始。这个过程一直持续到图像中每一行被处理。

图14显示了连接CMA改性映射图(红色线)覆盖路面裂缝图像和原始映射块(蓝线:没有段连接)。一个孤立的裂纹(蓝线)检测在瓷砖C7和分为类别7。没有邻居瓷砖C7有发现裂纹。更加孤立裂缝检测到C7、E9 H17和美丽。在CMA孤立的裂缝被淘汰。幸存的线性段是那些从A9邻居Tls所示,B9, B10,制备过程,D9 O13…。通过定义你的邻居Tl, A9的映射图,B9, B10,制备过程,D9…O13形成模式地图下面裂纹。该方法并不局限于某一垂直距离相机的道路。通过相机的焦距等参数,传感器尺寸,等等,针孔相机模型(48)可以用来发现路面的实际尺寸在每个图像。需要这个信息来确定裂纹的大小在每个图像。如上所述节3、图片拍摄距离的1.5到2米以上有裂缝的沥青。例如,对于相机用于收集图片在这工作,像素图像将覆盖来块在路上。在这种情况下,每一个Tl将覆盖来区域。

因此,考虑到孤立的Tls消除的CMA导致排斥的裂缝与最大长度来 。另一方面,裂缝宽度的另一个要求是不同的协议定义缺陷的严重性。作为一个实例,AASHTO协议(PP44-00和PP67-10)有三个不同的水平测量损伤严重程度。1级的定义是裂缝宽度小于 ,2级是指裂缝之间的宽度和 ,和水平裂缝的宽度大于3 。此外,三个主要类型的大多数协议都纵向裂缝、横向,鳄鱼裂缝(36,49]。虽然把裂缝的长度和宽度的百分比巷地区是一个简单的任务为横向和纵向裂缝,没有特定的方式应用相同的方法对鳄鱼的裂缝。因此,HPMS等协议,LTPP, PP44-00关注横向和纵向裂缝和考虑鳄鱼裂缝这两种类型的组合。与用于本文提到的设备,可以检测裂缝的最小宽度和最大的宽度在图像从1.5到2米的路面表面。该算法在裂纹的长度没有限制。此外,该算法能够检测所有三种类型的裂缝被广泛接受的定义协议。

5。实验结果

在本节中,提出了训练有素的CNN的测试结果两部分:(i)算法的性能测试在多个单一图像各种裂纹形状和(2)一个实时映射评价是一个捕获视频从一个随机选择的路面道路。训练和测试的测试图像数据库是不习惯,没有过滤或修改,在不同的光线条件下,相机的位置。同时,本文MATLAB用于训练和优化CNN和CMA算法的实现。

5.1。单一图像映射评价

如图15三个样品图片与垂直裂缝的典型类型(图(15日)),水平(图15 (b)),并对角(图15 (c)CMA)方向被用来测试。没有孤立的瓷砖裂缝和连接映射裂缝覆盖的主要裂缝大量的准确性。

此外,测试算法的性能在不同的天气和光照条件下,在不同的情况下多个裂缝被选中,如图所示。数据(16日)- - - - - -16 (f)显示湿、明亮和黑暗条件分别。CMA可以映射裂缝不管路的条件。

5.2。实时映射评价

同时,评价CMA性能以实时的方式,使用收幻影4无人机视频拍摄与安装摄像头。CMA上实现视频捕获的图像帧。无人机被设定的高度从地面。相机是垂直于地面,将解决视频质量和fps。自从无人机飞行以缓慢的速度高于裂纹,由于帧率较高,处理的帧间隔设置为60帧。测距杆, ,用橙色和白色的乐队成立在道路裂缝,无人驾驶飞机是飞3.6米前进的方向。的笔记本电脑用于处理捕获的视频与NVIDIA m11x 15 R3 GTX 1070 GPU和英特尔酷睿i7处理器。因为它是图所示17,该算法能够检测和地图深裂缝表面,避免漏油。指图17,每一帧每0.2毫秒。总共5帧每秒可以处理了路的人行道上。这表明的最大速度与当前硬件实时映射为11.1公里/小时。然而,这个速度可以增加随着更轻,更强大的图形处理单元。图18显示一个视频从无人机的实时画面获得裂纹映射段CMA的产生。

该算法在这个工作在改善现有工作(10)通过集成裂纹检测裂纹映射使用图像分割和分类在CNN的架构。此外,优化CNN架构提出使用数量显著降低的过滤器在卷积层(256)导致计算需求下降在CNN培训和实时处理。就像前面提到的6蟒蛇是用来计算HPs。验证这一事实所选择的最优值最大化CNN的准确性,在培训过程中,HPs都是不安的 , , ,和白噪声。如表所示1微扰的HPs降低了精度约 ,同时,因为它增加 ,精度减少最多8%。

6。结论

本文算法映射使用卷积神经网络实时道路裂缝提出和测试。作者收集的数据库工作,由于有限的可用资源,数据库仅限于6695图片的大小。卷积神经网络在这个工作使用贝叶斯优化算法进行优化。介绍了启发式算法实时裂纹映射和测试在不同的图像复杂裂纹位置和姿态。另外,视频记录和处理测试算法的实时能力。虽然数据库是精心挑选和策划工作,作者试图包括一个健壮的裂纹图像提高人口的选择和分类能力CNN。然而,这项研究仅限于只有一块大小和13分类类别。当然,对于商业应用程序,增加图像的数量在训练和提高计算能力将允许用户减少瓷砖的大小和增加的数量分类类别可能进一步细化的光滑映射部分。通过CMA映射结果还可用于裂缝类型分类和因果关系,分析是什么类型的沥青更容易开裂,什么类型的沥青更适合不同的道路状况对交通,以及如何选择最佳的沥青在不同的情况下,最后估计修复和保护成本为每个单独的道路类型。分析裂纹扩展模式基于地理信息的使用CMA提供了更多的分析信息结合其他数据,可以帮助在道路建设的决策过程。

数据可用性

相应的作者应联系读者喜欢访问裂纹的裂纹图像数据库和代码来源映射算法。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

本文由一个内部支持格兰特拉马尔大学工程学院。

引用

1. j . a . Epps和m . Ardila-Coulson总结SHRP研究路面养护的效益和经济效益联邦高速公路管理局,华盛顿,美国,1997年。
2. 国家公路交通安全管理局,国家机动车事故原因调查:向国会报告,国家公路交通安全管理局技术报告点海关,国家公路交通安全管理局,华盛顿特区,2008年美国。
3. l .太阳,m . Kamaliardakani, y,“加权邻域像素分割方法在路面表面裂缝图像的自动检测,”计算机在土木工程杂志》上,30卷,不。2,文章ID 04015021, 2016。视图:出版商的网站|谷歌学术搜索
4. 答:欧阳,c罗和c .周”表面祸患检测基于数字图像处理的路面,”计算机和计算技术的国际会议在农业施普林格,页368 - 375年,南昌,中国,2010年10月。视图:谷歌学术搜索
5. k . Gopalakrishnan)先进的路面健康监测和管理(WWW文档),全球视频IGI,宾夕法尼亚州,美国,2016年。
6. g力和包,“路面压力检测和分类使用功能映射”学报2010年IEEE国际会议上电/信息技术IEEE,页1 - 5,渥太华,美国,2010年9月。视图:出版商的网站|谷歌学术搜索
7. g . g . Sollazzo k . Wang Bosurgi, j·李,“混合过程与三维路面裂缝自动检测的数据,”计算机在土木工程杂志》上,30卷,不。6、文章ID 04016032, 2016。视图:出版商的网站|谷歌学术搜索
8. 李,y曹,h . Cai”自动pavement-crack检测和分割基于可操纵的匹配滤波和活动轮廓模型,”计算机在土木工程杂志》上没有,卷。31日。5、文章ID 04017045, 2017。视图:出版商的网站|谷歌学术搜索
9. p . Prasanna k·j·达纳:Gucunski et al .,“自动检测混凝土桥梁,”IEEE自动化科学与工程,13卷,不。2、591 - 599年,2016页。视图:出版商的网站|谷歌学术搜索
10. Y.-J。Cha w·崔和o . Buyukozturk深上优于使用卷积神经网络检测裂纹损伤,”计算机辅助土木与基础设施工程,32卷,不。5,361 - 378年,2017页。视图:出版商的网站|谷歌学术搜索
11. c·科赫Georgieva k、v . Kasireddy b . Akinci和p . Fieguth”审查基于计算机视觉缺陷检测和评估混凝土和沥青民用基础设施条件,”先进的工程信息卷,29号2、196 - 210年,2015页。视图:出版商的网站|谷歌学术搜索
12. p . Patidar m·古普塔,s·斯利瓦斯塔瓦和a . k . Nagawat”由各种过滤器对不同噪声图像去噪,”国际期刊的计算机应用程序,9卷,不。4、2010。视图:出版商的网站|谷歌学术搜索
13. w·r·Vavrik l·d·埃文斯,j . a . Stefanski和s . SargandPCR Evaluation-Considering从手工半自动路面遇险收集和分析阿尔伯克基,Applied Research Associates Inc .)、美国,2013年。
14. a . Ayenu-Prah和n . Attoh-Okine”与二维经验模态分解评价路面裂缝”,EURASIP在信号处理的发展》杂志上,卷2008,不。1,文章ID 861701, 2008。视图:出版商的网站|谷歌学术搜索
15. p . Subirats j . Dumoulin诉Legeay, d .胡须”路面表面裂纹检测的自动化使用连续小波变换,”《2006年国际会议上图像处理IEEE,页3037 - 3040年,拉斯维加斯,NV,美国,2006年6月。视图:出版商的网站|谷歌学术搜索
16. k·c·p·王,问:李和w·龚”小波路面遇险多孔算法的图像边缘检测,”交通研究记录:《交通研究委员会,卷2024,不。1,第81 - 73页,2007。视图:出版商的网站|谷歌学术搜索
17. g . w . Flintsch和k . k . McGhee路面状况数据收集的质量管理交通研究委员会,华盛顿,美国,2009年。
18. 梁和b .太阳”,利用小波技术对路面裂缝检测”ICLEM 2010:物流经济持续发展:基础设施、信息、集成,页2479 - 2484,中国出版物,莱斯顿,弗吉尼亚州,美国,2010年。视图:出版商的网站|谷歌学术搜索
19. 曹问:邹,y,李问:问:毛,和美国,“CrackTree:自动从路面图像裂缝检测,”模式识别的字母,33卷,不。3、227 - 238年,2012页。视图:出版商的网站|谷歌学术搜索
20. h . g .月亮和j·h·金,“智能裂纹检测算法使用神经网络对混凝土裂纹图像,”学报28日自动化和机器人技术在建设国际研讨会(2011年ISARC),页1461 - 1467,首尔,韩国,2011年6月。视图:出版商的网站|谷歌学术搜索
21. m·奥伯b . Ghosh f . Schoefs诉Pakrashi,“区域受损表面,提高多相分割技术”计算机辅助土木与基础设施工程卷,29号9日,第658 - 644页,2014年。视图:出版商的网站|谷歌学术搜索
22. m·奥伯f . Schoefs b . Ghosh和诉Pakrashi,“基于纹理分析的损伤检测老化的基础设施元素,”计算机辅助土木与基础设施工程,28卷,不。3、162 - 177年,2013页。视图:出版商的网站|谷歌学术搜索
23. m·r·Jahanshahi f·马斯里,c·w·帕吉特和g s Sukhatme”一个创新的方法检测和量化的裂缝的深度知觉,“机器视觉和应用程序,24卷,不。2、227 - 241年,2013页。视图:出版商的网站|谷歌学术搜索
24. l .吴Mokhtari称,积极,b .南,H.-B。云”,改善使用小说裂纹裂纹探测精度碎片整理技术在基于图像的道路评估,”30卷,没有。1,文章ID 04014118, 2016。视图:出版商的网站|谷歌学术搜索
25. m . s . Kaseko、z . p . Lo和s g·里奇”比较传统和神经分类器pavement-crack检测”交通运输工程学报,卷120,不。4、552 - 569年,1994页。视图:出版商的网站|谷歌学术搜索
26. 杨n, x, x, y,“自动化识别路面损坏数据基于支持向量机的,”学报2009年的第二次国际会议上智能网络和智能系统IEEE,页346 - 349年,天津,中国,2009年11月。视图:出版商的网站|谷歌学术搜索
27. k . Gopalakrishnan)“深度学习在数据驱动的路面图像分析和自动压力检测:复习一下,”数据,3卷,不。3、2018年p。28日。视图:出版商的网站|谷歌学术搜索
28. a Vedaldi和k . Lenc Matconvnet:卷积神经网络matlab,”第23届ACM国际会议多媒体学报》上ACM,页689 - 692年,布里斯班,澳大利亚,2015年10月。视图:出版商的网站|谷歌学术搜索
29. k . Gopalakrishnan) s . k . Khaitan a·乔杜里和a . Agrawal“深卷积神经网络转移学习计算机的数据驱动的路面压力检测,建立“建筑和建筑材料卷,157年,第330 - 322页,2017年。视图:出版商的网站|谷歌学术搜索
30. s . Dorafshan r . j .托马斯·m·马奎尔,“比较深卷积神经网络和基于图像的裂纹检测混凝土边缘探测器,“建筑和建筑材料卷,186年,第1045 - 1031页,2018年。视图:出版商的网站|谷歌学术搜索
31. Maeda h . y . Sekimoto, t .濑户,t . Kashiyama h .我们杂志,“路损伤诊断使用深层神经网络与图像捕获通过一个智能手机,“2018年,https://arxiv.org/abs/1801.09454。视图:谷歌学术搜索
32. l .一些自动图像道路裂纹检测方法k皇家理工学院,斯德哥尔摩,瑞典,2016年。
33. y Kellouche, b . Boukhatem m . Ghrici, a . Tagnit-Hamou”探索影响粉煤灰混凝土碳化的主要因素使用人工神经网络,”神经计算和应用没有,卷。31日。2、969 - 988年,2019页。视图:出版商的网站|谷歌学术搜索
34. g .徐j .马f·刘,x妞妞,“自动识别基于BP神经网络的路面表面裂缝,”学报2008年计算机与电子工程国际会议页19 - 22日,IEEE,普吉岛,泰国,2008年12月。视图:出版商的网站|谷歌学术搜索
35. l . Zhang f·杨,y . d . Zhang和y . j .朱”道路裂缝检测使用深卷积神经网络,”学报2016年IEEE国际会议上图像处理(ICIP)IEEE,页3708 - 3712年,凤凰城,亚利桑那州,美国,2016年9月。视图:出版商的网站|谷歌学术搜索
36. k . c .王先生和李问:三维激光成像ODOT州际网络真正的1毫米的分辨率俄克拉何马州交通部,俄克拉荷马城,好吧,美国,2014年。
37. a . Krizhevsky和g .辛顿学习多层特性的小图片加拿大多伦多,多伦多大学,2009年,技术报告tr - 2009。
38. 格拉汉姆·古德费勒,y Bengio、a .考维尔和y Bengio,深度学习美国马剑桥,麻省理工学院出版社,2016年。
39. m·b·克里斯托弗模式识别和机器学习斯普林格出版社,纽约,2016年美国。
40. 坟墓,s·费尔南德斯、f·戈麦斯和,的j。施密德胡贝尔表示“联结主义时间分类:标签不分段序列数据与复发性神经网络”学报》第23届国际会议上机器学习ACM,页369 - 376年,匹兹堡,宾夕法尼亚州,美国,2006年6月。视图:出版商的网站|谷歌学术搜索
41. k·墨菲,机器学习:概率方法、麻省理工学院、剑桥,妈,美国,2012年。
42. r·巴普蒂斯塔和m . Poloczek“贝叶斯优化组合结构,”2018年,https://arxiv.org/abs/1806.08838。视图:谷歌学术搜索
43. m·a·基尔巴特j .杖鱼,r·p·亚当斯”与未知约束贝叶斯优化”,2014年,https://arxiv.org/abs/1403.5607。视图:谷歌学术搜索
44. c·e·拉斯穆森“高斯过程在机器学习,”先进的机器学习讲座施普林格,页63 - 71年,柏林,德国,2004年。视图:谷歌学术搜索
45. j .莫卡斯贝叶斯的全局优化方法:理论和应用程序施普林格科学与商业媒体,纽约,美国,2012年。
46. e . Brochu诉m·科拉和n . de Freitas”教程贝叶斯优化昂贵的成本函数,与活跃的用户建模和应用程序分层强化学习,”2010年,https://arxiv.org/abs/1012.2599。视图:谷歌学术搜索
47. f·哈勒尔,“回归建模策略:应用线性模型,物流和序数回归,和生存分析,“施普林格,纽约,纽约,美国,2015年。视图:谷歌学术搜索
48. y, s . Soatto j . Kosecka s Sastry,邀请3 d视觉:从图像的几何模型施普林格科学与商业媒体,纽约,美国,2012年。
49. 邱,w·王,王,和k·c·p·王”的方法准确AASHTO PP67-10-based破解使用1毫米三维路面图像量化,“31卷,没有。2,文章ID 04016056, 2016。视图:出版商的网站|谷歌学术搜索

版权

版权©2019 M-Mahdi Naddaf-Sh等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。