文摘

本文使用尖端的深度学习技术来识别结构损伤图像为土木工程应用程序。国家的公共基础设施通常检查身体通过视觉评估合格的检查员。然而,手工检查是非常耗时的,常常需要太多的劳动。专家能够评估这些结构性破坏的数量是不够的。因此,计算机应用开发了自动损伤检测的技术。本文的民用基础设施损失分为四个损害公路常见的印度高速公路和桥梁混凝土恶化。卷积神经网络已经成为一个标准的组织和识别图像的工具。本文提出了三种CNN模型的合奏,和两个上优于转移模型。提出的整体转移学习模式提供了一种验证的准确性为87.1%。

1。介绍

桥梁、桥梁、高速公路、生命线网络,和房子只是几个例子的关键基础设施建造几十年前,不再适合的目的。根据美国土木工程师协会2017年基础设施成绩单,美国有超过56岁,000年在有缺陷的桥梁,将花费额外的1230亿美元补丁(1]。收集的数据评估和评估过程通常用于确定结构设计的状态。传统监测方法的影响结构设计包括常规检查合格的检查员以及具体的决策标准。这样的检查,另一方面,可能需要耗费一些时间,劳动密集型、昂贵和危险2]。监控可用于定量了解结构的现状通过测量物理量的作用,压力和侧向位移;这种方法允许无缝混凝土结构实时监测,实现安全性和性能的期望,以及降低质量控制成本(3]。虽然这些方法已被证明产生精确的结果,他们通常都有低视力或需要大量的传感装置被安装。另一个问题是,当传感器集成,访问他们往往是有限的,导致设备管理很困难。接触传感器安装时具有挑战性和耗时的定期监测是必需的(4]。推进和理解自动化的好处民用基础设施条件评估,改进检验和监测方法与人类干扰少,更低的成本和更高的空间分辨率必须开发和测试。政府机构花费大量的资金进行例行检查的重要桥梁和道路等基础设施(1]。

此外,系统响应记录和照片数据媒体变得越来越重要在当今数据爆炸,特别是深度学习(DL)在计算机视觉中的应用,近年来已取得了重大进展。此外,机器学习的应用和深度学习的目标是使计算机执行重复性劳动密集型的任务,同时也学习从以前的经验2]。最近几天,建立结构健康监测是用来识别结构损伤检测,主要依赖于经验的人类进行目视检查。在这工作,提出民用基础设施损失考虑混凝土恶化桥梁、道路裂缝,路坑坑洼洼,道路车辙,路行(3]。首先,桥梁混凝土恶化是由于强化钢的寿命的减少。桥坍塌相当于飞机失事和自然灾害导致受伤,生命损失和财产损失4]。常见的桥梁损害有腐蚀、浸出、裂缝和混凝土表面识别条件的比例;桥梁结构面临一系列破坏性的测试,其中包括切割、缝纫,核心样本。它有助于在分析核心配置文件和测试的桥梁。然而,取心会增加伤害一个已经损坏的风险结构由于混凝土通过削减,缝纫,核心样本。破坏性的测试方法不适合桥梁结构的损伤定位组成一个更大的区域(5]。

其次,印度的公路网络极其覆盖面积较大,通过道路连接不同的地方。然而,道路维护的是如此贫穷。作为道路间接贡献给国家的经济发展,道路,必须制定好和固体。印度作为一个发展中国家,对维护良好的公民基础设施的需求正在增长。最高的人口最大的国家,在印度这个问题尚未得到解决。自动化道路损坏检验,因此,众多的解决方案包括3 d方法,vibration-based技术和应用技术,提供了研究人员(6]。振动检测技术是有限的接触路部分。而热成像方法提供详细信息道路损坏,需要把门关上。使用四元数生成3 d全息图像民用基础设施的菲涅耳变换分析其条件(7]。

与此同时,图像处理技术是划算的。然而,受限于缺乏准确性。道路损害是交通事故的根源之一,需要保持适当的避免危险事故。一个坑是由于损伤引起的沥青表在内部,影响路面的表面(8]。由于土壤质量差,极端温度波动创建这样的凹坑。的头发,边缘连接,莱茵联合、扩大优势,知觉,蒸发,鳄鱼,九种不同类型的裂缝和侵蚀是发现在路上的表面层。路面的裂缝可能导致出行时间延迟和增加成本由于过度消耗燃料和车辆维修9]。早期发现的裂缝和其他损害赔偿是必要的,以避免由于路面故障引起的严重问题。深卷积神经网络(cnn)是有用的在各种各样的应用,如计算机视觉(10),自然语言处理(11),图像处理12)、语音识别、信号分类,和电池估计(13]。本研究的主要贡献可以概括如下:(1)的新数据集1176赔偿金由133混凝土恶化的情况下,483道路坑坑洼洼,360道路裂缝,100巷道发情的情况下,从不同的来源和100巷道线在GitHub开源(2)这是第一次,一个深神经网络模型分类桥恶化和道路破坏我们所知(3)从数据中提取高层特征和形状特征映射确定损失,自定义浅CNN模型显式设计(4)Xception和AlexNet模型作为转移学习模型由于更少的数据进行训练(5)整体模型是使用自定义开发的CNN, Xception, AlexNet提高预测速度,实现更好的性能地图使用不同的功能(6)来验证算法的准确性和有效性,提出了模型与各种方法相比

论文的其余部分的结构如下。部分2文献回顾中,我们看看其他现有技术,促使我们要走上这条道路。部分3提出了材料和方法复杂的数据集,数据增加,提出分割。部分4提供了该工作,讨论自定义CNN,转移学习,和一个模型。部分5说明了不同的先进的模型的结果和讨论与提出的模型之后,结论部分6本文总结了。

2。相关的工作

维护基础设施应定期和广泛。此外,它是昂贵的劳动力和材料要求。因此,基础设施监控系统允许人们监测和交换信息与当地基础设施问题,比如涂鸦,破损路面板、凹坑和关注非职业路灯通过使用一组相似的图像。目前当地市政府的责任监控和维护所有的设施。许多地方政府在国家不能进行足够的考试由于缺乏经济和人力资源。解决基础设施维护等问题,这些问题必须解决,当地政府控制了大部分的基础设施。在实际情况中,当路面监管者从政府发挥重要作用修复道路的危害,他们需要了解,清晰,涉及到什么样的伤害,他们需要采取适当的行动。本节提供了一个详细的审查现有的道路损伤诊断的技术。民用基础设施及其损伤诊断如下。这个实验集中在直方图和图像区域中提取函数,然后添加一个非线性支持向量机内核来检测目标。 The results revealed that the pothole could be easily seen in this analysis.

在[14),作者提出了一种神经网络方法,介绍了传感使用模态属性伤害,可考虑的假装的缺点在有限的基于组件的模型训练的设计生产。的可行性建议的方法给出了两个数值比较简单的梁和multigirder桥。使用backpropagation-based神经网络,研究人员展示了一个方法来确定零件的破坏强度桁架桥系统(15]。这项技术用来解决问题的几个不明身份的限制有关的实质性的结构设计是识别子结构。自然的动态特性和振动频率是提供给神经网络作为分类损失输入约束,主要在不规则的模态分析测量。机器学习方法的最近的增长给研究者更多的项目输入不同的算法进行分类和分类的道路伤害使用道路表面的图像。在[16),作者引入了一个方法,重组道路总结使用车辆的响应。开发一种人工神经网络的方法来重建道路的面积从车辆的速度。在这种方法中,数值程序使用不同的利率基础上创建不规则分数,增加缺陷对不同噪声水平,和大量的汽车。但是这种方法特别为特定的应用程序。作者提出了激光扫描和成像的路面17]。裂缝的自动检测是使用backpropagation-based实现神经网络(摘要)18]。开发出相应的图像处理框架,进行预处理的图片和我的裂缝信息。这个框架被用来消除冗余信息在初始阶段的图像处理和特征参数用于分类的图像和微分线性的道路上的鳄鱼,鳄鱼或裂缝。日本道路association-maintained路面安全监测主要是建立在图形由专业评估路面大规模检验主管和客观的决心。这个框架可以解决不同的大规模图像。

在[19),作者进行了研究分析,而不是使用智能手机加速计。研究人员旨在实现自动评估路面条件通过道路表面的图像用手机相机。解决识别的损伤,几种方法测量路面破坏路面图像已经提出。作者建议使用商业黑盒相机定位凹坑(20.]。壶穴探测结构收集数据,如位置、外观、使用相机和高度。损害发生在路面上,分为九个裂纹形式。裂缝巷关节,细小的裂缝,裂缝边缘,反射裂缝,裂缝不断扩大,混凝土收缩裂缝,联合边界、裂缝和鳄鱼裂缝也称为鳄鱼裂缝,新月或滑脱裂缝。这些裂缝可能发生由于不稳定的土壤的道路。污水系统不是处于良好状态;有贫穷的执行工作和糟糕的铺路材料,不能容忍道路的容量和流量(21]。然而,劳动密集型的方法,包括彻底的检查,需要大量的时间和精力。此外,劳动密集型的方法似乎是混乱和难以管理;因此,这意味着一个更重要的风险。虽然详细的检查,如MMS和通过激光扫描,高效,彻底检查需要太多的费用。一个详细的调查,和智能手机应用程序使用一个轻量级的道路建造经理(22]。

一个基于android的方法最终包含了模型参数在每一个调查和分类图像道路基础设施。裂缝和他们的不同类型需要不同类型的维护和修复机制的图像聚集,和众多的程序应用于提取显著特征强调裂缝。logarithm-based变换被用来使深色细胞扩张和光明的压缩。最初,预处理是图像。之后,基于树的启发式算法的决定是执行预处理图像分类和检测照片上的裂缝。我们比较先进的目标检测方法的准确性和运行时速度使用卷积神经网络训练的危害检测模型与我们的数据集使用GPU服务器和智能手机。最后,我们表明,损伤的类型可以准确地分为八个类别使用该对象检测方法(33 vibration-based系统使用移动加速度计)和陀螺仪为自动人行道遇险检测开发的,而不是使用视频处理应用的方法,提出了这项工作。vibration-based设备有80%的准确性检测凹坑,补丁,疙瘩。检测空白、凹坑和补丁,应用方法有84%的准确性(23]。本研究使用智能手机的传感器和板载诊断设备来检测道路路面违规行为,导致较低的道路基础设施评估。研究中,智能手机的传感器和人工神经网络技术用于捕获一个巷道路面车辆的接触传播,然后使用交互模式定位坑坑洼洼的路面。设备的检测精度在90%左右(24]。路面裂缝自动检测和分割新方法从2 d照片描述。该方法首先创建了一个裂缝属性向量可操纵的匹配滤波器,它提高了对比和周围的路面裂缝同时捕捉裂纹不连续和曲率。裂缝显著地图是用于构建粗裂区和粗糙裂纹财产估计。之后,细裂纹面积输入提出活动轮廓模型,然后使用它来段裂缝使用水平集演化方法(20.]。介绍了自动检测和分类的过程道路损坏,如凹坑和裂纹。损害如凹坑、裂纹和持久的萧条是框架在这个方法(25]。DeepCrack是一个模型,用来检测裂缝自动使用本文提出高层表示。捕捉线结构,一个卷积过滤器是融合提取多层次特征。DeepCrack达到平均为0.87f分三个令人生畏的数据集(26]。文献调查的概述在表提供了优点和缺点1。

3所示。材料和方法

3.1。数据集集合

建立和验证该方法,是从头开始创建的数据集。强调一般性的建议的解决方案,从各种来源照片相关的民用基础设施是有帮助的。破坏数据库目前不包括印度公路和桥梁结构。作者拍摄的大部分受损的建筑,和损失的照片在互联网上可用的设计在公共领域也被使用。照片来自谷歌图片搜索中使用的其他来源。从不同来源收集到的图像是由作者上手写的。图像的总数是1176,包含133个混凝土恶化,483年凹坑图片,360裂纹图像,100发情的图片,和100 -线图像。数据集的信息表中描述2。图1显示了数据集的一些示例照片。

3.2。数据增加

深度学习神经网络提供了更好的准确性训练时一个巨大的数据集。为了提高网络的性能,训练数据使用不同的图像增强技术增强现有数据使用Keras深度学习。新创建的图像属于同一类的原始图像。图像增强使用水平翻转等变换,垂直翻转,缩放,旋转,剪裁,变化进行加强和扩大与新图像数据集。虽然深学习算法可以学习特性不变的照片中的位置,增加的数据可以帮助模型在学习组件也不变的变换,如照片,光水平排序等等。图像增强的一些结果如图2垂直,水平翻转,翻转,剪裁,90°旋转执行。

3.3。提出图像分割

分割的额外赔偿是基于像素值完成的。裂缝是基于多个阈值分割。基于像素分类不太复杂的计算更简单,产生更快的结果。基于像素图像分割图所示3这显示了基于像素分割后的图像。

4所示。提出深度学习框架

提出了深度学习框架如图4。获得的数据预处理。在预处理阶段,图像分割技术是用来从输入图像中提取有用的特性。预处理图像被送入三种模式,第一个模型是从头开发。第二个模型采用pretrained (AlexNet和Xception模型)。第三个模型是所有三个模型的整体模型改善建议工作的性能。整体模型采用多数表决方案预测的输出。

4.1。卷积神经网络

卷积神经网络(cnn)是一种前馈神经网络主要用于图像分类。有线电视新闻网是由3层:卷积层、汇聚层,和一个完全连接层。一般来说,图像被送入卷积层CNN。操作后“卷积核”,输出是输入将采样池层,回旋的生产特性图。CNN的主要部分是一层用于从给定的输入图像中提取特征。在每个内核转发传播的过程k反映在 在哪里是激活函数,代表卷积重量内核,表示层的偏见l,表示内核的输出k从层l。输出卷积层可以计算如下:

其次是卷积层、汇聚层是用来降低特征维数。池功能可能最大值、最小值、平均值。然而,maxpooling被广泛使用,因为它报告最大的输出在输出字段。CNN的激活函数是最重要的部分,因为它负责决定网络的输出和计算性能。它也有一个相当大的对收敛速度的影响。有不同的激活功能,比如乙状结肠、双曲正切,ReLU, LReLU, PReLU,鞭打,softmax。修正线性单位是应用最广泛的激活函数深度学习应用。它提供了快速训练算法相当的优势融合权重更新很快。一般来说,在输出层,乙状结肠函数用于二进制分类,softmax用于多个类型。将softmax函数在输出层的CNN模型中,这是由以下方程n数字x_我…x_n在

输出范围从0到1,加起来1在预测阶段。

4.2。定制CNN模型

鲁棒性模型中,卷积神经网络模型是从头开发,考虑到激烈的网络可能会导致较长的训练时间,和最小的网络可能会导致糟糕的学习。通过考虑这些问题,提出了定制CNN模型和结构表中提到的2。输入图像尺寸大小为64×64的宽度和高度,分别。卷积层有一个固定内核3×3的大小,但不同数量的过滤器有16个,32,64架构的深度发展。过滤器的数量增加到提取不同的特征。完全连接层上使用的平层是二维图像转换为单列向量。将softmax层用作分类层对五个不同的类进行分类。优化函数中使用的模型自适应动量估计(亚当),以避免局部最小值31日]。亚当优化功能还支持自适应学习使用网络参数。定熵损失函数模型中使用的问题是一个多类分类问题。表3总结了该网络的结构。总体架构如图5对民用基础设施的损失进行分类。

4.3。转移学习模型

学习技术转移的pretrained模型是用来代替开发模型。转移学习就是在ImageNet pretrained模型训练数据集组成的数以百万计的图像。它可用于特征提取的数据集之后,CNN的平层,而且,pretrained模型可以用作分类网络。在这工作,提出Xception模型用于特征提取。谷歌开始建筑激发Xception模型。《盗梦空间》范式解释Xception以一种“极端”的方式。Xception架构是一个深度方面分离卷积与剩余的连接层堆栈是线性叠加的。卷积Xception架构使用深度方面而不是常规的卷积。卷积说深度方面减少了训练时间,大大减少了参数的数量。Xception模型作为特征提取和用作转移学习模型和给定的作为完全连接的输入层。 It is shown in Figure6。输出层使用将softmax激活函数将给定的五类。

学习模式也用于AlexNet转移模型,它是用作函数器单元。亚历克斯Krizhevsky建议。这是一个基本的CNN结构最终由卷积和链接的图层。输入尺寸是227×227像素。第一个卷积层接收数据。有四个褶积层。在卷积层,使用激活特性是ReLU。将softmax激活功能是用于输出层。AlexNet架构的图像分类如图7。

5。结果与讨论

实验是在谷歌Colab GPU执行运行时环境使用Keras和Tensorflow平台。三卷积网络体系结构的性能与分类的合奏CNN架构和其他先进的架构民用基础设施。整个数据集分为训练和测试比率的90%和10%。训练数据包含1027张图片,验证数据包括153张图片。处理后,训练数据为数据增加提高训练数据集。模型与特征提取的准确性使用pretrained模型Xception和AlexNet进行了分析。四个模型训练和测试获得数据集的多类分类。hyperparameter固定提出模型的学习速率为0.001,100年的时代,和8批大小,和一个亚当优化器使用。自定义CNN使用训练数据训练模型,然后进行测试与验证数据。数据增强和基于像素分割特性是用来避免过度拟合模型。 Despite efforts taken to avoid overfitting by the regularization techniques, it was observed that the proposed custom CNN reached a convergence state between the scale of 80% and 86% of classification accuracy and began to memorize training data. The highest classification accuracy was observed at the 36th epoch as 86% for the validation dataset and it is shown in Figure8。从36模型重量和偏见^th时代是对模型进行测试。Xception模型训练获得的数据集分类桥损失和道路伤害获得的分类和训练精度96%和验证的准确性82%如图9。培训和验证精度之间的差距相当高,由于数据集类不平衡问题。同样,AlexNet模型,训练精度范围在92%和96%之间,和验证准确性84%是因为同一个类不平衡问题,阶级之间的相似性在图中所示的数据集10。为了解决这个问题,整体模型的三种模式相结合的体系结构定义CNN, AlexNet, Xception模型。预处理数据集是所有三个架构同时送入为了提取区别的特征映射的特性,然后,绝大多数投票方案是用来区分各种类型的损失。为获得数据集如图11,整体的方法提供了一个训练精度94%,验证精度87%。

评估模型的鲁棒性,提出的模型相比,各种先进的架构。该方法是唯一的方法训练和测试等各种类道路裂缝,线条,坑坑洼洼,发情的恶化和桥梁检测。但在文献中提出的模型训练和测试与特定的赔偿,道路赔偿裂纹或壶穴和桥梁损伤检测;他们不是特定于印度的道路。不同的性能分析模型与方法如表所示4。准确性是唯一指标讨论了大多数文献中讨论的技术。混淆矩阵的计算精度和召回值执行模型的更深层次的理解。实际的积极价值,假阳性的价值,真正的负值,假阴性值计算。准确性的度量模型定义了如何执行在实际预测真实的积极类和敌意类所有类型的数据集。精度指标被定义为真阳性的比率对所有积极的预测值。召回指标被定义为真阳性的比率对所有实际的优点。

表4Resnet模型提出了分类的壶穴的道路和达到90.5%的精度分类壶穴和nonpothole使用热照片32]。从文献中讨论的混淆矩阵,计算精度和召回为87.2%和80.2%。传统的图像处理技术已经用于分类的壶穴,提出(33]。整体模型的精度达到73.5%。该方法的精度和召回是80.0%和73.3%,分别。提出了整体模型提供了一个数据集获得87%的准确性。也达到更好的精度和召回84.92%和83.53%相比其他提出的模型在这工作。Resnet [32)模型和安(34)表中提供更好的准确性与其他模型相比,因为模型训练数据集分类凹坑或nonpotholes在路上。道路使用CNN-based方法检测到损伤,达到81.4%的精度23]。但该方法训练与不同的国际米兰——多级数据集和同类相似之处。的图形表示每个流程如图12。

的整体运行时提供了其他pretrained模型表5。每个时代的培训时间是在几秒钟内计算模型的训练获得的数据集。AlexNet通过考虑最好的三种模式,自定义CNN和Xception净被认为是提出问题。

6。结论和未来的范围

维护公民基础设施在印度这样的国家是一个具有挑战性的任务。耗时,需要大量的熟练劳动力来确定赔偿。在这方面,介绍是非常重要的一个系统,分析了损害赔偿和自动检测它们基于应用技术。虽然成功的策略是用于道路损伤诊断,他们不是特定于印度的道路。在这工作,提出桥等民用基础设施损害赔偿也考虑。pretrained CNN架构Xception和AlexNet被用于拟议的转移工作学习。从每个样本来获取更多的知识,扩大了训练数据数据扩增方法。在本研究结束时,整体转让学习模型的精度值测定87.1%测试之前没有见过的数据模型。据预测,精度高可以通过添加越来越多的独特的样本训练数据。

在未来,数据集将增强使用欠采样和采样过密等先进技术来减少数据集的不平衡问题。此外,该模型将部署在无人机监控道路破坏条件和桥梁状态没有冒着人类生活在自然灾害。

数据可用性

使用的数据来支持本研究的结果都包含在这篇文章。

的利益冲突

作者宣称没有利益冲突有关的出版。