文摘
世界上的大部分桥梁结构是用钢筋混凝土建造的。使用寿命的增长和城市交通和其他因素的增加,大部分桥梁投入使用或多或少的伤害。传统的桥梁损伤诊断方法包括人工检验方法和桥梁检验车辆的方法,也有很多的缺点。此外,桥梁裂缝的检测至关重要的安全运输由于极其大量的桥梁建造的世界各地的公路网络。为此,本文运用最广泛使用的CNN在深度学习识别和分类裂纹图像,提出了一个迁移学习技术来解决问题所需的大量的训练数据训练CNN。介绍了数据扩充和滑动窗口技术将收集到的裂纹数据分为训练建立和测试集。实验表明,本文方法可以分类裂纹图像更好,提取和定位桥裂纹单元的裂缝,最后提取裂纹拳击的坐标。与传统的图像识别方法相比,本文方法更容易操作在实际工程中,和结果的准确性较高。
1。介绍
在中国,公路网络有非常大量的桥梁建造,自1990年代以来,公路桥梁建设的大力发展。根据交通运输部,到2020年,将有832500座桥梁在全国服务1),比去年同期增加27200座桥梁,包括超过4600个非常大的桥梁。到目前为止,中国已超过100万高速公路和铁路桥梁的所有类型,世界上最大的数。桥梁是今天的交通系统的一个重要组成部分,并定期检查是必要的,以确保运输安全。桥梁裂缝是主要的损伤可能引起事故的公路网络,,越来越强调道路和桥梁是惊人的2,3]。
虽然中国的桥梁建筑行业取得了辉煌的成就,还有一个长期存在的“重点建设,不维护的问题。“在自然环境中,桥梁是不可避免地受到各种因素如地震、高速的风,和冻融循环由温差引起的。此外,混凝土材料的老化导致内部钢筋锈蚀、碳化、变形和各种人为因素,如增加的交通量和车辆超载。这些因素将导致桥梁的健康的下降(4),影响其使用寿命。如果没有及时的检查和维护工作,损害大桥可能会造成重大交通事故。这些事故的发生不仅会威胁到人们的生活,也导致国有资产的不可估量的损失。例如,8月14日,2018年,一个200米长的节意大利西北部的Moranti大桥倒塌在风暴(如图1(一)),造成43人死亡,重伤许多人的搬迁,并迫使超过600人。众所周知,在服务了51年的桥梁。近年来,桥梁事故也发生在中国。例如,2010年12月26日,盐城市的桥过河,江苏省,倒塌后被路过的船;同年7月26日,伊河大桥在扑鼻,栾川,河南省,倒塌由于洪水由暴雨引起(如图1 (b)),导致超过90人的失踪和死亡。因此,我们应该注意安全隐患的桥梁和保持一个常数对桥梁的健康和安全。
(一)
(b)
管理和维护在职桥梁而言,中国桥梁的无损检测技术仍缺乏与发达国家相比,不能满足中国巨大的道路和桥梁的交通网络。在这方面,如何结合当前研究热点问题通过技术创新所面临的问题和挑战中国桥梁的发展在这个阶段。
为了保证桥梁结构的耐久性和稳定性,减少桥梁事故的发生率,相关领域的专家和学者都致力于开发桥健康监测系统和研究桥梁结构损伤诊断技术。为了实现全天候桥操作的安全监测,判断整个桥梁结构的安全,并使一个有效的判断和评估损伤的位置和程度时桥损伤发生,目前,世界上一些重要的桥梁设计和安装与桥梁健康监测系统根据相关理论标准,如青马大桥,杭州湾大桥,粤港澳大桥工作组在中国。许多其他更先进的桥梁健康监测系统正在开发(5]。
有各种各样的方法来测试桥梁和大范围的对象进行测试。例如,桥梁挠度、应力-应变、位移、裂缝、伸缩缝是所有元素进行测试(6]。本文选择裂缝作为研究对象,因为网站和类型的裂缝出现在桥梁最能反映桥梁缺陷的特点,以及裂纹损伤是最常见的早期破损桥梁损伤诊断。根据一些文献的数据,超过90%的混凝土桥梁的破坏是由裂纹引起的。受负载的影响,一些桥梁裂缝的影响,恶劣的环境,和其他因素,逐渐从小裂缝变成更大的裂缝,从而产生新的裂纹扩展。有时甚至有很深的裂缝,裂缝渗透更大的宽度。这些类型的裂缝是特别有害的桥梁和不容忽视的一个重要的问题在桥事故7]。
为此,本文运用深度学习中最广泛使用的卷积神经网络识别和分类裂纹图像,提出了一个迁移学习技术来解决问题所需的大量的训练数据训练卷积神经网络。有几个深入学习算法用于机器视觉。然而,CNN-based网络域的图像分类和更有效的执行在困难的视觉识别任务(8]。我们引入数据增强技术和滑动窗口技术将收集到的裂纹数据分为训练集和测试集。实验表明,本文方法可以分类裂纹图像更好,提取和定位桥裂纹单元的裂缝,最后提取裂纹坐标的拳击。与传统的图像识别方法相比,本文方法更容易操作在实际工程中,和结果的准确性较高。
2。相关工作
近年来,研究桥梁裂缝图像的探测和识别使用机器视觉技术已经逐渐收到关注桥梁损伤检测领域的专家。它是基于机器视觉理论,目标是让计算机从无人机,以及其他辅助设备来取代人类的手,可以执行长距离、高分辨率、低成本自动检查桥梁的技术(9]。
机器视觉在早期的核心是数字图像处理技术,它首先出现在1950年代(10),然后逐渐发展成为一门学科,随着计算机技术的快速发展和硬件设备,进而推动图像处理技术向更高水平发展,现在被称为机器视觉。与几种桥梁检测方法介绍了在前面的小节中,裂缝基于机器视觉的图像检测方法不仅精度高的裂纹检测还有更低的检测成本比较。随着无人机技术的发展,无人机上高清摄像机检查桥梁可以完全独立于环境因素如地形和桥式,节省人力,提高检测精度,避免人为错误。
图像处理技术用于检测桥梁裂缝的变形(11]。发现这种方法能够准确地检测桥梁裂缝在不同负载下的变形,并通过实验验证了该方法的可行性。文献[12)使用图像处理技术研究了混凝土裂缝的量化,和裂纹张开面积被设计一个图像软件预测方法。这种技术是使用相关的实验验证。文献[13)提出了路面裂缝图像识别技术基于神经网络算法(14),操作中值滤波和分割等图像增强是用来识别路面裂缝,裂缝识别中的裂缝子块区域有严重损害到人行道上,然后进一步用计数方法测量裂缝的宽度。然而,这种方法需要高像素的图像质量。在[15),机器的研究应用桥明显损伤进行检测(16),使用CCD相机图像数据首次获得,获得的图像缺陷数据是量化和分割,图像包含损害被确定使用直方图BP神经网络分类,最后裂纹缺陷是量化和估计。一个示例数据库的缺陷图像建立了基于获得的数据。文献[17)设计桥梁裂缝图像的采集系统,结合图像处理技术来注释获得图像,然后进行图像预处理和特征分析,使用投影特性方法确定图像中是否含有裂缝,并实现特征提取的裂缝。在[18),采用投影法对裂缝进行分类图像,数字图像处理算法被用来实现裂纹图像的自动识别,数字形态学方法被用来测量半自动地裂缝的大小,最后,基于Visual c++平台,软件可以检测到桥的底部被开发的条件。
参考文献(19,20.)提出了一个解决问题的图像预处理方法获得的大量的噪声图像由于光的干涉和污渍。首先,图像平滑技术用于解决不同光照强度和阴影等问题,然后根据海赛矩阵线性过滤属性用于提高混凝土裂缝的地方特色,最后,阈值分割处理技术用于分离和提取裂缝。解决工程中遇到的问题使得这个例子我们需要学习的东西。然而,在不同的环境中遇到的问题是不同的,还有许多问题和挑战。
3所示。传统的桥梁损伤诊断方法
桥梁损伤检测的传统方法是人工检查,主要包括人员观察桥梁裂缝等损伤直接用肉眼或使用辅助设备如望远镜、长焦相机,和脚手架7];记录的位置、厚度和裂缝的大小;最后整理评估桥梁的健康状况。数据2(一个)- - - - - -2 (d)显示手动检查的一个例子。
(一)
(b)
(c)
(d)
桥梁检测工作车辆是一种特殊的车辆适合预防性检查手术和疾病修复大型和中型的桥梁。根据特殊设备,桥检验测试主要分为两种类型:桁架类型和篮子类型,如图3。
(一)
(b)
桥梁检查车辆可以发挥辅助检查作用的底部桥或其他地方的桥很难直接观察。然而,仍存在一些问题,如成本高、对工人的安全隐患,对交通的影响。使用传统的方法,我们可能无法实时检测的缺陷,对运输安全的更大的风险。
4所示。基于迁移学习CNN建设
本文中使用的卷积神经网络结构的一种变体VGG结构,使用一个过滤器的大小3×3最大池,步长为2,2×2的窗口大小。ReLU用作激活功能,这有助于提高网络的非线性。原型VGGNet相比,配置更改为一个完全连接一层一层将Softmax之前与256个神经元,使网络更好的兼容迁移学习由于缺乏训练数据。
4.1。批归一化层
在本文中,我们添加了一批标准化(BN)层之间回旋的层和汇聚层,也是一层神经网络,如卷积层、激活功能层,和汇聚层。批正常化是一个网络培训技术,可以提高网络模型的性能和抑制的发生“梯度扩散”在网络训练,因此更容易和更稳定的训练深度网络模型。
批归一化层的具体操作是插入一个归一化层在每一层的输入网络之前,和数据归一化,然后输出到下一层的网络。这避免了输入数据分布的变化下一层中由于参数更新训练网络的底层。重建算法转换的关键,在学习参数γ,党卫军方程所示(1)。
每一个有一对参数吗 , :
公式表明,学会重新配置参数γ,β可以恢复到原来的一层的学习特征之一。最后方程为皮肤归一化层传导过程 在哪里米是minibatch大小:
4.2。数据增强技术
经网络,获取更多的数据将经过训练的神经网络模型更好,但是数据采集是在实践中常常受到各种限制。基于这一问题,我们提出利用数据增强技术,即基于真实数据集创建假数据,并将它添加到训练集,由于本文所使用的数据集只包含2000张图片,这是一个小的数据集,介绍了数据增强技术来抑制过度拟合现象。图像识别的数据增强使图像产生随机旋转,水平翻转,翻译,反射,随机裁剪,调整对比度,等等。数据增强操作通常是数据标准化处理后执行。
4.3。转移学习网络结构
转移学习,由于不同类型的图像中包含源和目标域,当执行知识转移的最常见的方法是删除原来的初始fc一层一层,然后使用一种自适应fc在目标域。的维度选择新的自适应层是基于图像特征的复杂性,但确定维数的大小取决于经验和交叉验证选择一个更合适的维数。
VGG-16相比网络训练数据集的450000多个图像,我们破解ImageNet目前只有2000定义的标记图像。在数据缺失的情况下,为了避免严重的过度拟合问题,我们相对较少的神经fc层。在第一个适应层,256,1024,和4096个神经元被用于预先计算,结果没有显著的不同。因此,考虑到计算成本,最终设计,使用两层自适应fc。第一个有256个神经元,第二个是将softmax层。详细的网络结构如图4。
5。实验验证
在网络训练之前,我们进行了两组图像识别分类的实验来验证该方法的可行性。
5.1。损伤检测
监督学习分类的问题,我们通常把带安全标签的数据分成两组:一个用于培训和其他测试。共有2000个裂缝图像收集使用无人机和手持单反相机随机生成一个训练集和测试集。一些收集到的图像数据在图所示5。训练集和测试集的比例设置为4:1基于经验。换句话说,原始图像的2000,1600用于培训和400用于测试过程。1600张图片用于训练的人最先成更小的224×224像素分辨率的图像,如图6。在训练之前,每个图像标示缺陷或良品标签。选择一个相对较小的作物大小可以促进神经网络的训练。它可以获取更好的特性,如划痕和阴影。然而,规模较小的图像标签类和使它更复杂还需要更多的计算能力。
(一)
(b)
5.2。滑动窗口技术
由于输入训练数据是出现一个较小的图像分辨率224×224像素的简单培训网络,这导致一些裂缝出现在的四个边缘图像,如图7。随着图像数据经过CNN,输入图像变得越来越小,也就是说,裂缝边缘的机会更少比中间裂缝图像的识别。其次,这些特性不确定是真实的裂缝可能影响的发生错误的标签标记训练集时。即使神经网络分类这些图像,其识别精度降低由于难以识别裂纹的特性。为了解决这个问题,我们使用一个滑动窗口技术的训练步骤检测所有地点位于图像空间。
如图8的原理图显示了扫描方案使用滑动窗口技术。网络的时间处理图像数据是相关物质的步长滑动窗口扫描在海里。也会影响图像的识别精度,如果一个不合适的窗口选择步长。通过测试,本文将步长设置为256,为了减少裂缝识别的错误率,一个完整的扫描将包含三个扫描过程。扫描窗口的大小是固定的256×256,第一个扫描从图像的左上角坐标马克(0,0),第二次扫描从坐标(96、96),第三个扫描从坐标(176、176),因此逐渐扫描整个图像。
5.3。比较的结果
本节中的实验第一次使用1600年的小样本数据集训练在普通卷积神经网络(CIFAR-10模型)100时代,损失价值稳定,然后用400测试样品来测试网络模型,使用验证准确性和网损值作为标准。然后,pretrained迁移学习模型与1600小样本重新训练,和损失价值并不减少经过100次迭代的训练。结果如图所示9。
(一)
(b)
基于精度和损失值的变化曲线如图9,它可以观察到发生一定程度的过度拟合。对二进制分类任务,我们观察到10%的过度拟合的区别(从训练精度和测试精度)。因为任务的训练精度达到90%以上,我们可以得出结论,的主要原因过度拟合训练数据的少量自CNN架构中使用本文已经足够应付分类问题的复杂性。
培训执行VGG变体模型本文使用小样本数据集的1600张照片。预测结果与模型的一步预测曲线pretrained迁移学习,如图10 ()和10 (b)。
(一)
(b)
在图10 (),可以发现,最初的正确预测率直接使用该模型对数据没有迁移学习24.7%裂缝分类数据集时,虽然最初在使用迁移学习正确的利率是62.3%。大约50时代迭代训练后,正确的最高99.1%的速度实现学习与迁移。经过70次迭代的时代训练,识别率从零开始的学习也达到97.4%的最高价值。通过图10 (b),pretraining的厕所价值迁移学习下降得快,说明网络的训练速度。观察通过损失曲线,预测的网络训练过程中,没有发生明显的过度拟合。迭代训练曲线平滑和更快的2-category任务和5-category任务。数据的比较10 ()和10 (b)还表明,过度拟合程度的增加对所有分类任务作为任务数量的增加。
6。结论
本文详细介绍了当地的细节在cnn使用迁移学习方法。首先,图像识别实验用来验证神经网络识别裂缝图像的可行性。然后,所有迁移学习神经网络结构的建设在本文中进行使用,并给出详细的网络配置表。最后,数据训练网络使用数据增强技术。结果表明,迁移学习方法可以有效地避免过度拟合现象的发生也抑制网络陷入局部最优解的现象在梯度下降法。更重要的是,它大大提高了网络的训练速度和节省计算能力和时间成本。在未来,我们打算使用大型数据集训练模型来提高其准确性。此外,我们打算使用其他深度学习算法和传统的学习算法,进行详细分析各种模型在这一领域的性能。
数据可用性
可从相应的作者使用的数据集的合理请求。
的利益冲突
作者宣称没有利益冲突。