文摘
我们提出了一种改性混凝土桥探伤器基于深learning-assisted图像处理方法。数据增强技术引入扩展有限的数据集。在我们的方法中,由YOLOv5裂纹检测的边界框。然后,图像覆盖的边界框是由图像处理技术进行处理。与传统的提供基于图像处理的裂缝检测方法相比,深learning-assisted图像处理方法导致更高的检测精度和降低计算成本。更准确地说,面具过滤器是用来删除手写的标志,和采用滤波器来消除散斑比线性噪音。当单个裂纹检测到几个边界框,我们提出了一种新的融合方法合并这些边界框。此外,我们提出了一个连通分支搜索方法基于裂纹连接精度提高的区域的趋势。探伤仪,比0.15毫米宽的裂缝可以正确检测到,量化和可视化。裂缝宽度的检测绝对误差小于0.05毫米。 Thus, we realized fast and precise detection and quantification of bridge crack based on the practical engineering dataset.
1。介绍
世界上大部分的桥梁建造是混凝土桥梁。在服务的过程中,有必要定期检测桥梁的发展促进相应的维护对策[1]。裂缝是混凝土桥梁的主要疾病之一,已成为最重要的内容混凝土桥梁检测和维护。传统的人工检测方法不准确和低效率的缺点。因此,使用图像处理或深度学习(DL)技术检测桥梁裂缝已成为一个研究热点2]。
有些桥梁裂缝探测器实现基于传统的数字图像处理方法。例如,采用灰度阈值分割方法提取裂缝根据灰色裂纹区域和背景的区别(3,4]。此外,精明的迭代法用于检测裂缝的边缘特征根据裂缝的线性特征5]。此外,大津法和图像处理中的多个过滤了检测裂缝的混凝土结构(6]。此外,一种改进的图像分割算法基于Chan-Vese (C-V)模型提供了裂纹提取(7]。所有上述算法可能导致实验结果良好,但裂纹图像的背景很简单,被认为是没有障碍。这些算法可能并不适用于桥梁裂缝检测复杂背景。
近年来,许多研究人员采用DL定位和分类桥疾病,取得了良好的性能。例如,Lei z等人用卷积神经网络(CNN)来检测道路裂缝。他们将完成图像分成几个小图像块,然后分类小图像块完成提取裂缝(8]。查等人利用CNN和更快的目标探测网络提出卷积神经网络(快R-CNN)来实现建筑的检测损伤,包括裂缝(9,10]。李等人采用了YOLO执行检测混凝土裂缝的意思11]。张等人进一步使用YOLOv3和迁移的目标探测网络学习完成混凝土桥梁裂缝的损伤诊断(12]。黄平君和阮构建一个自动模型检测和沥青路面裂缝进行分类。它可以检测裂缝和佤邦能够识别路面裂缝的类型,包括纵向、横向,鳄鱼裂缝(13]。孟研究混凝土裂缝的图像分割算法基于CNN。与其他方法相比,该算法实现了更高的检测精度和泛化能力14]。丁等人建立了一个基于一种改进的混凝土裂缝识别模型面具R-CNN。结果表明,混凝土裂缝识别的平均预测精度比YOLOv4方法(15]。胡锦涛等人研究了路面裂缝检测方法基于YOLOv5。实验结果表明,检测YOLOv5系列模型的精度是85%以上(16]。注意,上面的作品,一个可以检测裂缝的位置但不能量化的裂缝。在实际工程应用中,裂缝的定量结果是非常重要的,可以直接用来分析结构的应力状态,因此是一个重要的桥梁养护决策的依据。此外,整个学习过程的DL是一个降维过程。混凝土桥梁的裂缝宽度相比通常是狭窄的形象。因此,裂缝在学习过程中可能会丢失信息。
完全卷积神经网络(FCN)已被广泛研究,实现进行像素级裂纹检测和测量。FCN是一个端到端的,pixel-to-pixel卷积网络语义分割。一个FCN downsampling和upsampling组成的部分。将采样部分主要包括卷积层和汇聚层。upsampling部分包括反褶积层(17]。例如,杨等人采用FCN实现进行像素级裂缝分类和测量。结果表明,分割的准确性为97.96%,和裂缝宽度的相关量化误差在24.01% (18]。李等人利用U-Net实现隧道混凝土裂缝的位置。分割精度为92.25%,相对量化误差是在裂缝宽度为18.57% (19]。他们进一步采用了分割的FCN和朴素贝叶斯网络数据融合(NB-FCN)实现混凝土裂缝的位置。裂缝被引入量化后加工精度是93.2%20.]。
实际工程中混凝土桥梁裂缝的长度通常是长和宽度窄。通常情况下,裂缝宽度可能小于0.5毫米。因此,探伤器更敏感的量化误差宽度方向。与目前的主流相机分辨率,一个实际的微裂纹可能只包含几个像素。甚至FCN可以恢复原始图像的特征与反褶积层地图,狭窄的裂缝宽度的原始规模信息无法恢复根据信息理论。注意,很难用高分辨率图像作为输入神经网络由于有限的计算能力。如果数字图像处理用于检测和量化的图像平面与低噪音需要足够光滑,可能不是实际的工程环境。因此,数字图像处理方法或DL方法不能解决微裂纹检测任务分开。
在本文中,为了解决微裂纹检测任务在实际工程中,我们提出了一个修改后的混凝土桥探伤器基于DL-assisted图像处理方法。计算新奇是三倍。首先,模块化分割设计被认为是。更具体地说,最新的YOLOv5 DL方法用于裂缝分类和位置,以及数字图像处理方法对裂纹量化。其次,我们提出一种新的数字图像量化和裂缝恢复方法通过使用区域连通分支搜索算法基于裂纹趋势。第三,能被探测到的最窄的裂缝宽度达到0.15毫米,和绝对误差可以控制在0.05毫米。
剩下的纸是组织如下。节2修改后的桥探伤仪的网络体系结构基于DL-assisted图像处理的方法。检测、量化和可视化算法描述。节3,建立桥梁损伤的数据集,离线数据增加,训练过程,裂缝分类和位置YOLOv5算法结果的详细介绍。我们分析裂纹连接组件的优化方法,包括面具滤波器用于消除手写痕迹,过滤器采用消除散斑比线性噪音,融合相同的裂纹检测边界框,区域自适应阈值分割,连接组件基于区域的裂纹趋势搜索方法。此外,我们比较了裂纹量化精度与没有这些优化方法。计算裂缝宽度之间的比较的基础上,通过一座桥连接组件和结果测量工程师使用裂缝宽度测量。最后,得出结论。
2。方法
在实际桥梁损伤检测,需要知道是否有损伤,损伤,在哪里,什么是损失的大小。在这里,我们提出了一个基于DL-assisted修改桥探伤仪数字图像处理技术。在实际工程的重点是微裂纹的任务。
2.1。裂纹检测网络的架构基于DL-Assisted图像处理方法
损伤诊断网络的整体架构基于DL-assisted图像处理方法如图1。它包括两个模块的功能部分。首先,该地区通过DL-based检测与裂纹识别网络。在这里,YOLOv5是用来预测的边界框。之后,根据预测的边框,采用数字图像处理技术来确定裂缝的长度和宽度,以及裂纹进一步可视化图像细节。
2.2。检测算法
我们使用目标检测方法来确定图像中是否有裂纹,裂纹在哪里。有许多优秀的神经网络领域的目标检测(21),如快R-CNN [22],SDD [23],EfficientDet [24]。我们使用的最新系列的网络YOLO[意思25- - - - - -28),也就是说,YOLOv5网络。请注意,没有相应的论文目前这个网络,但是代码已经开放。值得一提的是,这里的检测方法可以是任何网络由于模块化设计。当一个后续的网络,更适合我们的检测任务出现时,它可以被采纳。
在下面,我们将介绍YOLOv5网络。总体结构如图2。它可以分为三个部分:骨干层,脖子层,头层。在输入部分,原始图像的长边是第一个扩展到608年,短边是按比例缩小的比例,608年0像素。因此,输入大小为608×608×3的骨干。骨干负责特征提取,颈部融合层执行多尺度特性。的头层,通过预测得到的边界框坐标偏移,和损失计算的广义交叉在联盟(GIOU)之间的预测盒和地面真理盒。边界框分类和回归直接完成的头层。
更准确地说,骨干层负责输入图像数据的特征提取,即分为集中结构和CSPNet结构。cross-stage部分网络(CSPNet)用于骨干层,它可以从输入图像中提取丰富的信息功能(29日]。CSPNet可以结合其他网络如ResNet [30.]和ResNeXt [31日]。两种卷积核。一个是3×3,用于特征提取。另一个卷积核的大小为1×1和用于灵活控制特征图的深度。骨干层的地图输出特性是19×19×512。这里,Res单元的作用是增加网络的深度,避免梯度消失或梯度爆炸引起的深度的增加提出检测网络。颈部图层使用路径聚合网络(PANET) [32),主要用于生成一个金字塔。PANET基于面具R-CNN金字塔和功能网络(红外系统)框架33,34]。颈部的卷积内核层骨干层的是一样的。在空间金字塔池(SPP)结构,使用多个池层。池的大小核心是5×5,9×9和13×13日和填充是2,4,6,分别。手术后颈部的层,输出特性映射尺度19×19×255年38××255、76×76×255。一层一层是一个普遍的检测,这是一样YOLOv3和YOLOv427,28]。的头层,边界框生成和分类。有三个输出头,它的进步是8,16和32。小规模的接受域特征地图较大,用于检测大目标。大规模的接受域特征地图比较小,用于检测小目标。共同的三个特征地图是用于提高网络的准确性。这三个输出头,每个输出特性图19×19,38×38岁或76×76个细胞,分别。每个单元生成3边界框;每个边界框包含4个位置参数,1信心值,80类(类= 80的可可在默认情况下,使用数据集和裂纹是一个类)。因此,输出特性的深度地图(4 + 1 + 80)×3 = 255。 The default confidence threshold in YOLOv5 is 0.45. The bounding box is judged as a positive sample, namely, crack, when its confidence is greater than 0.45; otherwise, it is judged as noncrack.
在培训的过程中,YOLOv5使用GIOU [35损失计算,可以计算的 在哪里一个和B分别代表了预测盒和地面真理盒,代表两个矩形框的最小矩形封闭代表两个矩形框的结合;也就是说, 。
2.3。量化和可视化算法
我们提出一个方法来实现裂纹量化和可视化。图中给出的处理步骤3。通过目标探测网络,得到原始图像的裂纹的边界框,如图3(a)。因为原始图像的分辨率很高,为了减少计算量,我们第一批原始图像只保留该地区裂缝根据边界框,如图3(b)。请注意,有许多声音在裂纹区域,如椒盐噪声在实际拍摄中,混凝土桥表面手写痕迹,污垢,杂草,阴影遮挡噪音。为了提取更多的进行像素级裂缝信息,我们通过图像处理技术提取裂缝的二进制图像。主要步骤包括中值滤波和灰色,二进制转换(CLAHE和地方分割和图像36- - - - - -38]。后获得的图像中值滤波和灰色如图3(c),我们执行CLAHE处理的图像,然后将图像分成多个广场区域从上到下的短边边长和形象分别计算冗余nonsquare部分。对于每个区域,当地执行分割如图3(d),然后在每个正方形区域所有像素的灰度分布计算。
在每个广场区域进行二值化自适应阈值分割。在我们的数据集,由相机的分辨率是8688×4888。相机拍出来的图像从一个50厘米的距离。35毫米相机的焦距。我们随机选择50集的照片。这些50图像,像素的数量的裂缝宽度是手动记录大桥工程经验。结果表明,裂缝宽度的像素的数量小于12像素。因此,在每一个正方形区域,属于裂缝像素的最大数量 ,在哪里一个是边长平方面积(像素数字)。每个正方形区域的图像直方图的灰度值对应的像素数量用作图像二值化的阈值(39]。如果给定像素的灰度值大于阈值,则判断为背景;否则,它是判断裂缝。每个正方形区域的二进制图像如图3(e)。在这里,黑色像素0是背景,白色像素255是潜在的裂纹。每个正方形阈值分割后,这些小区域相结合得到一个完整的二进制映像的裂缝区域,如图3(f)。可以看出,仍有一些手写痕迹,噪音,斑点,和线性噪声的图像。为了更好地处理这些noncrack噪音,我们用面具删除手写标记过滤器和过滤斑纹线性噪音比过滤器。过滤后的结果如图3(g)。
通过连通区域标记算法(40,41),删除后的二进制图像获得手写标记转换成相应的连接组件图,如图3(h)。它可以从连接组件的连接组件图属于裂缝大约是线性的,长度通常比宽度大得多。因此,行式噪声进一步过滤掉的宽高比特征连接组件,和斑点噪声过滤掉的区域特性,如图3(我)。它可以观察到,有一些断断续续的连接组件碎片,还有一些unremoved噪音。为了使可见裂缝更完整和清晰,符合实际的裂缝的趋势,我们提出一个区域连通分支搜索算法基于裂缝的连接组件。后的二进制图像裂缝连接如图3(j)。
在获得裂纹二进制图像的轮廓坐标,计算裂纹的长度根据获得的坐标,和平均裂缝宽度计算连接组件的面积除以裂缝的长度。当等高线绘制图像的裂纹区域,裂纹图像可视化任务的实现。可视化结果如图3(k)。最后,可视化图像映射回原图像根据边界框的位置,这样的可视化实现原始图像上的裂缝。与此同时,裂纹长度和宽度的结果显示原始图像,如图3(左)。
3所示。实验和结果
在目前的工作,实验进行计算机使用以下配置:两个英特尔至强(右)(电子邮件保护)GHz cpu;64 GB的随机存取存储器;和NVIDIA Tesla GPU P40 24 GB。这个方法是实现基于DL框架PyTorch [42]。实验进行了修改YOLOv5和OpenCV的开源库43]。
3.1。实验
3.1.1。数据集
我们手动收集和标记图像建立一个数据集进行训练和测试网络。三种类型的桥梁损伤,裂缝、剥落,钢筋,都包含在数据集。1000与8688×4888像素的数码照片佳能EOS 5 d R相机拍摄的。在这项研究中使用的图像都是由预备获得桥梁定期检查的第一条高速公路顾问有限公司有限公司注意,射击距离和焦距固定在图像采集过程中,有助于量化损失。在这里,我们只关注混凝土裂缝。我们把裂缝作为目标,标志着地面实况,产生一个数据集。与裂缝图像数据集的数量是487,和数据集分为三部分,训练集,验证集和测试集,验证集和测试集,分别占所有的10%图像和训练集占80%的数据集。
为了加快网络的收敛,我们统计像素的平均值和标准偏差的三个通道的图像数据集,得到以下结果: 和
喂养形象进入网络后,上述两组值用于z分数标准化规范化的方法。
3.1.2。离线数据增加
收集的数据量在实际工程是有限的,我们采用的数据增加培训过程中防止过度拟合的问题。这里,马赛克,随机旋转,随机裁剪,高斯噪声,使用手动曝光28,44]。Data-augmented样本图像的裂纹数据集在图所示4。
(一)
(b)
(c)
(d)
(e)
(f)
3.1.3。培训
在网络训练,批处理被用来提高网络的训练速度,学习速率设置为0.01,批量大小16岁的网络训练和验证。共有200个培训周期都是经过训练的。图5显示网络在训练过程的性能。损失曲线训练集和验证集的网络训练过程,以及精度,回忆,和平均平均精度(mAP)曲线验证集,提出了(45- - - - - -47]。可以看出,快速训练算法融合,和高映射可以获得。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
3.2。结果
3.2.1之上。裂缝检测结果
为了量化网络的性能在目标检测阶段,验证数据集被用来验证网络性能,和这项研究的结果发表在表1。在这里,88与162检测到目标图像。当借据阈值是0.5,计算映射(电子邮件保护)= 0.987。当借据的阈值范围从0.5到0.95的步骤0.05中,地图的平均值(电子邮件保护):0.95 = 0.987。
图6介绍了网络检测裂缝的实验结果。我们可以发现,检测网络,裂缝可以成功地检测到。但在某些情况下,一个单一的裂纹检测多个边界框。
(一)
(b)
(c)
(d)
(e)
(f)
3.2.2。裂纹量化和可视化的结果
(1)噪声去除。(1)面罩过滤删除手写的标志。在这里,我们把手写的是减少连接错误造成的连接到手写的标志。裂纹提取二进制图像后,颜色(蓝色)信息提取手写标记的HSV(色相、饱和度、价值)颜色空间获得蓝色标记的面具。注意,提取的面具还包含其他的散斑噪声,这比手写的标志的面积要小得多。因此,图像形态学操作、图像腐蚀和图像进行膨胀操作可以移除这些散斑噪声的面具,只留下手写的标志。如图7,二进制图像乘以相应的面具后的像素点像素反演得到裂纹二进制图像删除手写的标志。裂缝的视觉结果之前和之后的手写痕迹也提出了。可以看出,面具过滤器,避免到手写标记的连接图7(d)。(2)比过滤去除噪声。为了消除noncrack噪声通过裂缝形态特性和尽可能保留裂缝像素信息,我们统计在裂缝宽度和长度尺度信息连接组件图。图8(一)是原始裂纹二进制图像通过图像处理,提取和图8(d)是相应的width-length比例分配所有连接组件。可以看出width-length比例提取裂纹连接所有组件的二进制映像是分散的。图8(b)是理想的二进制图像,这是预期的二元图去除噪声后的裂缝。然而,它是不可能分离这些真正的连接组件完全由可用的连接组件的信息。因此,需要保留更多的连接组件,可能属于裂缝和删除那些不可能的连接组件属于裂缝。根据通常的裂纹形状,连接组件属于裂缝的长度通常比宽度大得多。因此,连接组件与一个小width-length比更有可能属于裂缝。图8(e)显示相对应的连接组件的width-length比理想裂纹二进制图像。的比例可以看出,大部分的连接组件属于裂缝小于0.6。根据图8(e),我们分类的连接组件提取裂纹width-length比二进制映像的升序排序,选择第一个60%连接组件。图8(c)是实际的裂缝根据width-length比二进制图像滤波后得到特征。图8(f)显示width-length比例对应图8(c),很明显,大部分的裂缝能保持裂缝形态过滤后剩下的。
(2)融合多个边界框相同的裂纹。当检测网络用于识别裂缝,裂缝图像中可能有多个边框的断开网络识别裂缝或不准确的。在这种情况下,可视化的裂缝并不连续,无法正确计算和裂缝的数量。因此,我们进一步执行融合操作多个边界框。
我们发现多个边界框在一个图像按照升序排列y左上角的坐标点并将其保存在列表中,如图9(一个)。左上角的坐标点的第一个边界框(x1,y1),右下角的坐标点第一个边界框(x1′,y1′)。剩下的边界框的左上角的坐标点(x我,y我),我们检查是否满足以下条件: △在哪里x是第一个检测框的宽度,△吗x= |x1′−x1|。
(一)
(b)
(c)
如果一个边界框满足条件,边界框和第一个边界框重叠,需要融合。例如,边界框C和C′与边界框重叠覆盖一个和一个′。如果没有边界框满足(2)第一边界框,然后我们从第二个边界框重复这个过程,直到所有的边界框检查。边界框融合的目的是找到的最小外两个边界框的矩形。具体来说,我们采用左上角的坐标点和右下角的两个边界框并返回顶点坐标的熔解的边界框。边界框是融合时,我们从列表中删除原来的两个边界框,加入熔化的边界框列表的顶部。多个边界框的视觉比较融合前后对应相同的裂缝图所示9 (b)和9 (c)。显然,在图9 (b)检测到两个边界框,一个裂缝,而只有一个熔化的边界框存在于图9 (c)。
(3)裂缝连接策略。如图3(我),过滤后的连接组件图像包含了一些断断续续的连接组件,碎片现在一些噪音。为了使裂缝更完整和清晰可见,我们需要连接这些连接组件与裂缝的实际趋势一致。与此同时,我们认为该方法避免噪音的连接。
我们提出一个区域连通分支搜索算法基于裂纹趋势。该算法的流程图如图10 ()。第一步是初始化每个连接组件的指数和顶点坐标。第二步是更新连接组件并选择连接组件与最大的长宽比当前的连接组件的形象。在第三步中,我们考虑一个向下从当前连接组件连接和建立一个广场搜索框根据当前较低的顶点连接组件。搜索框的宽度等于图像的宽度。连接的示意图如图10 (b)。第四步是找到目标连接组件连接在搜索框。在搜索框中,距离d和角θ当前较低的顶点之间的连接组件和上面的顶点连接组件计算下一个候选人。然后,信心程度c可以计算如下:
(一)
(b)
我们可以选择的候选人与最小连接组件c作为目标连接组件。
如果找到这样一个目标连接组件在搜索框中,白线是用来连接当前连接组件的较低的顶点和顶点的目标连接组件。白线的宽度是当前连接组件的平均宽度和目标连接组件。连接完成后,删除该指数当前的连接组件,更新目标连接组件作为当前连接组件,并继续向下连接。如果这样的目标连接组件不能被发现在搜索框中,我们直接删除当前连接成份指数,选择下一个连接成份指数作为小说当前连接成份指数,并继续向下连接。当连接连接到索引的连接组件,如果没有其他无关的字典中连接组件的连接组件,连接过程结束。在目前的应用场景,一个纵向裂纹的扩展是,这是最常见的一种。到目前为止,向下连接从最初的连接组件完成。相应地,向上连接从最初的连接组件也可以以类似的方式进行。
(4)裂缝量子化的结果。在下面,我们计算的实际长度和宽度裂缝从目标连接组件。我们假设连接组件选择的总数来表示实际的裂纹N。的面积我- - - - - -th连接组件年代我和长度l我。连接组件的面积只是像素连接组件的数量。
量化的裂纹长度、连接域的长度是像素的数量后的骨架提取连通域。裂缝的实际长度l等于整个连接域的长度之和乘以实际距离吗δy每个像素的图像的垂直方向,即
量化的裂缝宽度,的宽度我- - - - - -连接组件计算 。因此,平均宽度N过滤连接组件可以计算如下:
因此,平均裂缝宽度等于整个连接组件的平均宽度乘以实际距离吗δx图像的每个像素在水平方向上,即
在这里,由相机的分辨率是8688×4888。相机拍出来的图像从一个50厘米的距离。35毫米相机的焦距。计算之间的比较由裂缝宽度和裂缝宽度测量仪在实际桥梁工程检测表所示2。可以看出,在实际混凝土桥梁裂缝的宽度通常小于0.5毫米。我们获得的裂缝宽度的绝对误差提出了裂纹量化方法−0.03∼0.04毫米,相对误差是−7.5%到11.5%。裂缝超过0.15毫米,宽度量化结果的绝对误差小于0.05毫米。裂纹量化结果和可视化结果如图所示11。它可以观察到,取得了良好的测量精度。
(一)
(b)
(c)
(d)
(e)
(f)
(g)
(h)
(我)
(j)
(k)
(左)
4所示。结论
总之,我们提出了混凝土桥梁裂缝检测和量化的方法基于DL-assisted图像处理方法。检测和量化阶段分别设计,它可以很容易地将目标探测网络替换为一个先进的DL算法。目标探测网络基于DL用于确定图像中是否有裂纹,然后提取裂纹区域。此外,我们提出了一种新的数字图像量化和裂缝可视化方法通过引入该地区连通分支搜索算法基于裂纹趋势。
在我们的数据集,我们收集了487原始图像。其中,399图像处理离线数据增加获得3365张图片作为训练集,剩下的88张图片是用于测试。拟议中的DL-assisted数字图像裂缝检测和量化方法精度达到92.0%,召回97.5%,和98.7%(电子邮件保护)在检测阶段为测试集。随后的噪声处理和连接组件连接,能被探测到的最窄的裂缝,量化,和可视化是0.15毫米,绝对误差在0.05毫米。这些结果表明,该裂纹检测和量化方法可以提高检测效率,降低检测成本,它是有用的和有价值的智能发展的桥梁检测。
注意,仍然有几个需要改进的方向。首先,裂纹合并,这是预期的裂缝统计和评价,不是在我们的解决方案。第二,当前数据集还很小,和一个更大的数据集可能进一步提高该算法在实际应用的准确性。
数据可用性
所有的数据都可以从相应的作者((电子邮件保护))要求。
的利益冲突
作者宣称没有利益冲突。
确认
这项工作得到了中国国家重点研发项目(2021 yfb2801900 2021 yfb2801901 2021 yfb2801902和2021 yfb2801904)和中国国家自然科学基金(61974177和61974177号)。