文摘

信息,如裂缝和变形量是结构安全的重要基础。现有的方法没有实现同步检测。在大多数现有的计算机视觉测量系统中,视图是固定相机的固定位置。因此,很难得到整体结构的裂缝和挠度信息。提出了一个自动响应测量方法在这项研究包括( )连续的图像采集和信号传输系统基于self-walking支架和物联网(物联网),( )基于特征匹配的图像拼接方法,( )裂缝和挠度测量方法。self-walking支架允许工业相机移动在一个固定的距离来获得连续梁的形象。接下来,拼接图像是通过PCA-SIFT方法年代屏风机制。裂缝的信息获得双重网络模型。简化AKAZE特征检测算法和改进的RANSAC用来跟踪的自然特征结构。进行曲线拟合得到在不同负载下梁的挠度曲线。实验结果表明,该方法能直接反映了梁的裂缝和挠度信息。宽度的平均偏差为11.76%,平均长度偏差为8.18%,和变形的平均偏差为4.50%,验证该方法的实用性和应用在实际结构显示了巨大的潜力。

1。介绍

结构和基础设施系统包括桥梁、建筑、大坝、和管道是复杂的工程系统,支持一个社会的经济繁荣和生活质量。共同工作来衡量结构的裂缝和变形量。传统实践识别裂缝和挠度测量基于人类定期检测是不够的。无损评价(NDE)检测显示潜力隐藏损害但结构的大尺寸提出了一个重大的挑战来实现这样的检验方法。在过去的二十年里,大量的研究已经进行了结构健康监测的新兴领域,针对客观和定量结构损伤检测和完整性评估根据传感器的测量,主要是加速度计(1- - - - - -12]。他们在实际的工程结构受到广泛部署繁琐和昂贵的安装、维护传感器网络和数据采集(采集)系统。为了克服这些限制,相机和计算机应用技术已成为一个有前途的工具,非接触测量的结构响应。

裂纹检测领域,大量的计算机应用技术已经实现了检测结构的缺陷。这些技术主要是用来操纵图像提取缺陷特征,如混凝土和钢的表面裂缝。裂缝识别基于计算机视觉主要包括阈值分割、边缘检测、渗透模型。卷积神经网络(cnn) (13,14基于深度学习取得了丰硕的成果,已被广泛应用于图像识别。CNN可以保留图像的空间信息与高度鲁棒几何变换,变形,照明,和其他人,最终实现混凝土裂缝的识别区域。Cha et al。15)提出一个创新研究利用cnn建立一个分类器来检测混凝土裂缝从图像。的主要优势的Cha CNN-based检测混凝土裂缝是它不需要特征提取和计算与传统方法相比。CNN方法显示非常健壮的性能与传统的相比,著名的边缘检测方法。完全卷积网络(FCN) (16,17)提出了实现端到端语义分割图像。FCN是图像分割和提取裂纹信息的新方法,并应用于许多研究来识别道路裂缝(16,17]。梁等。18)提出了一个双重网络模型由CNN和FCN混凝土桥梁的裂缝识别。与常规方法相比,精度高和低噪声同时考虑高可靠性和识别率和更少的计算。康等。19)提出了一个自动裂缝检测、定位和量化方法使用更快的地区建议卷积神经网络的集成(快R-CNN)算法来检测裂纹区域。使用各种边界地区位于盒子和修改tubularity流场(凝灰岩)算法来段裂缝检测裂纹区域的像素。修改后的距离变换方法(DTM)被用来测量厚度和裂缝长度的像素测量。崔和茶20.)提出了表面裂纹的实时分割SDDNet结构。SDDNet由标准曲线玲珑,几个DenSep模块,修改ASPP模块,译码器模块。该模型将裂缝分割的最佳选择之一。Jahanshahi et al。21和贝克曼等。22使用随机样本)进行平面拟合实现共识(RANSAC)算法量化标准的混凝土表面剥落。RANSAC算法由一个随机选择的点适合飞机根据预定义的参数,如参考向量,距离阈值,以及每个点之间的最大角距的正常和参考向量。算法适合飞机最大数量的类似的数据点根据指定的阈值。

领域的挠度测量,楚et al。23]提出一种光学测量技术使用数字图像相关(DIC)来计算位移挠度和应变。你们et al。24)提出了一种基于数字图像处理技术的测量方法。提前选择一个模板,与原始图像进行归一化互相关运算包含目标点。当结果是最大的,最好的匹配实现,原始图像中目标的位置。Sladek et al。25]介绍了图像配准技术在这项研究中,允许建设的图像检测期间从不同的观点。简化测量过程是可能的,因为复杂的,昂贵的,耗时的步骤相机定位不是必需的。郭和朱26)生产高速摄像系统完成实时位移测量,和Lucas-Kanade模板跟踪算法中引入计算机视觉领域。此外,修改后的逆的算法研究中减少原始算法的计算时间,进一步提高效率。然而,在一些地方的位置结构,可用的功能点是不够的,所以很难找到足够的模板来衡量。近年来,特征跟踪方法能有效检测和匹配稳定特性与几何(平移、旋转、尺度不变性)和光度不变性已广泛应用27]。、张(28)发现和描述的特性通过冲浪(加速健壮的功能)和快(二进制健壮的不变的可伸缩的关键点),分别。除此之外,然而,(再)是用于匹配和净化匹配结果与RANSAC(随机样本共识)终于获得梁的挠度变化在几个位置。查(29日)提出了一个新颖的应用检测方法来检测水平和垂直长度的螺栓头,方法具有良好的性能的检测松开螺栓,它可以在准实体运营时间。

基于上述分析,裂缝和变形量需要在现有的研究,分别测量和检测效率可以提高。相机是固定在一个特定位置的传统测量系统由计算机视觉结构,导致固定视图。因此,它不能获得信息,如整体结构的裂缝和挠度。然而,在图像的内容有一个矛盾的双重基于计算机视觉的裂缝和挠度测量。裂纹检测要求收集到的图像清楚显示结构的裂缝,限制相机之间的距离和结构(不远)。相反,整体挠度测量需要包含整个结构图像。因此,实现双重度量,相机必须同时满足这两个形象要求。因此,一个算法集图像采集、图像预处理、裂缝识别,和挠度测量。混凝土梁的智能检测系统将实现更全面的检测结构。

总之,本研究旨在提供一个自动响应结构的测量方法,集图像采集、图像拼接、裂缝识别和挠度测量。研究组织如下。节2该方法的总体框架。节3,连续图像采集和信号传输系统基于self-walking支架和物联网设计。节4图像拼接的算法,讨论了裂缝识别、和挠度测量。部分5显示了该方法的测量结果和部分6总结了研究总结。

2。提出了系统的总体框架

在这项研究中提出的自动测量方法可以分为三个部分:连续图像采集和信号传输系统,图像拼接系统、裂缝识别和挠度测量系统。这个过程如图1。

获得详细的图像测试光束,self-walking支架设计。支架,作为一个工业相机放置平台,使相机保持安全距离测试梁和横向移动在一个固定的距离来获得连续的图像测试光束。然后,完整的试验梁的图像通过图像拼接系统。测试人员可以远程控制操作状态self-walking支架和摄像机的信号传输技术的物联网。系统还配有监控设备,可以实时监控设备。图像拼接,PCA-SIFT(主成分分析)尺度不变特征变换技术与筛选机制提高了运行速度和拼接裂缝质量和梁的底部边缘。对裂缝识别、双重网络模型用于自动识别在整个梁裂缝。裂缝的宽度和长度是同时提取。挠度测量,AKAZE (accelerated-KAZE)特征检测方法与简化的尺度空间和RANSAC算法predetection数字是用来跟踪和自适应迭代结构的自然特性。曲线拟合是用于获得在不同负载下梁的挠度曲线。 The detection process is completely operated indoors and the operational status is monitored in real time. The beam’s damage information can be obtained quickly and conveniently by the method proposed in this study.

3所示。图像的连续采集和信号传输系统

如图1的框架,该方法主要包含三个步骤:首先是构造一个连续图像采集和信号传输系统基于self-walking支架和物联网。第二步是将图像拼接技术应用于针获得测试光束图像不失真全景图像。最后一步是将拼接图像裂缝识别系统和挠度测量系统检测梁的响应。本节主要介绍了提出了图像的连续采集和信号传输系统。

3.1。这项研究的对象和设计

简支试验梁与大小的矩形部分20厘米×30厘米。支持两点之间的长度是180厘米,如图2。试验梁采用C50混凝土配备3 HRB400纵向钢筋直径16毫米。获得试验梁的裂缝和变形量在不同的负载,电液伺服压力试验机(50 t)是用于执行分级加载试验梁。两个加载点梁位于25个基点。加载速度是0.5 kN / s。三个拨号指标放在梁跨度的季度点,如图3。压力稳定后,记录拨号指标的值和图像采集。相机和梁表面之间的距离大约是35厘米。每张图片的视图字段是38厘米。重复12厘米长度的区域相邻图像用于图像拼接因为每个图像的中间部分是最清晰的将相机的自动对焦。长期重复区域提供了更多依据图像拼接,使图像更准确和明确的。12厘米的推荐值是多个试验。最后,可以获得高分辨率的全景图像。

3.2。Self-Walking支架

self-walking支架作为检验系统的基础。支架使工业相机的运动。如图4,self-walking支架主要由5部分组成:工业相机,距离控制、高度控制、位置控制、PLC(可编程逻辑控制器)。工业相机Eloncin EC1100 AF自动对焦摄像头分辨率为3840×2880,由扣固定在支架。的距离和高度控制手动控制实现微调图像的相机以满足视野范围要求测量。一旦确定,实验参数不会改变。位置控制是自动的,用于实现摄像机的运动在左和右的方向。支架的控制由PLC实现接收计算机的信号。这个方法确保工业相机保持安全距离的结构和沿着光束方向获得连续的图像。

3.3。数据采集和传输方法

试验梁响应测量需要配备一个控制器,监控,人机交互的屏幕,和权力。如图5测试人员发出信号,控制器通过物联网的电脑,如支架的运动状态,相机的工作状态,获得图像的存储路径。所有图片和监控屏幕上传到操作支持系统通过无线网络(OSS)。

此外,本研究的实验环境如下:英特尔CPU (R) (TM)核心i7, 1.8 GHz, 8 g内存,操作系统是Windows10, Python3.6 64位软件平台。的操作步骤连续图像采集和信号传输系统如下:步骤1:将self-walking支架平行光束。调整相机的高度和梁之间的距离,相机的领域覆盖整个梁的高度。在这个实验中,相机是35厘米远离试验梁的表面。重复区域相邻图像之间的长度是12厘米。步骤2:控制支架的工作状态由计算机和照相机。这个过程可以实时监视检测状态。相机拍照后自动架停止移动10年代。一次拍照,托架继续上传图像。整个试验梁可以获得的图像。7个图片在这个实验中。电脑控制界面和监控系统图所示6。步骤3:电脑自动下载获得的图像从OSS并将它们存储在指定的路径完成数据收集。获得的图像如图7。

当使用图像来检测梁的响应,最基本的步骤是相机标定和图像校正。self-walking支架和严格测试光束平行放置在获取图像,以确保收集到的图像之间的规模因素是相同的。保证全景图像获得的后续过程有正确的观点。在获得梁的一系列图像,图像拼接,裂缝识别、和非接触进行挠度测量。

4所示。图像拼接、裂缝识别和挠度测量方法

4.1。图像拼接算法

在这项研究中,一个优化PCA-SIFT图像拼接算法(18采用。筛选算法用于从图像中提取特征点。同时,哈里斯算法用于狗(高斯函数的区别)规模空间提取关键点在裂缝和底部边缘。这两种算法得到的特征点匹配,消除冗余点,可以实现多个图像之间的匹配特征点并完成精确缝合整个梁的形象。具体步骤如图所示8。

该算法消除了冗余点大幅提高运行速度和匹配率。此外,狗的特征提取过程进行尺度空间,这可以消除拼接位错引起的不同尺度之间的图像。

4.2。裂缝识别方法

试验梁的裂缝产生的负载的多样。洞,涂鸦,光从表面上看有大量的干扰小裂缝的识别。本研究采用裂纹的先前的研究小组确认了双重网络模型。这个模型包括CNN模型和FCN,可以准确识别裂缝,简单,和实时。

CNN模型训练了9200照片和验证了2000张照片,和验证准确性高达98.6%,如图9(一个)。由于图像验证集不参加培训,验证网络模型的准确性是最接近真实的。最后,CNN模型验证精度最高的保存。FCN模型训练和1700张照片的验证另一个368张照片。验证准确性高达99.5%,如图9 (b)。同样,FCN模型验证精度最高的是保存在相同的方式。

执行图像分割时,很难确定一个像素是否属于裂缝的边缘。因此,概率是用来描述一个像素的归因。双重网络模型输出概率矩阵,表示像素的概率在相应的位置属于裂缝。写作时识别函数,概率是映射到背景像素、亚像素,和裂缝像素权重的0,0.5,分别和1。结果是输出时,背景像素设置为白色,亚像素灰度,裂缝像素黑色。在相关的统计计算,三类像素的加权和。

光滑的测量结果和简化程序,计算裂缝宽度通过编程时当地采样的平均值。首先,这张照片被裁剪成小128×128像素的图像。照片的大小不能除以128提前将充满了边界值。其次,小照片输入识别的网络。输出结果中包含了像素的图像采样。滑动窗口的大小(15)样本是32×32像素。由于采样窗口很小,只考虑的情况是合理的采样窗口只包含一个和直裂纹。然后,裂缝像素的数量和亚像素采样矩阵计算和投影长度宽度和高度方向的计算得到边坡角和裂纹的长度。最后,每个小128×128像素图像识别是拼接后最初的秩序和裁剪到原始大小。保存作为最终结果的输出。 在哪里代表宽度方向投影,单位是像素的数量;代表高度方向投影,单位是像素的数量;代表了裂纹长度;代表了裂缝宽度;比例因子;是裂缝像素的数量;是亚像素的数量;和代表裂缝的长度。

4.3。挠度测量方法

为了测量获得图像拼接后的挠度,基于简化的AKAZE特征跟踪方法和自适应RANSAC提出了研究。图10显示的基本程序:步骤0:提取感兴趣的区域(ROI)的拼接图像,边缘地区的光束步骤1:特征提取,特征检测算法通过一个简化的AKAZE规模和空间通过简短描述(二进制强劲的独立基本功能)步骤2:特性匹配基于描述符被资讯(在步骤1中28)匹配和改进的RANSAC (29日,30.)净化步骤3:将像素位移转换成物理位移使用比例因子步骤4:拟合试验梁的挠度曲线基于特征点的位移第五步:计算挠度值在每个位置根据挠度曲线在步骤4。

4.3.1。特征提取

在这项研究中,self-walking托架的位置时严格控制收集图片,和挠度测量是基于拼接图像,削弱手动比例因子的影响。因此,AKAZE算法,简化了规模提出了空间。

AKAZE算法构造规模空间通过一个非线性扩散滤波(31日]。流的散度函数是用来描述图像亮度的变化在不同尺度空间。经典的非线性扩散方程如下: 在哪里和分别代表和梯度,散度是图像亮度矩阵。 是传导功能。尺度参数。原始图像的梯度图像吗高斯平滑滤波器。快显式扩散(美联储)是用于解决3得到的非线性尺度空间图像 。 在哪里是单位矩阵和图像的传导矩阵吗 。

AKAZE算法,用一个简化的尺度空间,只需要建立一个八度,其中包含5层。该指数内层的八度音阶和尺度参数高斯滤波器的映射关系如下:

非线性尺度空间后,海赛矩阵用于特征提取。采样点的响应值与周围26邻域点来确定最大价值。那么二维二次函数拟合的行列式黑森反应在3×3象素。最后,最大值是获得准确地找到关键点。

4.3.2。特征匹配

然而基于汉明距离在这项研究中,采用最近邻的阈值和subneighbor比例设置为0.7。RANSAC采用净化粗匹配结果因为错误的匹配(22,29日]。

每个样本提取和模型建立后古典RANSAC,检查所有样本集。随机选择样本极大地影响效果。迭代的数量参数计算是基于经验决定的。因此,有一个问题计算量大,操作时间长(32]。本研究抽样建模之前,安排匹配点对以升序排序根据汉明距离的匹配偏差。八个样本是随机选择从第一个30%匹配的一对小汉明距离生成模型进行测试。然后,第一个70%的匹配对预先测试过的。那些偏差小于40被视为内部点的确定阈值。此外,迭代的数量是根据内部点的数量决定的。内部之间的关系点速度和迭代的数量 在哪里代表内部点率,比内部指向数据集的总数。是迭代的数量。是置信概率,在这项研究中是99.99%。迭代次数的上限设置为700。经过反复测试,700次迭代可以获得满足精度要求的测量结果。

上面的是跟踪优化特性提出了研究方法。AKAZE算法与简化的尺度空间和简单的算法用于提取特征点。RANSAC算法和预检验一种自适应的迭代次数净化资讯粗略的匹配结果,实现特征跟踪和获取偏差信息的特征点测试光束。

4.3.3。挠度曲线

在当前的挠度测量系统基于计算机视觉,只有变形信息在一个特定的位置,信息的局限性。本研究使用大量特征点信息获得的特征跟踪建立一个更精确的试验梁的挠度曲线,通过曲线拟合。挠度曲线通常是连续和光滑。Calonder et al。33)描述载荷作用下的挠度曲线的多项式。在这项研究中,使用最小二乘法多项式拟合。

4.4。挠度测量方法的效果评价

实验部分中描述的设置3.1。三个实验的加载设置为0 kN, 160 kN,和225 kN,分别。三组的图像。收集到的图像序列的每一组和获得全景图像拼接39783×2880像素用于偏转。

4.1.1。测量速度

挠度测量时间可分为五个阶段(34):(1)特征检测(2)描述符计算,(3)特征匹配,匹配净化(4),(5)拟合曲线。

结果如图11和12。很明显,在这项研究中提出的方法花最短的时间,大约35 s,这是短于筛选的40%以上。特别是在特征描述和匹配的净化阶段,时间迅速下降更多的特征匹配对。因此,在这项研究中有一个更快的方法测量速度。每个算法的处理时间总结表1和表2和致动器的压力160 kN, 225 kN,分别。

10/24/11。测量精度

在本节中,测量的算法研究和上面的算法与实际测量结果进行了分析。根意味着平方误差( )用于量化(26]: 在哪里是数据集的数量。和是挠度测量的数据视觉传感器和拨号指标,分别。结果在表3在这项研究中,表明提出的算法具有较高的准确性,明显好于其他三种算法。

5。响应测试光束基于拼接图像的测量结果

5.1。结果显示界面

给视觉结构测试人员的测试结果,结果显示在计算机控制界面图像的连续采集和传输系统,如图13。界面显示裂缝识别和挠度测量的结果。显示控制接口从上到下是图像拼接结果,特征点匹配结果,挠度曲线,分别和裂缝分布。

5.2。实验室实验

图像的连续采集和信号传输系统用于实验室测试。0 kN的加载,50 kN, 100 kN, 150 kN, 200 kN, 225 kN, 250 kN加载试验梁的阶段。之前和之后的图像拼接图所示(14日)和14 (b),分别。可以看出,梁的裂缝和底部边缘已经正确拼接。图15全景图像拼接得到的所有覆盖整个束光束图像。

验证图像拼接的必要性,挠度结果单一图像和拼接图像的结果通过拨号指标相比,在225 kN的负载。单一图像测量使用相同的比例因子的拼接图像。中跨的变位和季度点测量的三种方法比较图16。

当使用拨号指标,只有在测量位置偏差值。在测量基于单一的图像,只能获得图像内的变形信息。他们两人有局限性。此外,由于每个图像之间的不同规模的因素,测量偏差相对较大。有必要调整规模因素才能获得理想的结果。方法基于图像拼接缝合过程中使用狗规模空间融合相邻图像之间的尺度。因此,使用单一的偏差小于图像。测量结果如表所示4。

5.3。裂缝识别的结果

梁的裂缝截获的全景图像发送到训练双重网络模型。识别结果如图17- - - - - -19。在这些数字,当荷载阶段是100 kN,只有五个小裂缝的宽度小于0.130毫米。从另一个角度来看,它有助于忽略自然风化产生的小裂缝。识别效果并不理想。然而,随着负载的增加,宽度逐渐增加,以及识别的效果增加。在测试期间,裂缝的宽度和长度也衡量裂缝计和统治者,分别。

从数据18和19选择,三个大的裂缝宽度。裂缝的宽度测量在一个清晰的边界。随着负载的增加,裂缝的宽度和长度①和②显著增加。裂缝的宽度和长度的结果如表所示5和表6,分别。

③裂缝的长度偏差相对较大,因为裂纹③产生两个分叉点。双重网络模型,分岔点的裂纹长度都是累积的。在测量裂纹长度的③,研究者手动测量的主要分支的长度根据通常的要求。最重要的是,当考虑裂缝的宽度、最大偏差为13.52%,平均偏差为11.76%。当考虑裂缝的长度、最大偏差为14.29%,平均偏差为8.18%。

5.4。挠度测量的结果

他挠度测量方法基于图像拼接是适应的。结果如图所示20.。

如数据所示20.和21根据缝,变形曲线图像类似于实际的变形形状,和挠度曲线的表达可以方便地获得。比较中跨的偏转和quarterpoint拨号指标的值,如表所示7,最大偏差为8.49%,平均偏差为4.50%。随着负载的增加,偏差逐渐降低。

6。结论

传统的裂缝和挠度测量方法只能获得测试的具体点的信息。本研究提出了一种自动测量方法,试验梁的响应基于连续图像采集系统,集图像采集、图像拼接、裂缝识别、和挠度测量。这种方法提供了一个新想法的整体检测框架,梁和其他结构。主要结论如下:(1)连续的图像采集和信号传输系统使用self-walking托架,使工业相机的结构和保持适当的距离在一个固定的距离沿梁方向移动。信号传输通过物联网,实现远程控制。(2)高质量的全景图像的光束可以获得使用PCA-SIFT图像拼接技术筛选机制。拼接的图像可用于裂缝识别和挠度测量。(3)双重网络模型是建立收集和识别裂缝和测量他们的宽度和长度。CNN模型可以有效地消除大部分的干扰信息,识别图像中的裂缝。FCN模型用于提取特征从CNN网络结果,准确地获取信息,如裂缝的宽度和长度。宽度的平均偏差为11.76%,和长度的平均偏差为8.18%,满足裂纹检测要求。该方法还可以获得裂缝的分布,这是至关重要的组件的受力分析。(4)优化的特征跟踪方法结合了简化的尺度空间AKAZE算法和简单的算法来提取特征点。预检验的RANSAC算法和自适应迭代次净化资讯粗略的匹配跟踪结果来实现功能。这种方法可以缩短40%的时间。(5)大量特征点的位置和变形特征跟踪获得的用于曲线拟合得到精确的负荷下梁的挠度曲线,平均偏差为4.50%。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

d .梁构思这个研究的想法。j . Liu和l .王写道,修订,抛光。c .刘和j·刘写这篇论文。

确认

这项工作提出了研究是由中国国家自然科学基金(没有。51978236),河北省交通部科技项目(没有。yc - 201912),和科技开发项目天津交通委员会(没有计划。2019 - 06)。