文摘

排水洞的堵塞或失败将危及斜坡的稳定性和高速公路隧道交通安全。本文研究一种排水洞堵塞程度的自动分类算法基于卷积神经网络传输学习探索排泄孔堵塞的智能检测方法。采用模型转移方法输入排水洞图像样本训练pretrained网络分类的新图像。实验是进行排泄孔图像的收集样本,和不同的网络模型的准确性相比,ResNet-18是最好的。ResNet-18性能比较使用不同的传输策略和参数。结果表明,当个梯度优化算法和学习速率为0.0001,这些样本的识别效果是最好的。验证精度可以达到91.7%,测试精度是90.0%,和排泄孔堵塞的有效分类不同程度意识到ResNet-18转移学习策略下的模型猴冻层。此外,在未来扩大样本,将进一步提高识别精度。自动分类系统的排泄孔的堵塞程度大大降低了人工检测的成本,在排水管道的维护起着指导作用,并有效提高公路隧道的安全性和斜坡。

1。介绍

与山隧道的不断扩展和离岸深水领域,出现了一系列复杂疾病在隧道施工和操作(1]。隧道严重结晶堵塞排水管道通常发生在隧道施工和运营。排水管道被堵塞后,减压的能力将大大减弱,这很容易导致无法隧道地下水排水和突然崛起的外部水压力(2]。这将导致结构漏水、裂缝衬砌和受损块,倒拱隆起,和其他疾病3- - - - - -5),所有这些都严重影响隧道结构的安全运行,从道路堵塞到伤亡。有效地避免隧道灾害的发生造成的堵塞的排水洞,有必要进行快速、准确的检查定期排水洞。目前,隧道排水洞堵塞检测主要依赖于视觉检查和记录核查人员当场,紧随其后的是由维修人员维修。检验结果由核查人员主观影响。隧道的检验任务具有挑战性,工作负载很重。因为错误的检测和错失检测经常发生,迫在眉睫的是探索一个智能检测方法。

计算机的方法可以直观、有效地检测结构损伤,建立图像binarisation [6),和边缘检测7]。两种方法已被广泛应用于结构健康监测应用。何[8)等人提出了一个动态位移测量方法基于多点视觉的基础设施。你们(9,10)等人提出了一个分布式结构位移监测远距离非接触方法基于计算机视觉的大跨度桥梁,也是基于数字图像处理的相关理论和多点模板匹配算法,并意识到kilometre-scale现场结构位移监测。然而,这种方法仍然受到限制由于照明和distortion-induced噪音的影响11]。结构损伤检测方法基于深度学习在土木工程领域的迅速发展,给人工智能技术的快速发展12,13]。Yeum et al。14)提出了一个建立桥梁裂缝检测技术通过自动处理的对象检测和分组。Makantasis et al。15)实现隧道裂纹检测采用浅卷积神经网络(CNN)与两个卷积层和一个完全连接层。Cha et al。16)使用一个CNN深层结构来检测混凝土裂缝。徐et al。17)建立了一个框架钢结构的表面裂缝识别基于限制玻耳兹曼机。陈(18)提出了一个CNN的裂缝检测方法基于朴素贝叶斯数据融合提高识别算法的整体性能和鲁棒性。包等。19]提出了异常数据诊断方法基于计算机视觉和深度的结构健康监测网络。Konovalenk et al。20.)评估的应用中残留的神经网络识别的三种类型的工业钢轧制缺陷,研究和开发了一个模型钢表面缺陷识别和分类基于深残余神经网络。雪et al。21介绍基于区域)提出了一个改进的mask-RCNN (CNN)模型实现自动检测隧道衬砌渗漏。排水管道系统的疾病检测、缺陷分类系统的污水管道系统闭路电视(CCTV)检查视频提出了基于CNN (22- - - - - -24]。然而,没有研究了一种自动检测方法边坡排水洞堵塞的程度。

本文深度学习应用于检测阻塞排水洞。如图1,许多排水洞疾病样本收集和作为输入。通过比较不同pretrained CNN, CNN模型最适合这些样本被选中。通过比较模型的性能在不同的迁移策略的影响(冻结不同层)和不同的网络hyperparameters网络上的预测效果,CNN模型,这是最适合的实验样本,终于获得。本文的自动分类方法提出了排水孔堵塞程度的第一次。方法结合学习和采用CNN转移到克服的缺点培训传统的CNN,如样本不足和训练时间长,并实现自动排水孔堵塞程度的分类,同时避免手工检测的缺陷,如成本高、长时间,错误检测,泄漏检测。

部分2介绍了实验样品的收集和图像预处理,以及pretraining模型和传输的学习方法。部分3.1显示了不同的pretraining模型转移学习的结果。部分3.2比较ResNet-18在不同传输策略。部分3.3比较不同网络的影响hyperparameters模型的预测性能。部分3.4介绍了CNN的卷积过程的可视化结果。部分4给出本文的结论和前景。

2。实验数据和网络模型

摘要排水洞堵塞检测模型通过pretrained CNN将一套新的图像通过使用一个模型转移学习方法。与培训网络与随机初始化权重从一开始,调整网络通过转移学习更快,更简单,由于转移学习网络优秀的特征提取和分类能力。微调通过传输网络学习是更快和更容易比从头训练网络随机初始化权重,和学习功能可以快速转移到新的任务较少的训练图像,导致有效和准确的分类和检测排水洞堵塞的疾病。图2显示的自动检测模型的检测过程堵塞排水洞。

2.1。实验数据预处理

这个实验的原始样品亲自拍摄的隧道和斜率,因为没有公共的堵塞排水洞样品在互联网上。图像目标和背景的比例是相当不同的,由于拍摄角度的影响,排水洞的位置和其他因素。因此,必须预处理的图像。首先,收集到的图片样品适当剪裁,大小均匀缩放以适应网络的输入大小(224×224)。此外,在网络训练的过程中,图像增强技术的平移和旋转是用来提高网络的鲁棒性,提高网络的概括能力。

所有图片都是手工分类和定性分析是根据堵塞的程度。此外,堵塞排水洞分为四类,即轻微堵塞,温和的堵塞,严重堵塞,没有堵塞。轻微的堵塞结晶堵塞发生在小于排水洞大约1/4的排泄孔面积,温和堵塞发生在结晶堵塞大于1/4但低于3/4,和重型堵塞发生在结晶堵塞大于约3/4。图3描述了具体的分类。

共有943个样本在这个实验中,使用101作为测试集。剩下的842个样本与轻微的堵塞,299 230年温和的堵塞,严重堵塞,71和242没有堵塞。约90%(758年)被随机选择培训和10%(84)作为验证集。表1介绍了分配的具体示例。

2.2。模型转换学习方法

CNN是一种前馈神经网络,第一次出现在英国石油公司(251986年)算法。与普通神经网络相比,它具有部分连接和重量共享和应用领域的图像识别和目标分类。摘要八古典CNN模型(AlexNet [26],SqueezeNet [27],VGG-16 [28,VGG-19 Resnet-18 [29日),ResNet-50 resnet - 101, GoogLeNet [30.)被选为pretraining网络模型。所有CNN模型由卷积层,激活层、汇聚层,和完全连接层。另一方面,叠加层很难改善模型的学习能力并导致模型退化和梯度爆炸(31日或消失。与其他网络,ResNet使用快捷键连接解决模型退化的问题深层神经网络,如图4。添加一个身份地图背后的浅网以同样的输入和输出提高准确性和将模型转换为一个浅网络同时提高模型的准确性。

pretrained网络已经在超过一百万个图像和训练可以分类图像到1000年对象类别,包括键盘,鼠标,铅笔,和许多动物,以及土木工程的图像。结果,网络学到丰富的特性表征一系列不同的图像。自从上次三层pretrained网络配置为1000类,这些三层必须调整我们的新分类问题,如图5。但是最后三层都是提取pretrained网络。代替过去的三层新完全连接层,softmax和分类层,完全连接层设置为相同的大小作为新的数据类的数量,这是四个实验样本。在大多数网络,可学的重量的最后一层是完全连接。在SqueezeNet,最后可学的层1×1卷积层,取而代之的是一个新的卷积层与相同数量的过滤器类的数量。

3所示。分析的结果

本文中使用的实验平台如下:10(操作系统),Microsoft Windows i5 - 1035 - g1中央处理单元(CPU), NVIDIA GeForce MX350 8 GB的图形处理单元(GPU), 512 GB的固态驱动器和Matlab R2020a。

3.1。网络模型比较

所有网络模型使用相同的网络参数表中给出的具体参数2。所有网络层训练,综合实验结果和评估四个评价指标,即验证准确度、精度、召回和F1-score。

本文选择验证组评估网络,其中包含143张图片,其中30轻微堵塞,23日是温和的堵塞,7是严重堵塞,24没有堵塞。不同的网络模型进行比较验证准确性,精度,还记得,F1-score,测试精度和训练时间。表3介绍了每个网络模型的性能。图6显示了训练和验证准确性,以及迭代曲线在训练过程中损失。可以观察到,SqueezeNet最短的训练时间,验证精度最低。VGG-16/19网络的准确性较高,但是需要很长时间,和测试精度VGG-19低于验证准确性,导致过度拟合。随着ResNet系列网络的深度增加,那么训练时间,但准确性降低。全面比较,ResNet-18验证最高为每个分类准确度和精密度,召回,F1-score。验证的准确性和测试准确率分别为90.5%和91.0%,分别。虽然略低于VGG系列网络,它的训练时间是1/50。因此,ResNet-18执行最佳在这个实验中排水洞目标分类的任务。

3.2。转移战略的比较

节3.1,获得最优网络模型ResNet-18使用转移学习。本节继续比较模型的性能在不同的传输策略。选择冻结的权重不同的网络层通过设置学习速率为零。冻层的参数不会被更新在训练。因为冰冻的梯度层不需要计算,冻结多个初始层的权重可以显著加快网络训练时间。如果新样品小,冻结浅网络层也可以防止这些层过度拟合的新样品。测试的优点转移学习,没有pretraining ResNet-18网络也在这个实验中使用。

ResNet-18由71层,包括8剩余箱子。在这个实验中,从第一层到层每个剩余盒子的背后是冷冻顺序,也就是说,层1 - 11(第一次剩余箱),层队(第二次剩余箱),层1-27(第三剩余箱之后),层猴(第四剩余箱后),层1 -(第五剩余箱后),层1-50(第六剩余箱后),层1-59(第七个剩余箱),层1 - 66(第八剩余箱之后),分别。学习速率的冻层设置为零,所有的层都连接在原始订单,和新层图包含相同的层,但冻层的学习速率为零。

不同的传输策略的网络模型使用相同的网络参数。表2介绍了具体的参数。的识别影响ResNet-18使用不同的传输策略比较通过冻结不同层次的网络。表4给出了具体的实验比较。

通过比较,发现随着网络冻结深度的增加,训练时间变得越来越短,因为更少的参数必须被训练。当冻结层1 - 11,网络验证的准确性和测试精度受明显。冻层队时,网络验证精度高于训练所有层的精度,但测试精度较低。网络验证的准确性和测试精度大大降低当层1-27冻结,但验证网络的准确性和评价指标最高的冻层猴时,验证准确性和测试准确性为91.7%和90.0%,分别。之后,随着冻结层数量的增加,网络模型的准确性逐步减少。此外,网络没有pretraining比较。结果表明,相同数量的培训,网络的训练时间没有pretraining相当的网络与pretraining所有层。然而,精度远低于pretrained网络。

3.3。模型参数的比较

在前面的小节中,不同的迁移策略进行比较,其中ResNet-18冻层猴表现最好。相比,在此基础上,我们使用三种不同的预测影响连接器(亚当,个,RMSProp)模型的初始学习速率为0.01,0.001,和0.0001,分别。图7显示了不同的解算器模型的精度验证当最初的学习速率是0.0001。如表所示5,模型精度大幅提高学习速率降低,在相同的学习速率,亚当优于RMSProp当个优于亚当。个解算器时,模型验证精度是最高(91.7%);学习速率是0.0001时,测试精度排名第三在90.0%,和其他评价指标最优。图8显示部分的测试结果;括号中的值预测的信心。

3.4。可视化的功能

本小节展示如何养活图像ResNet-18 CNN和激活的区域添加层(res2a, res2b, res3a、res3b res5b)第一个1 - 4月底最后残余盒网络图9,观察区域在图像卷积层被激活并比较它们与相应的地区原始图像的特性进行调查。当将激活区域与原始图像进行比较,发现浅层次的渠道学习简单的特性,比如颜色和边缘,而更深层的渠道学习复杂的特性。

每一层的CNN由几种二维数组称为渠道。激活区域网格中的每个块的输出通道conv1层。白色像素显示强阳性激活区域,和黑色像素显示强烈的负面激活区域。主要是灰色渠道并不强烈激活输入图像。通道的激活区域像素位置对应于原始图像的相同的位置。白色像素在一个通道的位置表明,通道是强烈激活在那个位置。图10显示了每一层的64获得的特征图谱res2a res2b。一些通道的图像显示的轮廓排水洞。

图11res3a和res3b的图像显示功能,与128年获得每一层功能图像。res2a和res2b相比,卷积过程降低图像的分辨率特性。一些额外的干扰是过滤掉。理想的排水洞的特点是提取图像的一些特征。图12显示了最后残留的功能图像框添加层,res5b, 512获得每一层功能图像。在这一点上,这项决议继续降低,图像非常模糊,视觉功能消失。

4所示。结论和展望

根据排水洞图像样本,八个不同pretrained CNN模型,也就是说,AlexNet, SqueezeNet, VGG-16, VGG-19, GoogLeNet, ResNet-18, ResNet-50 resnet - 101,比较。相同的模型的性能在不同的迁移策略和不同hyperparameters相比。理想的排水孔堵塞检测网络模型。通过实验分析,以下的结论。(1)根据排水洞堵塞样品,八个不同pretraining网络模型比较,和一个相对准确(91.5%)排泄孔堵塞检测网络模型基于ResNet-18训练,导致排水洞堵塞的分类基于程度分为四个类型,即轻微堵塞,温和的堵塞,严重堵塞,没有堵塞。(2)与转移学习模式相比,它需要更长的时间来训练网络,网络精度低得多。比较网络模型的性能在不同的迁移策略,冻层增加训练时间减少。当选择合适的相对浅网络冻结,保持基本不降低精度可以减少网络的训练时间。然而,一定深度后,模型的准确性降低冷冻层数量的增加。(3)在本文中,我们比较不同的解决者和初始学习网络模型的率,结果表明,学习速率减少,模型精度显著提高。对于这些实验样品,模型精度最好当最初的学习速率是0.0001和个解算器。

交通拥堵分类网络模型有利于排水洞的检测和维护公共基础设施。检测人员可以考虑使用一个无人机收集排水洞图片根据计划路线,然后将收集到的图片输入排水洞堵塞检测模型,可以自动排泄孔的堵塞程度进行分类。

目标图像的背景存在着显著差别在实际的图像采集过程中由于拍摄角度等因素和排水洞的位置,和模型的适应性降低,导致训练模型的正确性。仍然需要改善与深度学习在其他方面的应用。本文只进行目标分类的排泄孔堵塞,和疾病的检测和定位位置可以在此基础上进行研究。使用目标检测方法,几种类型的疾病可以确定在一个单一的形象,和研究排水洞堵塞分类网络模型的维护是非常重要的排水管道。此外,它提供了重要的技术支持智能维修管理系统的开发为排水管道在稍后的阶段。

数据可用性

使用的数据来支持本研究的结果都包含在这篇文章,可从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

作者承认提供的金融支持广东省自然科学基金(批准号2019 a1515011397)。