文摘

定期调查的阶段期间,密封在沥青路面表面裂缝,裂缝应准确检测。此外,识别这两个缺陷的能力可以帮助减少路面裂缝检测的假阳性。因为裂纹和密封裂缝都是基于行的缺陷和可能在形状相似,本研究提出一个创新的方法基于计算机视觉检测密封裂纹和裂纹。该方法是一种集成的基于图像处理和特征提取metaheuristic优化机器学习。图像处理是用来计算特性,描述路面图像的视觉外观和质地。随后,樽海鞘蜂群算法与多类支持向量机集成用于模式识别。在实验结果的基础上,新开发的方法取得最理想的预测性能与裂纹检测的准确率= 91.33%和92.83%密封裂缝检测。

1。介绍

沥青路面是一种最交通网络的重要组成部分。如今,密集的交通负荷和恶劣天气状况加速恶化的沥青路面公路。例如,美国土木工程师协会和英国土木工程师学会分级与D这表明他们国家的路面基础设施状况不好(1- - - - - -3]。因此,评估人行道的条件以及其安全性和可服务性的维护世界各地交通管理部门的重要任务。

达到这些目标,路面管理系统要求输入相关信息收集和分析路面表面状况(4,5]。这些系统的主要输出之一是建立一个适当的维护计划,需要最短的康复时间,增加了一个最低成本(6,7]。要做到这一点,这是一个要求的路面管理系统获得准确的评估结果及时沥青路面条件。

然而,这样的要求是越来越难以实现现代运输管理/维护部门。一个典型的原因是路面状况调查的手动过程仍是占主导地位的方法,特别是在发展中国家。虽然手动过程由道路养护技术人员或交通检查员可以获得准确的评估结果,这也是高度劳动密集型。因此,传统的路面状况调查是一个耗时的过程,需要大量的数据收集和数据处理工作。数量有限的经验丰富的技师/检查员和现有沥青路面公路的数量及时情况调查的任务一个严峻的挑战8]。

应对上述挑战,越来越多的研究者和实践者依靠自动人行道健康监测系统。这些系统利用先进的计算机视觉技术以及先进的图像处理技术/算法来收集、分析和利用数字推理沥青路面图像。所指出的盾和Catbas [9),这种先进的方法的优点是安全检查员,快速数据处理,设备成本低,自动化程度高,低干扰调查道路部分的日常运作。

因此,基于二维路面分析的先进方法已经开发识别各种路面祸患(10- - - - - -12]。在这样的困苦,破解(参考图1(一))是显著地遇到一个最广泛的沥青路面(8,13- - - - - -15]。裂缝是一个早期信号恶化的路面表面和裂纹修复需要确保道路可服务性和防止出现更密集的裂缝,大型陨石坑,坑坑洼洼。因此,作为裁判所。16)、准确和及时发现裂缝对沥青路面状况调查的过程至关重要。这些检测可以极大地帮助保护维修预算,建立适当的维护/康复计划,保证沥青路面长期使用性能的(17]。

(一)
(一)
(b)
(b)
图1
沥青路面表面裂缝和密封裂缝对象发现。(一)裂纹和(b)密封裂缝。

道路养护期间,工程师常常诉诸于裂纹密封(参阅图1 (b)),恢复路面表面。在裂纹密封操作,胶粘剂密封胶放入裂缝。这个过程有助于防止水分和有害的对象的渗透到沥青路面(18]。裂缝密封是一种具有成本效益的路面康复方法,可以延缓路面恶化,延长路面使用寿命。然而,一个密封的裂缝本身被认为是一种表面缺陷的检测路面管理系统(的外观也很重要19]。此外,密封裂缝和裂缝区别对待在路面条件评估20.]。因此,这两种形式的路面祸患都应该准确地检测到通过基于计算机视觉的测量方法。

虽然取得了巨大成就与沥青路面裂缝检测(21),研究工作,致力于识别裂缝和密封的裂纹缺陷仍然是有限的(7]。指出在裁判。20.),在识别裂缝和密封的两个主要挑战同一框架下裂缝的复杂纹理路面背景和相似的灰色的强度以及裂纹的形状和密封裂缝。因此,先进的图像处理技术可以用于视觉分割和孤立裂纹对象。此外,图像纹理描述符与好的辨别力可以有利于描述图像的粗/细度区域,从而分类/裂缝密封裂缝。

此外,图像处理和机器学习的整合已经被证明是有效的为开发自动计算机视觉模型在结构健康监测22- - - - - -24]。因此,本研究提出了一个自动分类方法利用裂纹和密封裂缝图像样本的图像处理和图像纹理分析。采用图像处理技术包括高斯可操纵的过滤器(25,26)和投影积分(27,28]。第一种技术是用于描述对象和沥青路面裂缝的背景。后者的一个非常有用的形状描述。区分裂缝和一个密封的裂纹,本研究依赖于图像纹理描述符颜色通道的统计特性(红、绿、蓝通道)29日)和attractive-and-repulsive center-symmetric局部二进制模式(ARCS-LBP) (30.]。

采用图像分析方法的结合,包括高斯可操纵的过滤器,投影积分,和纹理描述符所指出的旨在解决上述挑战Zhang et al。20.]。高斯函数可操纵的过滤器和投影积分用于区分裂缝/密封裂缝路面背景。此外,纹理信息的统计特性计算颜色通道和ARCS-LBP可以帮助识别裂缝和密封的裂缝。本研究基于支持向量机的非线性分类器(支持向量机)31日]分析一组数值提到的图像处理和特征提取的纹理描述符。该分类器是用于图像分类的样本沥青路面分为三个类别的“noncrack”,“密封裂缝,”和“裂缝”。

选择支持向量机在这项研究中,因为它的能力已经证明了非线性和多元数据分类各种研究[32- - - - - -34]。此外,这项工作雇佣樽海鞘群算法(SSA) [35)优化基于svm的性能/密封裂缝分类模型。自然metaheuristic掸邦军是一种新型的用于全局优化。在这项研究中,我们制定的SVM模型选择耦合模型训练阶段作为一个优化的任务由SSA metaheuristic可以有效地解决。为了训练和验证该框架的有效性,我们收集了一个图像数据集包括300个样本的沥青路面表面在岘港市实地考察(越南)。

本文的其余部分组织如下:第二节介绍以前的研究与当前的相关研究。使用的研究方法包括图像处理技术、图像纹理描述符,机器学习,metaheuristic第三小节中介绍。第四部分描述了该方法自动检测路面裂缝和密封裂缝。实验结果和讨论报告在第五部分,其次是部分的结束语。

由于裂纹检测问题的重要性在定期调查的路面表面,各种复杂的方法提出了基于图像处理和机器学习解决问题的兴趣。,我们关注的是以前的作品,采用图像处理技术,图像纹理分析和机器学习模型的自动检测沥青路面祸患,尤其是路面裂缝。胡锦涛et al。(36训练一个基于svm模型基于一组纹理特征和形状描述符;该模型用于识别路面表面裂缝。加维兰[37)构造了一个图像处理的方法检测不同的裂纹类型;该方法采用支持向量机模式识别和投影积分分析从数字图像中提取信号的路面裂缝。

一个复杂的方法,依赖于段模式分析和线性判别分析提出了在裁判。38]从路面图像中提取特征;然后作者采用机器学习模型的神经网络,支持向量机,近邻分类器。Prasanna et al。39)构造裂缝外观向量组成的灰度,gradient-based,和尺度空间特征用于裂纹状态分类;作者依靠SVM、演算法和随机森林进行模式识别任务。Kamaliardakani et al。19)开发了一个基于图像处理技术自动密封裂缝检测局部最小值的图像分割方法和大津法图像阈值;作者依靠后续的基于贝叶斯最小误差的最优阈值识别方法(40)进行图像分割;此外,形态学填充和关闭的操作41)用于图像处理和揭示裂缝。

裂缝分类命名随机森林结构提出了裁判。42)来识别裂缝的路面图像;形态学操作也被用于去除微小冗余对象和提高裂纹检测的结果。Zhang et al。43,44]依赖卷积神经网络(CNN)分类器识别路面裂缝;CNN被发现是非常适合收集到的图像数据集。Yokoyama和松本45)还建基于CNN模型用于裂缝分类地位;作者观察到,在后台污渍表面可以CNN-based裂纹检测过程的性能恶化。

Radopoulou和Brilakis3)使用语义texton森林算法作为路面裂缝检测的监督分类器。CNN模型的性能比较的边缘检测算法在裁判。46];研究发现,采用机器学习的方法明显优于传统的边缘探测器的分类准确率12%。黄平君和阮47)利用图像处理技术和机器学习的支持向量机模型,神经网络和随机森林裂纹模式识别;实验结果证实了SVM比其他两种方法的优越性。方法命名为裂纹深度网络提出了裁判。7]识别裂缝和密封裂缝从复杂路面背景。

汉et al。48)提出了一个先进的大津法结合边缘检测器和树型分类器在高速公路裂缝检测;基于函数高斯空间滤波和上流社会的变换也用于图像增强和表演各种边缘检测器包括普瑞维特,索贝尔,Gauss-Laplace(日志),和精明的评估;研究发现是基于树分类器能够有效地识别裂缝模式。Ranjbar et al。15]依赖转移学习与pretrained深层神经网络模型用于路面裂缝检测;然而,该方法没有考虑密封裂缝作为对象的兴趣。霍夫变换技术被用于参考。8]揭示裂缝的基本特性;随后,支持向量机、神经网络和基于树的分类器是用来裂纹模式进行分类。陈等人。17]介绍了二阶方向导数的裂纹结构;该方法取得了良好的检测精度;然而,密封裂缝检测中使用的模型性能尚未研究。

基于当前文学,有增加趋势,应用先进的图像处理和机器学习方法在路面裂缝检测。这一趋势也已指出Zakeri等的审查工作。49];谢长廷和蔡21];和曹et al。50]。此外,主管支持向量机等机器学习方法,浅神经网络,采用树型分类器,CNN占优势。支持向量机的方法已被证明是优于其他使用模型(37,47,51]。

不同的支持向量机,CNN,这也是一种监督式学习的方法,不需要手工制作的特性,比如图像纹理或形状描述符。这是因为一系列的卷积层在CNN结构能够自动计算功能(9]。然而,CNN模型通常需要足够大量的标记数据有效地训练它的结构可能包含大量的调优参数(15]。当训练样本的数量是有限的,CNN-based的性能模型可以不如那些依靠手工制作的特性(52,53]。然而,比较研究关于CNN和机器学习模型预测性能的使用提供基于图像处理的特征提取器用于裂缝和密封裂缝检测标记数据有限的情况下很少报道。因此,当前的研究试图填补这一差距在文献中提出了一个集成模型,采用图像进行特征提取和基于svm裂纹/密封裂缝识别。此外,我们还提出了一个新颖的框架,利用自然的SSA metaheuristic优化裂缝和密封裂缝检测模型。

3所示。研究方法

这部分的文章介绍了当前的研究的研究方法。研究方法包括四个主要部分:图像采集、图像纹理计算,模型优化和建设模式。整体研究方法是描绘在图2。本节的后续部分回顾图像纹理描述符的用于特征提取、机器学习和metaheuristic算法用于模型优化。因为裂缝像素通常与路面的表面和路面图像通常是由复杂的背景和噪声(摄动17,54),这项工作依赖于高斯方法可操纵的过滤器和投影积分分离对象和分析它们的视觉外观。


图2
研究方法概述。

此外,考虑到裂缝和密封裂缝可以有相似的形态学特征(如长度和方向),利用视觉外观本身可能不足以提供所需的检测性能。本研究提出了集成图像纹理描述符包括颜色通道的统计特性和ARCS-LBP检测裂纹和密封裂缝对象。小说综合特征提取算子因此在我们的研究至关重要,因为它有助于识别感兴趣的对象在凌乱的场景沥青路面表面(55]。此外,支持向量机,最有能力的分类器(56),用于构造最优超平面,将输入特征划分为三类noncrack,密封的裂纹,裂纹拆开。优化支持向量机的性能,本研究还提出了将SSA metaheuristic [35)到模型构建阶段的SVM模型。

3.1。图像处理技术
3.1.1。高斯可操纵的过滤器(—)

确定,首先介绍了在前面的参考文献。(25,26),依靠orientation-selective卷积内核实现两个目标的噪声抑制和边缘特征增强。确定应用程序的一个例子提供了处理沥青路面图像图所示3。图像处理技术已经有效地用于路面裂缝检测(57- - - - - -59]。构造一组确定,采用高斯二阶导数的线性组合。

(一)
(一)
(b)
(b)
图3
确定的插图。(一)输入图像。(b)输出图像。

给定一个图像样本(x,y)代表一个像素的坐标,一个二维高斯函数与方差 一个像素由裁判给出的。26]:

1圣订单衍生品用来计算旋转角度的过滤器0°、90°表示如下:

对于任意方向β,高斯可操纵的过滤器是表示为Ref。26]:

时指出,高斯函数方差的值是固定的,最后的滤波器响应的组合确定的方向β。的价值β通常选择的角度,也就是说, 。最后确定反应像素位置(x,y)在一个图像我可以通过下面的公式: “∗”表示卷积算子。

3.1.2。投影积分(PI)

在图像处理领域,π(27,60)技术用于分析视觉外观的对象在一个感兴趣的场景。特别是对于土木工程应用,π已成功申请的结构性缺陷检测(28,47,61年,62年]。给定一个图像样本,4π,包括水平π(HPI),垂直π(新品),和两个对角π,可以计算。

HPI和新品(参考数据4(一)和4 (b))的总和计算像素的强度以及一个线程xy或yx如下(63年]:

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
图4
示范π的计算。现病史(a)、(b)新品DPI (c)1,(d) DPI2。

认识到斜裂缝路面表面,两个对角π(参考数据4 (c)和4 (d)1 (DPI)命名为斜投影积分12 (DPI)和斜投影积分1使用)。这两个dpi计算如下(63年]:

3.2。图像纹理描述符
3.2.1之上。统计测量的颜色通道

因为像素的颜色通道是有用的属性描述沥青路面缺陷(64年),本研究计算统计测量物体的颜色和集成这些测量到特征提取阶段。给定一个图像样本我,有必要构建一阶直方图P(我),其中包含颜色强度的统计分布29日]。基于构造P(我),三个统计测量的意思 ,标准偏差 ,和偏态 可以计算如下: 在哪里问= 256是离散的数为8位图像强度值。c表示颜色通道的红色,绿色和蓝色。

3.2.2。Attractive-and-Repulsive Center-Symmetric局部二进制模式

吸引力和排斥力Center-Symmetric局部二进制模式(ARCS-LBP),提出了裁判。30.),是一个改进版本的原始Center-Symmetric局部二进制模式(CS-LBP) [65年]。ARCS-LBP方法考虑四个三胞胎对应垂直,水平,并通过包含两个对角线方向中央像素的强度(见图5)。因此,新提出的方法继承了良好的局部结构描述的优点,宽容对光照变化,从原始CS-LBP和快速计算。ARCS-LBP也增强了CS-LBP歧视功能梯度和纹理分析。


图5
的吸引力和排斥力的像素之间的关系。

定义一个中央像素之间的关系及其周边邻居,有吸引力 和排斥 二进制的阈值函数是使用: (在哪里 , , )表示的四个三胞胎之一对应水平的,垂直的,和两个对角线方向在一个社区形象。

一般来说,当地社区内结构被认为是有吸引力的,如果中央像素灰度强度低于相邻像素。相反,这个结构是排斥如果中央像素的灰度强度高于周围的像素。因此,有吸引力(CSBP Center-Symmetric局部二进制模式一个)和(CSLBP排斥Center-Symmetric局部二进制模式R)可以定义如下: 在哪里 = (26,25,24,23,22,21,20), 和 是有吸引力和拒斥二元梯度向量,分别。这两个梯度向量计算通过使用前面提到的吸引力 和排斥 二进制的阈值函数。除了 和 ,El merabet et al。30.)也提出整合指数平均局部灰度和全球平均灰度纹理计算过程。

3.3。樽海鞘蜂群算法(SSA)

提高机器学习模型的性能,metaheuristic hyper-parameters算法已被用于自动调整。这是因为hyper-parameters扮演重要的角色在学习阶段的机器学习模型。因此,先前的作品采取metaheuristic算法来解决感兴趣的任务。最近,各种新颖的算法已经成功地利用包括人工蜂群(66年)、微分花授粉(67年),亨利气体溶解度优化(68年],哈里斯鹰优化[69年),共生生物搜索(70年],帝王蝶优化[71年),和社会蜘蛛优化(72年]。然而,hyper-parameter调整视数据和具有挑战性的任务,因为hyper-parameters连续值;因此,有无限的可能的候选人。因此,调查能力的其他高级metaheuristic算法在优化机器学习模型是一个紧迫的需要。

SSA (35)是一种新型表面metaheuristic已经证明其能力在解决复杂的优化问题。这种metaheuristic方法具有良好的性能在勘探和开发阶段(73年,74年]。掸邦军metaheuristic已成功运用在各种问题包括机器学习模型的优化75年,76年]。因此,本研究基于SSA优化基于svm的检测裂纹和密封裂缝。

SSA算法是受樽海鞘成群的群集行为时,导航和饲料在海洋35]。在这项研究中,SSA metaheuristic是用来优化机器学习模型用于分类的任务裂纹和密封裂缝数据样本。探索搜索空间,群分为两组:领袖樽海鞘及其追随者。给出一个优化问题n决策变量和目标函数F(x),领导地位是修订根据以下方程: 在哪里 表示的领袖樽海鞘jth维度。Fj食物源的位置。乌兰巴托j和磅j代表的上下边界jth维度,分别。c1,c2,c3是三个随机数。

此外,该参数c1强烈影响领导者的位置更新。因此,c1决定了勘探开发过程之间的平衡;它是计算如下: 在哪里l表示当前迭代和搜索l指定搜索迭代的最大数量。

SSA metaheuristic雇佣了牛顿运动定律来更新群追随者的位置。追随者的位置修改如下: 在哪里 表示在其追随者的新职位jth维度;t是时间; 樽海鞘的初速度;和一个= 。

因为时间的变量(t)相当于搜索迭代(l)和初始速度 = 0,上述方程可以表示为

最后,如果群体成员超越指定的上下边界,以下规则应用于修改它的位置:

3.4。支持向量机(SVM)

基于鲁棒统计学习框架,支持向量机(31日)仍然是最有能力的非线性和多变量标识符用于复杂的模式识别任务(32,77年]。支持向量机的主要优势是好的泛化能力的数据,保证全局收敛性的模型训练和处理高维数据集。支持向量机是基于结构风险最小化框架和最大边际概念(78年];因此,这个机器学习方法对噪声和强韧性数据过度学习。这些事实使SVM构造一个数据驱动的模型适合用于检测裂纹和密封裂缝模式。在这项研究中,支持向量机分析了上述特征提取的图像处理技术和图像纹理描述符。基于沥青收集图像样本,训练模型用于交付noncrack输出类标签,密封裂缝,启封裂纹(见图6)。


图6
演示使用的支持向量机分类器识别裂缝和密封的裂缝。

构建分类器,支持向量机模型必须建立两级识别问题。此外,处理非线性可分的数据集,支持向量机方法依赖于内核函数来构建一个从原始输入空间映射到一个高维特征空间。在这个高维特征空间中,数据来自不同的类标签可以分离超平面(参考图6)。非线性数据的分类、径向基核函数(RBKF)通常采用79年];它的公式表示如下: 在哪里 是一个hyper-parameter内核函数。

构建支持向量机模型可以转化为约束优化的任务如下: 受到 , ,在哪里 Rn和b R表示超平面的参数。 松弛变量的向量。C和 是惩罚系数和非线性数据映射函数,分别。

标准支持向量机为两舱设计识别任务可以很容易地扩展为一个多级识别任务通过one-versus-all框架(80年]。基于这个框架,multilabel分类任务分为若干两级识别任务。每个两级识别任务是由独立的SVM模型。最后类输出是由计算信心得分的每个数据样本对应于每个类标签(81年]。在这项研究中,基于svm分类器的性能是由使用SSA metaheuristic进一步加强。混合机器学习metaheuristic框架是本文的后续部分中描述。

4所示。拟议的路面裂缝检测的计算机视觉方法和密封裂缝

文章的这一部分提出了建议的方法识别路面裂缝和密封裂缝。该方法是一种集成的图像处理技术,图像纹理描述和metaheuristic-optimized机器学习模型。新建的一个总体视图框架见图7。该方法,命名为计算机应用樽海鞘群算法优化的支持向量机(CV-SSA-SVM),可分为三个主要步骤:(i)图像样本收集和标记,(2)基于图像处理的特征提取和纹理计算,和(3)机器学习模型优化和预测。


图7
提出的混合裂纹的分类方法和密封裂缝。

指出,特征提取模块已经在微软Visual Studio编程4.7.2 Visual c# . net框架。采用SSA metaheuristic从Mirjalili提供的源代码82年]。优化的支持向量机模型的SSA metaheuristic构造在MATLAB环境下的协助下统计和机器学习的工具箱83年]。此外,优化计算机建立模型,采用模块结构计算和SSA优化SVM模型编码和履行在Visual c#。net框架的帮助下4.7.2内置函数的协议。净框架(84年]。

4.1。图像样本收集和标记

本研究的第一步是收集图像样本包含密封的路面表面裂缝和裂缝拆开。实现这样一个步骤中,实地调查在岘港市(越南)进行了收集图像样本的沥青路面表面。图像样本包括三类:“noncrack”(类标签= 0),“密封裂缝”(类标签= 1),和“裂纹”(类标签2)。收集图像样本的数量是300;因此,每个类别的样本数量是100,保证平衡分类问题。加快图像处理和纹理计算过程,图像样本的大小已经固定为64×64像素。图8演示了收集到的图像样本。值得注意的是,这项研究的数字图像已经被18-megapixel决议佳能EOS M10和16.2像素分辨率尼康。此外,图像的标签样品已经被人类核查人员分配。

(一)
(一)
(b)
(b)
(c)
(c)
图8
收集图像样本的示范:(a) noncrack类,(b)密封裂缝类和(c)裂缝类。
4.2。基于图像处理的特征提取和纹理计算

特征提取过程的概述图提供9。给定一个图像样本,确定采用边缘放大。这种图像处理技术依赖于一组orientation-selective卷积内核生成凸裂纹地图。根据这张地图,投影积分包括新品,HPI和两个对角线计算π(见图10)。对于每一个π,四个统计测量包括最大值、平均值、标准差、偏态计算。它指出,每一个π的最小值计算总是0,因此忽略了。因为每个π收益率四个统计指标,特征提取新品的数量,居民,两个对角π是4×4 = 16。


图9
说明总体特征提取的过程。

图10
说明计算投影的积分。

此外,孤立感兴趣的对象,包括中值滤波图像处理技术,首先进行二值化,利用形态学操作和连接组件标签。中值滤波器特别适合去除噪声点在图像样本(85年,86年];这种技术8的窗口大小参数被用来预处理收集到的图像样本。随后,首先进行二值化(66年,87年)加上形态学操作用于图像阈值和显示一个图像场景中感兴趣的对象。形态学操作(88年,89年包括去除小的算法和noncrack对象。最后,连接组件标签(90年,91年)是用于分离裂缝为后续任务对象的结构计算。

当感兴趣的对象被提取(参考图的较低的分支9),图像纹理描述符用于描述图像区域边界对象的表面性质。本研究采用颜色通道和ARCS-LBP直方图的统计测量的纹理描述方法。第一个纹理描述符包括三个颜色通道的统计指标,即。、红、绿、蓝。对于每一个通道,三个代表的统计测量指标的意思是,标准差、偏态计算。因此,这个纹理描述符收益率3×3 = 9特性。第二个是ARCS-LBP纹理描述符。计算这个描述符,分析吸引力和排斥力的关系与当地执行结构尺寸3×3像素的像素在图像样本。因此,ARCS-LBP方法构造一个代表图像的纹理直方图(见图11)。基于直方图统计测量,包括的意思是,标准差、偏态指标作为数值计算功能,为后续的模式识别任务。


图11
插图ARCS-LPB的直方图。
4.3。机器学习模型优化和预测

数据集包括提取的特征及其相应的类标签(noncrack、密封的裂纹和裂纹)是用于构造支持向量机的机器学习模型基于一个集成模式分类器和SSA优化器。训练提出CV-SSA-SVM,上述数据集被随机分为训练集(90%)和一组测试(10%)。训练集用于模型建设;测试集是用于量化模型预测能力当小说分类数据样本。此外,Z分数方程应该用于规范28提到的图像处理和特征提取的纹理描述方法。的Z分数方程表示如下: 在哪里XZ和XD分别规范化和最初的功能。米X和性病X表示均值和标准差的原始特性,分别。

如前一节所述,建设的支持向量机模型用于裂缝的分类和密封裂缝需要一个合适的惩罚系数的测定C和参数σRBKF内核函数的控制数据映射过程。惩罚系数C基本上控制数据样本分类错误受到惩罚的金额在模型训练阶段。与此同时,参数σRBKF影响当地的内核函数,直接影响支持向量机的推广模式92年]。值得注意的是,确定这些hyper-parameters可以制定的任务作为一个全局优化问题。此外,由于C和σ都是在连续空间搜索,参数组合的数量是无限大的。这一事实意味着一个详尽的搜索最合适的hyper-parameters是不可行的。因此,这项工作提出了利用SSA metaheuristic优化裂缝和密封裂缝检测基于计算机视觉。

SSA算法,群内成员的数量problem-dependent,往往选择通过实验(74年,93年]。基于建议从之前的作品94年- - - - - -96年]和试错法实验,用于SSA成员被选中的数量是20。因此,SSA metaheuristic 20名成员和100次迭代用于优化模式分类模型的训练阶段。这个群体智慧旨在调整支持向量机的模型选择用于裂缝和密封裂缝检测通过最小化分类误差。樽海鞘的SSA依赖于群集运动时成群觅食的影响以及领袖樽海鞘逐步探索和利用搜索空间。的上限与下限,SVM的hyper-parameters 0.01和100年,分别。容许的迭代次数后,预计SSA能够找到一个好的解决方案,代表了RBFK惩罚系数和参数。优化hyper-parameters, CV-SSA-SVM可以进行预测过程和分配标签图像样本的自动测试设备。

此外,优化基于SSA metaheuristic,机器学习模型的目标函数依赖于5倍交叉验证已被使用。这个目标函数最小化的SSA metaheuristic表示如下: 在哪里K= 5,CN= 3表示的数量数据折叠; 和 代表假阴性率(FNR)和假阳性率(玻璃钢)计算cth类的k分别th数据褶皱。CN表示数量的类标签。

FNR和玻璃钢给出的指标 FN, FP、TP、TN指假阴性、假阳性,真阳性,分别和真阴性数据样本。

5。实验结果和讨论

如前所述,CV-SSA-SVM模型编码和履行在4.7.2 Visual c# . net框架。此外,实验与编制的计算机程序已完成华硕FX705GE——EW165T(酷睿i7 8750 h和8 GB Ram)平台。SSA优化过程进行协助基于svm的检测裂纹和密封裂缝。100次迭代后,SSA metaheuristic已经确定的最佳值搜索参数如下:惩罚系数= 704.94和RBKF参数= 7.46。最好的成本函数值是0.0925。记录最好的发现在优化过程中目标函数值的SSA是显示在图12。


图12
SSA-based模型优化的进展。

正如在前一节中提到的,收集的数据集,其中包括300个数据样本和三个类标签被随机分为训练集(90%)和一组测试(10%)。此外,可靠地评估的预测能力提出CV-SSA-SVM,模型的训练和测试过程一直重复20次。因此,统计测量达到20个独立运行的用于评估模型预测能力的任务检测路面裂缝和密封裂缝。这个过程重复实验旨在减少数据抽样的随机性引起的变化阶段。

此外,新建CV-SSA-SVC展示能力,随机森林分类(RFC)模型(97年),反向传播人工神经网络(BPANN) [98年,99年),和卷积神经网络(CNN)模型(One hundred.)被选为基准的方法。BPANN RFC, CNN能够分类器已经广泛应用于模式识别和特别是在数据驱动或基于计算机视觉的结构健康监测101年- - - - - -112年]。

在这项研究中,RFC已经在微软Visual Studio的协助下实施协议。net库(84年]。自适应估计时刻(亚当)(113年是最先进的方法来训练神经网络。因此,亚当优化器是用来训练CNN和BPANN模型。值得注意的是,由亚当,深CNN模型训练DCNN-Adam表示,建立了MATLAB提供的内置函数的帮助下深度学习工具箱(114年]。BPANN模型训练亚当,Adam-BPANN表示,在Visual c# . net编码和编译。试错运行被用来确定基准模型的参数。RFC中使用分类树模型的数量是50。基于参考的建议。115年),隐层神经元的数目的Adam-BPANN被选中 在哪里DX= 28输入特性和的数量CN= 3 =输出类的数量。培训时期的数量和样本的数量在一批BPANN模型和8 1000人,分别。CNN模型中提供了表的结构1;这个模型与3000时代和一批训练有素的大小= 8。

表1
DCNN-Adam采用的结构模型。

此外,评估的预测能力提出CV-SSA-SVC和基准的方法,一组性能测量指标包括分类准确率(汽车),精度,还记得,阴性预测值(NPV),和F1的分数(116年]。方程用于计算汽车、精密,记得,NPV, F1得分如下(116年,117年]: 在哪里NC和N一个是正确预测样本的数量和总数量的样本,分别。正如在前一节中提到的,FN, FP, TP、TN表示假阴性、假阳性,真阳性,分别和真阴性样品。

新开发的预测表现CV-SSA-SVM表和使用基准模型2含有平均值和标准偏差(Std)的性能度量指标。这个表总结了模型的预测性能时用来分类小说在测试图像样本集。有人指出这两个表中所示的结果从实验中得到的模型与20个独立运行。显著地,该杂交SSA metaheuristic和支持向量机的机器学习已经达到最理想的性能在测试阶段。

表2
预测性能比较

检测裂缝的图像样本,CV-SSA-SVM达到汽车= 91.33%,F1得分= 0.87。RFC是第二个最好的模型(车= 88.67%,F1得分= 0.79),其次是Adam-DCNN(车= 86.17%,F1得分= 0.78)和Adam-BPANN(车= 79.33%,F1得分= 0.71)。考虑密封裂缝检测的准确性,CV-SSA-SVM的性能与汽车= 92.83%,F1得分=(0.89)也高于Adam-DCNN(与汽车= 88.33%,F1得分= 0.83),Adam-BPANN(与汽车= 82.00%,F1得分= 0.73),和RFC(与汽车= 75.17%,F1得分= 0.73)。当预测样本1圣类(noncrack),该方法也达到的最高准确率90.5%;Adam-DCNN是第二个最好的模型车= 89.50%。RFC的表演(车= 86.50%)和Adam-BPANN在分类样本(汽车= 79.33%)1圣类是劣质的两个提到的方法。

可以看出RFC显示了良好的性能检测裂缝的图像样本(与汽车= 88.67%);然而,它在检测密封裂缝与汽车表现很差的仅为75.17%。这个结果的RFC比CV-SSA-SVM, Adam-BPANN, Adam-DCNN。的两个基准模型Adam-BPANN Adam-DCNN显示相对较好的检测精度的三个类标签;他们的检测准确率高于86%。值得注意的是,该CV-SSA-SVM演示了优越的检测性能与检测准确率超过90%的所有三个感兴趣的类标签。箱线图说明统计分布模型的计算性能的汽车从20独立运行提供了数据13- - - - - -15。


图13
箱线图“noncrack”类的分类精度。

图14
箱线图“密封裂缝”类的分类精度。

图15
箱线图的“裂纹”类的分类精度。

此外,可靠地评估拟议的优越性CV-SSA-SVM模型用于检测裂缝和密封在人行道上的裂缝表面,本研究利用了Wilcoxon符号秩检验(118年与显著性水平() 值)= 0.05。汽车的重要性能度量指标和F1的分数受到Wilcoxon符号秩假设检验。在细节,零假设是,意味着两个模型的预测性能实际上是相等的。的Wilcoxon符号秩检验结果被发表在表3。

表3
p值从魏克森讯号等级获得测试结果。

的Wilcoxon符号秩检验 值= 0.05表明CV-SSA-SVM明显优于RFC, Adam-BPANN, Adam-DCNN检测裂纹和密封裂缝( < 0.05)。然而,我们不能拒绝零假设当CV-SSA-SVM Adam-DCNN用于检测样品属于1圣noncrack类。这一结果表明,这两个模型都是很适合预测样本在这门课的兴趣。

实验结果指出该方法的优越性的CV-SSA-SVM RFC, Adam-BPANN, CNN的深神经计算方法。值得注意的是,SSA-optimized SVM, RFC, BPANN要求特征提取阶段计算数值的输入。这些输入包含信息的视觉外观对象和场景中物体的表面性质。CV-SSA-SVM在RFC的优越性和Adam-BPANN证实了利用混合动力计算模型,结合metaheuristic优化和基于机器学习的模式分类。

因此,这一发现符合结果在最近的研究报告,利用混合计算模型在土木工程(119年- - - - - -125年]。尽管SSA已经证明是一个有效的群智能方法用于解决各种复杂的优化任务Houssein et al . 2020;(76年,126年,127年),在构造复杂的计算机应用系统中的应用仍然是罕见的。因此,CV-SSA-SVM的SSA融入该框架可以被看作是一个文学试图填补这一空缺,指出这群随机搜索的潜力优化其他类似计算机视觉模型。

不同于SSA优化支持向量机的方法,RFC, Adam-BPANN, CNN模型能够自动进行特征提取。因此,CNN模型不需要特征计算过程,从图像中提取数值输入数据样本。相反,Adam-DCNN模型构造特征表示通过卷积运算符及其分层架构学习高级特性(从原始图像样本128年]。

尽管美国有线电视新闻网是一个非常能干的图像分类方法(129年- - - - - -133年),其性能很大程度上取决于训练样本收集的大小(53]。CNN模型的主要优点是自动的特征表示和深层次化架构只能与一个大型的训练数据集来实现正确的地面真值标签。这一事实也提出了实现CNN模型的主要困难,因为大量数据样本为某个类标签(即密封裂缝)并不总是容易。此外,努力必须专用数据标记构建一个可靠的深度学习方法与大量的模型参数调整(30.,134年]。

因此,这一事实CV-SSA-SVM可以超越Adam-DCNN方法分类手头的数据集是可以理解的。陈所指出的et al。52),在某些情况下,特别是当训练数据的数量不能被收集在一个大数量、深层神经网络的性能可以比的方法依赖于手工制作的功能。因为在数量有限的训练实例,Adam-DCNN面临难以适应其内部结构与大量的隐藏层的参数。此外,不同的支持向量机模型构建阶段是基于二次规划,CNN模型的模型训练过程依赖于梯度下降算法。当训练参数的数量大大超过训练实例的数量,这些基于梯度下降优化器不能有效地适应网络的参数的设置对于训练样本不足。

6。结论

本研究提出并验证了基于计算机视觉的自动分类方法和密封裂缝出现在沥青路面表面裂缝。基于计算机视觉的新方法,称为CV-SSA-SVM,是一种基于图像处理的集成特性计算,metaheuristic优化、基于机器学习和数据分类。在这项研究中使用的特征提取器依赖—加上π分析对象在一个图像的视觉外观。

图像处理技术,包括图像的阈值和形态学运算符用于提取感兴趣的地区。随后,分析了提取区域的表面性质的统计测量的纹理描述符颜色通道和ARCS-LBP。提供提取的特征,优化支持向量机的机器学习的SSA metaheuristic利用建立决策边界将学习空间划分为三个区域对应于三个类标签的“noncrack”,“密封裂缝,”和“裂缝。“实验图像样本的沥青路面表面证明拟议中的CV-SSA-SVM非常适合感兴趣的任务与汽车类= 90.50%的“noncrack,“汽车= 92.83%的类“密封裂缝,“和汽车类= 91.33%的“裂缝。“这一结果明显优于从基准方法包括获得RFC, Adam-BPANN,和Adam-DCNN。因此,新开发CV-SSA-SVM可能是一个潜在的工具来帮助路面养护机构的任务周期路面状况调查。未来的扩展当前的研究的调查可能包括CV-SSA-SVM性能不同的群体大小和当前图像数据集的扩展来增强计算机视觉模型的泛化。

数据可用性

数据集用于支持这项研究的结果被存入仓库GitHub https://github.com/NDHoangDTU/CV_SSA_SVM_Crack_SealedCrack。前28列数据的特性从图像中提取样本。最后一列的标签数据实例与0 =“noncrack”, 1 =“密封裂缝,”,2 =“裂缝”。

的利益冲突

作者宣称没有利益冲突有关的出版这篇文章。

补充材料

前28列数据的特性从图像中提取样本。最后一列的标签数据实例与0 =“noncrack”, 1 =“密封裂缝,”,2 =“裂缝”。(补充材料)