文摘
深度学习技术用于识别焊缝图像缺陷图像缺陷识别的过程。本文基于卷积神经网络学习方法转移提出了深层神经网络模型的识别问题在焊缝探伤图像数据集。设计interdomain异构转移学习与pretrained模型在大数据集,interdomain异构转移学习是用来转移pretrained模型在源数据域焊接检查图像数据集根据不同内容的源和目标数据域,在焊缝质量检验和转移的有效性学习图像缺陷识别验证通过微调整个网络培训使用冻层不同层的参数的方法。冻结的影响不同层次模型的识别性能也进行调查。
1。介绍
射线检测技术的发展,检测技术与不同的成像方法,如射线照相检验技术和射线实时成像检测技术,已被广泛应用。对于一些国内重型设备制造企业,在大壁厚的焊接缺陷检测部分仍在使用射线照相胶片开发技术,虽然是浪费时间在影片的使用,对环境污染,低效率,和其他问题;然而,使用AB-level或二级黑暗的电影可以非常敏感的检测存在微小缺陷的焊缝信息,不能取代了实时图像检测技术(1- - - - - -3]。除了重型设备制造商和其他公司使用电影检查,大多数国内企业开发了CR和DR数字射线成像技术检测焊接质量检查(4- - - - - -6]。在缺陷评估阶段,由于不均匀等缺陷的性质和多样性的形式,位置,方向,和大小,使它很难找到一组常见的手段和方法来自动确定实际生产过程中的焊接缺陷(7手动),焊接缺陷通常是评估在评估过程。手动评价这部电影的过程中,首先是要确定是否有缺陷的焊缝探伤图像,然后确定缺陷的类型,其次是确定缺陷数据,最后根据质量水平评估质量验收标准。这种方法很容易受到辐射探测设备的外部条件和人的主观能动性,特别是在强光,导致眼睛疲劳,减少焊接缺陷的识别能力,很容易导致缺陷检测错误。此外,手工操作效率低,不方便对负面删除操作,耗时和消极的分类和存储:所有这些问题极大地影响射线照相检验的效率。由于许多缺点手册-评估过程,它越来越不能满足工业自动化和智能化发展的需要8]。因此,焊接缺陷的检测和评估开始逐渐从手工发展计算机自动识别和评价的方法。
随着现代科学技术的发展,电脑和扫描技术也获得了更大的进步和更广泛的应用。传统的电影成为了数字图像通过扫描仪,在实时成像,模拟信号转换为数字信号,提供电脑检查和评估点的可能性。在此基础上,研究人员已经分解的过程手册电影评价为计算机处理过程,如焊接检查图像的预处理、分割焊缝区域,提取缺陷特征、缺陷分类和识别,显示和保存最后的分类结果(9]。然而,这些系统仍然不足的完全自动化,不能实现完整的自动化和智能检测和需要人机耦合的焊缝缺陷检测和评估阶段。然而,这些系统仍然不足的完全自动化,不能实现完整的自动化和智能检查。焊接的机器学习模型评估体系涉及机器学习不能直接提取图像特征但需要手工设计的几何特性,纹理特征,图像灰度特性等等。因此,它不能真正意义上的自动化。
随着计算机技术的发展和进一步改善性能方面,以及大数据的出现,云计算,GPU,计算机视觉,语音识别,自然语言处理,和人机游戏基于深度学习获得了快速发展,许多专家和学者开辟新的路径。在图像识别中,深度学习的出现解决了麻烦的手工提取特征的研究人员和能够自主学习和认识的深度特征输入图像,效果很好。针对上述分析,本文试图运用深度学习领域的焊接检查图像识别和评估,实现焊缝缺陷的自动识别的目标通过建立深度学习模型的端到端培训与学习焊接检查图像,以满足现代企业对自动化的要求,焊缝质量检验领域的情报,和效率。
2。相关工作
持续研究,焊接缺陷的自动检测和识别方法正在扩大,但从现有文献的研究结果,焊缝缺陷识别的过程中使用的方法主要分为三级处理过程中,图像分割,特征提取,和缺陷分类10]。毛等。11)使用中值滤波技术消除图像中的噪声,其次是图像增强技术,Ostu图像分割方法,边缘检测技术,和霍夫变换来计算x射线图像的感兴趣的地区,并获得了较好的分割效果没有手动设计一个合适的分割阈值。Abd El-aziz et al。12)提出了一种改进的Ostu算法加权方差(WOV)对象,这确保了阈值总是位于两个峰值或谷值较低的左边缘的一个直方图峰值,在直方图阈值选择的解决问题的单引号和双山峰,和结果表明,WOV优于Ostu算法,最大熵,valley-emphasis等算法。王等人。13]使用全局阈值和局部阈值分割方法预处理图像提取焊缝区域和缺陷区域,分别可以迅速和有效地分割缺陷出现在焊缝图像,但方法的有效性并不明显当应用于复杂形状的焊缝缺陷的分割。程和Yu (14)提出了一种基于背景的去除缺陷分割算法,具有良好的结果在缺陷区域的分割检测处理缺陷尺寸大于6像素不考虑缺陷的类型。
常见的图像特征包括形状特征、纹理特征、灰度共生矩阵,等等。高et al。15)使用几何和纹理特性的组合形成43特征描述符和与多个分类进行了模式识别实验。李等人。16]提出了一种基于灰色的焊缝缺陷识别方法scale-gradient共生矩阵和聚类分析,全面考虑的联合分布进行像素级灰度和边缘梯度的大小和变化信息的图像灰度的统计矩阵信息,以避免传统分析焊缝缺陷的复杂性和多样性信息,有效地识别和分析焊接缺陷信息。
近年来,深度学习在图像识别和分类的优势越来越突出,和它的应用越来越广泛。通过提高卷积神经网络模型的层数和每层的宽度的网络,神经网络的能力在学习图像特征提取和进一步改进,从而避免主观性和低效的过程中手动提取特征和获得更好的识别和分类的结果,和转移的能力可以迁移的特性,应用于不同的识别领域。梅等。17]应用主成分分析(PCA)焊接缺陷的分类,分析了图像特征向量,确定组件与更大的影响力,提高了线性输入变量之间的独立性,减少了重复描述图像的特征,然后用支持向量机进行分类和识别不同的缺陷。Musleh et al。2]提出了一种基于直接缺陷分类和识别方法多类支持向量机,改变了defect-type识别问题转化为一个优化问题的约束和描述缺陷下特征向量组成的缺陷边缘和区域特性,解决低的缺陷识别率低样本容量。妞妞et al。5分割和提取缺陷特征基于去噪和增强焊缝探伤图像,建立分类规则焊缝缺陷特征使用决策树方法,并获得较高的识别率在图像分类识别中使用这些规则。Caggiano et al。6]提出了一种自适应支持向量机决策算法的基础上,分离度对焊缝缺陷识别精度低的问题。首先,执行过滤图像的数学形态学重建,和缺陷类别最大分离度是分离的,和一个自适应构造二叉树支持向量机分类器,可以减少积累误差二项树和获得良好的分类结果。Zhang et al。18焊缝缺陷]提出了一种BP神经网络图像识别方法,首次执行图像处理提取缺陷和计算特征参数,并使用神经网络的高容错解决问题的输入图像的噪声和部分损失焊缝的数字化图像,这可以大大提高焊缝缺陷图像识别的准确性。
3所示。焊缝图像缺陷分类和图像增强
3.1。图像分类
有很多种常见的焊接缺陷,和理解焊接缺陷的类型和分类是探测和识别的基础。有两种常见的分类方法,一个是对缺陷进行分类根据不同位置的焊接,可分为外部和内部缺陷,在外部缺陷包含焊缝肿瘤,咬,焊穿,渣,表面孔隙度、和形状缺陷,缺陷和内部包含孔隙度、裂缝,焊接失败,未能融合,等等。第二个是分类根据GB 6417 - 86“金属熔化焊接缺陷的分类和描述”(4),包括裂缝、孔隙度、渣、焊缝通过失败,未能融合了,可怜的六维缺陷类别。图1的x射线检测图像显示了孔隙度、裂缝、nonfusion, nonpenetration。
无论是基于手工或机器学习,有必要确定类型的焊接缺陷。缺乏焊接质量等级可以分为四类。
3.2。x射线图像去噪和增强
在本文中,一个x射线图像如图2从焊缝缺陷图像数据是随机选择,使用五个提到的去噪和图像去噪方法。峰值信噪比(PSNR) [18)可以用来比较和分析五个降噪方法的去噪效果,计算中所示(1)和(2) 在哪里 是图像的像素灰度值噪声去除后, 输入图像的像素灰度值,和图像像素是什么 。
五个图像包含毛孔、裂纹、未融合的完整的,和没有缺陷焊缝x射线图像数据被随机选中,和五个过滤方法,即均值滤波、中值滤波、高斯滤波、双边滤波,小波滤波器,用来过滤和减少焊缝图像的噪声,和每一个过滤的峰值信噪比方法降噪后计算。
统计后图像的灰度值的比较和分析,可以发现,低对比度图像的灰度值似乎集中在一个地区,及其灰度直方图显示了一个单峰类型,它需要被拉伸。
使用的平均灰度值作为细分标准,该地区的灰色比该地区的平均增加灰色和灰色小于平均灰色的减少。的平均灰度值作为细分标准,这样的灰色区域大于平均增加灰色和灰色区域小于平均灰色减少。基于这一特性,罪功能可以使用。罪恶的非线性变换函数的特点是一个温和的上部和下部的变化峰值区域和一个大梯度在中间。罪的转换方程函数方程所示(3):
4所示。焊缝缺陷识别应用程序
4.1。转移学习
形式化的理论问题是所有研究的先决条件,学习转移,羌族杨et al。12)定义转移学习如下:存在某种类型的学习任务T= {Y,f( )在源数据}D= {X,P(X)},学习可以使用知识转移在源数据域DS = {XS,P(x)}和源任务域TS = {y, fS(−)}提高目标域DT = {XT,P(XT)}和目标任务TT ={欧美,英国《金融时报》(−)},英国《金融时报》()最小化。{欧美,英国《金融时报》(−)}的预报函数英尺(),英国《金融时报》()是最小的,也就是说,argmin(英尺(XT),欧美),DT≠DS或TT≠TS,X表示特征空间域D,Y表示类别空间,f(−)表示模型预测,p(−)表示边缘概率分布(1,2]。可以看出,在深度学习领域,更多的模型有相似的学习能力在某些特定的学习任务,和转移可以实现在源和目标域之间通过两种类型的目标任务有一定的相关性。转移学习之间的差异和传统机器学习可以通过数据可视化3和4。
从图我们可以看到,传统的机器学习模型,训练不同的模型需要来自各个领域的数据。学习不同领域的数据没有传输性能相同的模型。相比之下,学习能够使用现有的知识转移到学习新知识(6]。
4.2。Interdomain异构转移学习
根据程度的源和目标之间的关联域图像数据,转移学习可分为intradomain转移学习和interdomain转移学习(18]。如果样品的特征源域DS和目标域DT高度相关,intradomain转移学习模型基于卷积神经网络构造为目标域图像识别,也就是说,DS = DT, PS≠PT和异构空间学习任务上图像的源和目标域上的巨大差异,也就是说,DS≠DT和PS≠PT。由于图像特征数据集之间的差异,识别能力使用的识别能力源域中的卷积神经网络模型训练变得软弱,和interdomain转移学习可以使用。在焊缝图像缺陷识别问题研究摘要ImageNet源图像域数据之间的相关性和目标域焊接检查图片很小,和interdomain异构转移学习是必需的。源和目标域的数据集在这个任务中彼此之间的不同,和基本功能是通用的图像特征提取的过程,但更高级的特性将在整合过程中,不同所以pretrained模型不能直接使用19]。
在本文中,我们使用易于实现VGG16模型提出的王et al。13)作为源域pretraining模型,其中包含5个连续卷积层命名为C1, C2,等等,和五池层命名为P1, P2,等等,和三个完全连接层名为FC6 FC7, FC8,分别与输入图像大小为224×224。
图像识别问题在这篇文章中,为了有效地执行异构空间特性转移,完整的连接层VGG16模型基于VGG16模型需要修改。完全连接层VGG16模型中需要修改的基础上VGG16模型。为了减少计算开销,最后两个完全连接层的神经元数量减少到512,和去年完全连接层对应于焊缝质量检验数据的五种类型:多孔,破裂,未溶化的,无孔的,缺陷免费(20.]。
VGG16模型是第一个训练ImageNet源域卷积的数据集获取重量参数层C1-C4 FC6-FC8池层P1-P4和完全连接层。模型然后迁移到焊缝质量检验图像数据集识别、提取和图像数据的新特性是使用卷积和汇聚层,最后,模型是使用梯度下降算法调整层冻结技术完全连接层,和图像识别结果输出Softmax回归分类器。详细的模型框架和结构配置图所示5。
VGG16模型在本研究中用于转移学习,在ImageNet pretrained模型的训练数据集,它是世界上最大的数据库图像识别任务,包含1500万张图片,基本上覆盖图像对象的在生活中,在大规模的计算机视觉基于ImageNet数据库的挑战,一些ImageNet数据库中的图像,图像包含1000种不同的图像类型,包括各种各样的植物和动物,建筑,和一些对象的表面划痕和缺陷。虽然这些图像是多样化和不同,他们在低维功能,有一定的相关性,在深度学习可以完成各种对象的分类和识别任务通过低维特征构建块的相关性,因此高维的抽象特性。自模型训练与ImageNet底层特征表示图像数据有很强的能力在学习和转移可以能够很好地应对相同类型的图像识别任务,这个数据集用于pretrain VGG16模型,然后执行转让学习培训来完成对焊接检查图像缺陷识别的任务。
deep-learning-based x射线焊缝质量检验任务的图像识别,最初收集图像扩大使用图像数据增强方法为了充分和有效地提取和学习图像特征和提高模型的泛化能力,在图像识别过程。样本大小是由随机翻转增加到5200,平移的角度,对比变化,改变焊接检查图像的色调,和5200年的图像大小归一化到一个68×68的使用双线性插值为了使图像满足输入要求的提高卷积神经网络模型。在基于VGG16改进模型,输入图像的大小需要224×224×3,所以图像的大小需要扩大。图像大小的扩张将会改变图像的宏观特性在某种程度上,但整体缺陷图像的特征不会扭曲,这将使模型分类和识别不同类型的缺陷特征的中学。OpenCV图像处理工具箱用于扩大规模的五种类型的焊接检查图像,即图像大小是224×224像素归一化。样本数据也分为训练和测试样本,验证样本的训练样本数量的一半,如图6转移学习数据样本的大小。
摘要pretraining ImageNet异构转移模型的数据集,和目标域是焊缝检验图像数据。实验是基于Linux Ubuntu16.04操作系统,国际米兰(R)的核心(TM) i5 - 2400 CPU @3.10 GHz处理器,并使用python语言Tensorflow框架中实现。考虑到模型精度和训练时间,迭代的数量设置为250,使用随机梯度下降算法,动力参数为0.9,batch_size大小是20,和学习速率将 。
pretraining后,参数传递,模型微调,afoementioned异构迁移卷积神经网络模型预测的模型,可以实现端到端异构空间的学习,和自动提取图像特征和缺陷可以完成。
5。实验结果和分析
根据模型参数设置在前一节中,本文中的卷积神经网络模型训练和冻结没有参数。的平均精度如表所示1和训练不同的方法如图的损失7。
在表1,平均模型的准确性和过度拟合率和不同实验方法下250次迭代,CNN-without_TF直接使用VGG16初始模型没有培训和转让学习ImageNet数据集,CNN-Train_All表明VGG16模型训练提供足够的数据和执行转移学习,和CNN-Forzen_Cx表明冻结的训练参数的实验方法x层异构转移模型和微调模型。分析表1表明CNN-without_TF方法缺乏足够的数据来训练模型转移识别任务的焊接检查图像数据集,特征提取和表达能力相对较弱,识别效果较低,和有一个非常严重的过度拟合问题,性能差,所以该方法的准确性和过度拟合率并不算。
从实验结果可以看出,当源域模型特性和训练参数完全安装调整整个模型,它将使目标领域的学习能力迅速提高。作为调整过程从头到尾逐渐改进原始输入的底层特征,层间特性的表达能力更强,这使得图像的抽象特性更好的集成,然后给出更好的结果。冷冻回旋的层数越多,模型的精度降低和模型的过度拟合率增加。这种情况的原因是,卷积层冻结,越少的参数需要训练模型,和卷积层从底部到顶部减少计算过程,数据的学习能力逐渐减弱,和识别精度逐渐减少,这表明计算和源域数据集上的特征提取能力减弱,共享功能层中由于弱化相互影响的能力。最初的底层功能不会被再次当一层一层地传播,导致逐渐减少顶层的功能转移的能力。即模型只有迁移和学习顶层的特点但不能实现逐步抽象,描述,和提取的功能从底层到顶层,所以模型的识别率会逐渐减少。
为了测试模型的精度和泛化能力的焊接检查图像,20的每种类型的焊接检查缺陷图像作为测试集,测试不同冻结表的泛化能力2层模型。
从表2中的结果可以看到测试结果的比较不同实验方法获得的结果基本上是一致的培训和验证数据。当我们的方法充分利用源领域模型的特点和训练参数来调整整个模型中,我们的方法具有更好的泛化能力和最佳的识别效果,和测试精度随冻结层的数量的增加。冻层数量的增加,模型的测试精度降低和测试精度焊接探头形象也逐渐减少。其次,比较分析不同的焊缝探伤图像缺陷类型显示正确的测试速度对孔隙度和没有缺陷的焊缝探伤图像是高于其他缺陷类型,而正确的测试率是最低的裂缝,主要是由于裂纹缺陷的低数量的数据。未融合的测试结果不理想,未焊好的缺陷图像,主要是因为他们的缺陷形状和大小。图像特征在训练过程中很容易混淆,因为相似的形状,大小,颜色,等等,因此很容易错误。
总之,基于转移的卷积神经网络模型的学习已经在小样本的分类性能良好焊缝缺陷图像。模型显著增强鲁棒性的卷积神经网络分类和识别的小样本训练不足。模型显著增强鲁棒性的卷积神经网络具有良好的泛化能力,小样本图像的分类识别培训不足,和识别精度可以达到90%以上。
6。结论
在本文中,我们提出一个interdomain异构转移学习方法结合CNN和转移学习焊接检查图像缺陷识别的问题。的影响(21冻结的不同(11)卷积层图像的特征表达能力和(6)模型的识别性能研究,最后的结果表明,interdomain异构传输基于卷积神经网络学习方法不仅有效地克服了少量的数据的问题,还有效地提高了模型的识别性能和泛化能力,增加了平均模型的识别精度超过90%,并能有效地实现(22)焊缝缺陷识别任务检查图像。
数据可用性
本文中使用的数据集可以从相应的作者。
的利益冲突
作者宣称,关于这项工作他们没有利益冲突。