文摘
为了克服人工目视检查的限制稀土磁性材料的表面缺陷,提高传统稀土企业生产效率,基于改进的SSD的检测方法(单检测器)。SSD模型改进的从两个方面获得更好的性能检测的小缺陷。首先,多尺度接受域模块嵌入到骨干网算法的改进模型的特征提取能力。其次,双向功能的层间特性融合战略金字塔PANet(路径聚合网络)集成到模型中。为了提高模型的检测能力,高层语义信息是由一个有效的渠道加强注意力机制。改进的检测速度55 fps, SSD算法和地图(意味着平均精度高达83.65%,高于3.41%的原始SSD算法,并且能够显著提高识别小缺陷。
1。介绍
计算机视觉技术非常重要的应用和理论意义稀土磁性材料的缺陷检测。目前,在中国大多数磁性材料制造商使用的传统人工分拣方法分类他们的产品。不仅费时费力,而且增加了产品的成本。同时,过分依赖人工整理提出了一个不容忽视的问题:运营商在排序过程中不可避免地会导致视觉和身体的疲劳。缺乏注意力很长一段时间将会直接导致错误的速度增加,错过了检测。随着计算机技术和图像处理技术的发展,基于图像处理技术的自动检测是一个必然趋势。visual-based表面质量检验方法具有非常重要的研究价值,例如,钢铁表面损伤检测(1),铁轨缺陷检测(2),晶圆电子显微镜图像缺陷检测(3),和其他领域的广泛应用4,5]。
在先前的研究中,研究人员通常使用传统的机器学习方法进行的一系列研究领域的缺陷识别。Chang et al。6)提出了一个基于LVQ神经网络的缺陷检测方法。针对识别LED晶片上的缺陷,几何特征和纹理特征提取分析每个ROI检测。Yazdchi et al。7)提出了一种基于多重分形维的纹理分割技术来检测钢表面缺陷。利用傅里叶分析在时域分离的缺陷区域形象和指定它的位置。多重分形维数的特点,列方差均值和方差,提取主成分向量的最大值作为输入的三层和多层感知器分类器。Demetgul等人介绍了KNN-based织物疵点分类算法,它使用小波变换,阈值和形态学图像处理(8]。全等人提出了一个基于小波重建的方法来检测裂缝的坯料(9]。太阳等人提出了一种新的用面具单发目标探测网络预测分支。他们提出了一种改进的RFB模块增加接受域的大小获得更好的性能在小目标检测(10]。尽管这些方法取得了良好的效果,他们通常需要显式的特征提取,从而导致不满意的检测方法的泛化。
近年来,随着深度学习的发展,其在图像处理领域的出色表现吸引了人们的注意力。深度学习避免了手动提取特征和实现自动特征提取。结合CNN(卷积神经网络),相关研究人员进行了一系列的研究工作领域的缺陷检测电机磁瓦(11- - - - - -13]。由于各种类型的稀土磁铁,目前没有工作的自动检测矩形稀土磁补丁在国内、国外都可以用。因此,本研究结合机器视觉和深度学习和其他相关理论,采用SSD(单发射击检测器)14)的原型有缺陷的目标检测和改善它。改进的SSD算法具有更好的识别效果对小缺陷,和检测精度与原SSD算法相比显著提高。
2。SSD目标检测算法模型
工业缺陷检测任务需要高检测速度。与两阶段模型,如快R-CNN [15),单程的目标检测算法更适合实际生产和实践。本研究选择SSD的基本网络和改善它。改进的SSD可以更准确地检测缺陷表面的磁铁和小目标识别率更高。它提供了一个可行的方法,工业场景的缺陷检测是必要的。
2.1。SSD算法原理
SSD是一个单程的目标检测算法,借鉴思想的定位机制更快R-CNN和使用地图多尺度特性检测。SSD的骨干网络特征提取算法是经典的VGG-16 [16卷积神经网络,已修改。SSD算法取代fc6和fc7 VGG-16卷积的一层结构,在此基础上,增加了四个额外的回旋的层来获取更多的检测特征图。SSD的结构网络图所示1。
特征提取网络使用功能不同大小的地图输出的具体有效的预测功能层和输出目标的位置信息和类别的信心。其中,输出特性地图比例尺Conv4_3层的结构是38×38岁的输出特性地图比例尺fc7层结构是19×19日和输出特性的地图比例尺Conv6_2 10×10层结构。的输出大小Conv7_2、Conv8_2 Conv9_2层5×5,3×3,分别和1×1。六个不同尺度的特征图谱可以检测不同大小的目标。前面的特征映射接受域较小,主要是用于识别小目标,虽然地图上有更大的接受域和回特性是用来检测大目标。每个像素的特征映射有几个默认的框,如图2。之间的比例大小的默认的盒子和图片可以表达如下:
(一)
(b)
(c)
其中,米是有效的数量特征映射(Conv4_3除外)。年代马克斯和年代最小值表示最大和最小比例,分别给了0.9和0.2,。默认框的第一个有效的特征层是独立设置为0.1,和规模是30 300×300原始图像。设置默认的盒子的长宽比αr= {1,2,3,1/2、1/3};然后,默认的盒子的宽度和高度可以得到以下公式:
它是特别的αr= 1。除了默认的规模年代k,还有一个规模 ,和它的计算公式如下:
自从Conv4_3特性映射输出,相对特殊,默认的盒子的长宽比3和1/3不习惯。,默认的箱子的数量为每个功能层的像素为中心是4,剩下的6层。所以SSD默认箱子的数量是8732。由于获得的大量违约的盒子和数量有限的GT(地面实况)匹配借据价值,SSD算法使用硬-矿业样品负样本。那些有大量错误作为负样本,而那些小错误被视为积极的样本。最后的样品比积极的和消极的控制在1:3。
SSD算法调整的边界框默认的盒子,和它的本质是一个回归的任务。每一个边界框的偏移值默认的盒子是推断,和最终目标位置信息是通过一个转换。转换过程由两部分组成:编码和解码(14]。默认的位置框为代表db= ( , , , ),分别对应于中心点的坐标和默认的框的宽度和高度。边界框的位置表示为bb= ( , , , ),分别对应于中心点的坐标和边界框的宽度和高度。
2.2。SSD算法问题
相比之下,更快的R-CNN和YOLO[意思17)算法,SSD算法具有较高的检测精度和检测速度,这得益于其良好的设计思想。SSD算法直接作用于输出信息的有效功能层在不同的尺度上检测层生成边界框和检测目标的信心。浅的小目标检测的结构如Conv4_3,大目标是检测到顶部Conv8_2等有效的功能层。
SSD算法使用一个锥体采样结构来表达图像的语义信息。肤浅的信息高像素和拥有强大的能力来定位目标。然而,小目标特性获得的低级卷积层缺乏语义信息。特性的非线性程度是不够的,他们的尺度不合并的特点,导致的损失模型的详细信息学习的一部分。这将无法有效地使用相关的上下文信息模型,这是不利于检测相关的目标图像。这些不足将导致未能识别小型缺陷缺陷检测过程中稀土磁性材料。
多个旋转后,高层特征图谱检测大型目标有更大的学习和接受域信息更抽象,但是它的低分辨率仍可能导致错过了目标。SSD算法中的高层语义信息并没有得到增强,还有改进的余地。
3所示。稀土磁块的缺陷检测方法基于改进SSD
3.1。PANet双向特征金字塔结构
红外系统(功能金字塔网络)(18)是一种网络拓扑结构,收集高级和低级特征。它不同于金字塔分层抽样结构在SSD算法,这样学到的信息模型不仅保留了位置信息,还包含更强的语义信息。网络拓扑结构如图3。根据拓扑结构,红外系统执行upsampling(如双线性插值和反褶积)高层特征映射和预测水平叠加后的低层次的语义信息,因此特征图像具有较强的语义信息和实现功能融合的效果。
受红外系统的启发,刘蜀等人提出了一个路径聚合网络称为PANet;它第一次被应用于实例细分任务和取得优秀的成果19]。它的框架如图4。从图可以看出,PANet提高了红外系统结构,采用自顶向下和自底向上的结构双向特征金字塔融合,结合原文的基础上,将采样自上而下的水平叠加的红外系统,增加了自下而上的路径增强策略。其目的是为了缩短信息路径和使用浅层次的精确定位。这有效地提高网络的利用率的基本特征。
3.2。并行多尺度卷积层
目前的大多数算法的检测结果依靠骨干网络具有较强的特征提取能力,如改进DSSD算法基于SSD (14]。这个网络取代了原始VGG-16特征提取网络与一个更深的网络ResNet101和在此基础上添加一个DSSD网络层。这些变化显著提高模型的精度,但需要大量的计算成本,检测速度远低于SSD。一些SSD系列检测算法基于轻量级的骨干网络,例如MobileNet-SSD模型(20.),检测精度相对较低,尽管他们的计算速度快。
为了避免大量的操作引起的深卷积神经网络,刘等人。21)接受域模块添加到上面VGG-16 SSD算法得到网络性能和控制计算成本在可控的范围内。接受域模块的结构类似于InceptionV4,和多尺度信息通过使用并行卷积与接受不同领域的内核。在接受域模块,根据接受域的大小,每个卷积分支执行扩张卷积具有不同膨胀系数的模拟人类的视觉感受野机制。它还使用剩余的学习理念并添加连接。本文使用接受域模块提高VGG-16骨干网和取代了5×5卷积层在接受域模块有两个连续堆叠3×3卷积层来达到相同的感受野和减少网络参数,如图5。
3.3。有效的引导注意力机制
推理过程的SSD算法,中型和大型目标的识别是地图完成高级特性。由于其低输出分辨率,目标也可能错过了。在这篇文章中,一个有效的渠道关注模块ECA (22]介绍了优化高层SSD算法和低分辨率的语义信息的图形输出。获得的信息图与低分辨率和高的语义功能可以更好地识别中型和大型缺陷目标,从而达到改善的目的地图(平均平均精度)。
注意机制是模仿人类大脑的信号处理机制。这种策略具有良好的适应能力和增强对计算机视觉任务。ECA结构也获得的重要性程度不同的特点通过监督学习渠道。非线性完整连接层SENet [23]改善避免降维的影响的关注学习通道,确保效率和网络的计算效果。这个模块可以实现横跨海峡的交互没有降维。全球平均池后,输出特性图,每个通道的交互K邻居们通过快速一维卷积。ECA模块的拓扑结构如图6。
特性的相关性渠道可以表示如下: 其中CID表示一维卷积操作,k代表的覆盖范围横跨海峡的相互作用,其大小与通道尺寸的数量成正比。当通道尺寸C的值是恒定的,k可以由以下公式:
这里,奇怪的是最近的奇数γ和b分别设置为2和1。
3.4。建立改进的SSD网络模型
为了使原始SSD算法更好的解决小型缺陷识别的问题和提高识别效果,SSD算法改进的基于相关理论基础分析了上面的部分。框架的缺陷检测方法对稀土磁性材料的基础上改进的SSD模型如图7。
从图可以看出,改进的SSD算法取代了Conv6和Conv7卷积层嵌入原始提取主干网络的多尺度Block_1接受域模块,Block_2,和Block_3,从而改善VGG-16骨干网络的能力来提取特征和不影响推理的速度检测算法。Conv8和Conv9层不修改。输出的有效功能层维度信息嵌入Block_1接受域模块是19×19×1024,大小相同的输出fc7层,可以提取更有效的特征信息。因此,这项研究卷积的提取特征层取代fc7层的输出和使用PANet-based双向功能金字塔融合与Con4_3 Con3_1层结构,以充分利用不同级别之间的上下文信息。最终的输出是38×38和19×19层有效的功能。特征融合层之间的网络结构如图8。其中,Block_1采用空间金字塔池增加接受域。高层之间的层间融合后功能层和底层功能层,备用1×1和3×3的卷积卷积层有助于减少参数和提取非常有效的功能。深层有效功能层Block_2、Block_3 Conv8_2, Conv9_2输出四个尺寸的低分辨率和高的语义信息地图通过ECA渠道关注网络机制。
4所示。稀土磁块数据集和实验分析
4.1。数据集
本文中使用的图像数据集都是来自广西金源稀土有限公司有限公司(广西有色金属集团)。数据集是手动分类排序的援助工人和现场工业相机拍照。本文研究的重点是四种常见的缺陷数据样本类别和位置信息,包括缺角、线迹、变形、裂纹,如图9。缺陷目标标记实验前应使用LabeIImg标签软件。共有1534个数据样本标记和分成训练集,验证集和测试集的比例8:1:1。后图像注释、XML文件包括图片编号,类别,目标标记框的位置和其他信息将获得模型的训练。
4.2。网络模型训练和实验参数设置
损失函数的改进SSD算法由两部分组成,即分类信心损失函数(设计)与目标类别和位置相关的损失函数(Loc)与边界框相关回归,如图所示
其中,x表示匹配结果;c和l分别表示分类的信心和边界框的位置;α比例因子,用于调整一点损失函数的比值信心损失函数;是真正的标签盒;N代表默认盒子的数量匹配实际的盒子。
信心损失函数可以表示如下:
其中,Pos代表阳性样本的数量在边界框,否定表示边界框中的负样本的数量,j代表了j真正的盒子,我代表的第i个边界框,代表它是否属于p类别。代表的信心的第i个边界框的对应的类别,和表示信心的背景,它是由下列公式计算:
损失函数的位置可以表示如下:
其中,k代表的类别和光滑l1(x)代表顺利l1规范,
所有实验本文基于Ubuntu 18.04操作系统和NVIDIA高速硬件计算平台1×GeForce RTX 2080 ti图形卡。改进的SSD目标检测算法实现的深度学习框架PyTorch 1.5.1和python 3.6。图像数据都downsampled 300×300分辨率作为网络的输入。这个模型的参数设置如下:一个训练样本是24的批量大小,和数据集迭代80000次。随机梯度下降法作为网络优化器使用。学习速率是初始化为1 e - 3,设置为1和1的军医e-5迭代时分别达到60000和70000倍。势头被设置为0.9。为了使模型的训练过程更加稳定,模型的训练采用的策略热身学习速率自动调整(24]。同时,介绍了学习转移到负载重量参数之前Conv4_3层VGG-16训练的网络加速网络的训练。损失函数的曲线如图10。
4.3。实验结果分析
在目标探测,地图指数通常是用来评估的综合检测性能模型,并计算映射值相关special-recall雕刻每个检测范畴。曲线的横坐标和纵坐标代表召回率和精度,分别和地区封闭的下面是平均精度(美联社)。地图的AP值相加计算得出每个类别和平均。不同的分类任务,借据边界框的值和实际箱作为边界定义目标探测的正负样本。值大于借据被称为积极的样本,值小于借据被称为负样本,借据值通常是设置为0.5。测试结果的测试集稀土磁块数据集和改进前后的性能参数如表所示1。
根据试验结果,本文改进的SSD算法已经在地图相比,提高了3.41%的原始版本SSD算法。这主要是因为本文算法提高的能力缺陷特征提取和融合层之间采用的战略功能。上下文语义信息的充分利用使漏检率低对小缺角等缺陷,这使得SSD算法的不足在一定程度上小目标识别能力。除了增强骨干网络的嵌入式接受域模块,该算法还引入了ECA网络模块顶层的低分辨率的有效功能映射来获得更有效的功能,这使得隐性缺陷的检出率高目标,如线标志。实验发现,使用MobileNetV2 [20.)为骨干网络检测的数据特征提取稀土磁补丁可以使网络有一个高度的轻量级和检测速度快,便于部署设备,但其检测精度是不可靠的。相比更快R-CNN两阶段模型,该模型只使用顶层学习特性,本文的改进算法具有更大的优势。同时,相比于更高级的单程模型YOLO-V3 [24)、缺陷识别精度略低,但综合检测效果更好。
我们执行消融研究探索PANET双向的影响特征金字塔结构,并行多尺度卷积层,和有效的引导注意力机制检测精度。这里我们调查四个模型SSD, SSD +多尺度接受域层,SSD +多尺度接受域层+ PANet, SSD + + PANet + ECA多尺度接受域层。从表可以看出2。增强后的骨干网嵌入式接受域模块和集成的金字塔在PANET夹层特征融合双向功能,地图的准确性显著提高到81.37%和83.24%。当结合ECA模块,我们观察到最佳性能(83.65%)。
为了更直观地评价的影响SSD算法改进前后的缺陷检测,显示了一些实验结果数据11和12。
(一)
(b)
(c)
(一)
(b)
(c)
如图11除了改进的SSD算法本文SSD算法与轻量级MobileNetV2卷积神经网络为骨干网络特征提取和最初的SSD算法都可以定位和识别的缺陷。本文改进的SSD算法更准确的边界框(线标志的检测结果和变形图)所示。
在实际生产中,缺角类型缺陷是非常普遍的。这种缺陷的大小是不同的,和小型经常出现缺角缺陷。改进的SSD缺陷检测算法显示了这种类型的缺陷识别能力更强,算法具有较低的漏检率,显著提高识别率。同时,其识别能力也提高了缺陷尺寸大一点,但隐性特征,如图12。
本文比较了SSD改进前后的检测速度,每秒108帧和55帧每秒,分别在GeForceRTX2080TI高性能显卡,如表所示3。因为原来的SSD算法集成了双向功能金字塔结构和渠道的注意机制和提高提取主干网络,参数的数量比原来的算法。与原算法相比,该算法集成PANET的双向特征金字塔层间特性融合。算法具有大量的计算,提高了整个地图,增加了模型的推理时间。在工业中的应用视频分析和处理,阅读的速度图像数据从相机大约是每秒25帧。本文改进的SSD目标探测算法满足实时在线检测的要求,同时保持良好的检测性能。
5。结论
本文介绍了稀土磁块的缺陷检测方法基于改进SSD。SSD算法与一个相对平衡的检测准确性和推理速度被选中来检测磁块缺陷和对检测结果进行分析。这是观察到SSD有良好的识别效果对于大尺寸的明显的缺陷,但对于缺陷与模糊特性和体积小,经常有丢失情况检查。为了进一步提高SSD算法的检测精度,本文嵌入多尺度接受域模块的骨干网SSD算法改进模型的特征提取能力,使用双向功能金字塔思想整合高级特性和低级特征,结合高效的渠道关注机制来提高网络的检测能力。实验已经证明,与原算法相比,本文的改进算法有明显改善小型的识别能力缺陷,与地图达到了83.65%。大型缺陷的识别能力和隐性功能也得到了增强。检测速度可以达到55 fps实验平台,满足在线自动检测的要求。
数据可用性
本文中使用的图像数据集都是来自广西金源稀土有限公司有限公司(广西有色金属集团)。数据集是手动分类排序的援助工人和现场工业相机拍照。
的利益冲突
作者宣称没有利益冲突有关的出版。
确认
这项工作是由中国国家自然科学基金支持下批准号61762028、广西自动测试技术和仪器重点实验室基金批准号PF19004P。