文摘
在线缺陷检测系统是一个必要的技术措施和重要手段大规模工业印刷生产。有效减少人工检测疲劳和提高行业印刷线的准确性和稳定性。然而,现有的缺陷检测算法主要是基于高质量的数据库和很难检测到缺陷低质量的打印图像。在本文中,我们提出一种新的multi-edge特征融合算法有效地解决这个问题。首先,根据单张纸打印系统的特点,建立了新的印刷图像数据库;与现有数据库相比,它有更大的翻译、变形和不均匀光照变化。这些干扰使缺陷检测变得越来越具有挑战性。然后,筛选功能是用来注册数据库。为了减少造成的虚假检测位置,变形,和亮度检测到图像和参考图像之间的偏差,multi-edge特征融合算法来克服这些障碍的影响。最后,实验结果的地图(92.65%)和召回(96.29%)验证该方法的有效性,这可以有效地检测劣质印刷缺陷数据库。 The proposed research results can improve the adaptability of visual inspection system on a variety of different printing platforms. It is better to control the printing process and further reduce the number of operators.
1。介绍
基于机器视觉的在线缺陷检测系统广泛应用于工业自动化领域,如焊接缺陷检测(1)、玻璃制造业(2),机器零件加工(3),印刷电路板行业(4),纺织工业(5),和印刷行业6,7]。在印刷行业,人工检测已经远远满足现代大型印刷生产的质量控制要求。在线缺陷检测系统是一个不可或缺的环节,确保印刷品的质量(8]。图1给出一个示例的工业印刷线,和图2显示了一个典型的缺陷检测系统使用机器视觉线转动打印。
本文组织如下。我们目前的相关研究部分2,部分3给出了方法,包括拟议中的缺陷检测系统的体系结构,图像配准方法,特征提取方法。实验结果和讨论部分4。部分5给出了结论和未来的工作。
2。相关研究
许多缺陷检测方法提出了精密卷绕对位印刷过程中,这些方法可以有效地检测各种印刷缺陷。文献[9)发现一些常见的印刷缺陷,如墨水下降,条纹,性格损失,颜色缺陷。相比传统方法提取灰度图像的边缘梯度,提出边缘检测算法具有更好的检测性能,它可以减少信息损失的RGB三个通道,使边缘提取更准确。文献[10)提供了一种图像融合方法,该方法利用多通道图像减法部分缺陷。该方法可以不断更新的参考图像和印刷生产。接下来,两次模板匹配算法成立于纸(11],它首先匹配模板,然后进行匹配图像上微分操作找到缺陷的位置。在文献[12],作者设计了一种双向图像差分算法避免轮廓工件的错误检测。为了更好地定位捕获图像的第一行,fast-computational算法基于图像投影,可将2 d图像搜索转换为一维特征匹配。文献[13)采用激光扫描技术检测满溢的上表面和填充不足缺陷部分沉积加法制造过程中通过比较现有的点云与presliced有限元(STL)模型。在文献[14),Chervyakov等人利用的两种改进的自适应中值滤波方法滤除图像中的脉冲噪声。实验显示出潜在的应用程序在处理卫星和医学图像,地球物理数据,数字图像处理在其他领域。文献[15)提供了一个解决问题的办法区分缺陷和自己的机器人3 d打印技术的特征。研究成果可以帮助在线检测的缺陷,提高了检测精度,并减少错误检测率不受自己的特点。
上述检测方法都应用图像提取缺陷模式的差异。因为现实中有缺陷的图像和标准图像收集通常有干扰的大小,旋转、变形、和其他因素,两张图片是否可以注册将直接影响缺陷检测的准确性(16]。图像配准需要考虑从特征空间,搜索空间插值方法,搜索策略,相似性度量,和其他方面6]。此外,这些检验系统还需要满足其他要求:(1)高端和昂贵的线扫描CCD相机;(2)特殊的高精度机械装置结构和照明模式;(3)进料平台稳定可靠;(4)高质量的图像数据采集。这些要求限制了应用范围的检测系统17- - - - - -20.]。例如,很难适用于单张纸的在线质量检测系统平台和低端印刷生产线,因为这个平台的振动和干扰太大,和收集合格的图像是不可能的。低质量的印刷图像缺陷检测的研究问题,研究成果很少。
目前,越来越多的研究人员关注的基于机器学习的缺陷检测方法21]。杜使用深度学习方法提高x射线图像缺陷检测的性能汽车铝铸件(22]。在文献[23),研究了铁路紧固件的缺陷检测结合图像处理和深度的学习。然而,标签缺陷区域是耗费时间,很难收集到足够的缺陷为人工神经网络的学习样本,这限制了应用程序和促进深度学习领域的缺陷检测。文献[24]提出了一种自动检测系统与five-plane阵电荷耦合器件(CCD)相机和四个LED光源在一个封闭的环境。采用支持向量机算法对缺陷进行分类的基础上,提取特征候选人缺陷区域。在文献[25],阿布'khanov和Kazanskiy创建可视化和数值工具分析粗糙表面,通过描述粗糙表面通过建立其信息模式通过控制表面成像micro-roughnesses和使用参数值。文献[26)设计一座桥梁裂缝检测算法通过使用修改后的活动轮廓模型和贪婪的搜索支持向量机。在文献[27),一种新型级联autoencoder (CASAE)架构是为分段和本地化设计缺陷。分割结果的缺陷区域分为具体的类通过紧凑的卷积神经网络(CNN)。文献[28)采用一个卷积神经网络(CNN)模型,可以提取有效特征缺陷分类不使用额外的特征提取算法,该方法可以识别缺陷类训练中通过比较未见的CNN特征看不见的类与培训类。文献[29日)提出了一种应用方法使用深架构卷积神经网络(cnn)检测混凝土裂缝没有计算缺陷特征。此外,许多其他方法也提出了缺陷检测使用机器学习,例如,生成对抗网络(30.和强化学习31日]。
总之,传统的缺陷检测方法基于图像差异不能被有效地应用于低质量的图像,很难获得足够的缺陷样本训练缺陷识别的机器学习模型。为了提高视觉检测系统的适应性在各种不同的印刷平台(单张纸或精密卷绕对位),本文建立了新的印刷图像数据库使用一系列小CCD相机采集图像单张纸机器上平台。然后,一个新的multi-edge特征融合算法适应缺陷检测在低质量的数据集。
3所示。材料和方法
提出了检测系统的体系结构包括图像配准、图像子块,特征提取,特征融合,特征匹配,如图3。最初,一些基本的图像预处理方法,然后介绍了我们描述详细检测算法使用multi-edge特性融合。因为不均匀光照的变化和变形之间的样本可以极大地影响边缘特征提取,这将导致错误的检测和错失的检测,我们采用特征融合方法来消除这些干扰的影响。接下来,本文所选择的检测评估标准精心描述。最后,我们提出并分析实验结果。
3.1。使用筛选功能的图像配准
获得的原始图像包含许多干扰因素,如旋转和变形(32]。图像的不一致需要纠正。本文筛选功能应用于消除原始图像,这些变化和图4显示了图像配准的架构使用筛选功能,包括关键点匹配图像,并纠正图像(33]。我们切断了冗余的边界直接以50像素的大小,从800年和图像分辨率降低550年到750年500年。修正后的图片如下: 在哪里C修正后的图像,我和j每个像素的坐标,R代表注册图像,k是图像序列号码。然后,我们将整幅图像划分为若干子块50的决议50岁,如图像子块步骤如图所示3。
3.2。图像特征提取和特征匹配
3.2.1之上。特征提取用精明的边缘检测算子
主流的边缘检测算子包括罗伯茨,索贝尔,普瑞维特等等34]。罗伯特算子对噪声十分敏感。普瑞维特和索贝尔算子有更好的检测性能与渐进的灰度图像和低噪声,但对于multi-complex混合噪声的图像,处理效果不理想。精明的经营者的检测效果优于梯度算子,可以检测出薄的边缘图像。有四个处理步骤组成的降噪,梯度计算,non-maximum抑制,和双阈值过滤。我们可以改变边缘与多个像素宽度为一个像素宽边缘和删除弱边缘保持强劲的优势。因此,有必要选择合适的算子检测边缘特性根据不同的环境条件和要求。输出边缘图像如下: 在哪里B是二进制图像检测到的边缘特性,代表梯度幅值图像non-maximum抑制后,我和j每个像素的坐标,TL和TH代表高、低阈值。图5介绍了精明的算子的边缘检测效果,和有缺陷的部分是用红色圆圈标记。
(一)
(b)
(c)
(d)
3.2.2。使用欧氏距离特征相似性匹配
在获得边缘特征,相似特性匹配是用于判断缺陷。首先,边缘特征图像简化为一维特征向量。公式如下: 在哪里F边缘块特性的一维特征向量,B代表二进制上的每个像素边缘特征图像,米和n代表图像的行数和列数功能,和k是图像序列号码。
然后,欧几里得距离是用来匹配两个特征向量之间的相似度17]。欧氏距离的公式 在哪里是两个特征向量之间的欧几里得距离 ,我代表两个特征向量中每个元素,米和n代表图像的行数和列数功能,模板和测试代表模板和测试特征向量,分别。
根据欧氏距离的定义,较小的两个特征向量之间的距离意味着更大的相似性。我们定义的激活功能缺陷的判断如下。
当匹配结果大于阈值,测试特征向量被公认为缺陷和1是输出。
3.2.3。波动特性匹配的相似性分析
首先,我们定义特征相似性匹配四种类型:(a)单个合格的模式和多个合格的模式匹配;(b)单个合格的模式和多个缺陷模式匹配;(c)单个缺陷模式和多个合格的模式匹配;和(d)单一缺陷模式和多个缺陷模式匹配。
图6显示相应的匹配结果。根据匹配结果分析,四个匹配结果显示统一的波动和区别它们之间没有明显的相似之处。由于反射模式表面,外界光不均匀,机械振动。这些图片不一致的波动会导致错误的检测。在下一节中,我们将利用特征融合方法来消除合格之间匹配相似度波动模式。
(一)
(b)
(c)
(d)
3.2.4。模板建立和缺陷分割
为了消除尽可能多的干扰,我们提出一个multi-template边缘特征融合算法提高缺陷识别的准确性。该方法的体系结构模型如图7,特征融合的公式表达如下: 在哪里代表了模板特征向量,代表缺陷图像特征向量,n的序列号是模板图像。理论上,功能融合,模板的鲁棒性就越好,和随后的实验将测试该模板检测性能与不同大小的融合。
对于可视化的缺陷,我们提取图像使用功能缺陷部分的区别,如图7。使用图像获得的缺陷特性测试功能和融合特性之间的区别。根据块位置号,我们在原始图像标记完成语义分割和显示缺陷部分。
4所示。结果
很难收集到足够的缺陷样本在工业生产站点。我们最终与4035年完成合格的图像和135缺陷图像。因为绝大多数缺陷样品免费的,我们把其中135作为一个真正的类。因此,数据用于测试实验包含每个类型和所有的135个样本图像分为5050个区块。数据集和一些样本如表所示1和图8,有缺陷的零件用红色圆圈标记。
演示聚变大小对检测精度的影响,在不同大小的融合进行了一些实验,结果如表所示2。我们设计了七种不同的融合大小从1到256。这两个真值代表真正的和有缺陷的模式,分别。显然,当融合检测精度会显著提高尺寸变大。然而,融合大小大于160时,检测精度下降。因此,这种情况下的最优融合大小是160的准确性为95.18%,精度94.20%,96.29%的召回。当功能融合规模太大或太小,不能达到理想的检测效果,如使用单一缺陷模式模板功能的一代。
此外,我们画出相似性匹配结果与融合160年图的大小9。水平轴的数字从1到270的图片,纵轴是欧几里得距离的特征匹配从0到1。从红点的分布特征,只有5缺失的检测与匹配结果0 135年第一次的检测结果在水平轴上的缺陷。相反,135的最后一个合格的图像检测与匹配距离不等于0。
然后,我们选择不同的阈值画P-R曲线,如图10。结果是相同的,如表所示2;检测性能先增加绿色曲线融合规模160,然后减少。前面四个曲线的underfitting不足数量的特征信息学习和最后两条曲线的过度拟合状态与学习过多的冗余信息。因此,过多或过少的特性融合不能达到理想的识别效果。此外,我们采用精密(美联社)和平均值平均精度(mAP)对缺陷检测方法的性能进行评估。当融合大小是160,地图和回忆是92.65%和96.29%,分别如表所示3。
最后,我们测试该方法的检测性能在135年与4035年扩展数据集模式和缺陷。表4显示不对称数据集的实验结果。小样本数据集的精度只有31.47%,而多达99.86%的大样本数据集。
证明本文提出的方法的有效性,比较了其他检测方法包括没有焊透登记差异和卷积神经网络(CNN)。结果如表所示5。本文提出的方法达到93.09%的精度优于其他方法。这个结果的原因是,低质量的图片不适合传统的差分检测算法和不同的是提供足够的缺陷为卷积神经网络训练数据,导致误分类。在本文中,一个新的multi-edge功能融合算法用于识别印刷缺陷质量数据集,实现更高精度的工业印刷图像缺陷检测。
5。结论
在这个工作中,一个新的缺陷检测方法使用multi-edge特性融合提出了改善低质量的印刷图像的检测精度。具体贡献如下:(1)我们建立一个新的、更具挑战性的打印图像数据集由4170图像和更多的旋转,变形,和不均匀光照的变化,而现有的打印数据库。(2)拟议中的multi-edge特征融合算法能有效区分模式的缺陷和干扰的变化。(3)不同大小的特性融合将大大影响检测精度,而且我们还发现,融合尺度,存在一个最优值的检测精度;太大或太小的融合信息将减少整个系统的检测性能。
当前检测系统主要是解决问题的边缘缺陷检测的低质量的印刷图像,在进一步的工作,检测系统应该提升为识别更多类型的缺陷。另外,大多数样品的工业印刷产品是合格的和真实的,导致不平衡的数据类型。在未来的工作中,如何收集足够的有缺陷的图像在工业生产领域和如何使用机器学习的方法来检测缺陷模式需要进一步研究。
数据可用性
使用的数据来支持本研究的结果包括在本文中。
的利益冲突
作者宣称没有利益冲突。