极端的学习机器和移动最小二乘回归建立太阳能电池板视力检查

文摘

近年来,基于学习的机器智能引起了大量的关注在科学和工程。特别是在工业自动检测领域,基于机器学习的视觉检测中扮演着越来越重要的作用在缺陷识别和特征提取。从图像样本,通过学习工业对象的许多特性,如形状,位置,方向角度,可以获得然后可以用来判断是否有缺陷。然而,鲁棒性和速度不容易实现这样的检验方式。在这工作,太阳能电池板视力检查,我们提出一个极端学习机(ELM)和基于移动最小二乘回归的方法识别和检测焊点缺陷面板的位置。首先,直方图的峰值分布(HPD)和分数微积分应用图像预处理。然后一个ELM-based焊点缺陷识别是详细讨论。最后,介绍了移动最小二乘回归(MLSR)算法对太阳能面板定位。实验结果和比较表明,该榆树和MLSR检验方法是有效的不仅在检测精度也在处理速度。

1。介绍

在过去的十年中,机器视觉已广泛应用于工业检测,尤其是在电气和电子工业检验(1- - - - - -3]。优于手工检查,机器视觉检测的好处是,不需要直接接触之间的检查员和目标。因此,可以实现自动无损检测在机器视觉检测系统。

以来的传统视觉检查的准确性在很大程度上取决于效果和图像处理技术的稳定性,传统的检测方法将失去其功能当面对变化的环境或改变成像条件。因此,不仅处理工业对象的图像而且学习特性(形状、位置和方向)从图像样本是必需的。的快速发展,计算机视觉,最近,出现了一些作品4,5基于机器学习的视力检查。

在现代光电电子行业,太阳能电路板焊点的如此好,基于视觉的焊点缺陷识别是具有挑战性的,因此需要深入研究[6,7]。此外,在太阳能电池板的制造,有一种强烈的需求自动定位焊板(8,9]。在这个工作中,面对的两个主要挑战,我们提出一组缺陷的识别和定位方法。

到目前为止,Capson和Eng (10]tiered-color照明方法用于焊点的检查。松山et al。11)也为自动焊检验设计一个系统。此外,赵和淮南(12)利用焊点的反射区来描述图像特征,和Tae-Hyeon et al。13)开发一个视觉检查焊点的分类系统。此外,不同于以往的方法,张、刘(14)提出利用榆树的原则(15)和最小二乘拟合来实现视觉检测焊点和太阳能电池板。在这项工作中,我们扩展和改进前的工作14在三个方面:直方图峰值分布(HPD) (16和分数微积分17- - - - - -20.)采用提高图像预处理和初始边缘提取效果;采用最小二乘拟合,而是MLSR提高太阳能电池板的边缘估计的准确性;更多视觉检验实验和比较太阳能实现PCB图像。

具体来说,对焊点缺陷识别,我们把直方图峰值分布(HPD) (16)与形态学操作来提取图像特征,然后应用极端学习机(ELM) [21- - - - - -24)对输入图像进行分类。至于太阳能板定位,准确的边缘位置的先决条件。为了达到这个目标,我们提取初始边缘点的一种新的信号处理方法,分数微积分(16,22- - - - - -24),然后利用MLSR算法(25,26)完善初始边缘。一旦获得焊接板的最后边,位置参数、位置转移,偏转角度,边长,很容易确定。焊点缺陷检测的总体方案和太阳能电池板的位置确定如图1。

本文组织如下。部分2讨论了图像预处理和特征提取的相关技术用于缺陷识别和位置检测。部分3描述如何使用榆树识别焊点缺陷的细节。部分4提出了利用MLSR算法实现定位焊面板。给出了实验结果和比较丰富的部分5。部分6使一个简短的结论和未来的研究预期。

2。图像预处理和特征提取

在本节中,我们首先使用HPD和形态学操作做一个详细的讨论焊点图像的预处理。然后我们介绍分数微分提取初始边缘的太阳能电池板。最后,我们还详细说明具体的特征提取方法用于焊点缺陷分类。

2.1。图像预处理基础上HPD和形态学操作

在机器视觉检测系统中,图像预处理,包括噪声去除、图像二值化,边缘检测,检测后的基本保证。然而,由于照明或视角变化和噪声的干预,这样图像预处理任务复杂环境下总是有挑战性。幸运的是,在太阳能电池板的视觉检测系统,照明控制和视角。和成像噪声可以通过相机抑制提前预先校准。因此太阳能电池板的预处理效果的图片可以得到保证。

图像二值化的图像阈值是一种有效的技术。由于不均匀的照明配电,阈值发现不是简单明了。如何获得一个合适的图像二值化阈值成为关键问题。在这里,我们把HPD [16焊板)找到一个精确的阈值二值化图像。HPD阈值搜索可以处理多个直方图分布(见图2。

形态学操作可以获得图像的骨架对象可以统一一个主机的技术,如噪声抑制、形状分析,写成梗概,和其他相关主题27]。阈值后,基本的形态学操作,扩张和侵蚀,通常用于处理二进制图像。此外,其他两个重要的形态学操作,关闭和开放,也通常使用的阈值。关闭操作平滑的轮廓图像消除狭窄和长时间的空白或删除洞或填补轮廓。打开操作是用来消除小图像对象或单独的对象连接到狭窄的领域。

对焊点图像,我们首先把图像的颜色空间RGB来Ycbcr。然后在强度子空间,我们利用HPD算法获得全球binarize图像阈值。然后,我们使用形态学关闭和打开操作得到最后一个二进制图像。处理结果如图3。

2.2。最初通过分数高斯微分边缘提取

在焊料面板有两个不同的背景图像。一个是红色的背景,另一个是灰色的背景。太阳能电池板红色背景下图像用于计算位置转移和偏转角度对参考位置,而灰色背景图像可以用来提取内部标准线边缘的长度测量太阳能电池板。对于预处理,我们还执行彩色空间转换和选择子空间为红色背景图像,而灰色的我们子空间的RGB空间。然后,在这些颜色子空间,我们都使用HPD对图像二值化。

获得二进制图像后,我们提取的初始边缘新分数微积分(太阳能电池板的17,20.]。分数微积分是一个强大的图像增强技术在最近几年。通过调整分数阶高斯的区别,可以获得一个精确的和抗噪边缘提取效果(16,17]。

有三种方法来定义分数微积分,也就是说,在Grunwald-Letnikov (G-L)定义,Riemann-Liouville定义,Capotu定义。G-L定义来自于经典integer-order连续函数的微积分的定义和概括整数分数阶微积分。G-L定义被描述为(16]

因此,部分偏微分可以被定义为(是分数微分顺序)

基于上述两个方程,如果加上高斯内核,分数可以自然地推导出高斯滤波函数

如果我们设置滤波窗口的大小,方差,分数阶,分数高斯滤波模板(19)可以获得表1和2。

当高斯部分模板用来提取太阳能板的初始边缘图像,阈值和最大抑制也表现为传统边缘探测器做但是不执行社区连接。太阳能电池板图像预处理结果如图4和5。

2.3。焊点图像特征提取

一旦焊点图像的关键,可以提取图像特征进行缺陷识别。应该注意的是,提取的图像特征能够反映焊点的质量;即好的焊接点的图像特征提取的图像和有缺陷的人应该是不同的。根据机器视觉检测的原则(27),因为图像的面积和重力可以表示图像中的形状是否是否均匀和各向异性和惯性矩可以反映图像的对称和总体布局,通过(4)- (8),我们计算区域,重力的各向异性和转动惯量的二进制图像提取的图像特征。

对于区域,此功能可以计算所有非零像素

重力能反映焊点的质量均匀性。

和各向异性反映了对称的焊点质量。计算各向异性之前,我们应该得到的中心在图像区域:

然后可以获得各向异性

此外,可以利用惯性矩来描述整个成像焊点分布:

这六个形象特征代表,可以描述焊点的质量在不同的观点。焊点特征提取的一些示例图所示6。

3所示。ELM-Based焊点缺陷检测方法

榆树总是作为一个单隐层前馈神经网络(SLFN) [21,22]。为标签样本,在那里和假设有隐藏的神经元激活函数;标准SLFN可以近似这些样品与零错误,这意味着存在,,这样 在哪里权向量连接吗th隐藏神经元和神经元的输入,权向量连接吗th隐藏神经元和神经元的输出的阈值隐藏的神经元。

如果我们使用矩阵形式,(9可以用短的 在哪里

被称为神经网络的隐层输出矩阵。在榆树,输入重量和偏见是随机分配,然后输出的重量可以近似 在哪里是Moore-Penrose广义逆(伪逆)21的隐层输出矩阵。

从数学分析,很容易看到,榆树可以训练效率,及其预测是快和鲁棒性。在实践中,当我们榆树申请焊点缺陷检测,我们首先提取提到的特性从焊点图像和输入榆树。和输出预测价值或。在这里,输出“−1”表明,焊点缺陷,而输出“1”意味着它是好的。一些缺陷识别的例子如图8。

4所示。基于MLSR边缘估计算法

准确和健壮的边缘估计过程中有着重要的作用,确定太阳能电池板的位置。因为最初的边缘提取部分高斯微分小线段噪声波动,他们应该适当地纠正,估计有一个清晰而正确的边缘线。基于移动最小二乘回归(MLSR) [25,26),我们改善以前的工作中使用的最小二乘法拟合(14)更准确更健壮的焊料面板边缘估计。

如果我们把边缘的位置函数,然后准确的边缘估计成为地位回归优化问题时最初的线段。通过基础功能扩张,边缘回归函数可以表示为 在哪里是位置回归值确定位置。是订单完成单项基函数,基函数的系数,基函数的数量。从的角度移动最小二乘法,系数矩阵应该由最小化加权最小平方误差在。可以被定义为 在哪里是离散点拟合的影响域内。和权函数,定义了影响域的和属性权重每个离散点根据其相对位置。权函数是正的,应该增加价值的减少距离之间的和。

与原提取边缘,我们可以适应一个初始边缘线通过随机选择两个像素。然后,基于距离的初始边缘像素,其余部分我们可以决定我们是否使用它们来更新边缘线或丢弃它们。详细的MLSR算法如下。

步骤1。假设两个初始边缘像素和。表示初始安装线;如果,然后;其他的,在那里。

步骤2。计算距离边缘像素之间休息,拟合边缘线。如果(是距离阈值),那么可以被看作是一个真正的边缘像素,可以用来更新吗。保存这样的像素位置在一个矩阵:,,在那里是真正的边缘像素的数量。

步骤3。重复第2步,直到所有候选边缘像素进行处理;然后我们获得估计边缘像素的位置矩阵。

步骤4。根据矩阵,使用MLSR算法更新初始边缘线和获得这把边缘线表示。

第5步。如果迭代数达到设定,然后退出和输出最后精制边缘线;其他的让第2步,去继续。

一旦准确获取太阳能板的边缘线,我们可以计算位置参数位置转移和偏转角度的参考位置。

5。实验结果和比较

5.1。焊点缺陷检测

在我们的实验中,30 PCB焊点图像捕获,他们每个人有22个焊点,这意味着完全有660个焊点。一些焊点的例子在图所示7。榆树焊接缺陷识别,我们需要500焊点作为训练样本,其余160人被视为测试样品。

然后我们提取六个图像特征为每个焊点图像和利用榆树确定焊点是否有缺陷。一些缺陷检测的例子在图所示8。

一般来说,良好的钎焊接头可视为一个小圆这意味着各向异性。然而,在实践中,的价值良好的钎焊接头有时用小波动约1。在我们的实验中,如果和,然后提取的地区被确定为一个好的焊点;否则这将是一个有缺陷的焊点或不是一个焊点。

给定的训练集,在那里,和,。榆树焊点缺陷识别的具体过程如下。

步骤1。选择激活功能,在那里,并设置隐藏神经元数量。

步骤2。指定输入重量和偏见,,随机。

步骤3。利用焊点训练图像训练网络;也就是说,计算隐层输出矩阵由(11)。

步骤4。估计输出的重量由(13)。

第5步。训练后,计算输出由(10),然后确定是否输入焊点缺陷。

相比之下,我们还用以前的方法(14)和支持向量机分类器进行焊点缺陷检测。在我们的实验中,我们进行了八个测试。检测性能和比较结果如表所示3,消费时间也见表3。从表中我们可以看到,我们的方法的平均识别率是98.6%;识别速度是达不到5秒(2014年Matlab)。实验结果和比较表明,该ELM-based缺陷检测方案是有效的处理速度和识别率。

5.2。太阳能电池板的位置确定和估计

确定太阳能电池板的位置之前,我们应该估计其边缘线准确下红色和灰色的背景。对于红色背景太阳能板图像,我们只需要获得四个外部边缘线。假设有四个顶点,,,,;最初的边缘线可以安装的四个顶点。使用MLSR算法后,最后的边缘线估计结果如图9。相应的行参数、边坡和偏见,如表所示4。和最小二乘拟合的结果(LSF)方法(14比较表4。从表中,我们可以看到,位置估计LSF的MLSR比这更准确。,我们也可以发现估计边缘线焊接图像实际上并不是平行的,这可能是由于成像失真根据机器视觉原理(27]。

灰色背景的太阳能电池板的形象,它需要八个顶点来确定两个内在标准线路中间部分和四个边缘线。假设有八个顶点,,,,,,,,;使用MLSR算法后,最后细化边缘如图10。长度的估计边缘线计算表所示5。然后我们可以实际检测到的边缘长度之间的差异和给定的长度来确定太阳能电池板是否合格。同样,LSF结果也比较表5。从表中,我们可以看到,MLSR估计的均方误差(MSE)小于0.5毫米。这表明MLSR边缘估计的性能优于前一个。

所有实验和不同背景下比较表明,该MLSR算法是高效的太阳能电池板的位置确定和估计边缘线。

6。结论

在这个工作中,基于机器学习的方法对焊点缺陷检测和太阳能电池板的位置确定详细探讨。图像预处理后,6代表图像特征提取和榆树用于缺陷分类识别。实验和比较表明,该特征提取和榆树分类方法是有效的。此外,MLSR算法来估计太阳能板的边缘线,然后确定板的位置。实际实验表明,不同背景的边缘线可以被估计。然后是位置参数可以准确地确定。

在未来,我们的进一步研究将专注于使用深度学习特性对焊点缺陷检测和开发更健壮的回归算法来克服图像失真的影响。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

这项工作的主要和关键项目支持的部分是安徽省教育部自然科学(批准号,KJ2015ZD09和KJ2016A085)。也是由安徽省自然科学基金(批准号1608085 mf129)。

引用

1. e . n . Malamas e . g . m . Petrakis m . Zervakis l .小和j。Legat”调查工业视觉系统,应用程序和工具,”图像和视觉计算,21卷,不。2、171 - 188年,2003页。视图:出版商的网站|谷歌学术搜索
2. 邓x, x, j .方c·林和l . Wang“基于机器视觉的表面缺陷检测系统”《电气与控制工程国际会议(ICECE 10),页2205 - 2208,中国,2010年6月。视图:出版商的网站|谷歌学术搜索
3. j.y.李,c·h·汉k . w . Ko和s·李,“视觉系统的发展缺陷检查电气部分的磁带和卷轴包装”在第16届国际会议的程序控制,自动化和系统(ICCAS 16)庆州,页437 - 439年,韩国,2016年10月。视图:出版商的网站|谷歌学术搜索
4. j。公园,B.-K。Kwon黄永发。公园,D.-J。康”,表面缺陷检查机器上优于成像系统”,国际精密工程和生产绿色技术杂志》上,3卷,不。3、303 - 310年,2016页。视图:出版商的网站|谷歌学术搜索
5. 问:太阳、j . Cai和z的太阳,“在钢带表面缺陷检测基于奇异值分解的数字图像,”数学问题在工程卷,2016篇文章ID 5797654, 12页,2016。视图:出版商的网站|谷歌学术搜索
6. g . Acciani g . Brunetti, g . Fornarelli”应用神经网络在光学检测和分类的焊点表面安装技术,”IEEE工业信息,卷2,不。3、200 - 209年,2006页。视图:出版商的网站|谷歌学术搜索
7. x周、周j . g .田,y,”研究缺陷检查焊球基于涡流脉冲温度记录,“传感器(瑞士),15卷,不。10日,25882 - 25897年,2015页。视图:出版商的网站|谷歌学术搜索
8. n . s . s . Mar p·k·d·诉Yarlagadda和c·福”自动视觉检测系统的设计和开发PCB制造业,”机器人和电脑一体机制造,27卷,不。5,949 - 962年,2011页。视图:出版商的网站|谷歌学术搜索
9. 张,彼得森,j . Vila-Comamala et al .,“翻译定位ptychographic相干衍射成像,”光学表达,21卷,不。11日,第13606 - 13592页,2013年。视图:出版商的网站|谷歌学术搜索
10. d . w . Capson和研究。Eng”,机器检查焊点tiered-color照明方法,”IEEE模式分析与机器智能,10卷,不。3、387 - 393年,1988页。视图:出版商的网站|谷歌学术搜索
11. y松山、t .本田、h . Yamamura et al .,“自动焊使用光学三维图像检测,检查系统”学报》第三届IEEE计算机视觉的应用研讨会(96年WACV”)1996年,萨拉索塔,佛罗里达州,美国。视图:出版商的网站|谷歌学术搜索
12. S.-N。赵和M.-H。淮南,焊点检查Reflection-area-based特征描述符”,机器视觉和应用程序,18卷,不。2、95 - 106年,2007页。视图:出版商的网站|谷歌学术搜索
13. k . Tae-Hyeon c . Tai-Hoon y s月亮,和s . h .公园,“视觉检查焊点的分类系统,”模式识别,32卷,不。4、565 - 575年,1999页。视图:出版商的网站|谷歌学术搜索
14. “张c和h . Liu焊点缺陷的检测和太阳能电池板方向基于榆树和健壮的最小二乘拟合,”中国控制与决策会议(CCDC学报》的11)绵阳,页561 - 565年,中国,2011年5月。视图:出版商的网站|谷歌学术搜索
15. G.-B。黄和C.-K。杀”,极端的学习机器:RBF网络情况下,”学报》第八届国际会议控制、自动化、机器人技术和视觉(ICARCV ' 04)2004年12月,昆明,。视图:谷歌学术搜索
16. 李j . h . Liu, z, h .张“肖像美化:快速、健壮的方法,”图像和视觉计算,25卷,不。9日,第1413 - 1404页,2007年。视图:出版商的网站|谷歌学术搜索
17. b·t·克里希纳”研究分数阶微分器和集成商:一项调查,“信号处理,卷91,不。3、386 - 426年,2011页。视图:出版商的网站|谷歌学术搜索
18. a . Lodhia s谢菲尔德,x的太阳,和s . s .华生,”分数高斯领域:一项调查,”概率调查卷。13日,1-56,2016页。视图:出版商的网站|谷歌学术搜索|MathSciNet
19. h .奇瑞和k . Liu”小说基于分数高斯微分边缘检测算子,”2014年,http://www.paper.edu.cn/download/downpaper/201405 - 237。视图:谷歌学术搜索
20. k·s·米勒和b•罗斯介绍分数微积分和分数微分方程Wiley-Interscience出版物,约翰威利& Sons,纽约,纽约,美国,1993年。视图:MathSciNet
21. G.-B。黄、周h . x叮,r·张“回归和多级分类,极端的学习机器”IEEE系统,人,控制论,B部分(控制论),42卷,不。2、513 - 529年,2012页。视图:出版商的网站|谷歌学术搜索
22. c . j . Tang邓,G.-B。黄,“极端多层感知器学习机器,”IEEE神经网络和学习系统,27卷,不。4、809 - 821年,2016页。视图:出版商的网站|谷歌学术搜索|MathSciNet
23. l . l . Kasun y杨G.-B。张黄,z,“降维与极端的学习机器,”IEEE图像处理,25卷,不。8,3906 - 3918年,2016页。视图:出版商的网站|谷歌学术搜索|MathSciNet
24. G.-B。黄,z呗,l . l . c . Kasun和c . m .疯人,“基于当地接受领域极端的学习机器,”IEEE计算机情报杂志,10卷,不。2,29,2015页。视图:出版商的网站|谷歌学术搜索
25. l . Zhang t·顾j .赵霁,m . Hu和李x”一种改进的移动最小二乘法的曲线和曲面拟合的方法,”数学问题在工程159694卷,2013篇文章ID, 6页,2013。视图:出版商的网站|谷歌学术搜索
26. l·亨张d、z志远”多视点耳朵识别基于移动最小二乘插值,”国际会议智能计算的程序施普林格,柏林,德国,2009年。视图:谷歌学术搜索
27. e·r·戴维斯电脑和机器视觉:理论、算法、实用性、学术出版社、剑桥、质量,美国,2012年。

版权

版权©2017年亨刘et al。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。