计算智能和神经科学

PDF
计算智能和神经科学/2021年/文章

研究文章|开放获取

体积 2021年 |文章的ID 7550670 | https://doi.org/10.1155/2021/7550670

伊琳苗,Zhewei Liu乡宁县新吴,杰高, 降低成本的暹罗网络PCB缺陷分类方案”,计算智能和神经科学, 卷。2021年, 文章的ID7550670, 13 页面, 2021年 https://doi.org/10.1155/2021/7550670

降低成本的暹罗网络PCB缺陷分类方案

学术编辑器:鲁道夫·e·哈伯
收到了 2021年5月29日
修改后的 2021年8月31日
接受 09年9月2021年
发表 2021年10月12日

文摘

生产后的印刷电路板(PCB), PCB制造商需要删除叛逃董事会进行严格的测试,而手动检查费时和费力。许多PCB工厂采用自动光学检测(AOI),但是这种基于像素比较法误警率高,因此需要强化人类的检验来确定警报从它像真或伪缺陷。在本文中,我们提出一种新的厂商深度学习模型:厂商暹罗(CSS-Net)基于暹罗网络,网络传输学习和阈值方法来区分真实和移动伪PCB缺陷厂商作为一个分类问题。我们使用优化算法如NSGA-II厂商确定最优阈值。结果表明,我们的模型可以提高真正的缺陷预测精度为97.60%,并保持相对较高的伪缺陷预测精度,在实际生产情况下的61.24%。此外,我们的模型也优于其他厂商综合指标的最先进的竞争模型,训练时间短,平均33.32%。

1。介绍

低成本的快速发展电子家电等消费设备和医疗生物传感器创建需要印刷电路板(PCB)以前所未有的速度(1]。在这样一个快速发展和竞争领域,重要的是找到方法来降低生产成本。在现代PCB制造过程,人类大量的工作时间都花在手动确定缺陷提出的自动光学检测(AOI)系统是一个真正的或伪缺陷。真正的缺陷严重缺陷将导致板故障,而伪缺陷意味着缺陷不会影响PCB的性能。几个例子如图1。考虑到一个真正的缺陷比伪更有害的缺陷,这种分类问题是敏感的。

PCB行业的快速发展和生产技术的提高,传统的目视检查方法和光学方法不再能满足当前需求。因此,新方向的缺陷分类技术已成为紧迫的2]。

自动缺陷检测上有广泛的研究,比如使用变薄和flood-fill算法(3]。然而,这些研究强调缺陷的检测,而不是真正的缺陷的改进预测精度。一些研究人员使用支持向量机(SVM)分类之间的真与伪缺陷(4),但准确性还有待改进。此外,他们很少关注厂商解决这个问题的本质。提出的警报苍老师的绝大多数机器都是伪缺陷,而真正起作用的缺陷,制造商和消费者真正的缺陷。未能减少真正的缺陷可能导致代价高昂的销售机会的损失。因此,同样重要的是要考虑降低成本的方法除了改进方案缺陷分类精度。

深等更先进的机器学习方法学习方法已被证明有很大的性能在图像分类和许多其他任务(5- - - - - -8]。作为一个前沿卷积神经网络(CNN)模型,暹罗网络获得很多的关注与学习能力从对图像和提取有用信息9]。暹罗网络是一种人工神经网络,使用相同的权重和相同的架构工作时同时在两个不同的输入向量生成类似的输出向量(9]。首先,因为相对较少的图像为暹罗网络每个类是充分的认识到这些类,例如,一次性学习(10),厂商是健壮的小数据集的问题。其次,它可以从语义相似度(11)对图像,因为它比较多层后图像的嵌入。此外,它把先前unsused等信息标准委员会图像使用因为它相同类的映射进行紧密的地方。我们获得的数据集从一个真正的PCB工厂。我们的数据集包含了图像的PCB板的真实和伪缺陷,以及标准图像。如果我们把这个问题作为一个传统的二元分类问题,标准板图片不会被使用。同时,我们使用优化算法搜索最佳阈值训练后,使厂商模型。

厂商提出了暹罗的目标网络(CSS-Net)首先改善总体分类精度数据集和第二,达到真正的缺陷的预测精度高,同时保持相对合理的伪缺陷的预测精度。会减少人类劳动和储蓄的潜力行业成本的重要组成部分。第三,模型的参数和训练时间减少,所以每一批新数据可以训练在工厂更及时。

我们建议的模型使用的pretrained InceptionResNetV2 [12]随着feature-extractor并嵌入自定义层作为暹罗网络的基本模型,然后采用threshold-moving,精度的降低成本的方法来最大化方案真正的缺陷,保持高精度伪缺陷,节省培训时间。该方法的实现是一个模型AOI系统部署后,过滤和标签大部分的真与伪缺陷之前最后的人工检查,减少人的工作时间。

我们模型的完成现实的过程中实现一个真正的PCB工厂如下:首先,每一批的图像都由高分辨率的摄像头,前置滤波器,AOI机和标签分成不同区域的图像在整个董事会。然后,每个图像预存储标准板图像的区域被送入我们的模型来确定是否包含真或伪缺陷,如图2。工人在验证和修复系统(工具)站只需要检查传递给他们的样品模型的过滤后,挽救很多人的工作时间,因为大多数标记图像的光学检查机将伪缺陷。

本文的其余部分组织如下。部分2简要介绍并讨论了一些相关的工作。部分3显示了我们提出的结构和解释模型。部分4提供实验和结果以及数据集的描述。部分5总结我们的结论,并建议今后工作的方向。

最传统的PCB缺陷检测方法。这是一个传统的检测方法利用图像处理和自动控制技术来检测PCB缺陷(13]。光学非接触在线算法是简单的设计和使用。它可以检测到任何一种PCB缺陷不仅包括短路缺陷还包括空白,标志,蛀牙。最重要的是,AOI系统是廉价和快速。

然而,鉴于光学方法是基于像素的,其误警率特别高。例如,它是很常见的,随机的灰尘落在董事会,董事会使得一些像素点不同于相应的像素在标准板上,这将导致AOI系统敲响了警钟。由于这种明显的缺点,深有研究用神经网络对PCB板的缺陷进行分类。一个叫做Auto-VRS[自动PCB缺陷检测系统14)是使用AlexNet邓等人提出的。他们证明了Auto-VRS可以减少伪缺陷的误警率。此外,高木涉et al。15)提出了PCB缺陷检测和分类的方法使用CNN层从标准板图像进行特征提取,然后使用支持向量机分类器的分类。这些方法需要预选的特征图谱,可以改善性能。

Alique et al。16)提出了一种基于神经网络模型来预测最优在铣削过程中切削力的工业生产,获得了不错的结果,这表明深学习方法可能的值应用于PCB的生产。然而,由于我们的问题需要图像的分类,cnn更深更适合我们的问题。此外,Zhang et al。17)提出了一种修改ResNet模型调整层附在最后。Dimitriou et al。18)提出了一个算法基于3 d卷积神经网络(3 dcnn)为了预测即将到来的事件相关的制造过程中表现不佳。然而,它更侧重于预测即将到来的事件比现有扫描和过滤叛逃。Schwebig和Tutsch19]介绍了一个应用策略,结合一个深度学习的概念和基于图像处理的光学检测系统。然而,他们已经提出使用DenseNet [20.)只有厂商并没有解决问题的本质。

此外,Srimani和Prathiba [21减少]提出了一种混合方法的特性和分类,主要是为了提高预测和分类的性能。首先,他们使用遗传算法选择功能,然后使用深层神经网络和马尔可夫模型分类。也有方法如使用SVM的变化来解决问题(22]。然而,这些方法需要其他元数据,如板生产除了图像本身的信息,增加他们的部署过程的复杂度。

也有研究从工业的角度看,例如,Castano et al。23)提出了一个过程评估的可靠性数据通过传感器;Villalonga等人介绍了一个方法来分配计算资源生产(24),使一个行业生产系统更健壮。然而,我们更关注严重叛逃的过滤板。

CNN结合转移学习已被证明有很大的性能任务,比如图像分类(25]。他等人提出了一个深残余网络2016年,大大改善了CNN是更深层次的能力及其图像分类精度(26]。在CNN模型,InceptionResNetV2具有良好的图像分类精度(12),和暹罗网络被用于各种图像分类问题(27,28]。

厂商学习越来越受研究者的欢迎。厂商研究方法有或没有class-imbalanced数据集主要集中在两个方面:第一个是数据预处理的主要方法是抽样(通过修改训练集的样本分布,以减少数据不平衡)的程度(29日),第二个是在算法层次,其中主要是集成学习,股份分类器和threshold-moving方法(30.]。

尽管抽样方法取得了良好的效果在一些数据集,可以均匀与传统机器学习方法(31日),仍然有缺点:过采样会导致过度学习的分类器,因为它只反复得到了一些人工生成的样本,同时大大延长了训练时间。在实证研究中,threshold-moving class-imbalanced厂商有着非常大的性能问题或class-balanced数据集32,33]。因此,在我们的研究中,我们使用threshold-moving代替采样技术。

因为我们在我们的模型中使用阈值移动,找到最优阈值是一个重要的一步。有各种各样的优化算法,如基于叉简单的多目标优化(SMOCE) [34]提出的哈伯等。我们尝试用自适应阈值,并使用一些先进的优化算法在pymoo [35]如NSGAI-II [36],NSGA-III [37],RNSGA-II [38],C-TAEA [39)寻找最优阈值后,训练我们的模型。

学者提出了各种方法来应对环境变量的影响,如不同的照明条件在现实生活中的产品。例如,刘等人提出了一个illumination-invariant泡沫颜色测量方法(WDSPCGAN) [40通过求解一个structure-preserved image-to-image颜色翻译的任务。这将有助于稳定分类算法的性能,无论各种照明条件。然而,我们不需要考虑光照条件的影响,因为如图2,所有的照片中,我们使用,包括缺陷板图像真实和伪缺陷,以及标准板的图片,被标准光学检查机内,与一致的环境参数如热、湿度和光照。

3所示。敏感的暹罗网络(CSS-Net)

3.1。网络结构

本文的主要符号表和相应的定义1


象征 描述

输入层的残余网络
输出层的残余网络
无穷小的数量
的概率
特征向量的第一个标签
特征向量的第二个标签
欧氏距离
改变参数
尺度参数

虽然大而复杂的网络表现良好在分类问题,涉及的成本更大数量的参数,降低培训。在我们的模型,我们的目标是尽可能地减少参数的数量,提高模型的性能在同一时间。图3显示该网络的整体框架。

以下层中使用网络的主体:完全连接层(FC),批量标准化层,解决线性激活单元(ReLU)、马克斯池操作层(MaxPooling2D),平均池操作单元(AvgPool)、马克斯池单元(MaxPooling2D) GlobalAveragePooling2D(趋于平缓输入而不影响批大小),和卷积层(Conv2D)。我们还实现转移学习方法,图中所示的想法4

网络设计如下:基本模型已经提出InceptionResNetV2 [12]。它有很大的性能和包含一个合理的参数,我们使用其中的一部分作为一个功能器为了节省更多的培训时间和合并转移学习更好的泛化能力。我们冻结pretrained权重的第一个三个街区InceptionResNetV2(“茎”,“Inception-A”和“Inception-ResNet-A”) ImageNet数据集上训练。图5显示了那些块组成,之后我们取代其他层使用自定义层和训练数据集模型。最后一步是使用之间的欧氏距离计算损失函数生成的嵌入对图像经历了基础模型。

3.2。结构的解释

算法的总体步骤如下(算法1)。

输入:N:迭代的数量, :训练图像的数量对,年代:批量大小,r: training-validation比率,pairImgs:对图像、pairLabels:对图像的标签。
输出: ,经过训练的网络参数
(1) 冻结参数从第一层到“mixed35a_10”或其他层内的基础网络
(2) 使用自定义层取代其他层
(3)
(4)
(5)
(6)
(7)
(8) 与亚当优化器
(9) 结束了
(10) 使用 对验证当前的结果
(11) 结束了
(12) 返回

将转移学习方法为了应对相对较小的数据集,我们冻结pretrained的顶部层模型的权重和替换其他层与专门设计的层。

cnn的分层体系结构,自动提取不同的特征在不同层和生成层次表示。这使我们能够利用pretrained网络(如InceptionResNetV2)没有最后一层作为指定的固定特征提取器的任务。

在我们的模型中,我们使用顶部层pretrained网络器作为一个通用的特性,这些特性让我们培养一个新的模型,使模型更稳定和健壮的,然后我们雇佣threshold-moving方法最终价格敏感,如图6

pretrained权重的使用在最高层次,而不是随机的初始参数微调使我们的模型更好的起点,应对相对小的数据集的大小。此外,这允许模型有更高的学习速率,以减少训练时间。

最后,试验后自适应阈值与指定的生成 (介绍部分4)值,我们使用多目标优化算法来搜索最优阈值。我们的优化目标是最大化 , , 最后的结果来自于threshold-adjusted使用优化后模型的方法。

目前,我们不需要考虑光照条件的影响,因为我们使用所有的图片,包括缺陷板的图像与真实和伪缺陷,以及标准板的图片,被标准光学检查机内,与一致的环境参数如热、湿度和光照。我们的工作流程,如图2,部署的训练模型CSS-Net AOI机后显著降低假警报为了节省成本,阻塞的必要性调整不同的环境变量,因为每批培训、验证和测试数据生成相同的条件。工人在工具与车站只需要检查过滤警报。这不仅可以一次性拍照方法节省时间而且还排除了随机尘埃的可能性下降到机器之间的董事会造成额外的假警报的伪缺陷。

动机技术用于模型如下。

提高模型的能力有更深层次的长度,在剩余的学习,最重要的操作身份映射(26]。它增加了前一层的输出层。

如果 (身份)和 没有相同的尺寸,一个卷积操作将减少其空间分辨率。标识映射乘以一个线性投影 扩大渠道快捷方式来匹配其决议。这允许输入 组合作为输入到下一层。

卷积层通常是连接到批量标准化层,这是一个减少内部协变量转变的重要手段,因此防止梯度消失或梯度爆炸(41),导致网络不稳定,甚至没有进一步学习训练数据。

之前我们通过 下一层,我们执行批处理每个minibatch标准化变换:

具体来说,首先,我们得到一个标准分布均值为0,方差为1通过转变和尺度变换:

然后,我们将其转换为分布的均值 和方差 :

在标准批正常化,参数和尺度参数被定义为转移

批标准化层大大提高了训练的速度和收敛的速度,以及简化了调优参数的过程,提高了分类的有效性。

然后,我们使用的激活函数ReLU(修正线性单元),一层,改变所有负激活( )为0。这一层增加模型的非线性特点,使更好的培训深入网络(42),相对于其他常用的激活函数,如物流乙状结肠。

我们使用全球平均池(43)层来取代传统的完全连接层卷积后层:

后生成的特征图谱,我们把每个特性的平均值和饲料直接生成的向量映射到将softmax层,而不是使用一个完全连接层。这是由执行更多本机卷积结构特征图和类别之间的对应关系,这使得模型更健壮的空间翻译的输入。

3.3。损失函数

之间的欧几里得距离产生的嵌入对图像经历了基础模型送入损失函数层。

我们首先训练我们的模型对比损失函数。这个损失函数的想法是使同一类样本之间的距离尽可能小,不同类别的样本之间的距离尽可能的大。对比损失函数被定义为 在哪里 如果对样品 , 属于同一类 如果他们属于不同的类。它将不会更新如果之间的距离 大于 为了节省时间;如果之间的距离 小于 ,它会增加他们之间的距离

二进制叉的定义

我们用损失函数和结果表明,该二叉叉的作品比对比损失函数在我们的数据集,如图7

4所示。结果与讨论

4.1。我们的PCB缺陷数据集

我们PCB缺陷数据集(以下称为PCB-ds)包含真实缺陷板图片,伪缺陷板的图片,以及相应的标准板图片。真正的缺陷包括缺陷形状等错误,颜色错误,字符处印刷错误,和破碎的阻焊领域,这将使电路板故障。伪缺陷包括铜焊料和小点小点,这并不会影响其性能。

如表所示2真正的缺陷,PCB-ds包含22500双板图片和相应的标准板图片和22500对伪缺陷板图片和相应的标准板图片。每个图像的大小是224 244年 3所示。其中,90%被用作训练集,和10%,验证集。在每个时代,验证集是用于验证性能。训练后,额外的测试集(包括2500 2500真正的缺陷图像与相应的标准板图像;2500 2500年伪缺陷图像与相应的标准板图片)被用来测试网络的性能。最后,我们厂商调整阈值和计算指标。


数据集:PCB-ds 类型 训练集 测试组 验证设置

图像信息的数据集 宽度 224年 积极的 20250年 2500年 2250年
高度 224年
渠道 3 20250年 2500年 2250年
数量 50000年

4.2。敏感的评价指标

二元分类器的评估,我们引入混淆矩阵, 显示真实缺陷的预测作为真正的缺陷; 作为伪缺陷表明伪缺陷的预测; 表明伪缺陷的预测作为真正的缺陷;和 表示真正的伪缺陷,缺陷的预测如表所示3


真正的类
真正的缺陷 伪缺陷

预测 真正的缺陷 真阳性(TP) 假阳性(FP)
伪缺陷 假阴性(FN) 真阴性(TN)

最常用的模型评价指标的准确性( )。然而,这个指标可以误导有关敏感问题(44]。在这种情况下,其他评价指标应考虑除了准确性。显然,更昂贵的预测真正的缺陷作为伪缺陷,这使得它一个敏感的问题,所以我们也算其他次要指标: , , , , 评估我们的提出的网络。的定义如下: 在哪里 表明预测真实缺陷的比例对所有真正的缺陷; 显示所有伪伪缺陷预测缺陷的比例;和 表明预测真实缺陷的数量比真正的实际数量的缺陷。

此外,我们使用指标 (45)进一步验证我们的网络的有效性,一般的地方 测量在方程(13),在这里,我们把 ,即。,equation (15),我们把它写成 ,的公式 在方程(16):

传统的 或平衡 (F1分数)精度和召回的调和平均数,它考虑了特异性和灵敏度,并提供一个平衡的反映了算法的准确性。

几何平均数( )措施之间的平衡分类表现真实和伪缺陷(44]。一个低 将表现不佳的信号分类的真正缺陷即使伪缺陷被正确分类。这个措施很重要,为了避免过度拟合的underfitting伪缺陷和真正的缺陷。

4.3。确定网络参数

确定暹罗网络的基本模型,我们测试的表演暹罗网络与不同的基础模型,结果在图8。很明显,选择InceptionResNetV2是最合适的基本模型,除了这个模型的原始形式的规模太大,火车在一个合理的时间。

确定的截止位置基本模型和损失函数,图中所示的结果7后,尝试不同的方式利用层基本模型的特征提取器,我们保留从输入层到“block35_5_mixed,”会产生最好的结果。

4.4。厂商确定阈值

它相对更重要的是为了防止产品真正的缺陷比伪缺陷从去市场。因此,我们的模型需要更高的精度比伪真实缺陷的缺陷。

培训期间,每个输入将一对真或伪缺陷图像与相应的标准板图像。当使用训练模型,我们将输入图像与相应的标准板图像,如图2

因为我们采用暹罗网络,如果预测的值接近1,这意味着这两个输入的图像更容易在同一个类中,如果结果是接近0,这意味着这两个输入的图像不太可能属于同一类。

为了更好地说明预测过程,例如,如果一对真正的预测价值缺陷板图像及其相应的标准板图像小于阈值,认为他们不是在同一个班,这意味着它是一个真正的缺陷,预测将是正确的(伪缺陷可以被认为是相当于一个标准委员会,他们不会导致电路板故障)。因此,如果一个错误的缺陷及其相应的标准委员会预计大于阈值,他们被认为是同一个类,即。预测,那么结果将是正确的,因为伪缺陷可以被认为是同一个类的标准板,反之亦然。

如表所示4使模型更加敏感,真正的缺陷,我们默认阈值0.5更改为更大的值。如图9有一种倾向,随着阈值的增加, 倾向于降低特异性和精度降低,而灵敏度往往会增加。


阈值

0.450 0.8539 0.8481 0.8259 0.8136 0.8840
0.475 0.8532 0.8451 0.8170 0.8000 0.8928
0.500 0.8525 0.8426 0.8102 0.7892 0.8996
0.525 0.8526 0.8411 0.8052 0.7808 0.9060
0.550 0.8533 0.8404 0.8017 0.7744 0.9120
0.575 0.8516 0.8370 0.7959 0.7652 0.9156
0.600 0.8514 0.8351 0.7912 0.7568 0.9216
0.625 0.8509 0.8325 0.7856 0.7468 0.9280
0.650 0.8497 0.8286 0.7787 0.7344 0.9348
0.675 0.8494 0.8258 0.7734 0.7240 0.9420
0.700 0.8467 0.8202 0.7659 0.7108 0.9464
0.725 0.8445 0.8154 0.7598 0.6996 0.9504
0.750 0.8426 0.8099 0.7525 0.6852 0.9572
0.775 0.8394 0.8034 0.7454 0.6720 0.9604
0.800 0.8357 0.7956 0.7373 0.6564 0.9644
0.825 0.8327 0.7877 0.7290 0.6392 0.9708
0.850 0.8262 0.7741 0.7166 0.6144 0.9752
0.875 0.8202 0.7611 0.7057 0.5916 0.9792

如果我们手动分配的重要性 , ,和灵敏度系数 , 并设置不同的 值,我们将表5


阈值 阈值

0.1 0.8852 0.9420 0.3 0.8405 0.8717
0.15 0.8400 0.9231 0.35 0.8452 0.8536
0.2 0.8400 0.9060 0.4 0.8457 0.8363
0.25 0.8402 0.8889 0.45 0.8450 0.8190

然而,使用指定的 价值观缺乏可靠性,同样的方法应该工作在不同的批次的数据,在每一批,每个指标的重要性可能会有所不同。所以,我们使用多目标优化算法来搜索最优阈值。我们的优化目标是最大化 , ,和敏感性。我们可以定义我们的问题如下:

我们的模型训练后, , ,和灵敏度可以在任何给定的阈值计算。因为它不是一个线性目标函数,我们使用各种优化方法基于遗传进化算法搜索最优值附近敏感阈值,得到结果表6


算法 阈值

NSGA-II [36] 0.8544 0.8257 0.7729 0.9760
NSGA-III [37] 0.8542 0.8259 0.7731 0.9760
RNSGA-II [38] 0.8536 0.8259 0.7731 0.9760
C-TAEA [39] 0.8576 0.8244 0.7702 0.9764

4.5。结果和比较

如表所示7计算指标的值,CSS-Net真实缺陷的准确性为97.60%,伪缺陷和准确性为61.24%,它实现一个 分别为82.59%和77.31%。


网络 培训时间(年代)

CSS-Net 0.8259 0.7731 0.7158 0.6124 0.9760 776年
Auto-VRS [14] 0.7903 0.7258 0.6813 0.5600 0.9408 238年
3 dcnn-2d [18] 0.7535 0.7127 0.6792 0.6004 0.8460 589年
AlexNet [46] 0.7767 0.6985 0.6615 0.5188 0.9404 247年
NasNet [47] 0.6446 0.2345 0.4953 0.0596 0.9228 1214年
ZFNet [48] 0.7783 0.7126 0.6723 0.5496 0.9240 385年
MobileNet [49] 0.8187 0.7636 0.7087 0.6016 0.9692 820年
EfficientNetB2 [50] 0.7846 0.7175 0.6753 0.5500 0.9360 2235年
DenseNet [20.] 0.7910 0.7082 0.6676 0.5168 0.9704 2722年
ResNet [26] 0.7727 0.7274 0.6880 0.6004 0.8812 2025年

为了比较我们与先进的CSS-Net模型更公平,我们也采用门限调整以来这些模型训练后他们没有最初设计厂商来解决这个问题。结果,结果显示在表的最先进的模型7这些模型的结果已经threshold-adjusted后培训。我们相信这将更好的突出贡献CSS-Net这个问题。

鉴于我们强调的敏感性和敏感的指标模型,这些模型的特异性和灵敏度值会聚集是大致相同的,没有门限调整以来我们正在处理这个成本敏感性问题class-balanced数据集。因此,我们也使用相同的最优阈值CSS-Net。此外,所有模型的hyperparameters批量大小和学习等利率也将相同的,和迭代时间也是相同的,除非一些模型收敛的时间较长。网络实现所需的结果对真实和伪缺陷的准确性。与其他先进和复杂的网络相比,CSS-Net保持高精度都正确——伪缺陷同时减少训练时间平均为33.32%。虽然我们的训练时间大于一些简单的网络,它是远小于大型网络。真正的精度和高伪缺陷。

除了最重要的敏感指标, 相关指标的综合指标真实和伪缺陷分类精度也考虑在内,因为实际意义每个指标代表是很重要的。例如,尽管真实缺陷的准确性是更重要的,不诚实的缺陷的准确性不能完全忽视在现实生产因为特殊或小说缺陷预测伪缺陷可能导致新型值得记录的故障。虽然我们更关注真正的缺陷,我们仍然旨在增加尽可能多的敏感性和特异性。

通过结合不同评价指标的每个数据,我们可以得出结论,提出网络有更好的整体性能在PCB缺陷分类和比它先进的竞争对手,包括邓提出Auto-VRS et al。14)及其基本模型AlexNet (46),2 d版(因为我们的数据集是二维)的3 dcnn厂矿Dimitriou et al。(18],DenseNet Schwebig和Tutsch应用他们的方法(19),以及一些流行的通用模型。

5。结论和未来的工作

总而言之,现有研究很少关注的敏感性质PCB缺陷分类的问题。他们中的许多人需要董事会的画面以外的其他元数据。此外,他们中的大多数并不是在真正的生产测试场景的PCB工厂大规模,和性能包括精度和训练时间可以改善。

我们提出一个厂商暹罗网络(CSS-Net)转移学习技术提高PCB缺陷分类的准确性和敏感的指标。广泛的实验PCB-ds证明CSS-Net优于许多现有的方法。我们的方法达到一个真正的缺陷精度为97.60%,准确性为61.24%,一个真正的缺陷以及一个 分别为82.59%和77.31%,在真正的生产场景。我们的模型的特点使它更快的训练和部署,厂商和指标的模型比其最先进的竞争模型,包括Auto-VRS邓等人提出的。14)及其基本模型AlexNet (46),3 dcnn厂矿Dimitriou et al。(18],DenseNet Schwebig和Tutsch应用他们的方法(19),连同几个流行的通用模型,训练时间短,平均33.32%。

这种方法有可能节省大量工人的时间和显著降低PCB板的成本。同时,由于其相对较短的训练时间,每一批新数据的新设计的电路板可以训练工厂及时一旦积累足够的标签。整体真实缺陷的准确性以及全面降低成本的措施等方案 既考虑到敏感性和特异性的价值观,都得到了改善。与此同时,模型的泛化能力是学习也改善了由于传输。将该方法与传统的AOI机将大大减少人工检查要求假警报,这可能会节省很大一部分的PCB制造成本。

我们相信,通过探索更敏感的方法的新方法;改善hyper-parameters;尝试更高级结构;和改善数据集的质量和数量,我们可以进一步改善我们的方法的性能,而这些将是我们未来工作的主要方向。

数据可用性

本研究中使用的数据集是获得一个真正的PCB工厂和不能出版。其他数据支持的结果可以通过联系获得相应的作者。

的利益冲突

作者宣称没有利益冲突。

引用

  1. h . Shamkhalichenar c . j . Bueche和j·w·崔”印刷电路板(pcb)电化学传感器和传感技术的平台,”生物传感器,10卷,不。11,159年,页2020。视图:出版商的网站|谷歌学术搜索
  2. 吴x, y通用电气,问:张先生,d .张“Pcb缺陷检测使用深度学习的方法,”学报2021年IEEE国际会议24日在计算机支持的协同工作的设计(CSCWD)大连,页873 - 876年,中国,2021年5月。视图:出版商的网站|谷歌学术搜索
  3. r·梅利尼克y Havrylko, y .岛”三种类型的PCB缺陷检测和图像处理算法,”学报2021年IEEE十七国际会议在MEMS设计透视技术和方法(MEMSTECH)Polyana,页197 - 200年,乌克兰,2021年5月。视图:出版商的网站|谷歌学术搜索
  4. s . s .扎卡里亚,阿米尔,n .雅柯伯和s . Nazemi”自动检测印刷电路板(PCB)缺陷通过使用机器学习在电子制造业:目前的方法,”IOP会议系列:材料科学与工程文章ID 012064卷,767年,2020年。视图:出版商的网站|谷歌学术搜索
  5. Gorkem沃甘和i Ulusoy图像分类与深度学习在嘈杂的标签:一项调查,“以知识为基础的系统文章ID 106771卷,215年,2021年。视图:出版商的网站|谷歌学术搜索
  6. y z z . Liu, y Cai,苗族,陈和z,“Semi-supervised分类通过超图卷积极端的学习机器,”应用科学,11卷,不。9,3867年,页2021。视图:出版商的网站|谷歌学术搜索
  7. m .诸葛d .风扇:刘,d, d, l . Shao,“突出对象检测通过完整学习,”2021年,https://arxiv.org/abs/2101.07663视图:谷歌学术搜索
  8. m .诸葛d高,d .风扇et al .,“Kaleido-BERT:视觉语言训练的时尚领域,”《IEEE / CVF计算机视觉与模式识别会议纳什维尔,页12647 - 12657年,TN,美国,2021年。视图:谷歌学术搜索
  9. d . Chicco“暹罗神经网络:概述,”人工神经网络,73 - 94卷,2021年。视图:出版商的网站|谷歌学术搜索
  10. 研究所。萧,D.-Y。花王,Z.-Y。刘,r . Tso”恶意软件图像分类与暹罗网络使用一次性学习,”Procedia计算机科学卷,159年,第1871 - 1863页,2019年。视图:出版商的网站|谷歌学术搜索
  11. k . h . Chen y . Wang郑et al .,“Anatomy-aware暹罗网络:利用语义不对称性对准确骨盆骨折在x射线检测图像,”欧洲计算机视觉的诉讼施普林格,页239 - 255年,格拉斯哥,英国,2020年8月。视图:出版商的网站|谷歌学术搜索
  12. c . Szegedy Sergey约飞、诉文森特和a·亚历山大“Inception-v4 inception-resnet和剩余连接对学习的影响,“人工智能学报AAAI会议2017年,卷。31日。视图:谷歌学术搜索
  13. w·戴,a . Mujeeb m . Erdt, a . Sourin“焊接缺陷检测在自动光学检查,”先进的工程信息101004年,43卷,文章ID, 2020。视图:出版商的网站|谷歌学术搜索
  14. Y.-S。邓,A.-C。罗,蔡明俊。戴”,构建一个自动使用深层神经网络缺陷验证系统pcb缺陷分类,”学报》2018年第四信号处理的前沿国际会议(ICFSP)普瓦捷,页145 - 149年,法国,2018年9月。视图:出版商的网站|谷歌学术搜索
  15. 高木涉,y . a .铃木公司总裁堀尾t . et al .,“4-ch x 10 gb / s到光学与光电互联包和光学波导PCB分开,”学报2010年IEEE CPMT研讨会,页1 - 4,IEEE,东京,日本,2010年8月。视图:谷歌学术搜索
  16. A . Alique r·e·哈伯r·h·哈伯s Ros和c·冈萨雷斯的神经网络模型预测铣削过程中切削力。进步的一项研究在实际情况下,”学报2000年IEEE智能控制国际研讨会。与第八届IEEE地中海举行联合会议上控制和自动化IEEE,页121 - 125年,佩特雷,希腊,2000年7月。视图:出版商的网站|谷歌学术搜索
  17. 张h . l .江和c·李,“厂商Cs-resnet:残余卷积神经网络用于PCB外观缺陷检测,”专家系统与应用程序文章ID 115673卷,185年,2021年。视图:出版商的网站|谷歌学术搜索
  18. n . Dimitriou l . Leontaris t Vafeiadis et al .,“深度学习框架,用于模拟和缺陷预测应用于微电子学,”仿真建模实践和理论文章ID 102063卷,100年,2020年。视图:出版商的网站|谷歌学术搜索
  19. 答:伊尔丝玛丽亚Schwebig和r . Tutsch编译使用卷积神经网络的训练数据集支持自动检验流程行业基于4.0电子制造业,”传感器和传感器系统杂志》上,9卷,不。1,第178 - 167页,2020。视图:出版商的网站|谷歌学术搜索
  20. 黄g . l . Van Der Maaten z . Liu和k·温伯格,“人口回旋的网络连接,”《IEEE计算机视觉与模式识别会议火奴鲁鲁,页4700 - 4708年,美国,2017年7月,你好。视图:出版商的网站|谷歌学术搜索
  21. p . k . Srimani诉Prathiba,“自适应PCB缺陷检测和分类、数据挖掘方法”印度科学和技术杂志》上,9卷,不。44岁的1 - 9,2016页。视图:出版商的网站|谷歌学术搜索
  22. x z张,王,刘,l .太阳l . Chen和郭y,“PCB视觉缺陷的自动识别方法,”学报2018年国际会议上传感、诊断、预测和控制(SDPC)西安,页138 - 142年,中国,2018年8月。视图:出版商的网站|谷歌学术搜索
  23. f . Castano s Strzelczak a . Villalonga r·e·哈伯和j . Kossakowska”传感器可靠性cyber-physical系统使用物联网数据:一个文献综述和案例研究中,“遥感,11卷,不。19日,第2252页,2019年。视图:出版商的网站|谷歌学术搜索
  24. a . Villalonga g . Beruvides f . Castano, r·e·哈伯”云工业cyber-physical系统数据驱动的推理:4.0审查和用例一个行业试点,“IEEE工业信息,16卷,不。9日,第5984 - 5975页,2020年。视图:出版商的网站|谷歌学术搜索
  25. d·汉问:刘,w .粉丝,“一个新的图像分类方法使用cnn学习和网络数据传输,”专家系统与应用程序卷。95年,43-56,2018页。视图:出版商的网站|谷歌学术搜索
  26. k . x张,他任美国,j .太阳,“深残余学习图像识别,”《IEEE计算机视觉与模式识别会议拉斯维加斯,页770 - 778年,NV,美国,2016年6月。视图:出版商的网站|谷歌学术搜索
  27. 诉乌达Sameer和r . Naskar深暹罗网络有限源相机识别标签分类,“多媒体工具和应用程序,卷79,不。37岁,28079 - 28104年,2020页。视图:出版商的网站|谷歌学术搜索
  28. 保z, x, y, b . Wang问:一,和b . Lei“暹罗网络度量学习对于sar目标分类为基础,”诉讼的雪茄烟,2019 - 2019年IEEE国际地球科学和遥感研讨会IEEE,页1342 - 1345年,2019年7月,日本横滨。视图:出版商的网站|谷歌学术搜索
  29. r·穆罕默德·j·拉瓦希德荷,m·阿卜杜拉,“机器学习与过采样和采样技术:研究和实验结果,概述”学报2020年11日国际会议信息和通信系统(ICICS)IEEE,页243 - 248年,马林,约旦,2020年4月。视图:出版商的网站|谷歌学术搜索
  30. g . Collell、d . Prelec和k·r·帕蒂尔”一个简单的插件装袋合奏基于threshold-moving二进制和多级分类不平衡数据,”Neurocomputing卷,275年,第340 - 330页,2018年。视图:出版商的网站|谷歌学术搜索
  31. p·考尔和a . Gosain”比较过采样采样方法的行为的类不平衡学习结合类不平衡问题,噪音,”基于信息通信技术的创新页,23-30 Springer,纽约,纽约,美国,2018年。视图:出版商的网站|谷歌学术搜索
  32. n、h·丁,j·杨,r . Au和t . f . a .和“深合奏为阿尔茨海默病的分类学习,”生物医学信息学杂志文章ID 103411卷,105年,2020年。视图:出版商的网站|谷歌学术搜索
  33. h . Gweon x张,教务长,“移动阈值方法解决类不平衡问题和他们的应用程序多标记分类”学报》2020年第四届国际会议在图像处理方面的进步成都,页72 - 77年,中国,2020年11月。视图:出版商的网站|谷歌学术搜索
  34. r·e·哈伯g . Beruvides r . Quiza和A·埃尔南德斯,”一个简单的多目标优化方法,基于叉”IEEE访问5卷,第22281 - 22272页,2017年。视图:出版商的网站|谷歌学术搜索
  35. j .空白和k . Deb Pymoo:多目标优化在Python中,“IEEE访问,8卷,第89509 - 89497页,2020年。视图:出版商的网站|谷歌学术搜索
  36. k . Deb, A .普拉塔普,美国阿加瓦尔和t . Meyarivan”一个快速和精英多目标遗传算法:nsga-ii,”IEEE进化计算》第六卷,没有。2、182 - 197年,2002页。视图:出版商的网站|谷歌学术搜索
  37. k . Deb和h . Jain,”进化的许多客观优化算法使用reference-point-based nondominated排序方法,第一部分:箱约束,解决问题”IEEE进化计算,18卷,不。4、577 - 601年,2013页。视图:出版商的网站|谷歌学术搜索
  38. 基于k . Deb和j·桑达尔”,参考点使用进化多目标优化算法,”学报》第八届年会在遗传与进化计算,页635 - 642,西雅图,华盛顿d . C。美国2006年7月。视图:出版商的网站|谷歌学术搜索
  39. 傅g·k . Li r . Chen, x姚明,“Two-archive进化的约束多目标优化算法,IEEE进化计算,23卷,不。2、303 - 315年,2018页。视图:谷歌学术搜索
  40. 谢他j . j . Liu, y et al .,“Illumination-invariant浮选泡沫颜色测量通过瓦瑟斯坦基于距离cyclegan还利用约束,“IEEE控制论,51卷,不。2、839 - 852年,2021页。视图:出版商的网站|谷歌学术搜索
  41. c .加宾风、朱x和o .品牌“辍学与批量标准化:其影响深度学习的实证研究,“多媒体工具和应用程序,卷79,不。2,1-39,2020页。视图:出版商的网站|谷歌学术搜索
  42. 诉罗马”,内存容量阈值的神经网络和解决线性单元激活,“暹罗的数学数据科学》杂志上,卷2,不。4、1004 - 1033年,2020页。视图:出版商的网站|谷歌学术搜索
  43. m·林问:陈,美国严,“网络的网络,”2013年,http://arxiv.org/abs/1312.4400视图:谷歌学术搜索
  44. j . Akosa“预测准确性:误导的性能测量高度不平衡数据,”诉讼的SAS全球论坛,12卷,2017年。视图:谷歌学术搜索
  45. w c h .郭h . Liu Wu智,y, w .她,“物流歧视g-mean和f-measure不平衡问题,“智能和模糊系统杂志》上没有,卷。31日。3、1155 - 1166年,2016页。视图:出版商的网站|谷歌学术搜索
  46. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”先进的神经信息处理系统25卷,第1105 - 1097页,2012年。视图:谷歌学术搜索
  47. b . Zoph诉Vasudevan、j . Shlens和v . l . Quoc“学习转移体系结构可伸缩图像识别”《IEEE计算机视觉与模式识别会议,页8697 - 8710,盐湖城犹他,美国,2018年6月。视图:出版商的网站|谷歌学术搜索
  48. m . d . Zeiler和r·费格斯“可视化和理解卷积网络”欧洲计算机视觉的诉讼施普林格,页818 - 833年,苏黎世瑞士,2014年9月。视图:出版商的网站|谷歌学术搜索
  49. a·g·霍华德·m·朱b . Chen等人“Mobilenets:高效移动视觉卷积神经网络应用程序,”2017年,http://arxiv.org/abs/1704.04861视图:谷歌学术搜索
  50. m . Tan和问:“Efficientnet:反思为卷积神经网络模型扩展,”机器学习的国际会议PMLR,页6105 - 6114年,长滩,CA,美国,2019年6月。视图:谷歌学术搜索

版权©2021伊琳苗族等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。


更多相关文章

PDF 下载引用 引用
下载其他格式更多的
订单打印副本订单
的观点195年
下载175年
引用

相关文章

文章奖:2020年杰出的研究贡献,选择由我们的首席编辑。获奖的文章阅读