文摘

混合缺陷已成为越来越受欢迎的在缺陷检测和圆片地图中最热门的研究领域之一。后处理方法解决重叠的问题在大规模混合缺陷检测速度不佳,这对快速缺陷检测是不够的。摘要fast-soft nonmaximum抑制(fs-NMS)方法,提出了解决这一问题。比分更新检测盒的优化分布函数。此外,本文分析了fs-NMS方法在晶圆缺陷检测的性能。作为一个点球,逻辑函数,使用单级和两级探测器进行实验。最后的结果表明,与soft-NMS相比,单级和两级探测器的效率平均提高了9.63%和21.72%,分别。

1。介绍

缺陷检测是目标检测的一个重要应用,收到了很多的关注。半导体行业,晶片地图缺陷检测已成为一个主要的缺陷检测问题。半导体制造过程涉及复杂的步骤,从而导致缺陷由于众多原因(1,2]。观察和识别缺陷模式预防缺陷的生成至关重要。缺陷模式识别(DPR)为工程师提供了一个参考处理生产方面问题通过识别晶圆片表面缺陷(3]。目前,逐步减少晶片尺寸和生产过程的复杂性的增加,混合复杂缺陷的数量(结合多个基本缺陷)一直在增加。当混合生成缺陷,缺陷检测变得更加复杂,特别是当测试数千万晶片地图在工业生产中,需要高水平的准确性和速度,在线和离线。

在文献中提出了许多方法来解决这一问题的混合晶圆缺陷检测近年来,从手动功能识别深度学习网络自动特征识别。深卷积神经网络具有很好的性能在计算机视觉4,5]。当应用于工业领域的图像检测、基于深度学习对象检测方法已被证明是很有益的,因为工程师不需要开发特定缺陷模型和数据驱动的方法不需要特定领域的先验知识。

在深度上优于探测器,二级探测器(如R-CNN [6]系列)提高精度而缺乏效率,和单级探测器(例如,YOLO[意思7],SSD [8],RetinaNet [9])重新设计整个网络结构但部分失去精度。阶段的回归的候选人盒子,这些方法后处理。后处理的主要目的是消除冗余的候选人。提取的候选框会产生杂乱检测在本地化的细化,比如多个提取候选框将退化到相同的感兴趣的区域(RoI)在后处理阶段。探测器使用贪婪nonmaximum抑制(贪婪的NMS)算法来减少假阳性的数量框。贪婪的NMS提出了通过中间人和组织(10),和一个边界框最大检测部分和抑制周边框选择使用一个预定义的十字路口在联盟(借据)阈值。在检测复杂混合晶圆缺陷深卷积神经网络基础上,贪婪的NMS大大减少假阳性的筛选框在后处理阶段,但混合缺陷仍难以检测。这将导致质量检测器失去积极的盒子在某个阈值,而导致的平均精度降低。在混合缺陷检测,soft-NMS [11)可以消除更多的假阳性框,增加准确性极大。然而,在工业检测,检测成千上万的晶圆缺陷非常低效,往往不足。

为了解决这个问题,本文提出了一种改进的fast-soft nonmaximum抑制(fs-NMS)后处理算法来提高检测效率通过优化惩罚项的分布soft-NMS [11),以便更好的应用于大量的工业生产。实验是进行一些基线探测器。结果显示对象的有效性检测晶片地图的效率和精度检测和后处理阶段后取代fs-NMS。结果表明,我们的方法是有效的单级和两级探测器。

本节主要介绍了晶圆图的缺陷检测基于深度学习和通用对象检测算法(部分2.1),然后阐述了传统NMS存在的问题及其改进算法(部分2.2)。

2.1。晶圆检测和通用对象检测地图

晶圆检测地图。最近,许多研究试图将晶片地图基于卷积神经网络(cnn)。Nakazawa和Kulkarni12)提出了一个CNN晶片地图模式分类方法和图像检索和22个类型的混合缺陷的分类进行了研究。混合缺陷有很大程度上的相互遮挡,只和平均识别精度达到91%。然而,缺陷检测中使用的精度远未足够。Kyeong和金1]cnn应用于混合缺陷的晶片地图和模式分类为每个单缺陷模式建立了一个单独的模型(是否有相应的模型,当多个缺陷模式混合在一个晶片),它包含16个缺陷类型。混合缺陷的测试集,每个晶片地图0.13年代的检测效率和精度是98%。然而,大量的晶圆缺陷检测的地图,Kyeong的方法提高了精度和降低了检测效率。

通用对象检测。近年来,由单级和两级推广对象检测探测器。两级探测器探测任务划分为两个阶段,即提取RoI阶段和RoI的分类和回归阶段。R-CNN [8)使用选择性搜索方法(13)在输入图像中定位roi,然后分类器进行分类。SPP净(14),快R-CNN [15],和更快的R-CNN [16逐步发展。随着该地区建议网络的出现(RPN) [16),探测器的效率大大提高,可以训练有素的端到端和探测器。anchor-based方法广泛用于目标检测,提出R-CNN是一个里程碑。自那时以来,红外系统(17]结合ResNet [18]和ResNeXt [19),这对小目标检测是至关重要的,和小对象识别的性能大大改善,检测效率可以达到5 fps下一个GPU。R-FCN [20.)取代了完整连接层位敏分数图,翻倍的探测效率与16]。级联R-CNN [21]探索R-CNN和扩展它的级联结构多级探测器,这借据阈值增加火车的一系列探测器解决过度拟合的问题在推理的培训和质量不匹配。然而,这样的级联探测器产生更多的参数,导致检测效率下降。面具R-CNN [22]添加面具分支基于[16),精制使用多任务学习的检测结果,并预测其面具检测边界框的时候,所以它的探测效率仍然可以达到5 fps与一个单一的GPU。

另一方面,单级探测器(如YOLO[意思7,23]和SSD [8)减少RoI提取和直接预测阶段的边界框和分类概率与深卷积神经网络,这是简单和速度比二级探测器。之后引入局部损失(10),其精度提高。同时,它旨在解决问题的积极的和消极的样本之间的严重失衡,但RetinaNet的总体网络探测效率远不如YOLO系列SSD意思的。

2.2。Nonmaximum抑制

NMS广泛应用于计算机视觉后处理算法。一般对象检测方法(部分2.1),手动处理和贪婪的NMS仍作为后处理方法。最近,soft-NMS [11)提出了一种改进的NMS,减少邻候选人的分数盒子通过添加一个点球,而不是丢弃的候选框得分低于阈值。在改善AP算法令人满意,但仍有候选人高重叠假阳性,和算法效率是不够的。学习NMS (24)设计了一个复杂的深层神经网络,只需要盒子,实现NMS分数作为输入。健身NMS (25)提出了回归对象框匹配借据损失最大化,这是结合(11)提高精度,是收敛的。自适应NMS (26)考虑稀疏和密集的人群中对象检测之间的关系。增加了NMS阈值保留邻近检测盒高重叠基于[11拥挤的场面,是一种有效的解决方案和模块密度预测是专为学习密度的分数。KL损失(27)提出了一个边界框回归丧失学习转换之间的区别和边界框的位置,估算本地化的信心以及基线的位置,并预测其复杂的概率分布指导NMS保留更精确的局部边界框。

上面的后处理一般对象检测方法是有效的手段,但随着参数或网络结构的复杂性增加,推理效率反而降低。目前,大多数网络仍然使用贪婪的NMS的后处理方法,这需要一个快速的后处理算法解决效率问题,确保精度不会丢失。

3所示。提出Fast-Soft Nonmaximum抑制算法

在本节中,提出了晶片地图详细后处理算法。所面临的问题,soft-NMS首先分析(部分的问题3.1),然后改进思路和方法阐述了(部分3.2),最后,介绍了培训和推理过程(部分3.3)。

3.1。Soft-NMS问题

在晶圆映射检测任务中,后处理阶段是至关重要的,检测效果不满意,因为贪婪NMS修剪分支是很严格的。如图1对象重叠时,划痕的分数将是不够的。尽管一些提取检测箱盖的部分不受最高分的盒子,他们仍然可以提取对象,提取检测盒的分数很低。然后,一些积极的样本将被贪婪的NMS阈值过滤。

(一)
(一)
(b)
(b)
图1
混合晶圆缺陷被掩盖R-CNN地图与传统贪婪NMS的后处理方法。每个地图都包含两个对象,一个用于“Loc”和一个“抓”(这两类属于六种基本晶片地图,定义在[28])。当图像经过探测器网络,一个类别分数,以及后处理执行基于分数。(一)“疯狂的”得分0.96和0.99 (b)“Loc”分数。

为了解决这个问题,soft-NMS [11)算法提出了一种改公式如下所示(26]。

点球被添加到分数在贪婪的NMS借据大于阈值 。其他检测盒的分数 高重叠得分最高的盒子 需要减少,这是一种很有前途的方法提高贪婪NMS,和检测盒的分数较高的重叠与M应该腐烂的更多,因为他们有较高的误报率。在soft-NMS,线性衰减项(2)和高斯衰减项(3)设计。自从借据不是连续价值,线性衰减项生成一个突然的点球,而高斯衰减项添加冗余参数和算法时间复杂度 。晶片检测地图生产密集堆积探测器将会非常不友好,特别是,它将导致错误检测率非常高的检出率阳性样本不满足特定需求,将对工业生产有更大的影响。Soft-NMS有效地解决了晶片的密度重叠问题地图。然而,当它应用于工业生产、效率的soft-NMS测试阶段可能远远不够。与参数的增加计算复杂度增加,导致处理大量样品的低效率。对于这个问题,下列条件强加在后处理过程:(1)工业检验晶片地图缺陷的数量太大,和检测速度提高的前提下保证检测精度(2)示例消除过程不能影响正负样本的分布,一个不连续的惩罚会导致突然的变化排名队列,以确保点球罚得分需要连续罚值(3)实施惩罚,当得分最高提取盒之间的重叠范围内和其他盒子高,处罚需要增加,反之亦然

3.2。改善fs-NMS

根据上述分析,逻辑函数是用来解决这个问题,如方程(4)。 在方程(1), 设置在这里, ,从这个转换。

当候选人的借据分数盒子落入某一阈值范围,这个分布是指数分布,这是一个广义线性模型,如二项分布和泊松分布。物流功能基于广义模型作为惩罚项。逻辑函数是一个连续函数的范围从0到1。这个属性的逻辑函数确保物流模型估计的概率不会大于1或小于0,这可以作为罚函数。值得注意的是,如上所述3.1,借据不是一个连续函数,而是一个非线性函数组成的解释变量 。如果它是非线性的,那么实施突然惩罚会导致排名的变化,可以转换成一个线性函数。它将转化为一个线性函数,结果变量和自变量会转化为线性关系,和惩罚值将成为一个连续的值,这将不会影响到排名。如果最高提取盒 在每个候选人范围重叠度高 在这个范围之内,点球需要逐渐增加,惩罚项接近0.5, 。得分最高的盒子 候选人的范围有重叠率低 在这个范围内。相反,点球应该减少,点球趋向于0。分数较低的结果,阳性样品和检测困难无法轻易从排名队列中删除。

此外,当方差达到一定程度时,标准正态分布的结果成为类似于[物流功能29日]。与高斯惩罚相比,物流功能有更少的参数。同时,分布函数的维数降低,计算的数量。尤其是推理对象检测,它会有很好的结果以及改进的速度。

输入:
最初检测框的列表吗
包含相应的检测分
是NMS阈值
开始
而 做
为 在 做
如果 然后
结束
结束
结束
返回
结束
算法1
fs-NMS算法。

算法1显示了fs-NMS算法。 表示最后的检测组,这意味着检测框筛选将排序的算法 ,和最终的输出目标框和分数 将获得的。从一组提取盒 与相应的分数,分数 选择第一和从组吗 设置 。然后,我们计算重叠 (在设置 )和 ,并比较其与 。一个点球将比分 与重叠度大于提取盒 。其他成绩保持不变,所有提取盒可以排序 。其中, 的fs-NMS优化的点球分布soft-NMS根据(5),这使它更有效率。整个算法流程图如图2。


图2
拟议中的fs-NMS算法的流程图。
3.3。实现细节

本节阐述了在数据集、评价指标和experiment-specific参数,并详细描述了网络的训练和推理过程。模型pretrained ImageNet (30.)是用于初始化的实验检测网络。完整的培训和测试代码是建立在Pytorch [31日]和mmdetection [32]。的设置遵循mmdetection如果有些hyperparameters不是提到在这个实验中。

数据集。实验6类晶片地图数据集(28]使用2 382验证集和429 k训练图像和测试图像。有3.1 k晶片本地图(wbm),包括6.2 k的对象。在晶圆测试中,晶片上的最终测试结果存储在WBM中,包括二进制值,和WBM有六个经典缺陷模式(f)在我们的实验中。根据(33),这些通常分为这些类别,即。,“Center,” “EdgeLoc,” “Loc,” “Donut,” “Scratch,” and “EdgeRing.” The size of each wafer map is ,和一些特定的图像信息如图3。

(一)
(一)
(b)
(b)
(c)
(c)
(d)
(d)
(e)
(e)
(f)
(f)
(g)
(g)
(h)
(h)
(我)
(我)
(j)
(j)
(k)
(k)
(左)
(左)
图3
基本类型的晶片地图。(f)和混合缺陷类型(g-l)。(一)“中心”;(b)“EdgeLoc”;(c)“疯狂的”;(d)“甜甜圈”;(e)“刮”;(f)“刨边机”;(g)“疯狂的”+“刮”;(h)“甜甜圈”+“疯狂的”+“EdgeLoc”; (i) “Center”+“EdgeLoc”+“Scratch”+“Loc”; (j) “Loc”+“EdgeLoc”+“Scratch”; (k) “Loc”+“Scratch”; (l) “Loc”+“Scratch”.

评价指标。两个评价指标是用于我们的实验。美联社和时间是用来评估网络的适用性和应用精度的统计参数( )我们的实验。接下来,如果缺陷检测效果评估和检测定位性能评估,检测指数和四个参数定义如下:

真阳性(TP):积极的预测,实际是正的。

假阳性(FP):积极的预测,实际是负的。

假阴性(FN):消极的预测,实际是负的。

真阴性(TN):积极的预测,实际是负的。(我)美联社。 正确的数量的比率预测wbm wbm的数量测试,然后呢 正确的数量的比率预测wbm wbm的所有地面真理。每个对象分类后,置信水平是一个输出和置信度阈值设置为获得一双 - - - - - - 。在不同置信度阈值,更对 - - - - - - 可以获得,的最大价值 对应于所有的回忆 大于指定的回忆 作为最大 在当前指定的回忆 。

接下来,WBM multiclassification任务分类任务,地图是所有类别的平均精度。因此,地图是用来评估整体效果如下:

与美联社的 在 - - - - - -th类和 类wbm的总数被评估。的平均精度(美联社)指标平均值美联社在借据阈值从0.5到0.95的区间0.05。盒子美联社, , 在不同的借据阈值(美联社), , 在不同尺度(美联社,小( )大小是 和介质( )大小是 )也有报道。(2)时间。时间来检测所有晶片地图测试集。运行时测量在一个NVIDIA Tesla P100 GPU。

实验设置。实验使用一个GPU训练检测器24时代,和其他模型参数表中列出1。两级探测器,基线实验使用启发式方法的初始化和优化模型。为了避免模型振动引起的大学习速率(lr)热身策略是用于最初的500次迭代,导致模型稳定缓慢。模型相对稳定后,预设lr的0.02是用于训练。其中,级联的初始lr面具R-CNN [21)和网格R-CNN (34)被设置为0.002,因为造成的损失函数梯度的散度在训练过程中发生爆炸。16和22日时代后,分别lr减少0.1。对于每个类型的探测器,图像大小调整 ,和长宽比使用相同的设计参数。探测器使用随机梯度下降优化器(SGD)体重衰变为0.0001 0.9和动量。数据集的批量大小设置为8。对单级探测器,基线中列出的具体参数表1。由于特征提取的本质的一部分,网络,图像大小和长宽比遵循mmdetection的设置。

表1
的基本实验参数设置基线。

培训。实验训练一些基线探测器,如图4。对象检测网络的主干部分的两级(RPN RoI提取阶段和分类定位阶段)使用一个模型pretrained ImageNet [30.]resnext - 101 (19),实验比较ResNet的性能(18]和ResNeXt [19网络,ResNeXt网络高于ResNet准确性。RoI的提取阶段,实验探讨了特征金字塔网络(红外系统)17]。R-CNN网络与红外系统骨干可以提取RoI特征从不同层次的金字塔。的支柱ResNeXt ResNet-FPN用于特征提取的基础上,更好的提高精度和速度(22]。在训练阶段,贪婪的NMS用于后处理的RPN提取后,阈值是0.732)项提取阶段。所有探测器都是训练有素的24时代,基线探测器分类的平均精度达到98.89%的验证集晶片地图。主干部分的单级探测器,Darknet [23],VGG [8],ResNet [9)用于特征提取。


图4
网络结构的单级和两级探测器。这些包括普通单级的总体网络结构(例如,YOLO[意思23],SSD [8],RetinaNet [9])和两阶段(例如,快R-CNN [16]和面具R-CNN [22])探测器。

推理。在推理中,贪婪的NMS被替换为soft-NMS fs-NMS后处理,分别。与两级网络结构相比,值得注意的是,在图所示的两级4,阈值为0.7的NMS用于RoI提取阶段(RPN)和fs-NMS阈值为0.5的分类和定位阶段(后完全正如层)。地图上相同数量的晶圆测试集,将大大提高检测速度相比soft-NMS [11,精度不会受到影响。单级探测器的阈值为0.45的NMS推理更好。自标准高斯处罚考虑部分3.2类似于物流功能在某种程度上,实施罚款将有同样的效果,美联社是未受影响。其次,与线性函数相比,物流功能相同的效率一般线性函数,和我们的算法的时间复杂度达到 ,这是一样的(线性处罚的3)。

4所示。实验结果

本节主要描述比较实验的结果,包括探测效率的对比推理soft-NMS和fs-NMS(部分4.1贪婪的NMS之间)和检测精度的比较和fs-NMS(部分4.2)。这些实验是进行一些基线探测器。

4.1。效率比较测试

我们的算法是首先测试一些基线探测器来更好地理解它如何影响效率。在推理,因为soft-NMS足够多的时间效率,处理方法提高了检测效率优化分布模型的惩罚。如图5两级探测器,比较实验进行面具R-CNN [22],面具得分R-CNN [36),级联面具R-CNN [21)、网格R-CNN [34,天秤座R-CNN [35]。验证了该方法的性能通过替换后处理组件。在推理中,贪婪的NMS用于RoI提取阶段,而fs-NMS用于分类和定位阶段。无论物体的相对位置或角度或不同的形象特征,探测器能找到准确的关键领域中的对象。检测精度不会受到影响;这种方法提高了检测速度。如图5二级探测器的效率,基于提取盒以平均21.72%的速度增加,特别是在面具R-CNN [22)探测器25.8%。单级探测器,进行实验YOLO v3(意思23300年],SSD (8],RetinaNet [9]。过滤阈值被设置为0.45、0.45和0.5,分别。基于萃取箱单级探测器的探测效率平均提高了9.63%。


图5
效率改善(soft-NMS相比)与基线的平均精度(mAP)和圆片地图测试集。

单级的总体时间探测器使用改进算法相比还是增加的两级探测器。由于大量萃取箱单级探测器,改的后处理算法将导致探测器效率不如贪婪的NMS的严格的修剪树枝,和检测(图的效率5)和检测效果(更杂乱提取盒将生成)不如二级探测器使用改进算法。

4.2。美联社比较测试

整个探测器的精度,实验取代只有推理的后处理,检测精度比较使用传统贪婪NMS fs-NMS,阈值的设置是一样的。烧蚀研究图所示6指控,后处理算法进行比较实验。图的横坐标6代表fs-NMS的时间,纵坐标代表地图的发展。从推理的角度,两级检测器的时间几乎是在60 ms。总体效率大于单程探测器。测试集,根据部分3.3据美联社评估对象的正确定位。的回归 相对于 更准确, 和 找对象的不同细节不同尺度的盒子。在后处理中,基线探测器的精度提高,以及在不同尺度对象的位置。根据(8),fs-NMS算法提高了检测器的平均精度为每个类别的对象的位置,和两阶段检测器映射平均增加了1.76%。


图6
时间(fs-NMS)和平均精度(相比贪婪NMS)基线和圆片地图测试集。

一些最近的单级探测器都有更好的检测精度和效率与二级探测器相比,地图显示2.7%的改善。RetinaNet提取大量的锚在提取阶段,达到100 k (9]。对于这样两级探测器(16),提取箱子的总数只有20 k,其中只有一小部分最终配合地面真理盒子。因此,anchor-based单级探测器依靠后处理算法,和提高精度高于二级探测器。总的来说,fs-NMS算法是有效的在单级和两级探测器和soft-NMS改善精度达到同样的效果。

根据表2、面具R-CNN(即使用两种类型的后处理方法。贪婪的NMS和fs-NMS)。0.014和fs-NMS获得一个改进的地图相比,贪婪的NMS。其次,实验结果表明,一些难以探测(例如,太多的重叠范围)对象出现成绩较差,如图7。同时,可以清楚地看到,该算法改后结果分数进行惩罚。

表2
贪婪的NMS与fs-NMS地图使用面具R-CNN [22)检测器。

图7
(a)贪婪NMS和(b) fs-NMS使用面具R-CNN [22)检测器。

5。结论

本文提出了一种新型fs-NMS算法检测晶片的后处理阶段地图。首先,我们讨论了几个关键问题涉及传统的低效NMS算法,并提出了一个改进fs-NMS算法来解决这个问题。检测的算法改分数盒子通过优化soft-NMS的损失分布模型,推理的目标,提高检测效率和保证精度的稳定性。与此同时,对象检测方法研究和应用的缺陷检测晶圆映射到提高工业检测的效率。

基于晶片地图数据集使用的实验。结果表明,在推理,fs-NMS算法优于传统NMS anchor-based检测精度。从测试结果,高度重叠缺陷对象会产生许多假阳性框(图7),不能完全消除。这对我们的未来研究提供了方向。

数据可用性

原始数据是https://github.com/Junliangwangdhu/WaferMap。

的利益冲突

作者宣称没有利益冲突。