文摘

Few-shot分割是一项具有挑战性的任务由于有限类线索提供的一些注释。发现更多的类线索从已知和未知类few-shot分割的关键。现有的方法生成类线索主要来自共同的线索内部新类,支持图像和查询图像之间的相似性度量对前景区域进行定位。然而,支持图像不够充分衡量相似因为支持的一个或几个面具不能描述的对象大变化的新类。在这篇文章中,我们捕捉类中所有图像信号通过考虑未知的类,即。,not only the support images but also the query images are used to capture the foreground regions. Moreover, the class-level labels in the known classes are also considered to capture the discriminative feature of new classes. The two aspects are achieved by class activation map which is used as attention map to improve the feature extraction. A new few-shot segmentation based on mask transferring and class activation map is proposed, and a new class activation map based on feature clustering is proposed to refine the class activation map. The proposed method is validated on Pascal Voc dataset. Experimental results demonstrate the effectiveness of the proposed method with larger mIoU values.

1。介绍

图像分割(1)旨在段对象区域从图像,它是许多计算机视觉任务的基础(2]。基于基于深度学习方法(3- - - - - -7),现有的分割模型可以细分对象当给出足够的注释(8]。然而,现有的分割方法仍然有两个缺点。首先,注释生成费时。注释的数量通常是如此之小,很难训练分类模型从几个注释。另一个是分割模型工作在新的类,即。,the segmentation models only recognize the objects in the training dataset and cannot segment regions of classes unknown.

来解决这个缺点,few-shot分割(9- - - - - -14提出了]。给定一组图像的新类,一些注释(支持图像),few-shot分割的目的是部分地区的查询图像有效。然而,炼油细分模式的直观法的一些注释是被证明是无效的。Few-shot细分面临的挑战发现对象线索从有限的注释。为此,研究人员已经提出了很多方法来提高few-shot分割(15- - - - - -17]。这些方法可以概括为分割线索从现有已知类的注释,注释是足够的训练模式。因此,转移的class-agnostic制导模型分割的支持面具查询面具可以训练首先然后用于参考阶段直接定位查询图像前景的地区。一些策略如面具转移和原型使用功能。few-shot分割已明显改善。

同时,few-shot分割仍面临着缺乏对象先验尽管许多现有的注释使用数据集。两个原因导致这样的挑战。首先,组内的有很大的差异,这使得已知的类之间的知识转移和新类非常困难。其次,组内存在很大的差异。因此,一些注释不能描述所有的类和类型会导致错误的指导。换句话说,前台先验仍受限于当前few-shot分割方式。

在本文中,我们提出一个新的few-shot分割方法,考虑两个方面,即组内的线索和同类线索捕捉更多足够细分线索从已知和未知类。第一个捕获现有类之间的语义关系和未知的类,用于捕获有识别力的线索通过比较现有的类和未知的类。第二个抓住了共同的线索组内,即共同特性的查询和支持捕获图像来定位对象。这两个方面是通过类激活地图(摄像头)。一个分类模型只考虑类级别标签首次建造。然后,提取类激活映射基于反馈分析。后来,由于有识别力的地区通常是小,我们扩大区别的区域使用功能聚类方法指导下面具的支持。最后,凸轮引入few-shot分割掩模作为提高注意力地图查询图像分割。

该方法的贡献如下:(1)新few-shot分割方法基于分割线索组间和组内提出(2)类活动映射用于捕获细分因素,并提出了一种新的关注模块添加类激活few-shot分割网络地图(3)一个扩展方法提出了基于聚类的方法扩大类激活地图

Few-shot分割目标与几段地区的新类注释的图像,这是一个基本的任务在计算机计算(18,19]。few-shot细分任务总是作为一个信息指导模型,制定的常识,可以用于分割的任务是学到的分支之间传输,支持分支和查询分支。有两个关键组件在现有few-shot分割方法,其中第一个组件是一个类之前提取模块支持分支,和第二个组件是一个指导分支机构之间的网络提取的知识转移。

至于类提取之前,提出了多种类型的类之前,可以进一步分为体重依赖型剂量方法和基于原型的方法。体重依赖型剂量方法考虑分类器作为类之前的重量。最具代表性的工作OSLSM[体重依赖型剂量方法10],它利用一个条件分支生成参数查询分支。

当前最先进的方法是基于原型的方法。基于原型的方法可以进一步分为全球原型,融合全球和当地的原型,原型的背景。全球基于原型的方法考虑支持分支上的深度特性转换成类原型,例如,PANet [20.]和CANet [21)学习一门职业专用全球原型蒙面平均池操作。

第二种类型的基于原型的方法需要同时考虑全局和本地的原型和有能力提取特征与语义知识。最具代表性的方法是PPNet [22]和PMMs [22),第一个方法分解整体类表示为一组与k - means part-aware原型,第二个关联不同的图像区域与多个原型来执行基于原型的表示与援助的EM算法。

第三种类型的基于原型的方法使用背景原型来增强前景的语义知识。最具代表性的方法是MLCNet [23]和SCNet [24),第一个方法引入了一个矿业分公司利用潜在的通过转移subclusters小说类,第二种方法生成self-contrastive背景原型直接从查询图像,使建设完整的样本对补充和辅助分割任务。

至于指导支持部门之间网络的设计和查询部门,提出了多种类型的指导模块,可以进一步分为特性指导网络和参数层指导网络。级指导根据提取的特征进行相似性传播不同的分支。代表方法包括PFENet [25),生成前面罩基于余弦相似性特征,然后采用浓缩特性模块来传播这种相似性在多个分辨率。中心思想(26)提出了一种非参数和class-agnostic转换方法,地方特色的关系计算高维矩阵嵌入空间基于余弦距离,然后从低级的本地关系映射到高级语义线索与注释矩阵的广义逆矩阵。参数层指导网络考虑最后一个特定的模型参数层类之前,使用的参数变换支持部门查询部门实现指导。最具代表性的工作类(27),在分类层进行指导;它提出了分级机重量变压器动态适应支持集训练分类器的权重每个查询图像归纳方法。

3所示。该方法

3.1。该方法的管道

该方法的管道图所示1,该方法包括四个步骤:分类步骤中,CAM生成步骤,面具生成步骤,面具细化步骤。分类步骤是训练一个分类网络通过考虑所有现有的类和新类基于映像级别标签只激活地图所表示的类和输出未知类的区别的区域通过梯度反馈。然后,从最初的凸轮通常是非常小的,CAM生成步骤扩展了凸轮使用集群战略。之后,面具生成步骤生成的分割掩模软值基于掩码传输策略生成的凸轮在第二步是用作增强注意力地图查询的功能形象。最后,面具细化步骤是提高基于经典分割的分割掩模框架。我们接下来详细的四个步骤。


图1
该方法的管道。
3.2。分类的步骤

分类步骤的目的是训练一个分类模型,考虑到已知的类和新类和提取新类的区别的区域不同的现有类的新类。因此,新类的粗略位置查询中可以获得图像。

具体地说,一个训练数据集 包括现有的类,首先建立了新类。在这里, 由现有类的号码吗 。 是图像的新类。基于所有类,分类网络的训练,并分类映射 使用Grad-CAM方法提取。

与此同时,区域通常是小是因为粗糙的映像级别标签不能获得对象的整个地区,但小范围之内。下一步扩大强调集群区域使用功能。

3.3。CAM生成步骤

CAM生成步骤扩展类激活地图基于区域定位的初始步骤可以被视为类中心,和其他与该地区突出的相似像素可以视为对象区域。因此,我们使用聚类方法得到相似的像素。

具体来说,CAM生成步骤包含三个子步骤:像素集群,集群选择和凸轮的一代。在第一步中,k - means聚类(28)用于集群像素 集群基于深度特性分类步骤中获得的。为每个集群中,每个像素都激活价值在课堂上激活地图,和集群的平均值是通过激活值的平均值。像素的平均值代表了重要的类,和的平均值作为激活值集群中的所有像素。因此,一个新的类激活地图 是获得。

3.4。掩码生成步骤

掩码生成步骤部分前景区域查询图像的基于类的激活地图 。这里,few-shot分割网络使用,基于转移和类激活地图 是嵌入到网络加强指导。

3.4.1。Few-Shot分割网络

few-shot分割网络构造的方法(26),这个想法是为了获取查询的面具 (与大小 )基于如下的关系: 在哪里 和 分别查询面具,面具和支持,两面具被重塑成列向量。 矩阵乘积的吗 和 ,与大小 。它是在看到价值 意味着中的值 和 所有的价值。否则,该值 是零。

一次 众所周知,查询面具可以得到

因此,变化得到矩阵乘积few-shot分割问题 ,可估计的功能相似的像素支持和查询图像,即。前景像素有相似的特征,有相似的距离值。否则,距离值为零。

根据上面的公式,few-shot分割网络可以构建一个基于两个分校网络,指导模型的公式(2)。网络如图1。

具体来说,支持图像 支持下面具 和查询图像 ,基于两个分校网络用于提取像素特征。一个是支持部门,支持图像的提取特征 ,,另一个是查询的查询分支,提取特征的形象 。然后,相似矩阵 的 和 通过计算离散余弦距离计算,在哪里 在哪里 值的位置吗 。 和 是 th特性和 th特性 和 。 是离散余弦距离。因此, 是指像素的相似性,这是类似于面具的相似关系,并可用于估计矩阵乘积 。

然后, 用于估计矩阵产品 并用于获取查询通过面具(2)。

请注意,估计 使用像素的特性是具有挑战性的。因此,我们使用支持面罩过滤通过element-wise生产前景区域。

3.4.2。通过凸轮功能增强

不同于few-shot分割方法(26),我们介绍了类激活映射带有歧视的线索通过所有课程来提高查询图像的特性。具体来说,如图1分类,查询图像发送到网络形成的初始分类地图。然后,使用聚类算法细化类激活地图。类激活地图然后用作注意力地图提炼的深层功能查询图像,和精制特性指导查询图像的分割。

3.5。面具细化步骤

few-shot分割分支的输出的软面具查询图像。获得二进制掩模,一个阈值可以用来获得硬软面具的面具。然而,结果是敏感阈值的选择。因此,分割掩模是用来段最后从柔软的面具,面具的软面具作为前景概率图,并进行分割网络努力获得最终的分割掩模。我们使用的方法(8)来实现面具细化。

4所示。实验结果

4.1。数据集

我们下一个验证该方法基于帕斯卡Voc数据集由20类。与现有few-shot分割方法相似,20类分为两类。一个是火车few-shot分割网络训练集。其他的测试集验证网络的分割质量。充分验证few-shot分割模型,使用四分裂。细节是在表中找到1。

表1
帕斯卡Voc的详细分解2012数据集。
4.2。实现细节

我们在Titan-XP GPU实现我们的方法。Pytorch用于实现我们的方法。网络是由亚当优化器优化初始学习速率1 e−4。等骨干VGG16、ResNet50 ResNet 101用于充分的评价。基于ImageNet pretrained骨干网络(29日)用于训练。

4.3。主观的结果

我们首先在图显示一些主观的结果2,输入图像、预测结果、结果显示和地面真理。看到的是预测结果与地面真理的结果类似,这表明我们的方法可以部分这些新类成功的图片。


图2
该方法的分割结果。
4.4。客观结果

我们客观地评价该方法mIoU和FB-IoU值通常用于few-shot分割评估。结果如表所示2,1次和5岁意味着few-shot分割和五个支持注释,分别。三个骨干VGG16等ResNet 50, ResNet 101被认为是。我们可以看到,101年ResNet获得最好的结果由于深层网络。结果ResNet 50比VGG 16,这也是造成更深的网络,捕捉更多的语义功能。

表2
比较与SOTA帕斯卡- 数据集。
4.5。与现有的方法比较

我们也比较方法与现有的最先进的方法。比较方法是显示在表中2。看到,我们的方法优于这些比较的方法,证明该方法的有效性,尤其是对方法的比较(26),我们的方法可以视为一个改进的方法26]。看到我们的方法是比的方法26)演示了我们的策略的有效性,介绍了类激活映射获取线索组间和组内。

4.6。烧蚀研究

我们下一个展示烧蚀的结果。最初的凸轮和改进凸轮是消融研究。骨干ResNet 50。结果如表所示3所示,mIoU值。是见过原始凸轮也能导致改进。与此同时,我们的改进凸轮可以进一步提高的结果,这表明事实集群策略是一个有用的方法来提高凸轮的地区。

表3
帕斯卡尔-消融研究 数据集和ResNet 50骨干。

5。讨论

现有few-shot分割方法通常集中在学习class-agnostic模型,基于阶级之间的水平。这样class-agnostic模型会导致好的泛化新类,但是还缺少类线索的新类。现有class-agnostic模型的基础上,我们试图添加新的细分信号通过歧视线索组内的和共同的线索组内,两组间和组内的水平。因此,可以通过我们的方法得到更好的分割结果。

看到我们的方法是基于方法(26](LTM),它提出了一个few-shot分割算法通过估计的关系矩阵的面具是一个有趣的想法。然而,我们的方法是不同的从中心思想26]。首先,我们的主要贡献是激活使用类图来捕获分割线索组间和组内,不考虑(26]。其次,LTM添加一个关注的模块,可以添加凸轮分割线索提高分割。因此,我们的方法可以被认为是一个扩展中心(26有更好的分割结果。”

6。结论

本文提出了一种新的few-shot分割方法使用类激活映射增强代对象先验通过考虑共同的线索组内和组内的区别的暗示。该网络由四个步骤组成:分类步骤,CAM生成步骤,生成步骤面具,面具细化步骤,用于生成初始凸轮通过类分类,生成凸轮通过特征聚类,生成细分面具,分别和细化分割掩模。该方法是在帕斯卡Voc数据集进行验证。实验结果表明,考虑共同线索的同类和歧视的组内的可以提高few-shot分割大借据的值。

数据可用性

可从数据集用于验证https://host.robots.ox.ac.uk/pascal/VOC/。列出详细的结果。更多的结果可以从相应的作者找到合理的请求。

的利益冲突

作者宣称没有利益冲突。

确认

本文部分由中国国家自然科学基金(51577086);江苏省六大人才高峰(TD-XNY004);和江苏高校重大科研项目(19 kja510012)。