文摘
如何有效地提取特征表征能力高一直是一个研究课题和挑战分类任务。大部分的现有方法主要解决这个问题通过使用深卷积神经网络特征提取器。尽管一系列优秀的网络结构已经成功的在中国的水墨画领域分类,但大多数人采用的方法只是简单的增加不同规模的网络结构和直接融合特性,这限制了网络进一步提取语义丰富和尺度不变的特征信息,从而阻碍提高分类性能。本文基于多层次关注小说模型和多尺度特性提出了融合。模型提取三种类型的从低级特征图谱,中层和高层pretrained深层神经网络首先的层。底层和中层特征图谱是由空间注意处理模块,然而高层特征图尺度不变性处理的模块来增加scale-invariance属性。此外,采用条件随机域模块融合优化的三个特征图,和随后的频道关注模块细化功能。最后,多层次深监督策略是利用优化模型更好的性能。为了验证模型的有效性,广泛的在中国的水墨画中创建的数据集实验结果这项工作表明,该分类模型的性能优于其他主流研究方法。
1。介绍
近年来,最有效的视觉识别任务是基于复杂和深度卷积神经网络(cnn)堆栈多重卷积和池层生成高层语义特征(1- - - - - -9)或其他技术(10,11]。特别,高层语义信息被广泛用于实现竞争力的性能在许多研究领域,例如,分类对中国水墨技法绘画(国际写作计划)12- - - - - -14吸引了越来越多的关注。为了进一步提高分类性能,手工艺特性提取中国国际写作计划集成与高层语义特征在一些作品。然而,本能地,高级功能从cnn和手工艺功能异构本质上。很难充分利用这些不同类型的特性分别提取的方法。
不被忽视,低级空间结构特点从深CNN架构也发挥了至关重要的作用在这些视觉识别任务。一些作品介绍,低级和高级特性从不同的层中提取(15- - - - - -17)是综合提高分类的性能。然而,在这些方法忽略的中层特征互补和可能导致最终的性能。因此,如何从网络中提取的中层特征和将它们应用于识别任务是一个很值得探讨的话题。
此外,低层、中层和高层特征从不同的层中提取的深层神经网络在图像分类任务中扮演不同的角色。简单的级联或加权平均的融合方法对这些多尺度特性不能我之间的互补特性,以获得更有识别力的表示(18- - - - - -20.]。因此,它仍然是一个困难的问题如何有效地整合这些互补的多尺度特征信息来获得更好的性能。
另一方面,从浅结构提取的特征图的网络主要包含空间结构信息,如背景,而从深层结构提取的特征图谱更抽象的语义信息。然而,许多研究工作还没有充分考虑他们的贡献在整合这些功能。因此,为了解决这个问题,注意机制提出了学习更有识别力的融合特性(21- - - - - -23]。在识别任务,介绍了空间和通道的注意机制提高有用的信息单位和抑制冗余信息单位,以便不同尺度的特征信息可以有效地利用。
解决上面提到的问题在中国国际写作计划的分类,我们的工作探索如何充分利用底层、中层、高层图像特征从不同的层次,以及如何充分利用注意力机制融合的多尺度信息实现更好的分类性能。与现有的研究相比,作者中国国际写作计划数据集的分类,我们下面突出显示关键的贡献可以和下面几节详细讨论。(我)不同于直接使用低级和高级特性的图像分类,我们提出一种混合模型,提取低,中层和高层特征表征不同层深CNN架构。至于底层和中层的特性,空间关注模块是用来过滤掉一些无关紧要的细节。,高级功能是由规模不变的处理模块增加高级功能的尺度不变的性质。(2)fusion-based条件随机场的多尺度特性是利用集成处理的三个特性。介绍了之后,一个通道注意模块分配不同的权重不同特性渠道与他们的贡献。此外,我们设计一个多层次深监督模块优化模型通过使用三种类型的加工特性。(3)我们进行一系列的实验,比较该模型与其他著名的方法作者中国国际写作计划数据集的分类。大量的实验结果表明,我们的模型达到承诺的性能,证明了模型的有效性和优越性。
本文的其余部分组织如下。一些重要的节和相关工作进行了综述2。节3,我们为作者提出的混合模型分类和详细描述它。部分4代表了实验结果和分析。结论给出了部分5。
2。相关工作
在前一节中提到的,深CNN架构,注意机制和多尺度特性融合对中国国际写作计划提高分类的性能至关重要。因此,本节将介绍这些主流的概念和相关技术。
2.1。更深层次的架构设计
许多研究人员都集中在中国国际写作计划的分类利用深层神经网络由于更好的成功实现先进的性能表征(13,14]。因此,更深层次的体系结构设计在计算机视觉任务中起着至关重要的作用。例如,CNN模型成功,AlexNet [3)显著改善性能比传统视觉识别方法的叠加顺序过滤器。然而,AlexNet架构应该改变和改善由于其有限的网络深度和过滤器内核大小。VGGNet [24]和ResNet [2]表明,增加神经网络的深度可以显著改善的质量表示和分类的性能。处理训练的收敛速度慢的问题造成网络深度的增加,批正常化(BN) [25]介绍了调节输入每一层的分布在更深的网络。此外,ResNet介绍短连接神经网络和获得更深层次网络体系结构解决问题的梯度消失。
深度学习技术的快速发展,越来越多的优秀的深层神经网络模型和激动人心的架构。深度学习模型与pre-trained和一些战略也出现了执行图像分类和识别任务。基于上述讨论,这些pre-trained深网络模型,如VGGNet,也会选择执行分类任务的中国国际写作计划在我们的工作。
2.2。注意机制
近年来,关注机制已经被证明是成功应用在视觉识别任务,如图像/视频字幕(22,26,27),图像分类(28,29日],凸起检测[8,30.),视觉问答(葡萄)31日,32]。陈等人。22)引入了一个新颖的CNN称为SCA-CNN,空间和channel-wise关注任务的图像字幕。他们评估拟议的架构在一些开放形象字幕数据和结果证明SCA-CNN的有效性。太阳et al。30.)提出了一种新颖、高效的视频眼睛固定检测模型来改善显著检测性能利用内存机制和视觉注意力机制。通过分层培训,该模型实现了改进的性能比其他先进的方法。在文献[31日],徐等人提出并应用一种新型的问题引导空间关注建筑命名空间记忆网络在酒瓶的任务。他们评估在一些可用的视觉空间记忆网络问答数据集和获得竞争的结果。
正如上面提到的,因为有强大的能力来选择注意机制区别的特性,非常适合视觉识别任务。然而,最新的方法提取低级和高级特性从不同的神经网络层深。这些方法只是简单地集成这些特性和忽略了中层功能。因此,出于本能,中层功能影响的性能是一个关键因素识别任务。因此,这些应采用多尺度特征的图像分类。由于多尺度特性之间的差异,空间注意和channel-wise注意策略用来分配大重量的重要信息,对分类结果的影响更大。
3所示。建议的体系结构
基于上述讨论,小说模型提出了基于多层次的注意机制和多尺度融合。模型主要使用注意机制来处理多尺度特征图和设计一个精心设计的特征融合策略学习更多歧视特性表征获得更好的分类性能。
该模型的总体架构如图1。这个模型在以下部分将详细介绍。
3.1。多尺度特征提取
如上所述,许多研究集中在如何设计有效的网络模型来提取低级和高级特性表征,然后融合当前视觉任务的两种类型的特性。国际写作计划领域的分类,从图像低层特征通常包含特定的中风,纹理和其他信息,在决赛中发挥重要作用分类任务。另一方面,高级功能相对代表一个很大的接受域和包含全球国际写作计划的语义特征,可进一步用于准确的分类。
在以前的研究工作中,只有低级和高级图像特征提取识别任务。因此,使用底层、中层和高层特征的同时,提出了一种多尺度特征提取和融合策略。特别是pre-trained VGG16网络是利用提取底层、中层功能和高级功能从国际写作计划表示图像。
如图所示的细节1。另外,VGG16 conv1-2特性的网络作为低级特征和conv2-2功能是用作中层功能。和conv5-3特性VGG16网络采用高级特性。一般来说,功能在不同层通常包含语义信息与不同的抽象级别,从而影响最终的分类性能。很多研究工作融合多尺度特性直接不考虑他们之间的分歧。然而,有很多冗余信息在不同尺度的特性,介绍了计算负担,导致减少分类任务的准确性。
为了解决这个问题,充分利用底层、中层、和高级特性,应采取一些策略,如注意力机制,融合多尺度特征。
3.2。空间关注模块
从上面的分析可以看出部分,由于不同贡献的不同尺度的特征分类的任务,本文提出的模型有一个空间关注模块提取后过滤无关信息的低级特征和中层功能,如图1。
例如,有一些纹理,中风的特性,和其他信息的底层和中层功能可以促进性能,和背景噪声中包含底层和中层特征图谱也可能干扰的分类,所以这些特征图谱需要过滤在像素级保留最有价值的像素区域。然而,高级功能有很大的感受野,权重的空间注意高级功能将产生更大影响底层功能,所以高级特性不处理的空间注意机制。
在此基础上,底层和中层功能映射提取中国国际写作计划处理的空间注意机制来产生更多的歧视信息。该模型首先获得底层和中层的特征图谱pre-trained VGG16网络和经历最大池 卷积运算,然后作为各自的空间注意的输入操作。
假设中国国际写作计划图像,提取的低级特征表示为 通过使用pre-trained VGG16网络, 代表低级特征地图的大小,的频道数是低级特征图。
类似于(8),增加接受域获得全球信息,两个卷积层主要应用。第一层的卷积核的大小 的大小,第二层是卷积核 ,所以具体的定义描述如下: 在哪里和在(1)和(2)和卷积操作的大小 和 ,分别。然后,利用归一化处理方法映射到编码功能 ,最后的空间注意特征图。 在哪里 在(3)是空间注意模块的参数。在(3)是一个s形的函数。精炼获得的低级功能空间注意地图权重,定义为:
中层的特性 ,类似的空间注意处理方法是利用生成一个精致的中层特征映射 。特定的操作不会被描述。基于上述操作,本文提出的模型过滤器底层和中层特征图来完成空间注意机制处理。
3.3。尺度不变性处理
不同的底层和中层的特性,该模型提取conv5-3从VGG16网络层功能的高层语义特征。而不是直接处理高级特性的空间注意机制,尺度不变性的模型发送功能模块增加高级功能的尺度不变的性质。
尺度不变性模块提出了激励的方法(33解决过度学习问题,可能是由于高层语义特征。获得更广义特征表示,高层特征图进入规模随机仿射不变性模块接受多个分支操作。
如图2,最初的高级特性进入两个分支的尺度不变性处理模块作为输入数据,分别。相应的尺度参数 和 ,在哪里 。这些尺度参数在上面的模块是均匀分布在网络的训练过程是随机在每个时代重置。特别是,这些参数被设置为所需的值0.5测试期间。
为1的尺度不变性处理模块, 表明扩张卷积核的卷积运算 ,和值1代表了膨胀率。和其他分行的卷积模块代表扩张业务的扩张率2、3和4分别。在为1处理后,高层语义特征加权和新特性通过形成element-wise添加操作。
同样的,相应的功能形成通过分公司二的处理,然后新特性 通过concat子公司获得的网络操作。为了保持相同数量的渠道和大小对应加工底层和中层的特性,这些特性 处理由一个 卷积运算获得的特性 。
3.4。多尺度特征融合基于条件随机场
从上面的讨论,不同尺度的特征图有不同的表征能力和互补性强。因此,多尺度特征图提取通过pre-trained VGG16模型。然而,如何充分利用这些多尺度特征提取的不同接受字段来提高识别性能是一个非常有价值的研究课题。目前,加权平均或级联处理多尺度特性是常用的特征融合策略,但这些策略过于简单融合功能。
条件随机场(CRF) [34已广泛应用于自然语言处理。近年来,CRF常常被使用在计算机视觉领域作为消息传递机制来完善卷积神经网络的特点。
本文提出了CRF执行融合操作实现功能学习和获得丰富的表示信息。多尺度特性融合模块基于CRF在我们的模型改进提取不同尺度的特征。具体地说,该模块动态转移互补信息从不同规模(低层、中层和高层)特征信息融合操作提高特定尺度的表现能力。
假设给定的多尺度特征图表示为: ,和优化的多尺度特征图基于CRF融合处理表示为: ,优化的特征图在哪里从最初的特征图了吗通过使用CRF模型融合处理。
具体来说,原来的多尺度特性的条件概率分布地图设置和优化的多尺度特征图集合的定义是:
在(5),是公式的参数集,分母是标准化配分函数。相应的能量函数 被定义为两个潜在的和功能:
在(6),势函数 代表原始特征图之间的相似度和优化的特征图谱。在这里,距离是用来定义相似,具体定义为:
此外,在(6),势函数 代表两个优化的特征信息之间的相关性,这是明确定义为:
在(8),表示参数用于计算两个优化的特征图谱之间的相关性 。精制特征图融合与原特征图吗和互补信息从其他优化的特征图谱,通过多次迭代,最终形成。
通过融合处理模块基于CRF,多尺度特性表征(低层、中层和高层)加工成更优化、更健壮的特征信息。
3.5。频道关注模块
优化模型,特征信息的多尺度特性融合模块基于CRF将被发送到信道模块的关注。通道的注意机制用于recorrect所有功能的渠道,渠道加强和丰富的信息功能,而无知的通道是抑制特性。因此,从图可以看出1,一个通道注意模块添加到模型中提出了这项工作。
假设优化的多尺度特征图表示为 ,在哪里 代表多尺度特征图的大小,通道的数量。
首先,特征图谱扩展成一个通道组吗 , , , ,在哪里是 - - - - - -th通道的多尺度特性。然后,每个 处理来生成一个通道特征向量 通过平均池操作。随后,两个完全连接层添加到完全捕捉相关的通道。减少模型的复杂性,介绍了Relu函数在两个完全连接层之间。之后,类似于空间注意操作,用归一化法编码特征图 ,最后一个频道关注加权特征图。
在(9),代表第一个完全连接层,代表第一个完全连接层的参数代表了Relu函数。
在(10),代表第二个完全连接层,是参数,代表了s形的函数。处理通过上述渠道关注机制后,再加权多尺度特征的地图获得,具体定义为:
3.6。多级深度监督
监督模型,以实现更好的性能,与现有的工作只会增加监督的高级特性,提出了一种多层次深监管策略,确保网络的学习效率。
如图1三种类型的优化特性表征: , , 在该模型获得。充分考虑分类损失的影响上述三种类型的优化特性表示,联合损失函数是细致的设计工作。具体来说, ,和代表相对应的损失特性 ,分别。
这个模型是专门的共同损失函数定义如下:
它可以看到从(12)的多级深度监管模型使用三级分类联合损失函数优化模型。特别是,因为三级优化特征对分类的贡献不同,三级损失在模型中被分配不同的权重。
4所示。实验
4.1。数据集
来验证该作者分类模型的中国国际写作计划基于多层次的注意力和多尺度特征融合,中国国际写作计划收集的数据集,建立了从互联网在这工作。
为了确保理性在此工作,应满足下列条件的成立中国国际写作计划数据集:首先,为了达到更好的结果在培训过程中深度学习模型的提出在这个实验中,数据集建立在这个实验中应该更多的中国国际写作计划。其次,为了验证作者的有效性模型的分类,数据应该包含足够数量的艺术家,和每一个艺术家应该有一定数量的中国国际写作计划。第三,为了验证实验的合理性和准确性,艺术家的多样性的年龄和风格,以及每个艺术家的国际写作计划的多样性,应充分考虑在选择和收集艺术家的国际写作计划。
数据集包含了3040中国国际写作计划从10艺术家,包括:曹任凭,风扇曾庆红,李小明,Lu Yanshao潘Tianshou,齐白石,徐悲鸿,曾庆红孝廉吴Changshuo和朱哒。数据如表所示1。
在本文的实验设置,3/5的上面建立的数据集作为训练集,验证集的1/5,剩下的1/5作为测试集。此外,理性的实验,数据集应该随机分成三组,并确保没有重复的每个艺术家的画作。图3显示了一些示例中使用的数据集的实验。
为了便于模型的基准测试,三个不同的分类上面的场景设计的测试数据集:案例1:分类三位艺术家的作品:齐白石,吴Changshuo和曹任凭;案例2:分类五艺术家的画作:风扇曾庆红,潘Tianshou,吴Changshuo,齐白石,徐悲鸿;案例3:分类六艺术家的画作:曹任凭,李小明,Lu Yanshao朱哒,曾庆红孝廉,徐悲鸿。
4.2。实验结果和讨论
证明模型的有效性提出了工作,一系列的实验将在作者分类数据集进行了介绍。我们将比较和分析实验的结果数据集的三种情况。
4.2.1。准备不同分类器的性能分析
在不同的研究领域为分类任务,选择一个合适的分类器是最重要的因素之一。因此,要找到最有效的分类器,分类器进行实验测试,其中包括:再(资讯),逻辑回归(LR),随机森林(RF)和支持向量机(SVM)。
至于SVM分类器,找到合适的核函数,实验还测试了许多类型的内核函数。最后,采用RBF核函数的实验。此外,10倍交叉验证发现hyperparameter执行在[0.001,20],并找到最优参数在[0.001,10]。射频标识符,树木的数量在50到900的范围选择的步长设置为50,和树的深度搜索从2到18岁。
在这个实验中,作者的案例1类别分类数据集选择验证。具体实验结果如表所示2。
从四个不同的分类器的结果的比较表2在案例1,支持向量机分类器达到最佳的性能比其他分类类别的分类任务,平均分类准确率为96.2%。通过支持向量机的分类准确率为11.5%高于资讯分类器(84.7%),这是最大的四个分类器的分类结果之间的差距。结果表明,支持向量机分类器和射频分类器实现了作者最近的结果分类数据集,也反映了优秀的射频分类器的分类效果(90.5%)。因此,由于数据集的最优分类性能,最后利用支持向量机作为分类器的实验工作。此外,它还可以观察到从表2的支持向量机分类器实现案例1类别的平均准确率最高,最低的准确率是94.6%的吴Changshuo绘画类别。主要原因是吴Changshuo的绘画类别是最小的数量在这个数据集(168帧),导致最严重的分类结果。相比之下,吴Changshuo的绘画类别,齐白石的分类结果和曹任凭更好的绘画类别。此外,从结果可以看出,使用类似的现象发生在其他分类器。
4.2.2。不同方法的性能分析
基准模型本文提出一系列的实验与现有方法相比在第二种情况进行分类的数据集。在实验中,这些具有代表性的方法包括:盛和江12)、太阳等。13江,et al。14]。具体实验结果如表所示3。
从表可以看出3,该方法基于多层次的注意力和多尺度特性融合本文取得的性能预测的准确率为94.8%,这是明显优于上述三个方法。具体来说,方法的分类精度盛和江12)、太阳等。13江,et al。14)达到88.1%,分别为82.0%和87.4%。
在阳光的方法等。13),CNN网络模型提出了从国际写作计划中提取特征,和稀疏集团套索被用来执行最终的分类任务。然而,他们只考虑选择当地最具代表性的十子图的图像,而忽略了全球国际写作计划的特征图像。和我们的工作方法提取多尺度特征地图和充分利用这些特性的分类任务。在江的方法等。14],虽然训练有素的深层神经网络也用于从图像获取功能,CNN模型,他们使用太浅提取识别信息。然而,该模型提出了我们的工作使用pre-trained CNN提取多尺度特性地图和充分利用的关注机制和CRF融合这些特征图谱。
分析原因,提出的模型是一个精心设计的网络架构,这是非常有效的特征提取和特征融合获得好的分类结果。实验结果表3也验证模型的优势提出了作者分类数据集。
4.2.3。烧蚀研究
具体来说,进一步研究模型中的每个模块的有效性提出了我们的工作,我们也进行一系列的消融实验。表4显示的分类结果的准确性比较消融实验情况3类。
在表4,这种方法叫ours-mid意味着只有低级和高级特性映射提取模型,提出和中层特征提取模块从模型中删除(见图1)。在细节,只有低级和高级功能地图作为处理数据多层次特征。名为ours-spatial在表的方法4意味着底层和中层功能不是由空间注意机制和处理直接发送到多层次特征融合模块基于CRF进行处理。第三种方法,名叫ours-channel意味着频道关注处理模块从模型中删除。第四个方法,名叫ours-fusion意味着基于CRF的多尺度特征融合模块从模型中删除我们的工作。
在ours-mid方法中,平均分类精度达到86.5%,低于2.7是最好的分类结果(89.2%)模型的在这工作。这个实验结果也验证的重要性的中层特征图谱上述分类的任务。
ours-spatial方法获得平均分类精度为86.2%,这是最糟糕的分类实验结果。这个结果是3百分比低于基于多层次的注意力的方法和多尺度融合网络提出了(89.2%)。这个实验结果证明空间关注模块可以删除无关和冗余信息从底层和中层特征图,在该模型中扮演一个非常重要的角色。
同样,ours-channel方法达到了分类结果的比率为87.6%,低于1.6的最佳分类结果(89.2%)。实验结果验证的作用渠道关注处理模块在提出的模型中,也可以稍微提高分类的性能。这个结果也表明,特征图谱处理的多尺度特性融合网络基于CRF有更好的表现能力。
ours-fusion方法在表的准确性4案例3分类的数据集达到86.4%。与分类结果相比,本文提出的模型,这表明如果融合网络模块,分类精度将降低2.8%。这个实验结果表明,该融合模块设计模型中也发挥了更好的作用提高最终的分类性能。
5。结论
解决的问题从不同的层中提取低级和高级功能深CNN的分类和使用简单的特征融合策略在前面的研究中,一种新型模型提出了基于多层次的注意力和多尺度特征融合。在这个模型中,pre-trained VGG16网络是用于提取底层、中层和高层特征表示与中国国际写作计划图像。空间注意机制是用来过滤掉无关的信息从底层和中层的特性,和规模不变的模块添加到增加高级特性的模型的尺度不变的性质。然后三个优化基于CRF机制功能融合在一起。随后,该频道的关注机制是用来获取更多的辨别能力的特性。模型是由设计多层次深监督训练模块,和大量的实验结果表明,该模型可以实现更具竞争力的性能。
数据可用性
所需的原始/处理数据复制这些发现也不能在这个时候作为数据共享一个正在进行的研究的一部分。
的利益冲突
作者宣称没有利益冲突有关这篇文章的出版。
确认
这项工作得到了国家自然科学基金资助下的中国61901063,人文社会科学基金中国教育部授予19 yjczh120,科技计划项目的常州格兰特CE20205042下,江苏省和Qinglan项目(2020)。