计算智能和神经科学

PDF
计算智能和神经科学/2019年/文章

研究文章|开放获取

体积 2019年 |文章的ID 2060796 | https://doi.org/10.1155/2019/2060796

交流曹、吴Chenyan Lichao陈、红岩崔,冯主任, 一种改进的卷积神经网络算法及其应用在Multilabel图像标记”,计算智能和神经科学, 卷。2019年, 文章的ID2060796, 12 页面, 2019年 https://doi.org/10.1155/2019/2060796

一种改进的卷积神经网络算法及其应用在Multilabel图像标记

学术编辑器:莱昂纳多佛朗哥
收到了 2019年3月01
修改后的 2019年5月27日
接受 2019年6月23日
发表 04年7月2019年

文摘

在当今社会,图像资源无处不在,和可用的图像可以压倒性的数量。决定如何迅速有效地查询、检索和组织图像信息已成为一个热门研究课题,和自动图像标注是基于文本的图像检索的关键。如果语义图像注释不平衡训练样本中,低频标签的准确性可以差。在这项研究中,一个双通道卷积神经网络(DCCNN)旨在提高自动标签的准确性。模型集成了两个卷积神经网络(CNN)渠道有不同的结构。基于低频一个通道用于训练样本和低频模型中样本的比例增加,另一个是基于所有的训练集用于培训。在标注过程中,输出两个渠道的融合获得标签的决定。我们验证了提出的模型在加州理工学院- 256,2007年帕斯卡VOC,帕斯卡VOC 2012标准数据集。2012年帕斯卡VOC数据集,提出DCCNN模型实现全面标签准确性高达93.4%的100年之后训练迭代:CNN高出8.9%和15%高于传统方法。类似的精度可以通过CNN只有2500年以后训练迭代。 On the 50,000-image dataset from Caltech-256 and Pascal VOC 2012, the performance of the DCCNN is relatively stable; it achieves an average labeling accuracy above 93%. In contrast, the CNN reaches an accuracy of only 91% even after extended training. Furthermore, the proposed DCCNN achieves a labeling accuracy for low-frequency words approximately 10% higher than that of the CNN, which further verifies the reliability of the proposed model in this study.

1。介绍

的迅速发展和日益普及多媒体设备和网络技术,越来越多的信息被呈现在图像形式。大量的丰富的图像资源吸引了用户,谁能找到他们需要的信息的图像。据统计从Flickr,社会图片分享网站在互联网上,图像存储增长年率为1亿户,而Facebook图像存储每年150亿辆的速度增长(1]。然而,这种大量的图像信息用户可以很容易地淹没。决定如何迅速有效地查询、检索和组织图像信息已成为一个必须解决的主要问题(2]。因此,图像检索领域的技术已经出现和得到广泛的重视。具体来说,图像注释可以提供比传统方法和结果在搜索信息的快速检索相应的图像。然而,由于图像往往包含复杂和多样的语义信息,他们通常用多个标签标记;因此,有必要考虑multilabel注释的例子。

一般来说,图像的方法来自动标记multilabel可以分为三个大类:生成模型、判别模型,和最近邻模型。生成随机模型可以生成训练数据,特别是当某些隐含的参数。这些模型构造的联合分布概率视觉特性和文本语义标签,然后计算每个语义特征的后验概率已知的图像与贝叶斯概率模型,它们使用来完成图像的语义注释[3]。Duygulu et al。4)提出了一种生成模型称为翻译模型,将图像语义注释过程转换为一个翻译过程通过将视觉形象关键字转换为语义关键词。全et al。5)提出了跨媒体关联模型(CMRM),哪些模型图像进行图像注释通过构造视觉和语义信息的联合概率。尽管上述模型考虑对象的语义和地区,离散处理的视觉特性会导致功能丧失。此外,标签的效果在很大程度上是影响聚类粒度,但理想的粒度参数难以确定。为了解决这个问题,冯et al。6)提出了多个伯努利相关性模型(MBRM),和Alkaoud et al。7提出了模糊跨媒体关联模型(FCRM)。这些模型使用一个非参数高斯内核执行连续生成概率估计的特征。这些模型与离散模型相比,显著提高贴标精度。尽管上述生产注释的注释过程模型是相对简单的,之间的差距图像的底层特征和高层语义和语义之间的nonindependence会导致不准确的联合概率[8]。

歧视模型定义图像注释作为传统监督分类问题。这种方法执行图像注释主要通过确定视觉特性之间的相关性和预定义的标签(9]。的作者(10)使用K最近的邻居(资讯)方法选择最近的K通过计算图像之间的距离图,然后使用标签传播算法标签标记的图像。李等人。11)使用K则算法构造一个分类器结合语义词汇注释的单词使用语义约束和使用分类器对后续图像注释。邱et al。12]使用支持向量机(SVM)语义表示的一些地区,然后标签标记领域基于区域之间的关系。无论基于一对一或一对多分类方法分类,它是受约束的数量分类器,分类器的训练效果,特别是在不平衡训练样本的情况下。如果分类器训练效果差,整个标签准确率将受到影响。随着标签集的大小增加,所需的分类器大小也会增加,这就增加了复杂性的标签模型;因此,一些方法可能并不适用于大数据环境(13]。

最近邻模式已经成为流行的数据训练的需求扩大。的作者(14]介绍了最近邻标签的传导机制。在这种方法中,图像注释被当作一个检索问题。最近邻取决于几个距离计算的平均视觉特性,也被称为共同平等的贡献(份额)。对于给定的图像,一个标签是通过一个邻居。视觉特征,如颜色和纹理用于比较和测试,和特征选择正则化的执行是基于标签的相似性。然而,这种方法不会增加稀疏或改善标签在所有情况下的准确性。TagProp模型(15)是一种新型的最近邻模型。它创造了组合权重基于邻居的存在或不存在标签和达到良好效果。上述传统方法领域拥有先进的图像注释,但是他们需要手工特征选择,从而导致信息丢失,可怜的注释精度,低召回率(16]。

近年来,随着深学习受到越来越多的关注,一些学者已经开始深度学习应用于计算机视觉任务。2012年,辛顿等人用多层卷积神经网络分类图像使用广泛使用的大型ImageNet数据库(17)图像识别,取得了异常识别的结果(18]。自那以后,大量的研究已经开发出改进的网络结构和CNN性能增加。例如,谷歌GoogLeNet网络(19)在2014年夺冠的大规模图像识别竞争。微软亚洲研究院视觉计算组的基础上开发了一个计算机视觉系统首先time-surpassed人类深刻清醒的卷积神经网络的识别和分类对象的能力在1000年ImageNet挑战[20.]。尽管深度学习模型在图像识别和分类任务中表现良好,大多数研究都集中在网络本身或改善单标牌学习。具体来说,任务的图像注释multilabel学习很少被关注,尤其是对不平衡数据集。目前,数据集不平衡的方法来解决这个问题主要集中在数据集本身的构成。简单地说,一个平衡是实现整个数据集通过减少图像的类型的数量过多的数据集(downsampling)或增加的图片类型的数量的(upsampling)。尽管这些方法操作简单,要求数据集的图像数量达到一定级别,因此不具有广泛的适用性。图像类型,很少出现在日常生活中很难获得,更别说在大量获得,和简单的翻译转换有时无法满足需求。

结合深入学习和multilabel图像注释和针对不足问题的培训和穷人注释代表名额不足的图像由于数据不平衡的影响,在本研究中,我们设计一个双通道卷积神经网络(DCCNN),提出一种新的multilabel图像标注方法。增加注释的准确性,尤其是低频的话说,该模型设计有两个输入通道和输出通道由两个six-layer卷积神经网络,使用不同的参数。两个输入通道之一,是整个训练数据集,而另一种是经过专门训练的低频部分的数据集。这两个通道是独立的;低频数据集进行训练两次,从而增加低频词的权重训练数据集的积分。在测试过程中,输出输入通道组合起来形成一个联合决策,从而实现最优的注释效果。

总结了本研究的主要贡献如下:(1)深度学习和multilabel图像注释解决问题的复杂注释过程中,注释效率差,确定特征的缺陷,影响传统的注释方法的“语义鸿沟”。(2)我们设计一个DCCNN模型,融合两种不同的卷积神经网络。基于卷积神经网络本身的理解以及实验结果,调整参数,两个子网之间的融合率设置导致一个令人满意的性能。设计模型旨在解决穷人注释效果问题,发生在未被充分代表的形象类型数据集训练不足。相比其他方法来解决这些问题,在这项研究中提出的方法既方便又快,和它的应用程序是不受限制的数据集。(3)基于理解multilabel图像注释的一般过程,本研究提出了一种multilabel使用DCCNN图像标注算法。该算法包含训练和注释阶段,根据不同阶段不同的输入和输出。在训练阶段,这两个独立分支模型训练。然后,在测试阶段,这些分支模型决策融合,发挥联合贡献关于最后的注释结果。

2。方法

2.1。卷积神经网络

第一个提出了卷积神经网络(CNN)休博尔和威塞尔(21)在1960年代通过当地相关研究猴子皮质神经元的敏感性和方向的选择。cnn使用加权共享,将采样,本地连接技术,大大减少所需的参数的数量和神经网络的复杂性。cnn一直等传统的图像特征提取方法相比,面向的直方图的梯度(猪)和尺度不变特征变换(筛选)方法;然而,cnn通常可以提取更抽象的和全面的功能。此外,cnn避免复杂的图像预处理的必要性,因为他们可以直接使用原始图像作为输入。

cnn主要由卷积层、汇聚层,和一个完全连接层。卷积层是一个CNN的关键部分。这一层的功能是提取输入图像的特性或功能的地图。每个卷积层可以有多个卷积核,用于获得多个特征图。卷积层计算如下(22]: 在哪里 特征映射的前一层的输出, 的输出是什么 th的通道 th卷积层, 被称为激活函数。在这里, 是输入功能的一个子集映射用于计算 , 是一个卷积核, 是相应的偏移量。

池层通常是夹在两层卷积。这一层的主要功能是减少的尺寸特征映射和维护的尺度不变性特征在某种程度上。池主要有两种方法:意味着池和最大池。池效应图如图1

池过程类似于卷积的过程,它涉及到一个滑动窗口类似于一个过滤器,但计算比较简单。意味着池使用一个图像区域的平均值作为集中值的区域。这种方法保留了图像的背景。马克斯池以图像面积的最大值为池面积和价值保留图像的纹理。完全连接层的功能是将多个图像映射后获得的图像是通过多重卷积层和池层获取图像的高层语义特征对后续的图像分类。

2.2。双通道卷积神经网络(DCCNN)

在图像注释问题,往往一个图像对应于一个多元化的带注释的单词,和不同的带注释的单词对应于不同的场景。一些场景对应于许多图片,相应的带注释的单词的频率很大,比如太阳,白云,山脉,河流。此外,一些场景对应一些图像,及其对应的单词频率很小,鳄鱼、蜥蜴等。输入数据不平衡会导致低频带注释的单词的训练不足,导致可怜的识别率。提高识别精度和整体识别效率低频带注释的话说,本文设计一种DCCNN模型(图2)。

在图2,DCCNN模型包括卷积神经网络CNN0 CNN1。卷积这些网络具有三个层次和三个完全连接层。

CNN0所有的训练集训练,每一层的参数如下:第一层由20 10×10卷积内核执行卷积操作输入图像。步长是最初设置为4。然后,3×3马克斯池windows的步长2用于将采样。第二层由40 5×5卷积内核执行卷积操作特征图。步长是最初设置为2。然后,3×3马克斯池windows的步长2用于将采样。第三层包括60 3×3卷积内核执行卷积操作输入特征图。步长设置为1。剩下的三层是完全连接层。辍学层是申请完整连接,以避免过度拟合。保持职业(比例)参数设置为0.5(即。,50% of the neurons at each of the fully connected layers participate in the operation). The number of output nodes is 20. Considering that the ReLU activation function possesses powerful expression ability and is free from the vanishing gradient problem, enabling the convergence rate of the model to be maintained stably, we used the ReLU function in this study for all activations. The learning rate was adjusted to 0.001 after the experiment.

CNN1训练在低频的训练集,每一层的参数如下:层1由20 12×12卷积内核执行卷积操作输入图像。步长是最初设置为2。然后,5×5马克斯池windows的步长4用于将采样。第二层由40 5×5卷积内核执行卷积操作输入特征图。步长是最初设置为1。然后,4×4马克斯池windows的步长2用于将采样。第三层包括60 4×4卷积内核执行卷积操作输入特征图。步长设置为1。然后,4×4马克斯池windows的步长2用于将采样。最后三层都是完全连接层的参数CNN0的相同。

模型的训练重量增加低频样品使用特殊培训渠道。训练样本第一次单独处理实现示例均衡。然后,在标注过程中,最后的标记结果是共同决定的两个渠道。因为低频通道是训练只有低频样本,这个通道的参数更适合识别低频样本,这减少了标记训练样本数量的低频不足的影响。

2.3。Multilabel图像注释

摘要标签算法分为两个阶段:训练阶段和标记阶段,如图3

相对应的算法如下培训阶段。步骤1。推出相对应的算法训练阶段。和样品的数量对应于每个标记的单词并确定低频注释词集。步骤2。通过该计划,所有的低频样本训练样本中提取低频训练集。步骤3。构造一个CNN模型与两个渠道:CNN0 CNN1。CNN0对应通道小回旋的内核和一个大步骤,和CNN1对应通道大回旋的内核和一小步。CNN1通道的第一层是完全连接到第二层完全连接层的特性融合。步骤4。输入所有的训练集CNN0通道,只有低频训练样本输入CNN1通道。模型进行模型训练,直到变得稳定。

标记阶段算法如下。步骤1。测试图像输入通道(CNN0和CNN1)训练有素的双通道CNN的特征提取步骤2。保险丝的输出向量2两个渠道:1的方式(具体比率是通过实验确定)步骤3。结合两个渠道执行的决策结果图像注释

2.4。实验数据

验证提出的双通道CNN (DCCNN)算法,我们使用以下免费数据集进行实验:加州理工学院- 256 (23),2007年帕斯卡VOC (24),和2012年帕斯卡VOC (25]。加州理工学院- 256数据集包含256个类别,每个至少有80张图片和30608年整体图片。2007数据集包含20个类别和9963年帕斯卡VOC图像,与大约450图像类别。基于帕斯卡VOC 2007数据集,帕斯卡VOC 2012包括更多的图片在每个类别中,扩展数据集到22531图像20多个类别,每个类别包含大约1000个图像。图4显示了一些示例图像的三个数据集。

2.5。实验设计

在本文中,我们进行了仿真实验框架的基础上深入学习算法TensorFlow。大多数的图像调查multilabel图像注释任务对应于多个标签;因此,单标牌图像分类的评估标准是不能完全适用于multilabel形象的任务。在本文中,我们使用意味着平均精度(MAP)作为一种新的衡量标准multilabel图像。地图获得的分数计算的平均精度(美联社)。对于一个给定的任务或类别,对应的precision-recall曲线可以计算。然后,建立一组阈值(0,0.1,0.2,…,1]。如果召回率大于阈值,对应的最大精度值。美联社11精密分数的平均值,和它的公式如下: 在哪里 是最大精度值对应于每个阈值: 每个对应的准确率吗 最后,计算了地图 在哪里 是类的数量。

我们采用了地图作为指标,因为它包含了准确性,召回率和单点值的限制F1值反映了全球的整体性能。

因此,为了验证提出的双通道CNN算法的有效性,我们把这三个数据集的特点(Pascal VOC数据集的图像类别是小,每个类别包含更多的图像;加州理工学院- 256数据集图像类别很大,并且每个类别包含更少的图像)和比较结果与文献中报道的标签的准确性,自动贴标效果,迭代数,和地图的分数。

3所示。结果与讨论

3.1。标签精度比较
3.1.1。比较2012年帕斯卡VOC的数据集

帕斯卡VOC 2012数据集特征较少的类别和更多的图像类别比加州理工学院- 256数据集。因此,我们进行了一项实验的比较的准确性提出DCCNN模型的各种方法文献[26- - - - - -28)和普通CNN基于帕斯卡VOC的每个类别2012数据集。结果如表所示1


图像分类 标签的准确性
左et al。26] Zhang et al。27] 伊斯兰教等。28] 美国有线电视新闻网 DCCNN
2007年 2012年 2007年 2012年 2007年 2012年 2007年 2012年 2007年 2012年

飞机 0.802 0.777 0.988 0.973 0.947 0.924 0.992 0.983 1.0 0.999
自行车 0.501 0.425 0.812 0.748 0.498 0.451 0.905 0.877 0.996 0.973
0.561 0.454 0.873 0.808 0.962 0.946 1.0 0.977 1.0 0.984
0.619 0.533 0.899 0.853 0.671 0.652 0.935 0.920 0.990 0.972
0.28 0.24 0.691 0.608 0.791 0.758 0.895 0.879 0.924 0.919
公共汽车 0.784 0.722 0.931 0.899 0.966 0.951 0.976 0.971 0.986 0.980
0.584 0.506 0.897 0.868 0.905 0.891 0.953 0.949 0.989 0.987
0.607 0.542 0.941 0.893 0.941 0.923 0.962 0.955 0.984 0.970
椅子 0.509 0.453 0.613 0.554 0.422 0.39 0.826 0.794 0.907 0.893
0.309 0.26 0.848 0.778 0.866 0.857 1.0 0.999 1.0 1.0
餐桌 0.398 0.366 0.829 0.751 0.749 0.704 0.843 0.825 0.899 0.885
0.507 0.426 0.885 0.83 0.895 0.886 0.918 0.905 0.992 0.971
0.441 0.389 0.916 0.875 0.912 0.894 0.929 0.927 0.980 0.978
摩托车 0.57 0.507 0.825 0.792 0.798 0.761 0.851 0.849 0.931 0.931
0.769 0.703 0.899 0.847 0.831 0.794 0.899 0.897 0.962 0.957
盆栽植物 0.305 0.234 0.636 0.578 0.681 0.658 0.833 0.829 0.884 0.881
0.406 0.362 0.824 0.792 0.895 0.862 0.960 0.960 0.996 0.993
沙发 0.385 0.314 0.449 0.395 0.389 0.339 0.725 0.719 0.819 0.816
火车 0.699 0.616 0.935 0.906 0.864 0.818 1.0 0.989 1.0 1.0
电视监视器 0.523 0.43 0.793 0.774 0.785 0.729 0.819 0.816 0.857 0.856
映射值 0.528 0.463 0.824 0.776 0.788 0.759 0.911 0.901 0.955 0.947

1表明DCCNN方法提出了标签为每个类别精度收益率显著高于其他四种方法。相比之下,从文学和CNN的三种方法,该方法提高了地图2007年帕斯卡VOC数据集值42.7%,13.1%,16.7%,和4.4%,和2012年帕斯卡VOC映射值数据集增长了48.4%,17.1%,18.8%,和4.6%,分别。

3.1.2。比较复杂的数据集从加州理工学院- 256年和2012年帕斯卡VOC

我们结合了加州理工学院- 256和帕斯卡VOC 2012数据集形成一个更大的数据集包含50000 +图片和276类别,然后比较了平均标签的准确性的各种模型,如图5

此外,验证的影响上的图像类别数标记算法的准确性提出了,我们增加了图像分类的数量来评估算法的精度的稳定性在大型数据集由加州理工学院- 256年和2012年帕斯卡VOC图像。结果如图所示6

结果在图56表明,当图像的数量达到大约50000,DCCNN算法提出了实现标签的准确性(93%)高于其他算法。此外,在图的结果6显示的准确性DCCNN方法不波动随着图像分类的数量增加,进一步证明DCCNN方法可以有效地避免与手动功能选择相关的信息的局限性。

3.2。综合比较与CNN的方法
3.2.1之上。2012年帕斯卡VOC的比较数据集

验证该方法在CNN算法的改进,我们首先进行实验比较两种方法的准确性基于相同数量的迭代使用Pascal VOC 2012数据集。表2显示实验结果在两种模型训练的100倍。


图像分类 美国有线电视新闻网 DCCNN

飞机 0.983 0.999
自行车 0.877 0.973
0.918 0.984
0.920 0.972
0.722 0.892
公共汽车 0.920 0.980
0.819 0.939
0.916 0.970
椅子 0.668 0.804
0.999 1.0
餐桌 0.570 0.757
0.894 0.971
0.927 0.978
摩托车 0.849 0.931
0.871 0.957
盆栽植物 0.729 0.881
0.960 0.993
沙发 0.618 0.827
火车 1.0 0.999
电视监视器 0.746 0.866
映射值 0.845 0.934

2表明DCCNN提出了实现好的结果在100培训步骤。普通的CNN几乎达到同样的效果只有在训练大约2500倍。这一发现表明,在这项研究中提出的DCCNN更准确,效率比传统的有线电视新闻网。所需的时间和迭代次数达到相同的精度百分比如表所示3


方法 美国有线电视新闻网 DCCNN

时间(年代) 277.411 41.446
的迭代次数 2500年 One hundred.

3.2.2。比较混合加州理工学院- 256年和2012年帕斯卡VOC的数据集

为大型数据集组成的加州理工学院- 256年和2012年帕斯卡VOC图像、地图的CNN和DCCNN值基于训练迭代所需的数量相比,如图7

7显示的地图价值CNN最初大约是82%,但最终稳定在91.9%。相比之下,地图的价值DCCNN最终达到93.8%,高出1.9%的CNN。

此外,我们报告的AP值达到稳定后两种模型对一些词汇训练(表4和图8)。


词汇表 美国有线电视新闻网 DCCNN 美联社的差异

飞机 0.997 0.998 0.001
0.977 0.972 0.005
0.975 0.990 0.015
公共汽车 0.984 0.979 0.005
0.970 0.971 0.001
0.980 0.979 0.001
火车 1.0 0.999 0.001

如表所示4和图8CNN和DCCNN,注释的结果是相似的,因为每个模型的影响几乎是饱和经过足够的训练。然而,如表所示3,CNN训练速度比DCCNN慢得多。此外,图8显示的AP值DCCNN对于一些单词是高于CNN,指示注释效果更佳。

3.3。比较低频词的效率

为了更好的验证方法的有效性在这项研究中,我们比较了注释不同方法对低频词的影响。如表所示1的方法,因为26- - - - - -28需要手动特征选择,对于某些类别标签精度很低。根据(29日),在低频词汇的标准做法,最高和最低频率字是淘汰,剩下的单词的频率平均。一个标记词对应一个低于平均水平的值是一个低频词。结果在表5显示类别,如自行车,瓶子,椅子,餐桌,盆栽植物,沙发,电视监视器时低频词标签是基于手工特征选择。


样本图像 自动贴标结果
伊斯兰教等。28] 美国有线电视新闻网 DCCNN

人,沙发 人,沙发,椅子

沙发 沙发,盆栽植物 沙发、盆栽、椅子、电视监视器

椅子、沙发 椅子、沙发 椅子,沙发,餐桌

人、车 人、车 人、汽车、电视监视器

椅子,餐桌 盆栽植物,椅子,餐桌 盆栽植物,椅子,餐桌,沙发

餐桌,椅子 餐桌,椅子,盆栽植物 餐桌,椅子,盆栽植物,沙发

摩托车 人,摩托车 人,摩托车,椅子

人,公共汽车 人,公共汽车,汽车 人,公共汽车,汽车,自行车

椅子上,电视监视器 沙发、椅子、电视监视器 沙发,椅子,电视监控,餐桌

椅子上,人 狗,椅子,人,沙发 狗,椅子,人,沙发,盆栽植物

3.3.1。标签影响的比较

在本节中,我们比较了DCCNN方法的方法27)和CNN-based自动贴标(表5)。

标记结果表5表明DCCNN方法提供了更完整的图像描述和更全面的注释比其他两种方法。此外,其识别率等低频词的椅子,沙发,电视监视器,餐桌是更高。

3.3.2。注释精度的比较

低频词,如图9,标签使用CNN和DCCNN方法时精度提出了更高,和DCCNN方法产量最高的精度。这一结果表明,与传统方法相比(方法26- - - - - -28]),提取的图像特征更抽象、更全面,更适合与人类相关的高层语义的理解图像。因此,其标签精度显著提高。DCCNN模型提出了一个集成模型的两个不同的cnn。一个CNN的一个小回旋的内核和一个大步骤,和其他有一个很大的回旋的内核和一小步。培训期间,增加低频词汇的训练重量,图像对应于低频词汇输入到CNN大回旋的内核和一小步。相比之下,另一个CNN是训练图像的所有训练。这种方法导致DCCNN独自比古典CNN的方法有更高的精度。

此外,我们也评估了注释每个方法的准确性基于大型数据集的一些低频词由加州理工学院- 256年和2012年帕斯卡VOC的图像后,两个模型变得相对稳定。实验对如表所示6和图10


低频词 标签的准确性
美国有线电视新闻网 DCCNN 区别

自行车 0.935 0.964 0.029
餐桌 0.756 0.804 0.048
盆栽植物 0.885 0.898 0.013
沙发 0.562 0.669 0.107
电视监视器 0.849 0.882 0.033

10是一个视觉图信息表的吗6。大多数的平均精度的改进是相似的。注释精度的“自行车”、“餐桌”,“盆栽植物,”“沙发,”和“电视监视器”增加了2.9%,4.8%,1.3%,10.7%,和3.3%,分别在使用DCCNN而不是CNN。因此,摘要DCCNN设计提高了低频带注释的词的比例模型,进一步验证了模型的有效性。

4所示。结论

在现实生活中,随着技术的不断发展,信息爆炸增长,和大量的图像数据急剧增加。决定如何有效、快速解决大型图像处理问题已经成为一个受欢迎的和具有挑战性的研究课题。自动图像标注是基于文本的图像检索的关键。而传统方法制造领域的重大进展图像注释,依赖人工特征选择导致错过了一些信息,导致可怜的注释精度和召回率低。尽管深度学习模型已成功地应用于图像识别和分类,大多数研究都集中在特定的网络使用或改进单标牌学习。值得注意的是,应用程序和改善multilabel图像注释在深学习很少得到关注。

因此,基于multilabel学习的特点和考虑标记单词的不均匀分布,我们建议DCCNN改善低频词的训练重量和整体标记效率。我们验证了模型与经典,常用multilabel图像数据集:加州理工学院- 256,2007年帕斯卡VOC,帕斯卡VOC 2012数据集。在这项研究中,我们比较了DCCNN与现有方法从文学和传统的有线电视新闻网。根据cnn的方法更有效的图像注释比传统的基于人工特征选择方法。我们也进行了全面对比DCCNN和CNN。结果验证DCCNN改善低频词汇标记的准确性和整体标记效率。

接下来的步骤在这个研究三个方面:(1)训练样本将按照词频进行分组,并将建立一个多通道CNN模型进一步降低词频的影响模型;(2)标签结果将进一步提高通过考虑之间的共生关系词和之间的距离映射的话,和(3)测试将使用更大的数据集。最后,根据研究结果,我们会改进,进一步提高稳定性的解决方案。使用更大的图像数据集网络训练有一定的好处,避免过度拟合。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了山西省自然科学基金(批准号201701 d21059),山西省的艺术和科学规划项目(批准号2017 f06)教育科学规划项目13日山西省重点学科项目的五年计划(批准号gh - 17059),平台和人员专业忻州(20180601)。

引用

  1. z . y .朱问:方舟子,j . t .唱歌和c . s .,“基于区域的图像注释上下文感知,”计算机科学期刊37卷,第1397 - 1390页,2014年。视图:谷歌学术搜索
  2. d . Zhang m . m .伊斯兰教,和g . Lu”回顾自动图像标注技术,”模式识别,45卷,不。1,第362 - 346页,2012。视图:出版商的网站|谷歌学术搜索
  3. s . h . Amiri和m . Jamzad”自动图像注释使用semi-supervised生成建模,”模式识别,48卷,不。1,第188 - 174页,2015。视图:出版商的网站|谷歌学术搜索
  4. p . Duygulu k .巴纳德,j·f·g . de Freitas)和d·a·福赛斯”对象识别作为机器翻译:学习词典一个固定的形象词汇,”《计算机视觉(2002年大会),页97 - 112,激飞柏林海德堡,哥本哈根,丹麦,2002年5月。视图:谷歌学术搜索
  5. j .全诉Lavrenko, r . Manmatha”自动图像标注和检索利用跨媒体关联模型,”学报》第26届年度国际市立图书馆在信息检索研究与发展会议ACM,页119 - 126年,安阿伯市,美国,2003年7月。视图:谷歌学术搜索
  6. s . l .冯r . Manmatha诉Lavrenko,“多个伯努利相关性模型的图像和视频注释”2004年IEEE计算机学会学报计算机视觉与模式识别会议(2004年CVPR),卷2,页1002 - 1009,华盛顿特区,2004年6月。视图:谷歌学术搜索
  7. m . Alkaoud i Ashshohail, m·m·b·伊斯梅尔”自动图像注释使用模糊跨媒体关联模型,”图象图形学报,卷2,59 - 63年,2014页。视图:出版商的网站|谷歌学术搜索
  8. 朱,沈,和李x,“多通道深度网络上优于图像注释,”电子信件,51卷,不。12日,第906 - 905页,2015年。视图:出版商的网站|谷歌学术搜索
  9. z曾庆红,h·史,y,和z,“Annotation-retrieval强化视觉认知建模在总管。”Neurocomputing卷,215年,第159 - 150页,2016年。视图:出版商的网站|谷歌学术搜索
  10. x Ke, s·李和g·陈,“真正的基于web社区的自动图像标注计算机与电气工程,39卷,不。3、945 - 956年,2013页。视图:出版商的网站|谷歌学术搜索
  11. Z.-X。李,Z.-P。施,Z.-Q。李,Z.-Z。施”,自动图像注释,通过语义主题融合”软件学报,22卷,不。4、801 - 812年,2011页。视图:出版商的网站|谷歌学术搜索
  12. z . y .秋芳问:j . t .唱歌和c。许”,区域环境敏感图像注释,“中国电脑杂志,37卷,不。6,1390 - 1397年,2014页。视图:谷歌学术搜索
  13. A . Bahrololoum和h . Nezamabadi-Pour基于multi-expert自动图像标注、框架”模式识别卷,61年,第184 - 169页,2017年。视图:出版商的网站|谷歌学术搜索
  14. A . Makadia诉Pavlovic, s . Kuma“新的图像注释,基线”《计算机视觉(2008年大会),页316 - 329,激飞柏林海德堡,马赛,法国,2008年10月。视图:谷歌学术搜索
  15. m . Guillaumin t Mensink、j . Verbeek和c·施密德”Tagprop:歧视度量学习的最近邻模型图像auto-annotation”IEEE学报》12日在计算机视觉国际会议《京都议定书》,页309 - 316年,日本,2009年9月。视图:谷歌学术搜索
  16. 问:问:Cheng, p .傅c .你和李,“自动图像标注、调查与分析”模式识别卷,79年,第259 - 242页,2018年。视图:出版商的网站|谷歌学术搜索
  17. j .邓w .咚,r . Socher k, l . j . Li和f·f·李,“Imagenet:大规模的分层图像数据库”《IEEE计算机视觉与模式识别会议(2009年CVPR),页248 - 250,迈阿密,佛罗里达,美国,2009年6月。视图:谷歌学术搜索
  18. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”诉讼进展的神经信息处理系统太浩湖,页1097 - 1105年,NV,美国,2012年12月。视图:谷歌学术搜索
  19. c . Szegedy w·刘,y贾et al .,学报2015年IEEE计算机视觉与模式识别会议(CVPR)美国,页1 - 9,波士顿,MA, 2015年6月。
  20. k . x张,他任美国,j .太阳”深入深入整流器:超越人类Imagenet分类、性能”学报2015年IEEE计算机视觉国际会议(ICCV),页1026 - 1034,圣地亚哥,智利,2015年12月。视图:谷歌学术搜索
  21. d·h·休博尔和t·n·威塞尔接受字段和猴纹状皮层功能体系结构,”生理学杂志,卷195,不。1,第243 - 215页,1968。视图:出版商的网站|谷歌学术搜索
  22. j . Bouvrie“卷积神经网络上指出,“2006年,http://cogprints.org/5869/1/cnn_tutorial.pdf视图:谷歌学术搜索
  23. g·格里芬,a Holub, p . Perona一起,caltech - 256数据集对象类别美国,帕萨迪纳市加州理工学院的CA, 2007年,技术报告。
  24. m . Everingham a . Zisserman c·威廉姆斯,j . Wincc和g·卢克,帕斯卡的视觉对象类挑战2007 2007 (VOC)的结果旧金山,帕斯卡VOC挑战,Kaggle CA,美国,2007年,技术报告。
  25. m . Everingham l .干傻事,c·威廉姆斯,帕斯卡的视觉对象类挑战2012 2012 (VOC)的结果旧金山,帕斯卡VOC挑战,Kaggle CA,美国,2012年,技术报告,https://www.pascal-network.org/challenges/VOC/voc2012/workshop/index.html
  26. 帅,z左,g . Wang l .赵问:杨,“基于范例的歧视和可共享的特性为场景图像分类学习,”模式识别,48卷,不。10日,3004 - 3015年,2015页。视图:出版商的网站|谷歌学术搜索
  27. c . Zhang j . Cheng,问:田,“映像级别分类层次结构学习与视觉和语义相似之处,”信息科学卷,422年,第281 - 271页,2018年。视图:出版商的网站|谷歌学术搜索
  28. m·a·伊斯兰教,m . Rochan n d·b·布鲁斯和y王”的反馈改进网络密集图像标签,”学报2017年IEEE计算机视觉与模式识别会议(CVPR)IEEE,页4877 - 4885年,火奴鲁鲁,嗨,美国,2017年7月。视图:谷歌学术搜索
  29. l . x ja和j .侯”图像注释使用整体学习”,Autamatic学报,38卷,不。8,1257 - 1262年,2012页。视图:出版商的网站|谷歌学术搜索

版权©2019交流曹等。这是一个开放分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。


更多相关文章

PDF 下载引用 引用
下载其他格式更多的
订单打印副本订单
的观点6926年
下载1403年
引用

相关文章

文章奖:2020年杰出的研究贡献,选择由我们的首席编辑。获奖的文章阅读