文摘

最近图像字幕模型基于encoder-decoder框架在句子人类一代取得了举世瞩目的成就。然而,显式分离编码器和译码器带来了图片和句子之间的断开。它通常会导致一个粗略的形象描述:生成的标题只包含主要意外但忽略额外的实例对象和场景,这减少了标题图像的一致性。为了解决这个问题,我们提出了一个图像字幕系统内context-fused指导。它包含地区和全球形象代表组成的视觉特性学习图像的对象和属性。将映像级别的语义信息,采用视觉概念。为了避免误导解码,上下文融合门介绍计算文本上下文通过选择性聚合的视觉概念,词中嵌入的信息。随后,context-fused形象指导制定基于成分的视觉特性和文本上下文。它提供了解码器用有用的语义知识。最后,一个标题和一个两层LSTM建筑构造生成标题。 Moreover, to overcome the exposure bias, we train the proposed model through sequence decision-making. The experiments conducted on the MS COCO dataset show the outstanding performance of our work. The linguistic analysis demonstrates that our model improves the caption consistency of the image.

1。介绍

图像字幕,分析和自动将图像内容转换为自然语言描述,在人工智能领域吸引了相当大的关注。作为一个典型的多通道任务,图像字幕系统结合计算机视觉和自然语言处理。因此,它不仅要认识到突出图像对象和其他视觉属性(属性、位置和关系),但也与自然和连贯的描述图像内容描述(1]。在过去的几年里,图像字幕任务已经应用于一个广阔的区域内的方面,比如帮助视力受损的人2]。

当前图像字幕系统,encoder-decoder架构已广泛采用管道因其明显的性能。一般来说,采用卷积神经网络(CNN)编码图像为一组特征向量和长短期记忆(LSTM)网络生成标题。此外,引导模型转换为和捕捉信息的视觉特性关注一个特定的图像区域,注意机制也介绍了(3- - - - - -5]。

encoder-to-decoder框架取得了令人瞩目的进步人类标题产生,但是仍有一些问题需要关注。

首先,同时捕捉视觉和文本信息,一些之前网络(3,4)是为了学习句子结构在全球层面。严格,生成标题只能大致描述图像因为在解码过程中,网络可能会丢弃一些有用的图像对象或意外场景。这减少了一致性图像和文本描述。作为一个解决方案,指导采用向量(6- - - - - -8]。在[6),长期有效的指导是实现为一个联合text-image嵌入。然而,正如在[指出7),他们的方法是考虑从两个方面:(1)从计算机视觉的角度,视觉证据并不总是必不可少的解码器,因为句子通常包含描述突出对象对应于视觉特性;(2)显式分离编码器和译码器通常会导致一个表征之间的脱节学习生成特征向量和标题。来处理这些问题,他们建造了一个语义形象指导,条件在文本上下文和图像特征。它提供了解码器的语义信息n克词和句子水平。通过这个,生成的标题包括更丰富的图像实例比6]。然而,他们的方法忽略了图像对象的运动和位置信息。此外,虽然能指导语句实现最佳性能,它不是一个非常有效的方法,因为介词的文章和句子的连接词。考虑到地区形象的实例并不总是对应词汇表中的词,在8),他们用视觉连接全球形象表示概念(9)为导向向量。视觉是一组概念频繁的词汇描述突出图像的物体,这增强了在区域层面图像和文本之间的关系。然而,有一个潜在的缺陷:一个不适当的词在视觉概念将误导语言模型来生成意想不到的标题。

其次,正如表示在10),模型的训练与最大似然估计(标定),香草encoder-decoder框架可能会引起的问题暴露的偏见。大中型企业造成的误差积累可能导致一个词在标题产生失配。为了解决这个问题,介绍了强化学习(RL)策略在图像字幕的任务。然而,由于梯度高方差的估计,它是极其困难的训练直接与RL策略模型。能达到这一标准,自我批评序列训练(SCST)框架(11)提出了应用RL sequence-level培训策略。在推理阶段,SCST利用生成样本作为基线规范化的奖励。因此,网络可以使用nondifferentiable sequence-level度量(例如,苹果酒(12])来评估语言质量损失而不是叉在字(词)的水平。基于这个框架,提出了很多方法(13- - - - - -15]。特别是,在14),他们提出了CAVP完成视觉决策任务。CAVP捕获视觉上下文来说是至关重要的组成推理和参加复杂的视觉作品。通过这个,它大大提高了图像内容的标题的一致性。

因此,为了提高图像的标题一致性利用合理的语义信息和信息的视觉特性,图像字幕系统内context-fused指导(CFG)提出。主要的思想是如图1。CFG利用多级图像学习作曲的视觉特性。


图1
我们提出的主要观点。构图的视觉特征包括图像的表示在区域和全球层面。在每个解码步骤,门上下文中计算文本上下文通过动态聚合的视觉概念和嵌入。context-fused形象指导制定在构图的视觉特性和融合文本上下文。

上下文融合门,CFG自适应嵌入结合视觉概念和词。使用context-fused形象指导,我们的模型可以生成标题和全面的描述。简而言之,本文的主要贡献如下:(1)一个图像字幕系统使用序贯决策提出了全面的标题一代。(2)context-fused形象指导制定提高标题形象的一致性。它选择性地汇总来自视觉概念的语义信息和嵌入。(3)评价女士可可数据表明,我们的方法优于大多数标准指标。语言分析表明,我们的方法提高了生成的相关说明和图片。

2.1。图像字幕

在过去的几年里,图像字幕系统基于encoder-decoder框架有深入研究3,16]。在[16),他们雇了一个CNN编码图像和递归神经网络的输出序列的单词。随后,许多作品提出了改进和扩展这个框架。在[17),他们提出了一个周期性的融合网络(RFNet)利用互补信息从多个编码器全面理解图像。在[18),他们提取图像特征在不同层次学习准确的预测。最近的调查(19),生成图像描述的编辑网络通过精炼现有的标题,而不是从头开始生成一个新的标题。

受到的注意机制应用于机器翻译的启发,提出了几种引起图像字幕系统。在[3),他们集成译码器提出的硬性和软性关注机制来捕获突出空间的图像区域。在[4),他们建造了一个自下而上和自上而下的注意机制相结合。计算特征向量的关注对象和其他突出的地区形象。在[5],attention-on-attention模块使用一个注意门口将结果从一个标准的注意机制。此外,改进的语义表示生成的字幕,有些方法还集中在利用特定的语义属性,如视觉概念(9]。在[8),指导向量配备视觉概念提供高层语义信息的译码器。在[20.),他们提出了一个层次化的关注网络增强标题的视觉丰富的概念和其他视觉特性。

2.2。序贯决策

模型训练香草CNN-LSTM框架常常导致暴露的问题偏差(10]。减轻这种,强化学习应用图像字幕通过引入序贯决策:代理行为的考虑,国家,和奖励在进一步的序列。在图像字幕的情况下,操作对应于选择下一个单词和图片;国家可以视觉上下文,先前的预测,和其他信息。奖励可以是任何评价指标,如BLEU-N [21和苹果酒12]。一些作品应用序贯决策。在[10),加强用于优化用户指定的直接评价指标在训练。然而,其他评价指标缺乏足够的概论。在[11),自我批评序列训练(SCST)框架。在SCST,生成的标题在句子层面进行评估。后来,在13),他们歧视损失组件结合在一起,培养目标产生高辨别力的标题。在图像捕获关键成分信息,CAVP [14)提出了随着时间的推移来捕获复杂的视觉作品。最近,B-SCST [15]扩展SCST框架图像字幕结合贝叶斯推理模型。从分布得到的贝叶斯模型,款B-SCST生成基线奖励平均预测质量量度。

3所示。建议的方法

在本节中,我们详细介绍了CFG网络。中给出的架构图2,我们的模型包括五个部分:(1)文本编码器,编码的视觉概念;(2)图像编码器,编码区域的图像特征;(3)注重模块,该模块计算细心的视觉特征;(4)指导配方模块,获得融合文本上下文通过上下文门和计算context-fused形象指导;(5)一个标题,一个扩展的自上而下的标题4为字幕生成)。


图2
我们提出的概述网络。的视觉概念集 ,采用单向LSTM获得编码向量 。区域的图像特征r更快的R-CNN提取,图像表示 马克斯池获得的应用r。在译码器,采用两层LSTM架构。 表明融合文本上下文。这两个 和context-fused指导 传递到语言LSTM连同隐藏的状态 从LSTM关注。输入向量X由 , “嵌入”这个词,和隐藏的语言LSTM。
3.1。文本编码器

作为视觉概念揭示了图像中的对象明确,我们把它介绍给抵消图像和文本之间的分离。摘要视觉概念来标示 , ,在哪里米是视觉概念和计数的单词E是字嵌入的维度。具体地说,这个词一个j是孤立的,因此采用单向LSTM作为文本编码器来处理吗一个如下: 在哪里 嵌入层和这个词吗 ,在哪里H大小的隐藏状态。 表示每个词的语义向量编码一个。它将被用来计算融合文本上下文的指导制定模块。

3.2。图像编码器

对于给定的图像我,学习视觉信息对象,属性和关系,pretrained更快R-CNN [22)采用提取区域的图像表示r如下: 在哪里 , ,介绍了语义信息和图像的区域k显示选定的roi的数量根据分数排名。为了减少计算消费,一个变换矩阵 是应用于r把它的维度 。符合之前的作品,形象在全球层面上制定mean-pooling操作如下: 在哪里 。这两个r和 用于计算的成分的视觉特性。

3.3。的视觉特性

构图的视觉特性包含图像信息在区域和全球水平。如图2(蓝色)框架,图像特征向量r和 ,一种添加剂的注意机制应用于减少抽样引起的方差不同的图像区域。不失一般性,我们首先介绍了一般关注本文计算中使用的配方: 在哪里π表示查询向量的细心的重量问,ht代表LSTM隐藏状态输出单元。 , ,和 参数是习得的。因此,对该地区形象的功能r,注重计算提出了如下:

这里的参数 ,和 在这种情况下,D表示关注的维度层, 从关注LSTM隐藏状态。然后,细心的地区形象的功能 计算如下: 在哪里 。特别是,相比以前的作品,只有整合全球形象表示在第一LSTM层,类似于方程(5), 细心的向量的计算 。然后,我们结合 与 作为构图的视觉特点: (;]表示向量连接。细心的视觉特性 得到如下: 在训练有素的参数 , ,和 在这里。相比 ,译码器可以获得更全面的视觉信息 在每个解码步骤。此外, 也用来调节指导向量。

3.4。指导制定

在[7),周等人的指导当前的信息词 和使用text-conditional图像特征V为导向: 在哪里 是一个text-conditional嵌入矩阵。通过这个,模型可以专注于图像语义特征的一部分,当捕获特定的词。在本文中,我们扩展这个配方的视觉概念向量 。直观地说,如果调制语义图像指导 在 只,可能误导潜在的生成过程,因为不适当的词在视觉概念集。因此,有必要从字嵌入自适应地将语义信息和视觉概念。灵感来自[23),一个上下文融合大门了。提出了图结构3。通过该组件,我们的模型可以学习多少参加从两个不同来源的上下文。利用嵌入和视觉概念,这个词上下文融合门定义如下: 在哪里年代t是融合文本上下文。 和 权重矩阵; 表明elementwise乘法。的因素ft∈(0,1)计算的乙状结肠激活函数 如下: 在哪里Wf变换矩阵。 表示关注语义向量,计算如下: 的参数 , ,和 。通过这个, 配备了细心的视觉信息。采取V电脑及相关知识和年代tcontext-fused形象指导制定如下: 在哪里 是一个变换矩阵。与方程(9),context-fused形象指导 包含更丰富的视觉和文本上下文。它将被传递到标题作为一个时间变量。


图3
门上下文中的插图。 是标量的因素,年代t是融合文本上下文,E (y)表明这个词嵌入向量。
3.5。标题

标题包含两个分离LSTM网络:注意LSTM (AttLSTM)和语言LSTM (LangLSTM)。AttLSTM的输入被定义为前一词的连接嵌入向量 ,前面的隐藏状态 从LangLSTM、视觉概念向量 ,和图像表示 。也就是说, 在哪里 用于参加视觉特征和语义向量,分别。AttLSTM提供LangLSTM特征向量在全球层面。LangLSTM,网络关注生成标题组成,图像特征 和context-fused形象指导 :

然后,我们应用一个多层感知器(MLP)后由softmax层隐藏状态 获得每个词的概率分布如下: 每个值的 显示相应的词在词汇的概率。总的来说,我们提出的网络充分利用图像和文本信息生成标题精心。

3.6。培训策略

符合之前的作品(11摘要],sequence-level训练策略可以分解为两个阶段:标准的监督学习与叉(XE)损失和强化学习与自我批评奖励。XE损失制定如下: 在哪里N是一个生成标题的长度, 是一个真实的目标序列,θ表明该模型参数。监督模型训练通过最小化这个值。然后,选择最佳性能作为初始网络下训练阶段。在强化学习,消极的预期最小化奖励如下: 在哪里r(·)是标准的度量评价(苹果酒12]本文)。根据SCST [11),的梯度l(θ)可以近似如下: 在哪里 标题从词分布和采样 是由贪婪搜索生成的标题。得到的奖励的信号 − 可视为一个基准分数。采样标题中的每个单词的概率会增加 高于 ,反之亦然。

4所示。实验

在这一部分中,首先介绍了数据集和评价指标。然后,描述和比较模型的实现细节。最后,我们讨论了定量和定性实验。

4.1。数据集和指标

女士可可数据集(24)是最受欢迎的基准数据集图像字幕的任务。有82783个图像训练集,40504年验证图像集,分别在测试集和40775图像。对于一个公平的比较,数据集使用“Karpathy”分裂(http://cs.stanford.edu/people/karpathy/deepimagesent/摘要采用。5000年培训,它包含113287个图像图像进行验证,分别和5000图像测试。这两个分裂的统计数据,总结在表1。可可评估工具包(https://github.com/tylin/coco-caption)是用来报告字幕表现在以下指标:BLEU-N (N= 1,2,3,4)[21],流星[25],ROUGHE-L [26),苹果酒(12),和香料27]。特别是,香料被定义在元组分为几类,如对象、关系和属性。它显示了一个合理的相关性与人类的判断。所有这些指标与更大的分数显示一个更好的效果。

表1
统计的数据集女士可可。
4.2。实现细节
4.2.1。准备预处理

为该地区形象代表,我们使用提供的自底向上的功能(4),提取前k= 36特征在每个形象突出的地区。视觉概念被pretrained模型(9]。只保存对象属性(名词)。我们所有的句子转换成小写字母,标点符号替换为空间,保留标题长度小于16。这句话发生不到五次删除。因此,有10369个单词的词汇。

4.2.2。参数设置

只有五大属性在视觉概念设置保存下来,也就是说,米= 5。维度E词的嵌入层是设置为1000。注意层大小D设置为1024。AttLSTM和LangLSTM维度H隐藏的状态和存储单元被设置为1300。在监督学习XE损失,亚当优化器(285)采用最初的学习速率e−4。我们缩小了0.8每3时代。在强化训练,亚当优化器(28是学习速率5初始化e−5。我们训练的网络时代与批量大小80在第一阶段。sequence-level训练期间,我们训练模型与批量大小100年50时代。如果没有改善5时代在8 XE培训和时代sequence-level培训期间,这个过程停止。整个培训大约需要30小时在Linux服务器NVIDIA RTX 2080 ti GPU。

4.2.3。模型比较

以下模型为比较选择:(1)网卡(16),这是一种香草CNN-LSTM图像字幕模型;(2)SCST [11为优化),它使用nondifferentiable指标;(3)上下(4),采用自底向上的注意机制;(4)RFNet [17),输出通过多个连接的CNN和LSTM标题;(5)汉(20.),它使用层次结构特性来扩展标题丰富;(6)RAtt-Soft [29日)于一体的视觉关系的关注和区域特性来提高字幕生成。

特别是,作为视觉特征(7)是由一个不同的提取CNN,调查不同指导配方的性能,我们还烧蚀模型后进行的一项研究:(1)CFGV,它只保留了构图的视觉特性,消除了视觉概念,上下文融合门和context-fused形象指导。(2)CFGE中定义的指导,采用方程(9),消除了视觉概念,和上下文融合门。这是一个掉落句指导。(3)CFG一个的因素ft是删除。融合文本上下文年代t直接由向量加法计算。他们的表现将消融研究部分中讨论。

4.3。定量分析

评价结果的试验部分总结了Karpathy分裂表2和3。所有的分数都推断通过波束搜索大小3。的熵损失培训(表2),我们的模型实现竞争力得分与RAtt-Soft [29日]。sequence-level优化(表3),我们的模型获得的分数优势在所有指标除了ROUGE-L和香料。优化的苹果酒,CFG的所有指标都增加了在桌子上3。尤其是比分酒从114.0提高到125.4。比较结果表明我们的模型可以有效地提高字幕的性能通过利用构图的视觉特性和context-fused形象指导。通过sequence-level训练,除此之外,我们的网络可以显著促进每个评价指标的结果,优于其它模型。然而,它也应该指出的是,我们的模型无法达到的优势分数香料指标表2和表3。如前所述,香料在定义对象、关系和属性。在[29日),RAtt-Soft利用场景图和视觉特性的关系正是视觉关系信息映射到语义描述。这表明我们提出的限制网络。

表2
性能比较在可可Karpathy女士测试分离叉培训。
表3
性能比较女士可可Karpathy CIDEr-D分数下的分割测试优化。
4.4。定性分析

直观的表示图像的字幕效果模型的不同指导配方,显示了一些示例图4。CFG相比E,完整的模型CFG可以理解图像检测到显著的对象(有一道彩虹,拿着球拍,一杯啤酒,与行李),但CFGE忽略了这些实例和关注图像的主要内容。此外,CFG可以更好地识别对象远程控制,而CFGE这是错误电脑键盘。过去的形象,CFG完全描述清楚的图像对象披萨,西兰花,蔬菜,而CFGE只是抓住了对象西兰花和描述了图像在一般水平。这些例子证明,相比指导text-conditional嵌入调制,context-fused指导更有利于提高综合模型来描述图像。然而,也有一些短缺在我们提出网络,显示为红色框中给出的图片。第一图像,我们CFG成功地描绘的形象主要实例,但它误解了“桌子”“表”和生成信息”不恰当的关系站在一个表。“同样,在过去的形象,我们的模型描述了图像与一个不正确的位置“在水里。“这表明我们的准确关系网络是不够的原因,尤其是用图像对象。一个可能的解决方案是引入场景图(30.),其中包含复杂的图片和句子的结构表示。


图4
生成模型与不同标题的指导配方。阳性病例框定在蓝色和红色的失败的案例是陷害。

在图5,我们可视化词的概率生成的句子和视觉概念集,分别与对象注意力地图。它可以发现视觉概念应用于生成标题。在第一个例子中,突出的实例(男人。,马,提起,牛)捕获和相对应的预测单词是高度视觉检测与高概率的概念。图像内容描述生成的句子。这表明,我们的模型可以利用高概率视觉概念生成相关的词在标题。第二的形象,“自行车”(0.34)的权重,“日落”(0.33)要低得多的“男人”(0.86)和(0.93)“码头”,但他们是我们的模型也可以原因适当的文字标题,这提高了文本描述的全面性。这表明利用上下文融合门口。通过选择性地融合嵌入信息的视觉概念,词,它可以解决这个问题误导解码尽可能多。此外,这两个样本表明,我们的模型能够让一个更好的与图像内容的一致性。


图5
注意力地图的可视化(底部)和概率这个词在生成的句子(直方图)和视觉概念组(线)。简洁,视觉概念的权重了。
4.5。烧蚀研究

消融的评估结果表4。CFG相比V,CFGE提高香料从20.3到20.5叉培训类别,分别。这表明text-conditional指导改善的效果图像字幕。CFG相比E,CFG一个实现微弱优势结果叉培训。苹果酒的优化后,数十名BLEU4和香料从37.8提高到38.1和21.1至21.4,分别。在这些模型中,CFG仍然在所有指标达到最佳性能。尤其是CDIEr sequence-level训练后评分明显改善。这些表明以下几点:(1)介绍了视觉概念有助于提高图像字幕。(2)构成的视觉特性及融合文本上下文是有效提高字幕质量。(3)上下文融合门有利于整合来自不同来源的背景图像字幕性能更好。

表4
烧蚀模型的性能比较。

5。结论

本文中的图像字幕系统融合上下文指导提出了提高标题形象的一致性。以构成的视觉特征、上下文融合门和context-fused形象指导,我们的模型进一步增强了标题形象的一致性。大量实验表明,我们提出的模型显著提高了基线法和优于其他比较方法,这表明使用显式的考虑context-fused指导的效果。

然而,视觉偏见并没有很好的处理关系。在未来,我们将扩展我们的网络场景图,因为它提供了一个统一的表示连接对象,属性和他们的关系在一个图像或一个句子。更有利的模型采用场景图来描绘一个图像和一个精确的文本描述对象之间的关系。

数据可用性

使用的数据来支持本研究的结果包括在本文中。

的利益冲突

作者宣称他们没有利益冲突有关的出版。