文摘

在多媒体和信息技术的快速发展,机器翻译在跨境电子商务中扮演不可或缺的角色在中国和日本之间。然而,由于自然语言的复杂性和多样性,单一神经机器翻译模型往往会陷入局部最优,导致可怜的准确性。为了解决这个问题,本文提出一种基于视觉信息的多通道机器翻译模型。首先,视觉信息和文本信息用于生成一个感性文本信息的可视化表示。然后,分别编码两个模态信息,视觉信息的比例在整个多通道信息是由一个控制网络。最后,实验是进行图像描述数据集MSCOCO Flickr30k,分别和视频数据集VATEX。结果表明,本文算法实现最佳的性能在蓝色和流星评价指标。

1。介绍

信息网络技术的不断发展和经济全球化的加速,跨境电子商务在中国发展显著(1]。2018年建交40周年的中国和日本,由于地理位置和其他因素的影响,中国和日本之间的贸易逐年增加,和中国和日本之间的跨境电子商务也显示这一趋势逐年增加的2]。在跨境电子商务的背景下,双方来自不同国家的事务需要明确海关通过网络、邮件、或表达,所以翻译有更高的要求。的整体翻译和公众意识跨境电子商务中小企业卖家不足,和翻译的质量差别3]。通常是因为企业没有足够的关注产品的翻译,翻译的日本和日本产品出现不连贯的话说,逻辑结构混乱,和其他现象,导致无法有效地让潜在客户寻找他们自己的产品。

新单词和短语是语言生活的重要组成部分和社会发展的一个生动的记录4]。在这种背景下,中国的外交翻译新词也已成为一个重要的窗口,中国对外宣传的一个重要组成部分,和具有当代意义5]。作为中国的近邻,日本已经保存大量的汉字和中国文化的精髓,吸收新单词的日文翻译具有十分重要的意义,及其在日本的传播和影响不可低估。

随着经济全球化的深入,越来越多的互联网和电子商务企业依靠翻译系统,和机器翻译已经成为一个重要的工具将通过不同的语言交流的障碍6]。多通道机器翻译方面具有更好的性能的充分性和准确性,实现系统的翻译更复杂的主题或场景描述(7]。

基于多媒体的特点,研究多通道集成机器翻译文本和图像的视觉信息已收到的注意力从近年来国内外研究人员。在文献[8),两个独立的注意机制用于处理文字和图像的源语言区域分别增强模型的翻译结果。文献[9)是为数不多的论文结合本地机器翻译的多通道图像的视觉特征。研究人员提取局部和整体形象的图片和投影区域向量空间,分别,认为他们是假词添加到模型的输入序列。它最初探索的端到端多通道机器翻译将当地的视觉信息和引起机制。文献[10)提供了一个深入研究多通道信息是否有助于机器翻译。在文献[11],它表明,图像特征提取的卷积神经网络(CNN)可以有更好的结果与以前相比合成图像的特性。

在此基础上,文献[12)提高了网络通过将大卷积特性分解为多个小卷积功能层,以便更深层次的网络训练来获得更好的图像特征表示。此外,选择最优图像表示层,文献[13)进行图像分类任务来研究不同的图像特性的准确性。它从每一层提取特征ResNet-50 [14)和评估的分类性能。结果根据生成的英语描述显示更逐步改善VGG-19 resnet - 152模型的性能。三种策略用于文献[15融合图像特征与文本特征。第一个策略是增加全球卷积神经网络图像特征提取的头部或尾部的原始文本序列在编码器端。一个变换矩阵是用来解决问题的图像和文本嵌入维度之间的不匹配。第二个策略是添加多个局部图像特征的头或尾原始文本序列帮助模型生成一个更准确的表示上的第一个策略。需要解决的主要问题是如何从一个图像识别多个本地区域以及如何提取这些视觉特征和等级。在文献[16),图像空间表征的加权和作为图像特征,结合文本特征在一个译码器基于一个两层的注意机制。文献[17)使用门机制(18)应用图像特征编码器和译码器来提高模型的理解与对偶词的能力。

尽管上述研究将图像局部特性,他们没有充分考虑图像的不同部分的不同贡献翻译文本和缺乏翻译框架,可以同时处理多个子任务。因此,本文提出一种通用的基于视觉信息的多通道机器翻译模型,旨在处理两种不同的多通道机器翻译任务的通用模型。

的本文如下:(1)我们迁移方法text-image机器翻译text-video机器翻译和机器翻译模型两个多峰子任务在一个统一的方式和处理两个多通道翻译任务与一个共同的模式(2)本文的模型是基于感性的视觉表示文本,介绍了选择性融合视觉信息的多通道控制网络,从而达到充分利用多通道优势在特定场景和准确识别新词的语义信息(3)译码器的一部分,这个问题模型提高了编码器的纯文本的翻译。整个模型可以从多角度和多层次数据模型任务观点,这提高了翻译效果和质量的日常翻译新单词

本文包括四个主要部分:第一部分是引言,第二部分是方法,第三部分是结果分析和讨论,第四部分是结论。

2。方法

本节介绍本文中底层模型的技术,比起包括的基于变压器机器翻译模型和pretrained卷积网络。本文提出的模型主要是改进的基于变压器模型,和多通道信息融合的视觉信息的形式是pretrained特性。

2.1。Transformer-Based机器翻译模型

深度学习流行以来,一些学者开始尝试在机器翻译中引入深度模型。的一个早期的尝试是神经网络机器翻译模型在1990年代特定的语料库。然而,它没有收到广泛关注由于计算机计算能力的限制。2013年,剑桥大学提出了一个端到端的神经机器翻译模型(19翻译],然后神经网络模型成为机器翻译的主流。

主流神经机器翻译模型采用“encoder-decoder”结构。通常,复发的编码器和译码器由神经网络(20.],CNN [21),等等。图1显示了一个简单的机器翻译模型和一个“encoder-decoder”结构。编码器编码源语言文本到一个中间状态向量,和解码器解码中间状态向量到目标语言文本。

“encoder-decoder”结构使文本转换不同的长度,这不仅适用于机器翻译任务,还广泛应用于领域的文本摘要和文字复述。“encoder-decoder”结构的方程如下: 在哪里 代表输入源语言文本序列,代表了编码器,代表了源语言文本向量的句子;即使用编码器编码源语言句子获取句子向量。在译码,译码器的输入是句子向量已经翻译源语言和目标语言的词序列 自“encoder-decoder”结构,提出了神经几乎一直探讨机器翻译模型,优化改进,在这个结构。

2017年,谷歌的研究小组提出了开创性的变压器模型。模型不仅达到最优结果在多个数据集的机器翻译,还擅长其他任务。变压器的主要结构如图2。

变压器和先前的网络之间的主要区别是使用注意机制。编码的文本时,变压器使用self-attentive机制而不是常用的递归神经网络。self-attentiveness计算如下: 在哪里 , ,和都是上一层的输出。在初始层, , ,和是输入词表示向量。的尺寸是 , ,和 。在self-attentiveness,三个的尺寸都是一样的。在具体实现中,该模型使用多头注意提高建模能力的关注。

,多头self-attended , , 被映射到不同的空间使用一个完全连接的网络,然后self-attended操作每个头分别完成。最终结果缝合在一起,然后获得最终的输出使用完全连接网络。

剩余的使用连接变压器的关键实现多层网络叠加的能力。剩余连接的具体实现如下:

在哪里和表示当前层的隐藏状态和下一层的隐藏状态,分别。 是一层模型;是当前层的模型参数。它通常使用4 - 6层的编解码器结构在机器翻译领域,甚至几十层的编码器和解码器pretraining网络。能够实现深度网络结构在很大程度上是由于使用剩余的连接。

解码器,建模的多头self-attentiveness同样依赖于源语言文本。由于模型不知道未来的话提前在推理预测阶段,与多头self-attentiveness编码器,译码器中的self-attentiveness需要使用一个隐藏矩阵隐藏的话还没有被翻译。解码器和编码器之间的语义交互多头的关注,也是实现的形式和实现类似于self-attentiveness。所不同的是,和来自上层的编码器的输出,来自于目标语言文本的编码输出。本文中的模型以变压器为基本模型,使相应的改进和创新的特点和困难多通道机器翻译任务。

2.2。Pretrained CNN

在多通道机器翻译,直接使用原始图像或视频模式建设的难度增加。CNN是最常用的模型在计算机视觉。2012 Alexnet [22],提出的一个学者,改进原来的卷积神经网络通过深化网络结构和引入辍学模块和赢得了ImageNet竞争。从那时起,已经有大量的研究在CNN。CNN由卷积层、汇聚层,和一个完全连接层。图3显示了一个古典卷积神经网络结构。

其中,卷积层的主要作用是提取图像的特征并生成一个新特性映射通过滤波器计算。生成新特性映射后,有必要应用修改线性单元(ReLU)引入非线性模型和非线性表达能力。修改后的线性单元计算如下:

,修改后的线性单元将返回本身所有输入输出0大于0,反之亦然。卷积层后,由于地图大维度的特性,有必要降低特征维数,保留最关键的信息。一般选择的方法是池的操作,包括最大池和平均池。新功能映射后抽样获得的汇聚层。通常,深褶积模型重复几次卷积和池操作。

最后,为了得到每个类和分类图像的概率分布特性,卷积功能连接使用一个完全连接层。最后,每个类别的概率值是由归一化指数函数预测(Softmax)。

分类上的卷积网络模型训练任务可以作为一个通用的视觉模型训练集足够大时,数据是分布在一个通用的场景。中间的特征模型可以用于各种机器视觉场景。这些训练有素的卷积网络被称为pretrained CNN。在这一主题,对图像数据在text-image multimodal机器翻译,本文使用VGG pretrained网络提取视觉特征。text-to-video视频数据的多通道机器翻译,I3D pretraining网络是用于提取视觉特征。

VGG网络提出的牛津大学和谷歌,和模型使用一系列小回旋的内核和最大池层深化网络。它提高了模型的泛化能力,同时降低出错率,是一种常用的pretraining模型提取图像特征。特别地,模型使用 大小的内核和卷积 大小的池内核,紧随其后的是三个完全连接层经过一系列的卷积层。前两个完全连接层有一个固定数量的渠道,4096年,最后一层是用于分类,有1000个频道,因为1000类别。

VGG网络提供pretraining模型与不同数量的层,最常用的是VGG16 16层和VGG19 19层。在这个项目中,选择VGG19 pretraining模型,输出前的全层作为图像的空间特性的特征维度 。获得的视觉特性保留语义和输入图像的位置信息。

text-image机器翻译任务,的特性VGG pretrained网络存储在二进制文件。模型训练时,相应的视觉特征向量训练数据返回的序列号。

与产品pretraining模型,video-oriented pretraining模型仍处于发展阶段,和视频数据集相对较小。为了解决上述问题,本文采用I3D视频pretraining模型,用于迁移模型训练视频数据庞大的图像数据。

I3D模型的网络结构优化的基于图像的网络结构。卷积内核和池内核被重复了 二维卷积内核或池内核次,通过增加时间维度的方向,三维卷积可以获得在时间维度的特性。与此同时,为了进一步提高模型的性能、光学流优化应用通过使用双重流网络,两个网络训练与RGB数据和光学流数据,分别预测结果平均测试时间。dual-stream网络的结构如图4。

text-to-video机器翻译的任务,本文还存储的特性I3D pretraining网络到二进制文件,这样视频功能是参与模型的训练过程。

2.3。该模型的建设

基于变压器机器翻译模型和pretrained卷积网络在前一节中提到的,本节提出了一种通用的基于视觉信息的多通道机器翻译模型。这个方法解决问题缺乏一个普遍的多通道信息融合框架多通道机器翻译和一个模型解决多个问题。

通用多通道机器翻译(MMT)模型框架提出了部分如图5。框架有机结合了视觉信息和文本信息来生成一个可视化表示的感性文本通过多通道的注意机制。文本表示和感性的视觉表示文本使用独立的编码器进行编码。后的隐式状态输出编码器,视觉信息的百分比由独立的多通道闸门自动控制网络设计,和多通道终于获得上下文表示。

本文提出的方法可以应用于各种多通道机器翻译的场景,例如,text-image多通道机器翻译。一个随机初始化文本表示和图像表示从pretrained获得卷积网络感知的组合生成一个图像表示文本。text-video multimodal机器翻译的文本表示和获得的3 d视频表示卷积pretraining感知的网络产生视频表示文本。可以使用该方法不仅在多通道机器翻译领域,也可以应用于领域涉及其他多通道融合的特性。

基于上述特点,该方法被命名为通用MMT(通用多通道机器翻译模型)基于视觉信息。“通用”一词强调了这样一个事实,该方法可以应用于各种各样的多通道场景。这种方法在基线模型的改进主要是编码器。为了明智地利用视觉信息,感知的视觉表示文本,介绍了多通道控制网络,分别在这一节中描述。

2.3.1。视觉感知文本的表示

感性的视觉表示文本对齐视觉信息与文本信息,计算文本间的相似性得分信息和视觉信息获取注意力矩阵,然后进一步重新分配权重的可视化表示根据矩阵的关注。每个单词的文本序列,感性的视觉表示文本通过加权求和所有地区的视觉表示。本节详细描述了计算可视化表示的感性文本及其应用。在前一节中,本文描述了应用程序的视觉信息的方法,在图像数据转换成空间视觉特性和视频数据转换为时空视觉特性。在本文中,我们定义了空间形象的视觉特性 ,在哪里图像区域的数量。 是视频的时空特性,在哪里是时空的视觉特性。定义文本序列 ,在哪里是文本长度。表1解释了具体计算的可视化表示方法感知文本使用text-image机器翻译为例。

在表1,第一步先将输入文本转换为字嵌入根据字嵌入表。嵌入这个词表可以从pretrained词嵌入或通过随机初始化。本文随机初始化用于嵌入这个词表的生成方法。第二步是让空间图像,图像的视觉特征VGG19 pretraining模型。步骤3和步骤4表明,如果视觉特性尺寸不同于文本表示的尺寸,视觉功能维度需要转换成相同的尺寸文本表示通过一个线性改变尺寸,完全连接网络。第五步表明矩阵是通过关注dot-producing正常化的文本表示和视觉特性和归一化指数。第六步是获得感性的视觉表示文本使用在步骤3中获得的关注矩阵和空间视觉特性在步骤2中。在算法的步骤7和8,两个独立的变压器使用编码器编码文本表示和感性的视觉表示文本,分别。获得两个隐藏文本和视觉状态后,返回两个隐藏的状态在第9步。后,视觉隐状态分配权重。 and the hidden states of the two modalities are fused in a multimodal gated network.

为了正式简洁,步骤4和5的表1可以表达相同的形式作为注意力机制的变压器。 在哪里文本表示和吗和都是视觉表示。由于可视化表示已经转换成相同的尺寸文本表示,是文本表示的尺寸和可视化表示。为了提高模型的表示能力,加强其鲁棒性,注意在这一节中变压器是一样的,也使用多线程的注意。在方程(5),不同,完全连接矩阵应用于每个关注头映射到不同的空间,分别计算,并输出是缝作为最终的输出,这是知觉的可视化表示文本。

2.3.2。多通道控制网络

在不同的多通道的机器学习任务,视觉信息扮演不同的角色。例如,在图像描述一代(图片标题)任务,模型需要理解语义的图像解码成文本。此时,视觉信息在整个任务中起着决定性的作用,和描述的文本不能获得的输入图像。然而,在多通道机器翻译,视觉信息并不总是发挥决定性的作用。在多通道机器翻译,照片通常是作为一个额外的补充双语平行语料库,和模型依赖于信息从源语言文本理解完整的语义。它已经表明,视觉信息发挥更大的作用当文本中有歧义和语义表达的单词还不清楚。相比之下,在一般情况下,文本就可以更准确地表达整个句子的语义。

为了使视觉信息被应用在多通道机器翻译更合理,控制网络的设计在这一节中。通过控制比例整体视觉信息的多通道信息,视觉信息的权重动态分配,充分利用多通道信息的特定场景和减少信息冗余。

在神经网络中,决定保留一些信息或忘记通常是通过使用控制网络。例如,在长时间的短期记忆(LSTM)网络,输入盖茨,忘记盖茨,介绍了盖茨和输出控制信息的流动网络中以动态控制效果历史信息的当前状态。三个控制网络的引入长期短期记忆网络控制的当前状态和历史信息的比例,另一方面解决了问题,如梯度爆炸消失在传统的递归神经网络的另一方面。输入盖茨,忘记了盖茨,盖茨和输出的长期和短期记忆网络计算如下:

所有三个的形式是一致的,重量的输入当前时间步和隐藏的状态输出之前的时间步得到第一,然后概率输出值在0和1之间通过激活函数乙状结肠。

为了让视觉信息动态地获得多通道信息的共享,本文使用多通道控制网络来动态地分配权重的视觉信息。控制网络的具体方法是类似于在长期和短期的记忆网络。

在方程(12),和代表独立文本和视觉编码器的输出,分别;和代表了两个独立的参数矩阵。在获得多通道控制网络的输出,输出作为视觉信息的重量。文本隐藏状态输出和视觉隐藏状态输出与重量作为最后总结多通道上下文表示 。上下文表示包含文本和视觉信息,自动分配的比例根据语义的视觉信息,因此,在一定程度上,减少了冗余的信息。与单机翻译模型相比,multimodal-machine翻译模型可以更好的融合和识别多媒体text-image信息。

3所示。结果分析和讨论

3.1。实验数据集

来验证模型的有效性,本文对text-image multimodal机器翻译任务,使用两个主流形象描述数据集进行实验,MSCOCO Flickr30k。Flickr30k数据集包含31000张图片。他指的是文献[11),这些图像被随机的29000用于培训,1000图像进行测试,1000图像进行验证。MSCOC0数据集是最常用的基准数据集测试图像描述的任务,与123287图像覆盖绝大多数的自然生活场景,包含82783个训练图像和40504年验证图像。后设置方法广泛应用在文献[6),5000年113287图像被分为训练图像进行验证,和5000年图像进行测试。

的视频文字机器翻译任务,用于文本VATEX数据集的数据集,这是唯一可用的视频文字机器翻译的数据集。28991个视频VATEX提供的数据集。

3.2。评价方法

在实验阶段,两个评价指标,蓝色和流星,是用来评估生成的翻译。蓝色是最常用的评价指标在机器翻译,和蓝色的主要思想评价指标计算 - - - - - -克共存的生成的翻译和参考翻译。首先, - - - - - -克精度计算如下: 在哪里和表示 - - - - - -th - - - - - -克片段和 - - - - - -句子。和表示总 - - - - - -参考翻译 - - - - - -参考翻译。 , ,和表示当前处理的句子,翻译标准参考,目前出现的次数 - - - - - -克的句子。 - - - - - -克精密短语翻译有偏见,所以蓝色的最终输出包含一个乘法因子BP。 在哪里model-generated翻译和翻译的长度吗的长度是标准的翻译。最后的蓝色是计算如下,上的价值通常是4。

流星蓝色指数指数提高了一些缺陷,也认为召回率和准确率。流星还介绍了WordNet,目的是计算同义词接近人类如何判断一个翻译。分数越高,生成的句子的质量就越好。

text-to-image机器翻译任务将使用蓝色和流星multimodal机器翻译评价指标。text-video图像机器翻译将只使用蓝色度量评估测试集的限制。

图6显示了不同模型的结果在MSCOCO(微软可可)数据集。图的顺序轴6代表了定量指标蓝色的流星百分比(%)。其中,该模型达到了75.7%,60.3%,46.6%,37.3%,和29.7% BLEU1, BLEU-2, BLEU-3, BLEU-4,和流星。可以看出,该模型的性能明显优于其他方法。用于比较的方法的最新方法文献[23)、文学(24]和文献[25),分别。

结果Flickr30k不同模型的数据集在图所示7。图的顺序轴7代表了定量指标蓝色的流星百分比(%)。同样,蓝色的最佳性能和流星量度得到的模型本文Flickr30k数据集。

结果的数据6和7可以看出,该模型提高了编码器的变压器模型仅依赖于纯文本数据,利用图片数据,蓝色和流星指标都大大改进了数据集。这表明图像信息可以帮助理解上下文语义模型,提高翻译的效果。

为了验证提出的有效性普遍MMT模型text-video multimodal机器翻译任务,VATEX text-video数据集上的测试结果如表所示2。

从表2,可以看出模型本文蓝色和流星,得分最高,证明了该模型的性能优越。

数据8- - - - - -10显示描述的定性比较结果生成的模型与本文方法在文献[23)、文学(24]和文献[25]。从数据8和9的描述,可以看出新词产生的模型在本文中包含丰富的图像信息和更好的长时间序列。此外,本文中的模型可以描述新单词出现在图像等自由贸易协定和蓝天防御战争,而其他模型无法恰当地翻译图像内容。与其他模型所产生的翻译相比,本文中的方法包含丰富的语义信息,能够实现一个精确的和整体的描述图像内容,提高翻译质量。

上述定性实验结果的对比分析表明,本文模型能够检测和准确描述目标对象中包含的图像。它有一些指导意义的日本翻译的翻译策略在跨境电子商务新单词。

便于理解和比较,总结,优势,这些比较方法在表表示的局限性3。

4所示。结论

多媒体和电子商务的迅速发展,跨国电子商务平台的数据量很大,每天和各种新单词出现。为了提高机器翻译的准确性,提出了一种基于视觉信息的多通道机器翻译模型。text-image机器翻译的方法迁移到text-video机器翻译,机器翻译和两个多峰子任务统一建模。两个多通道翻译任务由一个通用的模型。本文模型是基于感性的视觉表示文本和选择性地包含了视觉信息,充分利用多峰性和准确地识别新词的语义信息。然而,本文中使用的数据集存在规模小的问题。因此,在未来的工作中,我们将考虑使用技术,如semisupervised无监督扩展可用的数据来提高模型的表达能力。同时,“K-fold交叉验证”技术将被用来验证系统分析算法的性能。

数据可用性

标签数据集用于支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由潍坊大学。