文摘

机器翻译是一个持续的从过去几十年的研究领域。机器翻译的主要目的是消除语言障碍。早期的研究在这个领域开始的直接一个词到一个词替换源语言到目标语言。后来,随着计算机和通信技术的发展,出现了一种范式转移到数据驱动模型统计和神经的机器翻译方法。在本文中,我们使用了一个神经网络深度学习英语,乌尔都语语言的技术。使用平行语料库规模约30923句。语料库包含句子从English-Urdu平行语料库,新闻,和句子在日常生活中经常使用。540924乌尔都语语料库包含542810个英语令牌和令牌,和提出了系统训练和测试使用70:30标准。为了评估提出了系统的效率,使用几个自动评价指标和模型输出与输出相比也从谷歌翻译。该模型平均蓝色得分为45.83。

1。介绍

机器翻译是最早的也是最迷人的自然语言处理领域。的主要目标是消除语言障碍通过开发一个机器翻译系统翻译一个人类语言到另一个。机器翻译是人工智能的一个分支,它将一个自然语言转化为另一种自然语言与计算机的帮助1]。这是一个跨学科的研究领域包含不同想法的语言、人工智能、统计和数学(2]。机器翻译的想法可以追溯到的时代电脑就诞生了。1949年,机器翻译领域出现在沃伦·韦弗的备忘录,机器翻译领域的先驱之一(3]。在这个数字时代,各种世界各地的社区联系,分享巨大的资源。不同的语言创建一个这种类型的数字环境中沟通障碍。来自几个国家和大公司的研究人员正致力于构建机器翻译系统来克服这个障碍。这是一个梦想在20世纪之前执行所需的翻译过程。在20世纪,它变成现实,当电脑程序,但是局限于特定的领域,用于翻译过程(4]。机器翻译系统的输出是算后编辑制作出高质量的翻译。机器翻译已经被证明是一个好的工具翻译大型科学文档的文本,报纸报道,和其他文件5]。工业增长的增长和增加一些地方语言之间的信息交换在过去的十年里,在机器翻译市场有很大的影响,这就要求获取信息可在所有地方语言。

在1950年代,利息和资金太受思想的快速,准确的翻译材料的重要性,美国军方和情报机构,这是太倡议的主要资助者在这个时期。在第二个十年在1960年代,失望地在语言的数量和严重性困难变得越来越明显,并明白翻译问题不是方便的自动化解决方案,因为它被假定。

在第一年的研究期间,使用双语词典构建的机器翻译系统和一些手工制作的规则;然而,这些手工制作的规则,它很难处理所有语言异常(5]。从一个基于规则的方法统计机器翻译是由于增加处理能力在1980年代。发生了一个范式转换,即从统计神经模型由于巨大的平行语料库的可用性和深度学习的发展。

本文的主要贡献如下:(我)英语,乌尔都语使用encoder-decoder机器翻译模型与关注(2)创建一个消息平行语料库(3)使用几个指标评价机器翻译模型

开展这项研究工作的主要动机是几个现有的模型提出了不同的语言对,但非常少注意到语言乌尔都语。现有的乌尔都语模型主要是基于统计的方法。这些模型的蓝色的分数不是很好。

剩下的纸是组织如下。部分2介绍了相关的工作。部分3简要的神经机器翻译。部分4描述了该方法。部分5简要论述了训练算法。部分6描述了注意力机制。部分7介绍了实验装置、评价指标和结果。最后,给出了结论。

2。相关工作

几个机器翻译系统建成乌尔都语和Urdu-related语言;其中的一些相关的研究在这一节中列出。

机器翻译系统和其他印度语言对英语(6]。它使用一个基于规则的机器翻译方法和执行的分析源语言使用上下文无关语法。这对印度语言的系统使用伪代码国际语,根治需要为每种语言开发一个独立的系统。这个系统开发的医学领域。在此系统中,70%的精力花在分析源语言和目标语言生成30%。这个系统使用PROLOG实现了52个规则,系统就可以翻译最常遇到的句子。试图达到90%的机器的工作和10%的人类posteditor。该系统的主要缺点是只能翻译那些句子归入这些52规则(7]。

在[8),作者开发了Angla Bharti II系统IIT坎普尔解决一些缺陷的先前版本。为了消除RBMT手工规则杂交的缺点,基于实例的方法是在这个系统。问题是,系统是不可伸缩的,因为它需要一个双语平行语料库,这对印度语言是非常可怕的。这个系统是比以前的版本更加健壮和高效。这种架构改进系统的性能从40%到80%的英语,印地语(9]。

在[10),英语,印地语太提出了在IBM印度研究实验室。这是一个双向机器翻译系统使用的统计机器翻译方法。这个系统被训练在50000 English-Hindi平行语料库句子。提出了一种模型传输方法。据称,蓝色NIST得分提高了7.16%和2.46%,但整个系统的准确性没有提到。

印地语旁遮普提出了机器翻译系统,Lehal et al。11]。印地语和旁遮普语语言密切相关和遵循相同的词序。该系统是基于一个直接机器翻译方法,逐字替换使用。系统由三个模块组成。第一个是预处理和标记,源语言转换为Unicode格式和个人标记提取。第二个模块执行实体识别和消除歧义的翻译引擎。第三个模块是后处理,目标使用规则库生成句子。这个句子出错率约为24.26%

英语,孟加拉MT系统提出了(12]。它是一个基于规则的机器翻译系统,包含一个知识库和MySQL数据库表来存储每个英语单词的标签及其等价的孟加拉语的词。在某些情况下,系统运行良好,但问题是,如果语料库的大小增加时,它会创建一个巨大的数据库更复杂。这个系统的开发使用小型语料库。

在[13),作者提出了印地语旁遮普的机器翻译系统基于三个模块。一个是预处理模块,由不同的操作进行输入数据如文本归一化,第二个模块是翻译引擎的主要目的是生成的目标令牌源语言令牌,第三个模块是posttranslation引擎性别协议。

Jawaid和泽曼提出机器翻译英语,乌尔都语(14]。它是一个系统基于统计机器翻译方法。大约27000语料库规模用于这个系统。系统有三个配置设置:基线,距离为基础,和转换的基础。使用蓝色的系统评估分数,和最大蓝色25.15得到的分数transformation-based设置。提出了机器翻译英语,乌尔都语基线使用分级机模型(15]。比较基本phrase-based和层次模型也可以执行,这是发现,简单的phrase-based模型执行最佳相比乌尔都语语言的层次结构模型。

Sinha和Thakur提出一个使用印地语英语,乌尔都语机器翻译系统作为中间语言乌尔都语和印地语结构相似之处(16]。输入英语句子首先被转换成印地语,在那之后,印地语转化为乌尔都语。该系统遵循规则和国际语的方法。印度-乌尔都语为母语的人口创建映射的映射表的乌尔都语单词相应的印地语单词。蓝色评分系统的按行业标准0.3544是好的,是英语,乌尔都语。

的英语,乌尔都语提出机器翻译系统17使用统计机器翻译方法。总语料库6000句子已经被使用,其中5000用于培训,调优,800和200年测试。9.035优化后得到的蓝色的分数。平行语料库是一个至关重要的任务在任何自然语言处理系统的发展18),和一个小语料库规模中使用这种方法。另一种方法对机器翻译从英语到乌尔都语提出的(19使用统计机器翻译方法。在这个模型中,大约20000个句子对系统中使用。系统调优后的蓝色得分是37.10。序列卷积序列提出了机器翻译英语,乌尔都语(20.]。模型包括三个主要部分,文字嵌入,encoder-decoder架构,和注意力机制。模型的蓝色得分是29.94。

几个机器翻译系统建成英语,乌尔都语,要么使用统计机器翻译方法,phrase-based方法,或基于规则的方法;只有少数应用神经机器翻译方法。英语旁遮普的机器翻译系统使用深度学习34.38中句子的一个蓝色的分数(21]。神经机器翻译是一个有前途的方法,导致了一个良好的性能比的统计机器翻译方法(21]。

审查的文学,它是发现,研究人员主要是应用统计规则,机器翻译的英语,乌尔都语和以知识为基础的方法,而且只有一个标准,也就是说,蓝色得分,被认为是用于访问机器翻译系统质量。我们建议的系统使用一个神经机器翻译方法的注意机制Bahdanau等人提出的英语,乌尔都语翻译。这种方法提供了一个很好的蓝色得分比现有的方法。我们还使用其他一些指标来评估我们的系统的质量。

3所示。神经机器翻译(NMT)

出现了一种新的基于语料库的机器翻译方法的计算机和通信技术的进步,地图源语言和目标语言在一个端到端的方式。它解决了现有的机器翻译方法的缺点。NMT基本上包含两个神经网络:一个是一个编码器,另一个是译码器。编码器将原句转换成一个上下文向量c,而解码器解码向量来生成目标句子(22]。编码的句子成固定长度的向量的内容创建一个问题当句子的长度增加。合并一起关注层的设计可以克服这个问题,提供良好的性能。根据概率统计方法,它等于找到一个目标句子优化条件概率,也就是说,(23]。编码器将句子来源年代为一系列的向量年代= (x₁,x₂,x₃在向量。,… ,也称为思想(7]。在数学上,它可以表示为 在哪里和权重,x_t是当前的输入,然后呢h_t1前面的隐藏状态。

RNN学会编码的输入序列变量向量和解码成固定长度的向量回一个变量序列。该模型预测序列对于一个给定的序列学习 (24]。它可以是数学建模如下:

从编码器, 在这里,h_t是隐藏的状态在时间吗t向量和c是隐藏状态的总结。

译码器预测随后的基于上下文的词。从方程(2), 从解码器可以获得 在这里,y_我−1是先前的目标预测,年代_我−1是以前隐藏的解码器,c_我这个词的上下文,在数学上表示为

有两种不同体系结构的选择:一个是递归神经网络,另一个是LSTM-RNN。我们使用LSTM(“长短期记忆”)网络在我们的实现中。图1代表了概念模型。

4所示。提出了系统

摘要LSTM编码器和译码器体系结构和一种注意力机制提出了本文分别解释。参与该系统的不同阶段为标准英语文本的翻译乌尔都语如下:预处理的源语言和目标语言,文字嵌入,编码,解码,然后生成目标文本。工作流图所示2。解释如下的各个阶段。

4.1。预处理

语料库预处理的最重要的任务是开发任何神经机器翻译系统。平行语料库预处理活动的发展是至关重要的任何神经或统计模型。英语,乌尔都语的机器翻译系统一直在训练平行语料库包括宗教、新闻,以及常用的句子或一般域。以下为语料库预处理阶段执行。

以下4.4.1。Truecasing

truecasing是非常重要和关键任务的两种语言语料库训练NMT系统。它有助于把每个句子的第一个词语料库他们最可能的套管。它还有助于减少系统中的词汇量大小,可以给好文本困惑,进而可以给好的翻译结果(25]。自从乌尔都语语言有大写和小写字母的概念,乌尔都语的truecasing操作不需要语言。truecasing操作已经完成的英语文本文件后将它划分为句子。

4.1.2。标记

标记在机器翻译是一个非常重要的和必要的任务和完成的源语言和目标语言。标记是用来把句子分成词由空格隔开。我们使用Keras API来执行标记化的源语言和目标语言语料库。

4.1.3。清洁

清洗操作是另一个关键的一步为源和目标语料训练NMT系统。它有助于把长句子,空的句子,额外的空间,从语料库以及不恰当的句子。(26]。

机器翻译的这个阶段涉及的操作应用于源文本和目标文本清洁源和目标文本。在这个阶段所涉及的操作可能不同的数量取决于语言对。数据加载的Unicode格式系统;预处理任务包括小写的源文本,删除特殊符号,去除所有不可打印字符,所有Unicode字符的ASCII,正常化和删除的所有令牌不是字母。同样,对目标语言,而不是可打印字符被删除,源和目标句子分为单词,和语言对保存使用泡菜API。

4.2。填充句子

预处理完成后,下一步是执行填充句子作为输入相同的形状和大小对所有神经网络是必要的。然而,预处理后,当我们使用文本作为递归神经网络的输入或LSTM,一些句子自然是长还是短,并不都是相同的长度。我们需要一个输入长度相同的目的,和填充是必要的27]。

4.3。字嵌入

这是一个类型的词学表示,允许有相关含义的单词也有类似的表现。在这方面,不同的词表示向量的形式在一个预定义的向量空间,并且每个单词是映射到一个固定大小的向量。有几个可用的技术也喜欢word2vec,它使用本地基于上下文的学习和经典的向量空间模型表示,使用矩阵分解技术,如LSA(潜在语义分析)。在本文中,我们使用手套(全球词向量表示)28,29日],它有效地学习单词向量和结合方法矩阵分解技术像LSA和地方word2vec基于上下文的学习。

4.4。编码器

编码器是一种LSTM细胞。它接受单个元素作为输入序列在每个时间步,流程,收集的信息元素,并向前传播。(30.]。只需要一次一个元素或词;因此,如果这句话米单词或输入序列的长度l,它将l时间步长来读它。编码器负责生成一个想法向量或上下文向量代表源语言的意义。编码过程中使用的一些符号如下:x_t在时间步是输入吗t;h_t和c_t当时LSTM的内部状态一步t;y_t在时间步是输出产生吗t。

考虑一个简单的例子句子,先生你好吗?这个序列可以被视为一个句子由四个字组成。在这里,x₁= "如何"x₂= ","x₃= "你"x₄= "先生。”

这将在第四次阅读步骤序列,如图3。

在t= 1,它记得LSTM细胞读过”,“当时间t= 2,这回忆LSTM读过”,如何“当t= 4,最终的状态h4和c4记住完整的序列“你好先生。”

的初始状态h₀和c₀初始化为零向量。编码器的词序列 上面所示的输入和计算思想向量 ,在哪里h_c代表了处理后的最终获得外部隐藏状态输入序列和最后的元素是最终的细胞状态。这可以在数学上表示为 和 。

4.5。上下文向量

这是一个高维向量的实数或组件将从一个给定的源语言句子转换为矢量。上下文向量的主要思想是代表了源语言句子简洁和决定如何初始化初始状态与零的编码器。上下文向量的起始状态译码器。LSTM解码器不从初始状态为零但以上下文向量为初始状态。

4.6。译码器

译码器也NMT的一个非常重要的和必要的组成部分。的责任解码器解码上下文向量到所需的翻译(30.]。译码器也是一个LSTM网络。编码器和解码器可以共享相同的权重,但是我们有两种不同的网络用于编码器和译码器,还有参数的增加在我们的模型中,这使我们能够更有效地学习翻译。

encoder-decoder的架构图所示4。

译码器的状态与上下文初始化向量 作为 和 ,在哪里h₀和c₀ LSTM_12月。向量是一个重要的内容链接,连接编码器和译码器形成一个端到端的计算链端到端学习。

唯一共同的编码器和译码器因为它是唯一可用的信息译码器的源码的句子。的米^th翻译句子的预测计算由以下方程:

5。训练算法

(我)进行预处理x_年代=x₁,x_2,x₃、…x_l,y_t=y₁,y_2,,y₃、…y_l源和目标句子,对预处理部分的解释。(2)使用手套执行嵌入嵌入矩阵:embedding_layer =嵌入(num_words EMBEDDING_SIZE,重量= [embedding_matrix]。(3)饲料x_年代=x₁,x_2,x₃、…x_l年代在编码器和发现内容向量在关注层条件x_年代。(iv)译码器的初始状态设置为(h₀c₀向量)的内容。(v)预测目标的句子 对应于输入的句子x_年代在译码器,米^th预测从目标词汇量计算如下: 在这里表示最好的目标词米^th的位置。(vi)使用分类之间的交叉熵计算损失的预测和实际的词米^th的位置。损失函数在输入词汇时间t是由 (七)优化编码器和解码器通过更新权重矩阵 和softmax层对损失。(八)保存模型和预测输出。

6。注意机制

注意机制是在机器翻译的一个重要突破,改善神经机器翻译系统(24]。它增强了encoder-decoder-based神经机器翻译模型。注意机制方法如图5。的情况下LSTM encoder-decoder,输入序列编码在上下文向量,这是最后一个隐藏的状态LSTM编码器;在这个场景中,所有中间序列都被忽略,只有最终状态,译码器的输入,考虑。encoder-decoder架构的主要缺点是,它不能有效地总结输入序列,和翻译质量不是很好。一般来说,上下文向量的大小是128年到256年,这几乎是按照系统需求并不可行。所以向量的内容没有包含足够的信息和生成一个适当的翻译。注意机制的帮助下,编码器译码器能够访问所有国家,这创造了一个丰富的表示源句子翻译和地址的时候encoder-decoder模型中的瓶颈问题。因此,解码器性能很差的解码器没有开始编码器。为了记住整个上下文向量,注意力机制将帮助解码器访问完整的编码器在解码过程的每一步。译码器访问来源的富人表示句子。encoder-decoder模型中,LSTM译码器组成的一个输入y_我和一个隐藏的状态年代_我−1。现在,我们将忽略这个国家内部LSTM注意层时补充道。这是表示为LSTM_12月=f(y_我,年代_我−1)。概念上的注意力都被视为一个单独的层,其责任是生产c_我为我^th时间步的解码过程。c_我计算如下: 的重要性和贡献因子吗j^th隐藏状态的编码器和解码器的先前状态计算年代_我。

7所示。实验设计

为了实现这种方法,六层的编码器和解码器使用的六层以及一个语料库的大小30923平行句子涵盖宗教的三个领域,新闻,经常使用的句子。模型已经在谷歌Colab执行。

7.1。Hyperparameters

这些值或配置的值不能从外部数据,但估计模型,用于估计模型参数。具体的模型参数如下:(我)batch_size: batch_size应该非常仔细地选择神经机器翻译需要相当数量的内存,而运行。(2)num_nodes:这代表了LSTM隐藏节点的数量。大量的节点将导致更好的性能和更高的计算成本。(3)embedding_size:这是向量的维数。一般嵌入规模100 - 300对大多数来说是足够使用词向量的现实问题。

7.2。评估过程

自动评价指标被用来评估机器翻译系统的质量。使用的评价指标如下。

7.2.1。蓝色的分数

它是自动评价指标和代表“双语评价替补。“这度量提出了Papineni et al。31日]。计算出的蓝色是统计机器翻译中的词输出对应于参考翻译。蓝色得分从0到1或(0 - 100),0分代表不匹配,1代表所有比赛,这对所有的测试是不可能的句子。蓝色的分数计算如下:

精度通常更喜欢小句子。这就提出了一个问题在机器翻译的评价可能产生小的句子更长时间引用和还有精度高。为了避免这种情况,介绍了简洁的点球。是修改后的重量吗n克精密 。 在哪里c候选句子的长度和吗r引用的句子的长度。

7.2.2。NIST

它是另一个自动评价指标和类似于蓝色的分数有一些改变。这是提出的“国家标准与技术研究院。“计算的一个特定的方式n蟋蟀。更多的信息n克严重重量(32]。NIST的计算如下: 在哪里β简洁是惩罚因子的重量。l_裁判代表的平均词汇在所有参考翻译。l_sys代表候选人的平均单词句子。

7.2.3。词错误率

这个指标最初是在语音识别系统中使用,但也可以用于机器翻译系统。它通过测量计算的数量修改替换,删除和插入所需的机器翻译输出参考翻译。词错误率是基于Levenshtein距离(33]。

7.2.4。流星

它代表“评价指标与明确的顺序翻译。”它考虑合并后的精度和召回,并使用调和平均数的召回是9倍精度。它还支持形态变化(34]。

在第一步中,unigram精密计算,在第二步中,unigram回忆起计算,第三步,这两个组合使用谐波的意思。

罚款用于不再匹配:

计算最后得分

这个指标的问题是,它不是与乌尔都语的语言。所以我们计算精度、召回和F测量 。

7.3。结果

使用一个平行语料库的30923句。语料库包含句子从古兰经和圣经UMC005 English-Urdu平行语料库[14),新闻,和句子在日常生活中常用的。网页抓取被用来收集从几个英文报纸新闻语料库。新闻语料库是然后清洗分为句子。这些操作后,手动新闻语料库翻译成乌尔都语,和手动执行验证检查错误。经常使用的句子从各种来源收集,和乌尔都语语言专家的帮助下,这些句子是翻译错误检查。语料库的单词总数是1083734。语料库描述表1。上述评价指标应用于模型为了评估机器翻译的质量输出。在这篇文章中,我们坚持自动评价方法作为人类的评价是昂贵和消耗大量的时间。

一些句子的结果给出的模型相比,谷歌翻译的输出如表所示2,它可以清楚地看到,我们的模型预测输出类似于谷歌翻译。模型多次模拟得到多个评价指标的值,如表所示3。蓝色的平均得分是45.83。

几个评价指标经过广泛获得的不同的值模拟给出了表3。

表的值的图形化表达3如图6。从图,很明显,当这个词错误率增加,蓝色的分数下降,当这个词错误率减少,蓝色分数增加。因为错误,字错误率越高,蓝色的得分越低,当这个词错误率少,这意味着翻译质量是好的,所以蓝色得分是好的。

8。结论

神经机器翻译是机器翻译的小说范式的研究。在这篇文章中,一个LSTM-based深度学习encoder-decoder模型提出了英语,乌尔都语翻译。Bahdanau注意力机制被用于这项研究。并行English-Urdu语料库的1083734令牌使用,这些总令牌,542810英语令牌,和123636年乌尔都语令牌。使用这个语料库系统训练。评估系统的效率,几个自动评价指标,如蓝色、F测量,NIST,回答,等等。提出系统经过广泛模拟实现蓝色平均得分为45.83。

在未来,我们的目标是增加语料库规模和不同领域的语料库包括健康、旅游、商业、等等。另一个目标是提出一个语音识别模块添加到系统,以建立一个“语音翻译英语,乌尔都语语言模型。

数据可用性

的数据支持本研究的发现可以在请求从相应的作者。

的利益冲突

作者宣称没有利益冲突。