最大熵模型和模拟的英语短语重新排序文本在语言学习的机器

文摘

提出了一种基于最大熵的特征提取算法短语重新排序模型在统计机器翻译语言学习机器。算法可以提取更准确短语重新排序信息,尤其是逆转短语的特征信息,解决不平衡的问题特征数据在最大熵训练在原始算法中,并提高了短语翻译重新排序的准确性。在实验中,他们结合语言特征,如词类,单词,和语法特征提取使用的语法分析器,和最大熵分类器被用来预测翻译错误,和实验验证进行汉英翻译数据集和比较。实验结果表明,不同的后验概率产生重大影响的分类错误率,和语言特征的结合基于后验概率这个词可以显著降低分类错误率,提高翻译错误的预测性能。

1。介绍

Phrase-based统计机器翻译是当前主流的机器翻译方法。翻译的基本单位转换从词到词组,和连续单词字符串处理翻译过程作为一个整体,这词上下文依赖的解决问题(1]。翻译时,输入句子与短语字典,最好的短语选择部门,获得的短语翻译是重新排序以获得最好的翻译。其中,在短语层面重新排序基于短语机器翻译是一个重要的研究问题。许多系统使用失真模型概率调整目标语言短语之间的顺序(2]。每个目标词的变形概率可以根据当前目标词的源语言短语起始位置和之前的目标短语。这句话的最后位置之间的距离计算的源语言短语。显然,这简单的策略基于惩罚长度会影响短语重新排序模型的准确性。引入语法知识转化为机器翻译系统可以有效改善重新排序的准确性(3]。

近年来,随着机器翻译的发展(SMT)基于统计方法,许多不同类型的机器翻译(MT)系统已经出现,如phrase-based、层次phrase-based,和syntax-based机器翻译系统,和翻译表现显著提高(4]。自动翻译质量评价是统计机器翻译研究的一个热点。它可分为两种类型:自动评价参数和自动评价没有参数(5]。领域的软件本地化,后者指的是自动给翻译质量的信心得分或分类识别和翻译中的错误翻译没有参考答案,以便翻译帮助翻译编辑快速定位错误位置和提高工作效率。为了提高机器翻译的质量,自动错误检测和分类后处理的输出中扮演着至关重要的角色。一方面,它可以帮助posteditors提高工作效率,另一方面,它可以分析相应的翻译源语言翻译错误。我们可以通过改变redecode源语言输入,从而提高翻译性能(6]。

其中,托架转录Alkazemi等提出的语法。7)也被广泛应用于机器翻译领域。然而,由于支架传输语法不包含语言知识,它不能预测的组合顺序两个相邻目标短语。王等人。8]使用双语短语的边界词作为特征的基础上,托架转录语法进行最大熵的训练得到重新排序模型并获得概率为了保存和相反的顺序通过计算相邻双语短语的特点;它可以更好地预测相邻词组之间的顺序,从而有效地提高翻译翻译系统的结果。通过观察最大熵的特征训练基于最大熵的短语reranking模型,发现保序的实例特征短语的数量远远大于了短语的实例的数量特征,因为汉语和英语的语序是大致相同的9]。使用最大熵达到重新排序的短语也可以被视为一个分类问题,即保序类和reverse-ordering类,和功能数据用于训练分类器有一个数据不平衡的问题,这可能会影响到实际分类器分类效果。例如,如果联邦调查局选择训练语料库,基线特征提取系统提取4839390特性情况下,保序特性实例的占82.7%,而相反的顺序功能实例仅占17.3%10]。以100000年所有特性实例句子为开放reranking模型的测试集和剩下的数据作为训练集最大熵,试验结果表明,reranking模型的判断准确性为97。55%的保序特性(10]。倒序特性的判断准确率只有72.03% (11]。此外,基于转录括号语法,假设源语言短语是邻和目标语言短语也相邻,但有相邻的源语言短语在实际汉英句子配对。鉴于上述情况,本文改进了最大熵特征提取算法从三个方面:保序例选择策略,引入功能相结合,并添加新的短语来提高判断的准确性reranking模型,最终达到提高翻译质量的影响。

2。基于最大熵的统计机器翻译短语重新排序模型

王等人。8]提出一种基于统计翻译模型支架转录语法。简化支架转录语法只包含以下两条规则:

其中,是词汇规则,这意味着源语言短语是翻译成目标语言短语 。 合并规则,源语言短语和目标语言的词可以表示为维护秩序和相反的顺序。的过程中重新排序,先天的保存和扭转的概率可以设置两个不同的订单合并规则。这种方法忽略了不同源语言差异对目标语言短语。

Maučec和Donaj12]改善上述的排序模型支架转录语法模型,提出了一种基于最大熵的短语排序模型支架转录语法,也就是说,使用最大熵模型用于短语排序:

其中,f是特征函数,是重量的特性,和价值的订单保存或反向排序,选择结束词的短语的功能最大熵模型的训练。短语排序模型的性能实验结果表明,基于最大熵托架转录语法显著优于传统distortion-based短语调排序模型和托架转录基于语法的排序模型。然而,从实验中可以看出,保序实例的数量远远高于倒序数的情况下,这可能会影响性能的最大熵模型。本文削减从两个方面reranking实例的提取算法和特征选择,旨在解决最大熵的训练数据不平衡的问题。在实验中,统计机器翻译系统13)基于最大熵排序模型将被用作基线系统。最大熵短语重新排序模型如图1。

2.1。重新排序实例提取算法

最大熵的提取算法重新排序的例子短语重新排序系统本文更灵活、简洁的实现和易于扩展,能够满足不同的提取策略的实验。reranking实例提取算法的输入是一个词对齐矩阵吉萨双向对齐,并输出是保序词实例和倒序词实例(14]。连续提取算法首先遍历源语言中的词序列和提取的最大跨度的目标语言与这连续序列。然后,目标语言词序列和源语言词序列不满足一致性的一致性的过滤,也就是说,张成的空间目标语言在相反的顺序扫描检查是否对应的源语言跨范围内的原始连续词序列。最后,根据给定不同的提取策略,重新排序的例子是提取。

2.1.1。变量定义

重新排序的例子介绍提取算法之前,首先定义的变量相关的算法:(1)对齐:存储所有校准矩阵从源语言到目标语言(2)直接设置:存储一组目标语言短语的实例维护秩序(3)倒置:实例的集合存储在相反的顺序的目标语言短语(4)其他设置:存储实例的源语言短语是邻和目标语言短语不相邻(5)Sec_跨度(我j]:一系列连续的话我来j在源语言(6)跨度(我j]:创纪录的连续词的序列我来j在源语言和连续单词的顺序在相应的目标语言

2.1.2。算法实现

该算法首先获得最大一致性矩阵跨度(i, j)对应于任何源语言跨度(i, j),然后过滤掉非法跨越(i, j)。最后,它分类的重新排序的例子和提取特征的例子;具体步骤参见算法1。具体的算法如图2。

最后一行的改进算法的算法描述框架提取的例子。基于这个框架,方便制定各种提取规则。其中,10^th一步对提取的双语词对齐矩阵,检查是否可以分成两个相邻双语短语对,和法官的组合顺序分割相邻双语句对。在最后一步,该算法引入了一个新的分类,即双语短语对不相邻。

2.2。重新排序实例选择策略

基线系统使用一个简单的方法来控制重新排序实例的数量,也就是说,只有最小的块保留保序实例,只有最大的块留给倒序实例。显然,一些短语边界特性以这种方式将丢失,和保护实例的数量仍然远远超过了实例的数量。这种不平衡的特征数据会影响判断最大熵重新排序模型的准确性,特别是倒序的特征的判断实例(15]。开放式测试执行100000个实例,其中倒序实例的数量是17286,和倒序实例的测试准确率仅为72.03%。在这篇文章中,该算法框架下提出了部分3,以下三个尝试重新排序的序列实例选择策略:(1)为了解决失衡的特征数据在最大熵的训练过程中,最直接的想法就是采取一定的选择策略,直接限制保护实例的数量(16,17]。最小块相比选择的保序例基线系统,本文使用一个随机算法选择保序的例子的数量,避免损失的长短语边界特性,可能是由于前面的方法。(2)在双语句子,源语言短语相邻但目标语言短语不相邻。针对这种情况,本文添加一个新分类基于(1)减少特性数据一定程度上的不平衡。如果提取的实例不属于保序和reverse-ordering类别实例可以分为一类(18]。(3)因为对齐结果的偏差,扩展不结盟的单词短语的例子将提高召回率特征提取。在这里,我们定义了保序和reverse-ordering规则,我={0,1},我=0,这意味着提取的实例不是扩大了不结盟的话说,和我=1,这意味着提取的实例是扩大了不结盟的单词。

2.3。特征提取

从reranking实例中提取出的特征对最大熵的训练。重新排序实例可以表示为<一个₁,一个₂>,一个= <b,c>,b代表了源语言短语,c代表目标语言短语,一个₁和一个₂代表相邻或不相邻的短语。在这里,b . f的第一个词是用来表示源语言短语和b . l是最后一个词的源语言短语。使用相同的定义为目标短语c。基线系统考虑的规模特征提取和只使用尾词重排的例子。在特征提取实验中,除了上述四尾词功能,添加第一个词特征和组合特征(19]。因为中文和英文之间的不同的语法结构,相应的英文翻译的短语或从句之前和之后中国标点符号可以表达这个短语或从句在相反的顺序20.]。基线系统的解码方法,如果标点符号在重新排序搜索窗口,这个窗口将不会执行相反的顺序操作。这个方法是非常有效的对称符号,比如< < > > {}。然而,”。“不能简单地判断基于这个。本文的基础上增加的第一个词特征和组合特征reranking实例,标点符号特性添加最大熵的训练。重新排序的例子的特点如表所示1。

3所示。英语翻译系统评估标准

评价标准的有效性错误检测方法采用分类错误率(CER),准确率(AR)、召回率(RR),和F标准。分类错误率的计算如下:

在中文变成英文翻译错误检测和分类任务中,因为真正的类别数量在翻译假设“不正确”的数量大于“正确”,所以在确定分类错误率的基线水平,通常的方法如下:当所有的获得的评价标准分数是“正确”字是标记为“不正确的”,也就是说,基线水平的分类错误率=“正确”的数量样品/样本的总数。

准确性是数量的比率米_n分类器的准确分类的话,实际上是在类别我数量t_n词的分类器标志我,也就是说,

召回率是数量的比率米_n分类器的准确分类词的类别我单词的总数真正的类别我:

的F标准是准确性和回忆之间的权衡,即

3.1。实验结果和分析

在实验中,使用的语言模型N只统计语言模型,单语语料库英语培训模式,和成熟的开源语言模型训练工具识别领域的统计机器翻译的N克语言模型训练。实验使用four-gram语言模型的规模518 (15]。基于reranking实例提取算法,我们设计了7对比实验比较不同的特征提取策略对最大熵的影响训练和影响最终的翻译结果分数蓝色。选择训练语料库提取短语列表和重新排序的例子,语料库规模大约是239000句对。以NIST-MT 02为实验开发集和NIST-MT-05作为测试集。

3.2。特征提取的影响策略Reranking的结果

100000年的特性数据记录reranking实例选择的开放测试集最大熵reranking模型。表2显示的规模reranking实例从训练数据中提取,分类的类别,每个类别的比例,测试精度和提取功能。其中,测试精度正确样本数的比例根据最大熵分类器在测试集样本总数。其中,实验1基线系统和保序实例的数量没有限制。实验2 - 6保序实例的数量限制数量的两倍reverse-ordering实例,实验2 - 4不扩大对齐文字提取实例,实验5 - 7所有执行对齐文字扩张,和实验4和5添加新的类别。因为不同的实验要求不一致的特征,只能确定,测试集的数量的一致性测试集的内容不能被保证。因此,测试最大熵重新排序模型的精度不能简单地反映了翻译的水平的性能。最大熵重新排序模型的测试精度仍然可以作为参考指标。

从图可以看出3实验1的测试精度达到92.48%的最高价值。因为保护实例的数量限制在实验2中,提取的实例的数量降低了60%与实验1相比,导致最大。熵训练的数据量不足,所以测试准确率仅为85.38%。考虑到当实例的数量减少,功能由单一实例生成的数据的数量需要增加,所以在实验3中,第一个词特征和组合功能被添加到实例,和测试精度达到91.39%。然而,邻源语言短语并不表明目标语言短语相邻,所以实验4介绍了第三类,即目标语言。

这句话不是相邻。实验4的测试精度下降到了75.38%,因为一个新的类别也增加了最大熵重新排序模型的不确定性的判断。实验5是基于实验4和扩大对齐文字增加例子的数量,但实验的结果5略低于实验4。两个实验4和5是基于实验3。第三类的引入导致大量减少在测试精度。在某种程度上,它表明第三类的引入不会改进最大熵模型的判断的准确性。因此,本文设计的实验6的基础上扩大对齐的话实验3和引用的基础上实验6。

这两个实验的测试精度是仅略低于实验1。本文更关注特征提取的准确性战略最大熵模型来判断倒实例。图4显示了测试的准确性上的最大熵reranking模型保持子集和反向子集(转化)的测试集的一个子集。保序测试集的测试例子。除了引进新分类实验4和5,保序特征的判断的不确定性增加。测试精度的实验2,3,6不不同于实验1 4%以上。的测试结果反向实例的测试集的一个子集。在实验2中,因为反向特性的训练数据量小,反向实例子集上的测试精度较低,和测试精度的实验3、4、5、6都优于实验1。实例用倒序的子集的准确性很高。其中,测试精度实验6是6%高于实验1。从上面的实验数据可以看出,最大熵重新排序模型特征提取算法提出了解决了不准确的判断相反的顺序功能特性数据的不平衡造成的。

3.3。翻译结果的比较

区分大小写的蓝色值测试NIST-MT 05。图5显示了6组的最大熵的影响与不同特性数据重新排序模型训练最后的翻译效果。基线系统实验1的蓝色值是0.2283。从图可以看出5,除了实验2,最大熵模型重新排序的性能已经大大减少了在翻译过程中由于训练数据太少特性。实验3、4、5、6都是基于实验2添加特征信息,和reranking的性能模型,同时限制保护实例的数量是高于基线系统。在实验4中,翻译不相邻分类的性能降低,但仍高于蓝色值的基线系统。实验6添加标点符号特性和翻译后的蓝色。0.243的价值达到最高的价值。reranking实例提取和本文提出的特征提取算法可以显著提高reranking模型的性能,提高翻译质量通过限制保护实例的数量和增加的数量特征。

4所示。误分类实验

最大熵分类器的特征函数是考虑到上下文特征向量;也就是说,除了每个电流特性变量,它还考虑前后。实验设计:(1)进行分类实验3典型词后验概率特性和比较并分析其性能;(2)执行最大熵模型分类个人语言特征和实验分析;(3)结合三个典型的词后验概率特征和语言特征,进行分类实验,并比较和分析。

4.1。基于词的分类实验后验概率特性

表3显示了基于后验概率的分类实验结果3典型的单词。在表3Dir代表一个词后验概率特性基于一个固定的位置,赢得代表一个词后验概率特性基于滑动窗口,滑动窗口t= 2,列弗代表一个词后验概率特性基于Levenshtein对齐。当调整1-best翻译的假说N最好列表与其他翻译假设,开源工具包后(13使用),及其“转移”功能是关闭的,这是回答对齐。上述三个后验概率离散使用前(10]。

从图可以看出6CER而言,与基线系统相比,Dir特性,赢,和列弗是降低了2.34%,3.97%,和342%(相对值),分别获得执行最佳。分析上述结果,我们可以得到以下几点:(1)赢得特性改变定位成一个滑动窗口,已对齐的灵活性更高,因此更符合订购源语言和目标语言的现象,由于不同的订单,但滑动窗口仅限于有限的地方订购;(2)列弗特性是基于Levenshtein对齐,对齐是更好,但它也引入了太多的编辑操作,如插入、删除和替换,因为没有词序,虽然对齐比Dir,灵活性是低于赢。从上面的分析和数据,可以知道结合CERF值,特征赢得了最佳的综合性能。

4.2。基于语言特征的分类实验

表4基于语言特征显示了错误检测的结果,即实体词(字),词性标注(POS)和语法关系(链接)。

与基线系统相比,如图7、文字、POS和链接CER减少了5.36%,4.98%,和1.72%(相对值),分别,其中表现最好的。而言,F价值,链接执行比其他两个特性和POS比词。分析上述结果和比较表3,我们可以获得以下:(1)除了链接功能,词的分类错误率和POS的语言特征的分类错误率低于3字后验概率特征;(2)链接功能最高的召回率和准确率最低。这主要是由于相对较少的链接功能。因此,当进行分类,分类结果是更倾向于目标词标记为一类我,导致类别c。数量相对较小,所以召回率高、准确率低;(3)这个词特征的分类结果优于POS特性。原因可能是开发集和测试集更相关的(都在新闻领域)和功能的数量远远超过POS的数量特征,因此分类能力而言,其趋势(或概率)来预测目标词的类别我低于POS数量相对较小的特性,导致较低的召回率,但精度很好。

4.3。结合功能分类实验

在自然语言处理的分类任务的研究中,特征组合通常可以更有效地降低分类错误率。表5列出了基于最大熵模型的分类实验结果后,结合三种典型词本文描述后验概率特性和三个语言特性。从图可以看出8CER而言,与基线系统相比,三个结合特征的CER已经减少了13.14%,14.25%,和13.92%(相对值),分别F值也显著提高。虽然分类性能的三个特性组合并不重要,这三个特性的分类特征组合与单个WPP特性是一致的;即结合“Win + + POS +链接”最低分类错误率和结合“Dir + + POS +链接”最高F值,表明这个词后验概率特性基于滑动窗口的位置可以捕获更多的上下文信息,以便它能够区分翻译错误这个词比基于固定位置的后验概率特性。这种能力不仅体现在个人特征的比较也结合特性。同时比较三种不同的WPP的联合效应特性,表5也揭示了语言特征的贡献错误检测,表明语言特征可以有效地降低分类错误率和提高错误预测的能力。

5。结论

本文提出了一个新的重新排序实例提取算法并在此基础上添加新功能来达到更好的翻译效果。首先,数据不平衡的问题,在最大熵的训练过程中直接解决了通过限制保序实例的数量,和翻译性能降低是由于特征信息太少。在此基础上,添加第一个词特征和组合特征可提高翻译性能。第二,第三种类型的短语组合顺序,也就是说,不相邻的情况下除了保序和reverse-ordering;虽然蓝色值有所下降,但仍高于基线系统。最后,本文试图扩大不结盟的词对齐的短语在这个实验中,增加reranking例子特性数据,并达到最佳的翻译性能。在下一步中,我们将继续研究重新排序实例特性对翻译性能的影响,注重语法知识的集成特性,希望能进一步提高翻译性能。此外,我们将进一步探索改进的译码器的基础上,将转录语法框架,以便它可以处理的情况下源语言短语相邻但目标语言短语不相邻。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突或人际关系可能出现影响工作报告。

确认

这项工作是支持的重点人文社会科学项目2019年安徽省:一项研究在跨文化沟通(没有人际策略。SK2019A0662)。

引用

1. 王x、z Tu和m .张”将统计机器翻译词汇知识纳入神经机器翻译,“IEEE / ACM交易音频、语音和语言处理,26卷,不。12日,第2266 - 2255页,2018年。视图:出版商的网站|谷歌学术搜索
2. j .蟹”,挖掘语言model-maximum熵提取,”文本、演讲和对话,9卷,不。12日,46-53,2016页。视图:出版商的网站|谷歌学术搜索
3. j·斯利瓦斯塔瓦、美国Sanyal和a·k·斯利瓦斯塔瓦”提取统计机器翻译的重新排序规则”,《智能与模糊系统,36卷,不。5,4809 - 4819年,2019页。视图:出版商的网站|谷歌学术搜索
4. f . Klubička、a .托拉尔和v . m . Sanchez-Cartagena”定量细粒度的人类机器翻译系统的评价:一个案例研究在英语克罗地亚,“机器翻译,32卷,不。3、195 - 215年,2018页。视图:谷歌学术搜索
5. s . Farzi h . Faili, s . Kianian”神经重新排序模型依赖性树基于短语统计机器翻译,“智能数据分析,22卷,不。5,1163 - 1183年,2018页。视图:出版商的网站|谷歌学术搜索
6. c . m . y . Liu疯人,p . k . Wong“极端的学习机器的巨大的假设评估统计机器翻译,“认知计算,9卷,不。2、285 - 294年,2017页。视图:出版商的网站|谷歌学术搜索
7. b . Alkazemi m·努尔a . Naseer a·纳豆和g . Grami”AccurIT:机器翻译引擎的原型英语阿拉伯语翻译,“国际期刊的创新和学习,26卷,不。2、115 - 130年,2019页。视图:谷歌学术搜索
8. m . r . Wang Utiyama, a·芬奇l . Liu k . Chen和e . Sumita”句子选择和加权神经机器翻译领域适应,”IEEE / ACM交易音频、语音和语言处理,26卷,不。10日,1727 - 1741年,2018页。视图:出版商的网站|谷歌学术搜索
9. h . Cuong和k .硅镁层,“为统计机器翻译领域适应性的调查,“机器翻译没有,卷。31日。4、187 - 224年,2017页。视图:出版商的网站|谷歌学术搜索
10. 里昂,“Thai-English机器翻译的评论,”机器翻译,34卷,不。2 - 3、197 - 230年,2020页。视图:出版商的网站|谷歌学术搜索
11. m·多明戈。珀里斯,f . Casacuberta“基于航段interactive-predictive机器翻译,“机器翻译没有,卷。31日。4、163 - 185年,2017页。视图:出版商的网站|谷歌学术搜索
12. m . s . Maučec和g . Donaj”形态在统计机器翻译从英语语言高度屈折,“信息技术和控制卷,47号1,第74 - 63页,2018。视图:谷歌学术搜索
13. z, m, l·陈,k .太阳,“中俄的morpheme-based加权统计机器翻译”,IEICE交易信息和系统E99卷。D,没有。11日,第2846 - 2843页,2016年。视图:出版商的网站|谷歌学术搜索
14. n . k . Jadoon w·瓦尔,Bajwa, f·艾哈迈德,“统计机器翻译的印度语言:一项调查,“神经计算和应用没有,卷。31日。7,2455 - 2467年,2019页。视图:谷歌学术搜索
15. y z, j . Su b . Wang Chen和x史,“Lattice-to-sequence注意力神经机器翻译模型,”Neurocomputing,卷284,不。4、138 - 147年,2018页。视图:出版商的网站|谷歌学术搜索
16. b, d . Xiong, j·苏和y秦,“Alignment-supervised二维的引起递归autoencoders双语短语表示,“IEEE控制论,50卷,不。2、503 - 513年,2018页。视图:谷歌学术搜索
17. c . k . y . Liu Wang宗庆后,K.-Y。苏,”将翻译记忆集成到一个统一的框架和模型phrase-based统计机器翻译,“电脑语音和语言,54卷,不。4、176 - 206年,2019页。视图:出版商的网站|谷歌学术搜索
18. 辛格,m . Anand Kumar和k . p .索曼”关注基础英语旁遮普神经机器翻译,“《智能与模糊系统,34卷,不。3、1551 - 1559年,2018页。视图:出版商的网站|谷歌学术搜索
19. 美国购物中心和c·贾斯瓦尔,”调查:印度语言机器翻译,”国际应用工程研究杂志》上,13卷,不。1,第209 - 202页,2018。视图:谷歌学术搜索
20. b . Ahmadnia和j . Serrano”采用主语言机器翻译技术通过统计和神经框架:资源不足的情况下Persian-Spanish语言,“国际期刊自然语言计算》第六卷,没有。5,37-47,2017页。视图:出版商的网站|谷歌学术搜索

版权

版权©2020年潍坊。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。