文摘

为了解决低精度的问题,召回率,和F1传统的英语语法错误检测方法的价值,构造一个新的机器翻译模型并应用于英语语法错误检测。encoder-decoder框架,机器翻译模型通过词向量生成的步骤,编码器语言模型建设、译码器语言模型建设,词对齐,输出模块,等等。在此基础上,机器翻译模型训练检测英语语法错误通过依赖关系分析和替代词的一代。实验结果表明,准确性,召回率,和F1该方法的价值高于实验比较法等检测英语语法错误的文章,介词、名词、动词,主语和动词,表明该方法具有较高的实用价值。

1。介绍

作为最基本的、直接和方便表达人类的思想和情感的工具,自然语言始终是人类社会的每一个角落。从第一个哭出生后,人们试图用语言来表达他们的感受和意图。随着信息时代的到来,人们使用的沟通方式和沟通自然语言越来越反映其多样性、灵活性和通用性1]。在全球化的时代,越来越多的国家和国家联系,不同语言之间的翻译自然成为迫切需要。从基本的海外旅游、文学翻译等国际业务全球电子商务、金融服务、国际贸易、等,这是不可避免的遇到一个跨语言翻译的问题。因此,有效的不同语言之间的翻译在不同领域已经成为当代人们的一个常见的需求。翻译是最直接和有效的方法来解决自然语言之间的沟通障碍(2]。传统翻译工作是由专业翻译人员,可以通过语言互相翻译自然语言知识来帮助人们实现信息交流。成熟的计算机技术和自然语言处理技术的不断进步,已成为不可避免的趋势,使用机器翻译系统来帮助人们迅速获取国外信息代替人工翻译。在这种情况下,大量的数据驱使人们转向翻译机器翻译系统有效的翻译。此外,有很多语法错误的翻译机器翻译软件的结果由于洪水和落后技术在现阶段。因此,有必要建立一个优秀的机器翻译模型和检测它的英语语法错误,促进英语翻译的进一步发展3]。

为了解决这个问题,文献[4)提出了一种基于深度学习的语法错误检测方法。根据语法错误诊断的特点和现有的语法错误的问题诊断方法,结合BI-LSM-ATT和CRF模型提出了基于注意机制学习语法错误诊断。模型使用jieba分词技术对数据进行预处理,如分词和词性标注,并使用skip-Gram模型获取词向量表示法,它用作BI-LSTM-ATT模型的嵌入层这个词。长途信息提供在两个方向上的CRF模型序列标签,以便获得语法错误检测结果。文献[5)提出了一个语法错误检测方法基于扩展和复制数据。副本机制引入self-attention模型,和一个新的C-Transformer模型。文本语法错误修正模型从错误的文本序列构造正确的文本序列。公共数据集的基础上,我们使用序列序列学习学习不同形式的正确不正确的文本文本和设计一个基于平滑的错误文本过滤方法,语义和语法的措施获得语法错误检测的结果。文献[6)提出了一个基于语料库英语语法错误检测方法。编译语料库和预处理数据,消除噪声数据,以获得高质量的数据。预处理数据自动分割和标注词性,然后建立了n元模型检测英语语法错误。

然而,上述方法精度较低,召回率,和F1的值。为了解决这些问题,本文构建了一个新的机器翻译模型和应用英语语法错误检测。模型的实际应用效果是通过实验验证的。

如今,跨语言文本处理主要集中在两个方向,获得双语平行语料库的链接或引入相关特征信息相关下游任务加强文本处理的性能。前者需要大量的注释数据,而后者适用于特定的下游任务,如新闻主题分类和事件检测,但不能扩展到一般的任务。

在本文中,我们提出了一个新颖的机器翻译模型。介绍了论文的组织如下。节2,我们给模型的详细介绍,方法和技术中使用的模型。节3,我们说明我们提出的英语语法错误检测方法的细节。部分4显示了论文的实验和相应的结果和我们给的结论部分5。

2。机器翻译模型建设

编码器,编码器和解码器的框架词对齐,分别介绍和译码器。解码器和编码器对应于源语言和目标语言的处理过程,分别和字对齐建立相应的源语言和目标语言之间的关系(7]。解码器和编码器,常见词向量生成和语言模型,介绍了分别。也在我们的模型中,我们使用注意机制实现捕捉相应的注意体重多种语言之间的关系。但是,与编码器、译码器最终需要生成翻译输出,所以添加一个输出模块。整体的框架结构模型如图1。

整个过程是一个大型encoder-decoder框架下实现的。这个词对齐模块建立它们之间的连接。编码器有两部分:词向量生成和语言模型。此外,译码器也有一个输出模块。整个翻译过程开始从编码器,编码器词向量生成模块的输入向量序列并生成相应的源语言词汇,然后是语言模型编码器生成语言模型的序列。最后,源端语言模型的输出是合成的。这个词向量模块是编码器和解码器之间的联系。译码器进行操作来生成输出之前,这个词对齐的关联度计算每个输出步骤和每个编码器的输入,进行加权和,以便进一步服务于语言模型的一部分译码器(8]。这个词对齐计算完成后,解码器端操作可以执行生成翻译输出。译码器计算当前时刻语言模型根据词对齐的输出模块,前面的语言模型,和这个词向量生成模块,进一步计算当前时刻的翻译结果基于此输出。最后,该模型操作词向量的生成进行了翻译输出(9)准备输出在接下来的时刻,机器翻译和英语是通过输出实现模型。

2.1。Encoder-Decoder框架

自2013年以来,端到端框架模式已经逐渐出现了神经机器翻译领域,实现直接从源语言序列转换到目标语言序列。端到端神经机器翻译完全消除了人工翻译过程设计的过程。例如,没有单独的处理过程,如词对齐和语法树,但联合神经网络建立了完整的自然语言处理任务的框架下encoder-decoder [10,11]。框架映射一个给定的源语言句子通过编码器密集和连续向量,然后从源语言目标语言句子向量通过译码器。这是一个非常大胆的新结构。它取代了线性模型与非线性模型机器翻译,并没有隐藏结构管道,但一个复杂的神经网络。时间序列网络模型也可以获取历史信息没有网站。图2encoder-decoder框架的体系结构,图吗3是encoder-decoder框架图。

显示在图2在模型中,有三个不同的部分:编码器,中间(编码器)向量和译码器。编码器,一堆几个复发单位(LSTM或格勒乌细胞获得更好的性能),其中每个接受输入序列的单个元素,该元素的收集信息,传播它。隐藏的状态不仅取决于前面的隐藏状态,但也在上一层的输入向量。的编码向量,它是最后的隐藏状态产生的编码器模型的一部分。这个向量的目标来封装所有输入元素的信息以帮助解码器进行精确的预测,它也作为初始的隐藏状态译码器模型的一部分。译码器,它是一堆一些周期性的单位,每个单位预测输出在一个特殊的时间步。每个重复单元接受一个隐藏的状态从之前的单位和生产和输出以及自己的隐藏状态。

如图3,假设中国源语句“今天天气很好”输入,该模型首先为每个单词生成词向量,然后生成句子向量序列通过时间序列网络模型。最后一个符号代表句子终结者。源语言方面的一部分生成的向量表示一个密集的和连续的句子从输入对应于一个编码器偏差(12]。目标语言结束对应于源语言,也有类似的结构与编码器和系列同样采用RNN网络,但译码器的目的是生成翻译输出。后输出语句“今天天气很好< /年代>,“解码部分就完成了。由于模型是顺序的,当前时刻的输出取决于前一时刻的输出信息。

2.2。词向量生成

大部分的分布式表示方法句。当然,主流的自然语言处理的第一个使用各种词分隔器把一个句子分成词语。然而,这一主题也包含字符数据的训练方法。为了优化这种数据的训练,一个词向量生成方法提出了基于递归神经网络(RNN)。

RNN计算一个可变长度的输入向量获得隐藏层和为可选输出向量。每一次流逝,隐藏层RNN的迭代更新根据以下公式(13]: 在哪里通常代表一个激活函数,非线性,这可以是一个简单的c形的函数(14)或一个复杂的长期的短期记忆网络(LSTM)单位。然后,经过反复训练序列中的下一个可能的象征,RNN可以自动学习相应的概率分布(15]。通过这种方式,输出将条件分布 ,如公式(2),一个炎热的多项式分布可以用Softmax激活函数。 在哪里 是权重矩阵的行吗 。通过结合这些概率,我们可以计算一个序列的发生的概率使用以下公式:

然后,获得词向量也可以完成的任务通过扩展RNN的基本思想。 ,隐层的最后一步,在时间 ,已经是一个真正的向量,但它不是一个词向量,它是一个向量表示一个句子。如果我们节省额外的下载每一次的和明确的这对下一个隐层作为输入,我们得到一个词向量的时间序列 。当然,经过仔细观察,这相当于 ;换句话说,一个非线性变换的基础上,在一个炎热的代码。然而,该方案的总体想法是可行的。RNN主要用于生成向量表示,但是只需要设计如何选择性地设置在适当的时间为零。

从自然语言的角度来看,清爽零可以被理解为一个词,恰好是所需模型,以字符数据作为输入。然后,一个开关可以被添加到神经网络输出的分段词向量和明确的信息最后一句话。这个词向量生成在每个时间单位 ,这是特定于一个输入序列,将扩大的方向顺序。其中,是递归神经网络的隐层单元16),其基本递归RNN的模式是一样的。是开关用来控制分词,是词的输出向量,也是主题切换 ,这个开关只会,必须清楚了吗或在同一时间。

转换层也应该是相关的吗 ,和相应的词向量生成方法如下所示: 在哪里 , 源语言的字典大小,是源语言的句子长度一般不等于不同的句子,是乙状结肠激活函数, , , , 权重矩阵,字嵌入后是短向量维度。在公式(4)是原始隐层的输出,和 。 在公式(5)可以被理解为一个开关来确定在时间我输出,类似于动态分词的效果。以确保不包含信息从前面的词,公式(8)是一个进一步的更新操作 。

2.3。编码器语言模型

NNLM首次系统地提出和研究深度Bengio。该算法的目的是预测当前使用第一个单词n−1当前单词的歌词。应该注意的是,拼接的目的n−1向量输入第一n−1句当前词作为一个向量。当然,你可以选择是否要这样做。它的优点是简单明了,或者你可以选择合并成一个矩阵,即使卷积神经网络和递归神经网络。虚线的输入层是直接连接到输出层,这样的原始输入和信息隐藏层改变了一层同时用作输入的输出层,相当于扩展的基本特性。语言模型生成单元如图4。

如图4,当我们读一个句子,我们处理每个单词积累信息的最后文本。系统随时间积累信息相似的重复单位组成的是一个递归神经网络(RNN)的深度学习领域。一般而言,一个文本编码器将文本变成一个数字表示。这个任务可以在许多不同的方式实现但是我们所说的编码器是RNN编码器。在这里,表示输入句子和制定工作矢量,隐藏的状态向量包含序列状态在当前的块,之间的权重和 , 之间的权重 和 , 之间的权重和 ,和是输出向量并不总是由每一块。

尽管两个控制盖茨和一个输出门只是补充道,RNN没有这个函数相比之下。下面是具体的语言模型生成公式。

其中, 是 - - - - - -维字嵌入向量嵌入向量模块, 权重矩阵, ,公式(9)更新公式(10)重置,前者允许每个隐藏单元保持以前的激活状态,而后者控制哪些信息和需要多少信息重置从之前的状态。在公式(13)是输出门,这是一个改善格勒乌模型。在不同的时间 ,每个隐层单元都有自己的重置,更新和输出盖茨捕获在不同时间尺度的依赖性。重置门经常被激活时,隐层单元试图捕捉短期记忆;更新盖茨也是如此,往往捕获长期记忆。

2.4。译码器语言模型

因为它是一个机器翻译系统,有两个相对的自然语言,换句话说,两个相对独立的语言模型。通过改进的双向格勒乌编码器,隐藏层序列是获得。相同的解码模块也有一个类似的格勒乌结构。不需要添加一个输出门因为这个函数已经反映在输出模块。但如果这一切,不会有编码器和解码器之间的联系,并没有翻译过程。因此,在译码器模块的计算过程 , 包含编码模块信息也补充道。在这里,可以暂时被视为全部或部分的源语言信息,和具体的定义将得到的词对齐模型。因此,解码器中的特定语言模型的生成算法如下: 在哪里 是 - - - - - -维字嵌入向量的目标语言,也就是说,语言模型生成的结果;点积的计算; , ,和 权重矩阵; ,和解码器部分不需要计算双向语言模型,因为它进一步服务输出模块,以输出目标语言翻译序列。

2.5。基于全球信息的词对齐

词对齐是神经机器翻译的最基本的问题。大多数神经机器翻译问题是基于encoder-decoder框架,编码和解码对应于源语言和目标语言,分别。但是如果这样,分开的两部分显然是源语言和目标语言将不再有任何联系,和没有翻译问题。词对齐是建立源语言和目标语言之间的联系,学习相应的源语言和目标语言之间的关系的平行语料库,并进一步学习翻译规则,在此基础上,以完成神经机器翻译模型的训练。因此,词对齐中扮演一个重要的角色在神经机器翻译系统的最终结果。基于注意机制,本文使用了一个全球词对齐方法通过整合历史信息。

因为双向循环网络模型设计中使用的语言,语言翻译是不确定的。的话现在每个解码器输出取决于输入的加权组合所有州,不只是过去的状态。权重确定每个输入状态导致的输出状态。因此,如果重量很大,这意味着解码器将更多关注中相应的部分原句在生成当前词的翻译。加权求和的结果通常是标准化为1(这是一个分布的输入状态)。

权重通常是计算从源端的语言模型的输出和信息隐藏层的在最后一刻在目标方面。然而,体重是相对的,所以它的计算不仅应该受到上述两个因素的影响,也与历史信息的重量。相应的计算方法如公式所示(15)(20.)。 在哪里 , ,和表示权重矩阵;代表了语言模型的输出为目标语言之前的时刻;和代表了源语言区语言模型的输出:

计算的关注,有必要计算之间的相关程度,每个源语言词和目标语言的词。

在训练阶段,模型的参数,如重量和基础上,根据初始化一个标准高斯分布,这意味着权重的平均值为0的标准差权重是1。模型的基础上被初始化为0。

2.6。输出模块

至于解码器,我们介绍了常见的词向量生成和语言模型encoder-decoders在前面的部分。解码器和编码器,译码器实现的最终输出是必要的监督学习。然而,仅一节并不产生翻译输出。因此,为监督学习模型最后添加一个输出模块,这样可以获得有效的翻译结果。

为了获得翻译结果,结果这个词向量的模块在解码器端,结果生成的语言模型,和源语言信息生成的词对齐应该融合在每一刻前代的结束符。输出模块的计算方法见公式(21)(23)。 在哪里 , , ,和代表权重矩阵,和尺寸 , , ,和 ,分别。代表非线性激活函数;代表了激活函数。

2.7。注意机制

注意机制是一种机制用于encoder-decoder结构(17]。现在它被用于各种任务,包括机器翻译、图像描述和文字总结。它不再是限于encoder-decoder结构(18]。各种变体关注结构应用于各种任务。一般来说,应用程序的关注机制包括以下:(1)允许解码器注意的信息需要在多个向量序列是使用传统的注意机制。因为使用编码器多步输出而不是一个特定的向量长度相应的步骤,保留更多的信息。(2)作用于编码器解决表示问题(例如,编码向量作为输入的其他模型),self-attention [19通常使用)。

3所示。英语语法错误检测

3.1。模型训练

当训练模型,首先解析语料库中每个句子,根据生成的方法生成短句子条款在上面的机器翻译模型构建中,并保存所有条款各级成新的语料库。这个解析语料库处理由一个机器翻译模型生成工具生成统计信息。最后,机器翻译模型存储在数据库中搜索。

机器翻译模型的训练过程如下。首先,语料库中每个句子进行分析,生成层次条款和投入分层子句集。概率信息的条款,即元组的概率表,由机器翻译模型生成元组的概率生成工具和存储在数据库中查询。本文中使用的语料库是整个语料库雅虎语法语料库、语料库依赖性分析工具使用斯坦福解析器,机器翻译模型元组的概率生成工具使用伯克利LM和平滑方法使用Kneser-Ney平滑。机器翻译模型在培训过程中内存要求高。低内存设置需要很长时间,容易出错,所以一般将分配更多的内存。在本文中,机器翻译模型训练工具使用伯克利LM生成三元模型。

3.2。依赖关系分析和一代的替代词

由于机器翻译模型在本文中是一个语言模型生成的依赖分析,一个句子要纠正需要经过依赖性分析生成层次结构,然后使用统计信息生成的语料库来纠正语法错误。错误的使用单词通常可以分为两种类型:拼写错误和正确的拼写而不是按照真实的背景下单词错误。拼写错误可以使用Lucene的拼写检查字典搜索功能。,输入单词返回一组preprepared edit-close单词的字典,它可以由元组的文字从雅虎语法语料库,伯克利LM培训了。

真正的单词错误需要单独考虑。决定因素的错误,本文处理的使用“,”分开“,”和“一个”。当这三个字出现的时候,他们相互替代。介词的选择是相似的。本文只处理最常见的介词,也就是说,”,“”,“”,“”,“和”“相互替代。

获取其他话说,本文使用Freeling中提供的功能。Freeling可以执行给定单词词状态分析和提取相关词汇与词汇生成的干细胞一样。这些相关词汇作为替代品。等错误的动词形态和名词单数和复数主语和一致性可以通过这种方法提供了对英语语法错误检测。

3.3。纠错译码算法

考虑句子只有两个级别的节点。让句子的长度 ,即。,only dominant words) and 33 subordinate words, and there are no subordinate words under these , 下属的单词。在这个句子只有一个层次条款依赖分析,和单词的顺序分层条款与原句一致。本文使用三元语言模型,句子的概率计算方法如下:

在这里,我们使用公式(25)来计算句子的概率年代,这取决于之前的权重的模型的信息,和句子的概率也认为有条件地独立需求。

假设层次条款的根源是某个词,但有多个选择叶子,最高的解码序列概率可以通过维特比算法。的最大概率定义这个解码序列的分数等级条款的根源 ,也就是说, 。

统一的过程,更一般的叶子也定义为树的根,如果这叶子将 ,树木,定义其替代所有的分数 。

一般来说,一个句子可能有多个水平解析后,所以分数定义这棵树可以递归地定义为:一级条款的得分乘以每个子树的分数由nonroot节点在第一级子句中。第一级子树的词序是列入 ,在哪里是整个句子的根源吗是另一个节点依赖于头节点,即

结合上述分析结果,英语语法错误检测过程主要由三个过程:依赖性分析产生分层的条款,一代的替代词,最后语言模型解码生成英语语法错误检测结果。整个过程如图5。

程序开始通过阅读文本,在一份声明中声明划分成词,然后获取每个单词的依赖性,重组产生分层的条款。然后候选词工具获取候选词用于每个单词,和机器翻译模型的解码过程就开始了。解码过程开始于最上面的条款,使用机器翻译的概率计算模型,计算和保留的最大概率路径的一系列单词在他们当前的位置。因为每个单词可能有修改的部分,这个过程需要进行递归计算,根据递归计算的结果来实现英语语法错误检测。

4所示。实验结果和分析

4.1。实验设计

以下4.4.1。实验数据

实验数据来自CONLL2013 GEC评估的任务。训练数据和测试数据的统计结果如表所示1。测试数据被分成两个部分,相同数量的句子:长和短。

4.1.2。语料库

这个语料库来自雅虎的n元语法(版本2.0;n= 1、2、3、4、5)。语法语料库是基于消息从12000年新闻网站,有1460万篇文章,1.26亿句,34亿个字。本文主体不包含原主体本身,但只包含语法片段出现至少两次。由于大规模的n元语言模型,为了提高检索效率,本文使用Apache Solr开源搜索引擎建立索引和搜索服务。预处理过程如图6。

4.1.3。评价指标

实验结果的评估是基于CONLL2013评价标准,和准确性 ,回忆 ,和采用值,定义如下: 在哪里 , ,和 ,分别指的数量正确的纠正,纠正错误的数量,和错误的数量应该存在。

语法错误检测方法基于深度学习,语法错误检测方法基于扩展和复制数据,该方法作为实验对比方法来验证应用不同的方法通过比较不同指标的影响。

4.2。实验结果分析

4.2.1。准备短的测试集

语法错误的英语语法错误检测结果检测方法基于深度学习,语法错误检测方法基于扩展和复制数据,和方法本文基于短期测试集如表所示2来4。

文章错误的准确性,召回率,和该方法的F1值高于2.34%和7.44%基于深度学习,0.71%和3.71%高于基于增强和复制数据,分别F1值高出1.3%和6.84%。

介词错误,准确性和F方法1的值都高于基于深度学习语法错误检测方法和数据扩展和复制方法,分别为3.26%和2.04%,2.1%和3.32%,分别召回率是0.02%低于基于深度学习语法错误检测方法。语法错误检测方法基于增强和复制数据达到1.67%。

对名词错误,召回率和准确率F1该方法的价值高于4.56%和2.16%基于深度学习,2%和12%高于基于增强和复制数据,并根据数据高于7.3%和6.73%增强和复制,分别。

对动词错误,召回率和准确率F方法1的值分别为11.05%和4.02%,2.18%和6.12%,7.72%和5.07%,高于基于深度学习和增强和复制数据,分别。

subject-verb-induced错误,召回率和准确率F方法1的值分别为16.12%和5.12%高于基于深度学习的方法,数据的8.27%和7.21%高于augment-based方法和复制方法,和13.18%和6.7%高于基于深度学习方法和数据augment-based方法,分别。

4.2.2。长时间测试集

语法错误的英语语法错误检测结果检测方法基于深度学习,语法错误检测方法基于扩展和复制数据,和方法本文基于长期测试集如表所示5来7。

如表所示4- - - - - -7条错误,召回率和准确率F1该方法的价值高于7.18%和8.18%的基于深度学习的语法错误检测方法和基于数据的语法错误检测方法增加和复制,和召回率分别高出3.92%和3.83%。F1值高出7.46%和6.64。

为介词错误,召回率和准确率F1该方法的价值高于基于深度学习语法错误检测方法和数据扩充和replication-based语法错误检测方法,分别为3.09%和2.74%,1.37%和1.19%,3.46%和2.3%,分别。

对名词错误,召回率和准确率F1该方法的价值高于12.01%和1.95%的深度上优于方法,7.85%和7.17%高于基于数据的方法增加和复制,而11.69%和4.0%高于基于数据的方法增加和复制,分别。

对动词错误,召回率和准确率F1值高于基于深度学习语法错误检测方法和数据扩充和replication-based语法错误检测方法,分别为14%,3.92%,9.22%,5.28%,12.6%和4.61%。

对主谓一致错误,召回率和准确率F方法1的值分别为22.17%和5.07%,13.17%和5.8%,15.16%和5.43%,高于基于深度学习和增强和复制数据,分别。

5。结论

在全球化的时代,越来越多的国家和国家联系,不同语言之间的翻译自然成为迫切需要。虽然人类的翻译可以达到准确翻译,其相应的人力成本负担不起许多需求。因此,机器翻译的重要性是不言而喻的。然而,机器翻译是远离全自动和高质量的翻译,有很大的发展空间。因此,本文设计一种新机器翻译模型,它适用于英语语法错误检测。实验结果表明,在短的测试集和测试集,召回率和准确率F1该方法的价值高于实验比较法等检测英语语法错误的文章,介词、名词、动词,主语,英语语法的错误检测结果表明,该方法的高质量具有良好的实际应用价值。

数据可用性

使用的数据来支持本研究的发现可以要求作者。

的利益冲突

作者宣称没有利益冲突。

确认

本研究支持的“哈尔滨商业大学博士启动基金研究“倍型因果关系识别(项目没有。2019 ds105)。