文摘
随着人工智能的发展,大数据的概念“网络+教育”已逐渐成为流行,包括基于机器学习的自动评分系统。国家在世界各地大力推进信息技术和学科教学的深度集成各领域。英语是一种沟通的媒介教育在当前时代发展趋势的信息。英语作文自动评分模式正逐渐被大多数接受教育者和应用在实际的课堂教学。然而,英语作文自动评分的研究在教学空间并不完美。大多数系统使用传统的算法。因此,本文构造了自动评分算法和句子优雅特性基于机器学习的英语作文评分算法,探讨了算法对英语写作教学的影响,证明了设计思想的正确性和算法,本文通过大量的实验。
1。介绍
英语是主要的国际语言之一,世界上使用最广泛的语言。如今,国际化正在加速的过程。作为国际通用语言,英语是学生的基本技能去世界(1]。学习英语不仅可以丰富他们的知识还开阔他们的视野和提高个人的优势。在英语学习的过程中,英语作文写作是必不可少的。写作不仅能反映学习者的词汇和语法等基础知识的掌握,但也反映出学习者的总体把握句子结构,话语结构,逻辑推理能力(2]。英语作文可以直接反映了英语学习者的综合语言能力;写作能力是关键项目测试的组织者,调查学生的语言能力。因此,越来越多的学习者注意到它(3]。目前,写作仍然是一个薄弱环节在学生的英语学习,也是一个链接,教师需要花费大量的时间来准备(演讲)。在平时学习时,教师一般手动审查英语作文,和适用于少量的短(4]。然而,当标记强度高,和文章的长度很长,这个方法会导致低效率和高的误判率。更重要的是,人工评估的主观性太强,知识和地区可能不同的人在同一篇文章有很大的偏见。
近年来,计算机技术的迅速发展已经导致了其他行业的繁荣,也促进了自动作文评分的研究与应用(AES)技术在教育(5]。一方面,这项技术可以智能地分析并级的组成部分。与人工评价相比,计算机评价低成本和复习效率高。自动评分系统可以充分发挥计算机的特点是善于重复工作,可以解放教师身心力量在很大程度上,让教师把更多的能量来教学和研究。另一方面,分析结果可以提供反馈关于更多的评价信息,如每个成分的拼写和语法错误,这样学生可以开始修改自己的文章根据系统的建议。分析结果也可以推荐优秀的单词和句子和作文材料为学习者提供更科学写作指导。目前,AES的建设和评价系统大多是基于统计信息的内容。研究内容相对比较简单,评估的逻辑成分和质量的单词和句子还不深入、准确。因此,同时提高预测的准确性,我们也应该全面评价的组成内容,以便AES系统可以更好地应用于实际的成分校正。
2。相关工作
教育行业的自动评分的研究开始前,有许多不同的主题和语言系统的研究。评分系统相关成分的研究可以追溯到1960年代。最早的评分系统项目论文年级(挂钩)6)由教授埃利斯页面从浅语言特征提取方法(如文章长度、字长、标点符号,语法,等等)作为独立的变量。AES模型是由多元线性回归与训练成绩由于成分作为因变量。该方法不涉及语言内容和组成结构,因此,评价结果是有偏见的。随后,蓝道·托马斯等人开发了一个自动作文评分系统名为智能文章分析(IEA) (7基于潜在语义分析(LSA) (8]。当模型用于分数学生的英语作文,作文评分和优秀的例子是映射到向量空间,和作文的分数预计通过比较相似度值。这种方法考虑了文章的整体内容和比挂钩更准确。它也可以用来检测抄袭的文章,这大大领域先进的自动评分。
自动评分系统的深化研究,美国教育考试研究所开发了E-rate系统在1990年代(9]。它使用自然语言处理技术和统计方法来标记每个单词的词性通过词性薄铁片和分析通过语法分析文本的句法结构。这些方法可以用来评估质量的写作语言、内容和文本结构和应用了GMAT的自动评分和GRE。尽管E-Rater的设计更全面,但它不像钉在语言综合分析和内容不像国际能源机构深入分析,所以有很多改进的空间。AES系统由梁教授的团队在中国(10)是基于表面的语言特征分析和线性回归模型训练的准确性在每个句子单词拼写和语法的使用。然而,它没能给学生更多的评价结果的话语质量,句子的质量和相关性。随后,王et al。11)提高了自动评分的影响从语义的角度色散和介绍了卷积神经网络训练模型,显示出良好的性能在组合预测能力。邱(12)评估了流利的成分和量化成AES模型提高评分系统的影响。刘等人。13]认为比喻的并行性和其他修辞手法在中国成分和构造古典诗歌的语料库自动识别古代诗歌作品,与基准系统相比具有更好的精度。Yangwei和黄Auto-Encoder (AE) [14]重建语言特征,然后重构特征向量输入到支持向量机回归训练,改善了性能与先前相比重建。
人工智能与智能硬件的快速发展,取得了快速的进步,包括自然语言处理。自然语言处理基于深度学习的问题可以概括为原始数据特征表现在应用领域的问题选择合适的深度学习算法来构造应用程序模型。前问题,成熟的模型包括bag-of-words(鞠躬)15)和向量空间模型(VSM) (16]。这些方法有一定的缺陷。这个词袋模型,如一个炎热的编码,也会变得非常大而稀疏当类别的数量很大。向量空间模型等术语Frequency-Inverse文档频率(TF-IDF) [17)描述文本特征通过计算词的概率成为文本中的关键词。然而,这种方法极大地影响了全球文本集,只有利用词语的统计信息。位置信息,不利用上下文信息,所以文本特征不能完全代表。Bengio et al。18)使用深层神经网络构建一个语言模型,这可能字映射到向量空间的尺寸固定,解决稀疏特性和大尺寸的问题引起的一个炎热的编码。通过训练神经网络语言模型通过无监督学习,能获得文本中包含的语义信息。它的缺点是,它涉及到很多参数训练,导致培训周期很长。
Mikolov等人提出word2vec [192013年),一个词向量训练模型。这个模型是基于连续bag-of-words (CBOW)和Skip-Gram模型。前者可以预测当前单词的出现的概率根据语义信息之前和之后。后者是使用最广泛的词向量表示模型,它使用当前词的概率预测的发生前面的词。Mikolov基于段落向量,然后提出Doc2veC模型主要添加段落向量word2vec模型,还包括两个模型结构:分布式内存模型和分布式Bag-of-Words,表示句子和文本。Jeffrey提出了手套词向量表示模型(2014年20.],它加速了词的训练向量和丰富的语义信息词向量。语言模型的嵌入(艾尔摩)提出的彼得斯(2018年3月21),采用了双层双向LSTM pretraining模型结构。然后,词中嵌入动态调整相应的表示单词根据输入句子中的词的上下文中,可以解决一词多义的问题。2018年10月,雅各Devlin等人提出了双向编码器表示从变形金刚变形金刚(BERT)表示语言表示模型(22]。变压器的双向编码器用于pretrain模型基于上下文的所有层。调整输出层可以为下游任务创建一个优化模型,这是目前最好的语言表征模型。
研究人员普遍认为自然语言具有一定的逻辑性和递归特征,和语言环境是密切相关的。例如,在自然语言句子实际上是由递归地单词和短语。因此,递归是自然语言的一个重要特征。因此,模型可以选择根据自然语言的特点,如递归神经网络、卷积神经网络和一系列的改进模型(22]。金正日在2014年提出了使用text-CNN句子分类的模型(23),证明了卷积神经网络提取文本功能中发挥着重要作用。2017年,刘等人。24)提出了一个深层神经网络DC-NN的组合模型,采用了一种改进的递归神经网络生成适合词组短语对语义向量生成过程和使用一个auto-encoder提高短语生成过程的性能。它执行比基线模型对机器翻译的任务。哈桑和马哈茂德25)提出了集成CNN和RNN的训练方法和获得长期依赖的卷积层通过联合训练,实现情感分析的精度93.3%。LSTM,首先提出的舒斯特尔和Paliwal [26),是一种改进的基于循环神经网络模型,它选择性地存储和忘记了长期记忆内存单元。王等人。27)注意机制应用于卷积神经网络提取特征和综合成LSTM模型,显示在微博情感分析优秀的特性。[的Hochreiter和。施密德胡贝尔表示28)完成multilabel分类任务基于long-short-term记忆的书,各指标具有良好的性能。针对这一事实LSTM模型只能记住上面的信息和没有充分利用下面的信息,舒斯特尔和Paliwal [26)提出了双向LSTM模型(BiLSTM),添加了一个反向层LSTM模型,并允许它使用上下文信息来改善模型性能。曾庆红et al。(29日)使用双向LSTM模型获得双向语义信息的评论达到评论文本情感分类的任务,这与卷积神经网络相比有更好的效果。尽管许多研究已经完成领域的自动评分,评分的准确性和全面性不够彻底。本文从多个维度提取的成分特性,并选择适当的技术模型是通过具体的分析来提取特征和火车模型,以获得最佳性能的评分模型。
3所示。网络框架
3.1。基本的特征提取
3.1.1。基于语言特征
特征提取是一种重要的机器学习建模的过程,这决定了模型的结果的质量。语言特征指的是使用统计方法来提取浅的特点组成单词和句子没有考虑文本的意义,如词性的比例和数量和长度的单词和句子。简单地说,语言特征的直接应用统计数据。AES早期模型,如挂钩评分系统,基本上用肤浅的语言特性,比如文本长度、数量的句子,词性,和其他表面特征模型,然后用回归方程来训练模型和构建AES系统。这些语言特性有一定的效果。这些语言特性有一定的效果。统计结果基于单词和句子可以反映单词和句子的复杂性,从而反映了作者使用单词和句子的能力。例如,单词的总数,重复后的字数,高频词的数量反映了作者的词汇。的数量条款、短语等,反映了作者使用复杂的句型的能力,所以我们使用形态和句法统计特性,细节如表所示1。
3.1.2。基于语义的表达功能
语义表达的特点是不仅考虑统计特性,而且考虑深层含义的语言文本。常见的是得到这个词向量聚类特性根据组成词向量分布在不同的集群数量设置,让文本向量特征的文本向量从文本层面,和主题分布特征的主题作品通过培训LDA模型的概率分布。
(1)基于word2vec词向量聚类模型。基于word2vec词向量聚类模型特征提取是一种最典型的成熟度模型。第一步是构建一个词向量通过使用word2vec工具基于固定码字,这意味着每个单词是特征空间映射到一个固定的尺寸,从而获取词向量。这个过程需要设置这个词向量长度和接收一个词向量对应整个构图。第二次,k - means聚类方法用于集群这个词向量,并采用“最优健身”选择聚类簇的数量。“最优健身”的主要思想是减少集群中的词向量之间的距离和最大聚类质心之间的距离30.,31日]。词向量的数量分布在不同的集群计算集群,和返回的数量分配被认为是词的聚类特征向量。集群模型训练基于这个想法可以给更好的鲁棒性和更高的性能。核心公式如下: 在哪里 是聚类簇的质心吗p和组成单词的包。k代表集群包数量的词,是集群之间的平均距离,是第一个b聚类簇的总数的话, 是为我和j词向量,是簇首之间的平均距离聚类向量,集群与集群的数量的健身功能,和调整k值使适应度函数的值是最大的数字。在这一点上,集群之间的平均距离应尽可能大,和样品之间的平均距离集群应该尽可能小。等一系列操作后,单词的数量分布属于每个集群的成分可以清点,以描述词构成的矢量特性。
(2)基于Doc2vec文本向量的特性。虽然word2vec大大促进了自然语言处理的发展,常见的句子表达方法基于word2vec包括加入,添加、平均,局部最大值和最小值。这些方法使用简单的叠加平均和其他相对粗糙的方法,没有考虑词汇上下文信息的影响。Mikolov等人提出和改进Doc2vec文本提出的矢量特性。Doc2vec word2vec模型基本上是相似,除了文本向量添加在培训过程中,所以文本向量的上下文可以编码。该模型还包括两种结构:分布式内存(DM)模型和分布式Bag-of-Words (DBOW)。它也有相同的功能作为Skip-Gram模型和CBOW模型。通过与考虑上下文编码的文本,文本向量可以终于。
(3)LDA特征提取。潜在狄利克雷分配(LDA)弗里德曼等人提出的话题模型(32]。他们认为一篇文章的主题是符合狄利克雷分布,以获取文本之间的关系,和扫描仪相比,增加概率信息。LDA模型是由三层生成贝叶斯网络结构(32),包括文档、主题和词汇。核心概率计算公式所示(4)。 在哪里代表这个词的概率属于年代的话题, 的概率吗年代话题的简短文本 。基于LDA的话题模型,文本的主题概率分布,可以提取文本的主题特征。
3.2。基于BiLSTM AES模型
Short-long-term记忆网络(LSTM)是一种特殊的递归神经网络(RNN)。RNN网络需要前一时刻的输出作为输入和输入到神经网络的外部输入,但有短期记忆和梯度消失的问题。LSTM改善RNN模型代替RNN的隐层节点内存单元和保护或控制的节点状态LSTM神经网络通过门结构,以便隐藏层之间形成闭环,和隐藏层负责的重量控制调度内存。隐层的状态参与下一个预测当前时刻的记忆状态,解决了短期记忆的问题和梯度消失。
在LSTM BiLSTM允许双向信息流动。使用两个隐状态向前向后,向前和向后;内部结构如图1。BiLSTM在当前时刻的计算公式如下所示: 在哪里 是忘记门组件的输出值,然后呢是在当前状态的时刻吗c。遗忘的单元状态矩阵和神经元偏执盖茨,内存盖茨表示 和 。
这种记忆方法选择是一致的表达之间的关系词在英语作文之前和之后,为了我的上下文计时信息成分,以便提取前后的逻辑构成的特点。我们用这个词向量矩阵作为特征输入表示这篇文章,使用LSTM模型,适合处理时间问题建立模型。与其它网络模型相比,LSTM可以充分利用上下文信息的组合。基于LSTM AES的结构模型图所示2。
3.3。美丽的句子识别基于CNN
3.3.1。网络概述
构成形态和语法是写作的基本要求;真正判断一篇作文的水平是先进的表达美丽的句子;这些美丽的句子成分大大提高升值。这些句子通常包括融合先进的词汇,聪明的英语语法的句子,和一些包含的修辞。因此,量化的美丽程度和分布相关的所有写句子和融合特征同时通过构建优美集识别模型可以帮助构建AES的模型以及提高分数的预测效率。结果将不会提及机械化。
句子优雅识别问题可以被看作是一个文本分类问题。的主要任务是学习计算机的文本内容和训练分类模型根据给定的文本标签,以获得新的输入文本的分类结果。传统的统计数据机器学习方法通常手动从文本中提取特征,然后与机器学习分类器训练分类模型。然而,很难把握美丽的语言特征,人为地使完美的特性,而深度学习方法的最大优点是自动选择和组合的特性可以更好地反映文本信息的特征。传统方法基于统计和规则使用手册句子特征,很难提取核心信息包含先进的好句子语法(并行性和反演有固定的结构,很容易提取语言特征,但比喻,拟人,和其他修辞格有独特的语言结构)。神经网络模型可以自动学习语义向量可以表示句子的功能从大量的数据,以完成任务的二元分类。
卷积神经网络是一种常用的人工神经网络结构,利用卷积核运算获得本地信息,然后通过池获得全球信息层。它的主要结构包括输入层、卷积层,和汇聚层。在任务的自动作文评分,输入层是词的文本表示矩阵向量,和卷积层可以设置大小不一的卷积核。这个方法可以获得特定上下文计时信息。此外,与传统的神经网络模型相比,美国有线电视新闻网介绍重量共享,这减少了网络模型的复杂性并提高了训练速度。在汇聚层,采用分段最大池法,可以保留多个局部最大值的相对位置信息特征值。如果强大的功能出现反复,这个方法也可以获得强度特性。然而,绝对位置信息丢失,只保留了粗糙的位置信息。卷积和池后,句子水平表示。
3.3.2。根据CNN AES网络模型
(1)输入层。本节尝试使用卷积神经网络提取句子典雅的特性,所以它必须完成从词的转换粒度特性句子粒度特性。在卷积神经网络的输入层,词向量是通过嵌入方法,和二维向量矩阵可以表示句子(米在句子的字数,k是这个词向量的长度)。具体操作如下:首先,word2vec模型是基于维基百科语料库训练,然后每个词的词向量是通过增量训练语料库的基础上获得的。向量长度设置为128,然后词向量矩阵是通过连接词在句子向量。以来最长的句子训练集有123字,本文采用补码处理,使每个句子的输入矩阵的大小相同的句子的长度小于47岁,也就是说,123×128,模型结构如图3。
(2)卷积层。卷积是一种数学运算符,通过两个函数生成一个第三功能f和,代表了积分的搭接长度的重叠函数值的乘积f和通过反演和翻译。神经网络,它实际上是寻找更多的代表通过操作特性。这个词向量矩阵是卷积神经网络输入,三种类型的卷积核,3×128,4×128,和5×128年设计,分别在卷积层,每个50卷积核。操作与句子的长度米,jth卷积核卷积计算窗口中的词的长度一个,并输出结果和句子长度表示如下: 在哪里是我向量在相邻的一个字组成的二维矩阵向量,重量参数卷积的内核,是偏见元素,f是激活函数。为了考虑尽可能每个单词的上下文信息,本文提取局部特征不同的动力学通过改变窗口长度的大小。卷积的卷积操作输入数据检查,一个功能图c可以获得,最后可以获得150特性图。为了加快网络训练的收敛速度,ReLu函数是作为每个神经元的激活函数。
(3)池层。为了获得更精确的特性表达式,当地最优特性需要获得特征图;即chunk-max-pooling操作进行特征图谱从卷积中提取层。首先,功能图分为部分,然后每个人的最大价值是提取并组合成一个向量组成的最大值,然后所有特性的最大值向量图形拼接完成的整个过程从输入数据中提取当地特色。特征图输入池层,和每个特性映射分为三个部分由当地最大池操作,在序列和功能结合。当地最大池比全球最大池有更好的性能,因为它保留相关订单信息尽可能多而捕获的强度特性。
(4)所有连接。组合和人工特征向量是加入一个维向量和连接到整个连接层,最后通过美丽的输出节点输出值。乙状结肠函数输出节点。在Keras神经网络的框架,我们采用随机梯度下降法调整参数的方法相对地通过迭代。因此,最后培训满足模型结构的要求。
4所示。实验分析
4.1。实验制备和评价指标
以下4.4.1。实验数据
为了确保测试结果的准确性,“作文得分竞争”的国际数据挖掘平台Kaggle选择(33]。组成数据集包括8个数据子集,每个子集都有相应的组合问题。根据的要求学生写的问题。在每个培训数据子集,有超过一千的作文,学生已经学会了和相应的手动评分分数,和每个成分通常是150到650字。每个数据子集的分数范围也不同。例如,数据集的分数范围3 0 - 3,虽然数据集的分数范围7 0 30,和数据集的分数范围8 0-60。
为了进一步验证美丽的文章的可靠性模型,我们收集美丽的句子雅思和托福在豆瓣和“英国美丽的文章“在其他英语网站。我们美丽的散文切成句子,上面的句子定义为美丽的句子。然后,小学初中英语作文和英语作文模块收集到的英语网络。我们把组合成句子,分别定义等句子不漂亮的句子。其中,3340年最初的美丽的句子和3304年不美的句子选择,用超过6个单词和句子,不到50个字被选为有效样本。最后,有3200 2900丑陋的美丽的句子和句子。
4.1.2。评价指标
二次重卡帕(QWK)是用来评估模型的性能。QWK是一致性测试方法用来评估模型的结果是否与实际结果一致。让作文分数有N个自然数的成绩,有两个标记(手动分级,和B:算法分级)。每个成分的得分E可以用一个数组 ,代表组成的分数吗e分别由A和B标记。首先,一个柱状图矩阵O的订单n构造,代表论文的数量标记类型的分数吗我和B标记类型的分数j。一个n顺序加权矩阵然后计算基于标志着得分之间的差异的两个标记。通过计算标记的得分直方图向量的叉积得到的矩阵E,二次加权Kappa值K在以下方式解决:
然后,近似方差稳定费舍尔转换获得Z。最后,后取平均值Z、逆费舍尔转换获得最后的二次加权平均进行Kappa值。
评价模型仍然采用传统的神经网络评价指标:召回率和准确率F1-score。
4.2。实验对比
4.2.1。准备比较基本的实验
基线方法GBRT [34)模型基于语言特征和LSTM模型基于word2vec词向量特性,分别标记为A1模型和A2模型。前者是一个AES模型基于机器学习和人工特征提取,而后者使用神经网络提取特征和训练模式。GBRT是一个集成学习方法的基本模型回归树。梯度下降法近似法用于符合解除的残余项树,这被认为是一个机器学习算法具有较强的泛化能力。GBRT模型A1的二次加权平均Kappa值0.63,基于语言特征和A2 LSTM模型基于词向量特征是0.7。
为了验证的可靠性机器学习英语作文自动评分算法提出了,我们进行八个功能组合实验。的目的是找到最好的组合特性适合的模型通过组合多个组的特性,所以最后的结果与实际情况是一致的。很明显从图4的评价结果将语义和语言特征合并到基线模型改进在一定程度上与基线相比模型。这个词向量聚类特性(C1)最明显的改善效果,而功能组合2的改进效果不明显(C3)后添加主题特性。5和7功能组合的比较表明,模型效果甚至减少后的主题特征,和二次加权平均Kappa值在整个实验中是最低的。这是因为没有仔细分析和比较实验的选择主题时提取主题特征的数量。在实验组5中,模型的性能大大提高后的语言特征,反映出重要作用AES的词汇特征和句法特征。
4.2.2。评价实验比较美丽的句子
卷积神经网络可以提取深句子特征,因此功能类型的三组实验进行(CNN人工特征提取,特征提取,特征提取和人工+ CNN一位美国有线新闻网的)。落后于+:表示是否它是一个美丽的句子。从总体趋势图的精度和召回率5,这三个组的实验结果基本上都是类似的;不同的是,这个实验人工特征提取的准确率的美丽的句子是最低的,只有83%。和最低的召回率是CNN特征提取的判断美丽的句子,和实验结果和特征相同类型的美丽的句子总是低于实验结果的不美的句子。它可以得出的结论是,仍有偏差的算法的定义美丽的句子,有时,有一定差异在人们的实际应用判断美丽的句子。
根据F1评价指标图6,优美的句子仍然低于不优美的句子,这进一步验证我们之前的测试和分析。从实验数据可以看出,相对于单一手册定义的特性和提取句子只使用有线新闻网的方法,结合两种特征提取方法可以大大提高分类效果漂亮的句子和丑陋的句子。同时,美丽的句子在每个类别的评价指标小于nonbeautiful的句子。可以看出,句子的判断美是一个难点,也是重点区分写作水平。
为了进一步改善实验,我们不仅考虑机器学习相结合的特征提取,也试图分析不同网络分类的实验结果为不同功能组合从网络的角度学习(LS代表语言和语义特征的组合,和+代表句子优雅特性)的介绍。它可以清楚地看到实验结果图7模型将句子优雅特性具有更好的性能比text-CNN包含前和LSTM模型。与此同时,当功能类型是相同的,LSTM模型的性能优于Text-CNN,显示前在文本挖掘优秀的记忆学习能力。改进的基于LSTM BiLSTM取得最好的第二个实验的结果,主要是因为它可以更好地发现时间影响不同的特征从不同的方向和获得更好的句子特征随着时间的有效性。
5。结论
针对存在的问题在英语学习英语作文自动评分,本文研究基于机器学习的AES算法特征提取。基于语言特征、语义特征,及其提取方法,研究语言特征和语义特征的影响在模型中使用AES。在此基础上,BiLSTM基本自动评分算法和改进的CNN自动评分算法讨论了美丽的句子的判断。实验结果表明,语言特征和语义特征的组合更好,和多种的组合特性是用来分析自动作文评分的性能来选择最好的模型的组合功能。本文旨在减轻老师的负担的评估和使用它作为起点,也是提高教学质量和学生的英语写作水平;一套完整的改进英语作文自动评分系统被设计通过研究和讨论的英语作文得分。(35]。
数据可用性
本文中使用的数据集可从作者要求。
的利益冲突
作者宣称没有利益冲突的这方面的工作。
确认
研究的阶段性成就“课程思想政治示范类建设项目“辽宁省教育部、中国(批准号2021 - 01380)。