文摘

关键 只提取可以被看作是提取 - - - - - -克可以区分不同的寄存器。关键字(如 ,掉落是关键字)提取模型通常从两个方面进行特征提取和模型设计。通过总结现有模型的优点和缺点,我们提出一种新颖的关键 - - - - - -克提取模式”的关注 - - - - - -克网络”(安)基于注意机制和多层感知器,注意机制的分数 - - - - - -克在一个句子通过挖掘内部词与词之间的语义关系,并给出其重要性的分数。真实语料上的实验结果表明,相对于传统方法,关键 - - - - - -克从我们的模型可以区分小说,新闻,课本很好;我们的模型的准确性明显高于基线模型。同时,我们进行实验的关键 - - - - - -克从这些寄存器,这是集群。此外,我们做一些统计分析结果的关键 - - - - - -克提取。我们发现的关键 - - - - - -克我们的模型非常说明提取的语言学。

1。介绍

登记是指常见词汇、句子结构、修辞手段,和其他特点,使用的语言,当人们使用语言交流在各种社会活动中为不同的人在不同的环境中(1]。随着信息时代的发展,很多注册信息是生产和生活中产生。在各种各样的互联网应用,注册已发挥了关键作用。为了更好地实现自动文本处理,我们需要区分不同的寄存器。文本作为一个组成部分,单词在句子中的包含丰富的语义信息,区分不同的寄存器中扮演非常重要的角色。然而,先前的研究已经证明了 - - - - - -基于克的文字比语言更好的结果在注册分类任务(2]。

关键 只提取可以被认为是提取 - - - - - -克来区分不同的寄存器。

现有的模型主要是基于单词,很少有研究提取的关键 - - - - - -克( )。许多关键字提取模型已经提出,取得了显著的效果,由于深度学习的发展模式和机制的关注(3- - - - - -6]。在某种程度上,每个特征提取模型都有其优点和缺点。

关键字提取,先前的学者主要从两个方面进行,一是特征提取和另一种是模型设计。特征提取主要是这个词的频率,术语frequency-inverse文档频率(TF-IDF),潜在狄利克雷分配(LDA)、同义词集,NP短语,语法信息,word2vec,或其他特定领域的知识,如标签和候选关键字(7]。这些特性的模型设计主要从三个方面,统计语言模型,图论模型,机器学习模型。

1.1。统计语言模型

这些模型将语言知识与统计方法提取关键词。这样的关键字提取模型是基于词频、POS、词汇链, - - - - - -克等。6,8,9]。这些方法的优点是简单实现和有效的提取出关键词。不幸的是,这些方法选择的特性往往基于频率或可数性,不考虑单词和句子之间的语义关系。

这些方法会导致一些问题等;高频词有时不是关键词,例如,很多语言学的停止词出现多次(通常情况下,大多数停止词在中国是辅助词汇),但它们不是注册的重要单词。尽管一些模型选择高频词通过移除阻止的话,他们是不准确的语义表达的寄存器。特别是在小说的对话,我们知道,在谈话中,根据上下文,许多话常常省略。如果停止词删除,这个句子的意思是完全改变了。同样的问题存在于使用TF-IDF方法的特性。

1.2。图论模型

相比之下,统计语言模型,这些模型语言特征映射到图形结构,单词在句子中节点代表的图形和词与词之间的关系是由边缘。然后,语言问题转换为图形和图形算法应用于特征提取。近年来,研究人员试图利用图形模型在文本挖掘关键词。Biswas等人提出了一个使用集体节点重量基于图的方法来提取关键字。他们的模型的分析计算,确定关键词的重要性影响参数,如中心,位置,和社区的力量,然后选择最重要的单词作为最后一个关键字(10]。翟等人提出了一个方法来提取关键字,它构建了一个双语词集,把它作为一个顶点,使用的属性Chinese-Vietnamese句子和双语词构造一个超图(11]。

这些模型基于图形变换句子的抽象为直观的图像进行处理和使用图形算法来提取关键字。但缺点是这些算法都是基于强大的图论知识,这就要求研究人员有很强的语言知识和图论知识。只有这样,才能很好地连接这两个理论。此外,图形由文本通常有数以千计甚至数以百万计的节点和关系,这让图形算法的效率问题。

1.3。机器学习模型

随着互联网的发展,语料库规模越来越大,越来越多的基于语料库的研究(12,13]。这也是一个不可避免的趋势,使用机器学习模型挖掘其内部规律。许多学者采用机器学习模型来提取关键字。Uzun提出了一个基于贝叶斯算法的方法提取关键词根据单词的频率和位置在训练集14]。张等人提出了从全局上下文信息和本地上下文信息中提取关键字,支持向量机算法(15]。与统计语言模型相比,这些早期的机器学习算法基于词频,位置信息,全球和本地上下文信息在特征提取上取得了显著的改善。事实上,从这些模型选择的特性,学者们试图从更多的方面考虑的选择特性。只是这些特性需要提取人工(14- - - - - -17]。随着计算机硬件的发展,神经网络更复杂的和高效的模型出现了,也就是说,一个深度学习模型。与此同时,各种功能表示方法出现,比如word2vec doc2vec。许多学者开始使用深度学习模型来提取关键字。王、张基于一个复杂的组合模型,提出了一个方法一个双向短期记忆(LSTM)递归神经网络(RNN),取得了杰出的成果(3- - - - - -5]。可以说,关键字提取基于深度学习模型不仅极大地提高了关键词提取的准确性,而且还丰富了相应特征表示。缺点是模型LSTM模型具有很高的计算机硬件和需求通常需要很长时间来训练他们。

注意Bahdanau等人提出的机制是在2014年(18]。注意机制的模型广泛应用于各个领域的透明度和良好效果聚合一群功能。然后,Bahdanau注意机制应用于机器翻译系统,极大地提高了系统的准确性。在这个过程中,注意机制是用来提取重要的单词在句子18]。帕帕斯和Popescu-Belis提出文档分类方法,注意机制应用于提取词区分不同的文档,和分类准确率大大提高(19]。显著提高分类精度暗示词提取的注意机制可以区分不同的文档。同样,注意机制在其他领域的应用也证明了这一点20.]。

通过分析和总结这些模型的优点和缺点,我们提出一个简单而有效的基于注意机制模型和多层感知器(MLP)提取的关键 - - - - - -克,可以区分不同的寄存器。在这里,我们称之为“细心的模型n3网络”(安)短,其结构如图1。模型ANN由八个部分组成输入层,嵌入层,蟋蟀向量,注意层,蟋蟀句子向量,连接,分类,输出。换句话说,输入层是我们想要的句子分类,嵌入层是句子中的词进行向量化,蟋蟀向量这个词向量转换成相应的吗 - - - - - -克表示。的注意层是分数 - - - - - -克的句子。的蟋蟀句子向量是一个加权求和 - - - - - -克向量组成一个句子向量和的结果注意层。连接连接句子向量从 - - - - - -克与不同作为分类器的输入。分类是一个标识符,输出层包括三个部分,句子的类别, - - - - - -克, - - - - - -gram-corresponding分数。在图1中,我们将使用一个例子来说明它。实验结果表明,我们的模型安达到显著而持续的改进与基线模型进行比较。特别是,我们的工作导致了以下方面:(1)使用注意力机制提取的关键 - - - - - -克可以区分不同的寄存器(2)与机器学习方法,如支持向量机和贝叶斯分类精度显著提高了使用基于语义信息的安(3)安的训练过程,注意机制在停止的话,它可以自动过滤停的话

2。方法

2.1。细心的 - - - - - -克网络

在计算机科学中,深度学习已经成为一种流行的方法,展示了其强大的建模能力在许多领域,如计算机视觉和自然语言处理(21]。中基本的神经网络设计模式,有一个结构叫做注意力机制,可以自动分析不同信息的重要性。在自然语言处理的领域,如机器翻译,人们使用注意力机制计算源关键字(18]。

在我们的例子中,这个任务是分析哪些关键字或2克短语承担关键信息区分寄存器。我们首先对文本进行分类任务不同的寄存器和注意机制应用于关键字。注意机制旨在计算词的重要性有助于识别寄存器,更高的权重将被分配到提示分类任务。词语权重较高的注册更重要,相比之下,那些出现在每一个寄存器,例如,停止的话。

正式,我们可以假设,有一个词词典 和一组句子 。每个句子由一系列的单词 ,在哪里 句子的长度吗 。在这里,我们以粗体突出向量。例如, 向量的单词和句子的句子向量 。词向量在我们的模型中可以随机初始化或pretrained word2vec,对应嵌入层在图1。

2.1.1。注意机制 - - - - - -克

在我们的模型中需要注意机制 - - - - - -克向量作为输入并返回句子向量作为输出。特别是,向量的 - - - - - -克的串联形成词向量。例如,句子 也可以表示为 - - - - - -克 ,在哪里是th - - - - - -克的句子和它的向量 (“|”是指连接),蟋蟀向量在图1。然后,注意网络首先使用一个完全连接层计算潜在的关注向量每一个 - - - - - -克 : 在哪里 关注网络的参数吗表示隐藏层关注网络和规模是这个词向量的大小(的大小是 - - - - - -克向量)。是神经元的激活函数引入了nonpolynomial因素(22]。已经证明,多层前馈网络nonpolynomial激活函数可以近似函数(23]。因此,这是很常见的,人们使用nonpolynomial激活函数后完全连接层。的是隐藏的注意向量包含词重要性的信息。然后,进行加权和的潜在关注向量: 在哪里 维度的权重吗和关注网络的参数。结果分数的注意机制给吗 - - - - - -克 。请注意, ,如果分数不同的 - - - - - -克直接用来做加权求和所有词向量形成句子向量,这个句子向量的长度和规模将会失控。规范化的权重,softmax函数(在数学,将softmax函数,也称为softargmax [24]或归一化指数函数(25),是一个函数作为输入向量实数和规范构成的一个概率分布概率。): 在哪里 注意力的重量吗 - - - - - -克在句子 。请注意, 。每个单词的句子可以得到方程(1),(2)和(3)。例如,年代_我={这是我妹妹。},如图1,当 ,分数每个单词的句子是 。同样的,当 ,相对应的分数各2克是 。换句话说,方程(1),(2)和(3)属于层的关注,通过它 - - - - - -克分数在一个句子得分,对应注意层在图1。

的 - - - - - -克句子向量形成如下:

一般来说,句子向量在 - - - - - -克来自的加权和 - - - - - -克向量 。但权重通过关注网络动态生成的。不同的 - - - - - -克在不同的句子有不同的权重。关注网络将学习如何评估他们的重要性和将返回在训练过程中权重。

具体地说,当 ,这个句子向量 词向量的加权和吗 。采取不同的 - - - - - -克考虑,我们连接句子向量在不同的 。例如,在我们的进一步的实验中,当考虑这两个单词和2克,例如,安(2克),最后一句表示如下:

这部分对应于连接的图1。最后的句子向量的表示然后送入更高层次的语言分类登记。

2.1.2。注册分类

我们利用一个多层感知器(MLP) [21分类登记。中长期规划是一种前馈人工神经网络,由至少三层节点:输入层、隐藏层和输出层。除了输入节点,每个节点是一个神经元,它使用一个非线性激活函数。中长期规划使用监督学习技术称为反向传播训练和区分不同的寄存器。在我们的论文中,该模块需要句子向量作为输入并返回的概率来自不同的寄存器输出;这部分对应的分类在图1所示,其结构是图的红色部分1。

虽然我们的任务模型的分类登记,我们真正关注的是不同的关键字中使用不同的寄存器,权重代表的关注。没有必要设计一个复杂或阐述了分类模块,因为我们想要的其实是一个强大的关注网络,部分中提到2.1。1。假设所有不同的寄存器和吗 类的数量。在一个有效的和有效的方法,它使用两个完全连接层构建分类模块: 在哪里 模型参数,句子向量的大小吗 ,和隐层的大小。然后,的大小 ,的非规范的概率属于不同的寄存器。规范化的概率,softmax层上进行 : 在哪里是th的价值和 这个句子的概率是属于类 。给的预测,我们让对应的最大 ,例如, ,预测类。

该模型通过训练交叉熵损失(26),一个著名的机器学习分类损失: 在哪里是句子的标签(真正的类)损失函数是用来优化模型。通常,损失越接近于0,这个模型就会越好。在我们的工作中,我们使用亚当函数作为优化器(27]。

2.2。提取关键 - - - - - -克

训练后,安给所有的低重量 - - - - - -克的句子,因为这些 - - - - - -克都是短常见关系经常发生在许多句子,不代表。假设功能发生在文档 和它的重量文档是 ,然后,这个功能的重要性可以是一个加权平均的 : 在哪里是文档的输入特征的数量吗(例如,数量的单词当输入特性是单词)。它用于规范化的重要性,因为得到一个高体重在长文档更加困难。然后,可以根据重要性排序的功能和功能的重要性高于一个预定义的阈值选择1.0。

2.3。类型/令牌比率(竞技场队伍)

竞技场队伍的比例是语料库的令牌类型。所谓的型号是指有多少不同的单词在文本中。令牌数量是指有多少单词在文本中。在某种程度上,类型的令牌的比值反映了丰富的文本的话语。但以这种方式计算竞技场队伍是影响文章的长度,所以在这里,我们使用一种修改方法计算竞技场队伍,Herdan日志的竞技场队伍(28,29日]。公式如下:

在进一步的实验中,我们需要计算不同的寄存器来衡量他们的丰富性,即 , ,和 。

3所示。实验

3.1。数据集

实验和进一步的语言分析进行三个语料库的数据集。这部小说包含20文本,其中12个被莫言小说和8余华的小说。莫言的小说棉花羊毛,胸部和臀部,《红高粱》,红树林,酒神,生死疲劳,13个步骤,食草的家庭,41个枪,檀香点球,天堂蒜的歌,青蛙。那些被余华第七天,经典的爱情,生活,现实,兄弟,Brothers-2,徐Sanguan卖血,喊着细雨。一般来说,莫言、余华的小说主要是基于描绘人物的故事,进一步揭示背后的缺点的社会背景和人物的命运本身。

这个消息是一个公共的数据集(https://www.sogou.com/labs/resource/list_yuliao.php),它涵盖了十个主题包括国内、国际、体育、社会、股票,热点地区,教育、卫生、金融和房地产。这是一个公共语料库,许多学者利用语料库进行研究。

教材主要包括鲁迅的小说“KongYiji”,“故乡”、“AQ真实的传记”,和“祝福”,以及老舍的“骆驼祥子”,莎士比亚的戏剧《罗密欧与朱丽叶》,高尔基的“海吞下”,“钢铁是怎样形成的”,“诚实的孩子”,摘要朱自清的“散文”、“回”,“快”,“论语”,等可以看出了课本是一家集寄存器,为学生学习主要由教育选择的文章。

这些数据集的统计数据如表所示1。在这里,训练数据和测试数据的0.8和0.2小说,新闻,课本我们用来训练和测试模型,分别。此外,训练模型在一个更好的方法,我们把数据集分成不同的比例,也就是说,训练集和测试集是0.7:0.3,0.8,0.2,和0.9:0.1,分别。结果表明,模型的准确性高,如表所示2当训练集和测试集的比例为0.8:0.2。

3.2。研究过程

我们的实验分为以下步骤,如图2。接下来,我们描述的每个部分详细流程图2。(1)语料库预处理包括语料库集,预处理,语料库向量化。预处理使用工具箱来清洁数据和部分单词和句子。主要工具是Python3.6(https://www.python.org/downloads/release/python-360/),斯坦福CoreNLP(https://stanfordnlp.github.io/CoreNLP/)。语料库向量化每个句子翻译成相应的词数量进步的表现。结果对应于图中所示的“输入层”1(2)模型由两部分组成,注意机制和MLP分类。的功能注意机制是分数每个 - - - - - -克在每个句子使用方程(1),(2)和(3),这部分所示2.1。MLP分类是文体分类的分类器。这两个部分对应注意层在图1;这两个部分的工作过程是在图中描述1(3)关键 - - - - - -克提取平均的分数 - - - - - -克在每个注册,是否出现或发生很多次了。当 - - - - - -克同时出现在三个寄存器,关键 - - - - - -克与得分最高的被认为是关键 - - - - - -克它所属的寄存器(4)关键 - - - - - -克分析组成关键1、2克集群和关键 3分析,在这关键1、2克集群集群的关键 - - - - - -克从上一步中提取。关键 3分析不仅进行语言分析的聚类结果关键1、2克集群而且统计分析的关键 - - - - - -克从上一步中提取

此外,最重要的任务是找出关键 - - - - - -克的每一个寄存器。

3.3。实验设置

训练我们的模型,我们采用网格搜索选择模型参数的最佳组合。这些参数包括学习速率 和批量大小 。同时,输入句子向量,所以我们需要设置每个句子的长度。根据图3(一个),我们发现句子的长度是10的季度,平均句子长度是20,四分之三的句子长度是40,最长的句子是128。由于我们的主体由三个寄存器,我们还计算每个寄存器的平均句子长度,作为我们的参考价值选择句子长度参数。从图3 (b),平均长度的句子小说和课本接近20的平均句子长度新闻接近30。因此,我们把句子长度设置 。句子向量大小是单词的总数在这三个寄存器;字的大小是32。参数的最佳组合黑色粗体所示。其他参数没有影响我们的模型,我们采用默认值。

减少语料库的不同大小的影响,我们采用随机抽样的方法,以大小相等的语料为训练集和测试集模型。在这里,我们采用精度评估我们的模型。精度措施有多少句子预测的积极有效的真正的正面例子。此外,当 ,这意味着关键字提取,我们使用关键词而不是掉落,绿色部分的图是谁的结构1。当 ,我们使用2克,蓝色部分的图所示1。

3.4。结果和结果分析

在数据4(一)和4 (b),“数量”是指累计数量的特性在一定范围和“密度”意味着在一定区间的数量特征。从图4(一),我们发现关键词得分的分布主要集中在区间[0.1,0.5]。在图4 (b)2克的得分分布在区间[0.0,0.4]。在图4 (c)在区间[0.3,1.0],关键词的分数大于2克。

结合表3,我们发现在区间[0.0,0.1],关键词占0.0079和2克占0.2543,这表明约0.2543的分类2克几乎没有影响。在区间[0.0,0.3],关键字站在0.3741和2克占0.6396;这表明,超过一半的文体分类2克扮演一个小角色。从分数区间[0.3,1.0],关键字和2克的比例是0.6259和0.3604,分别,这进一步表明,关键词方面发挥更重要的作用分类超过2克。

此外,在图4 (c),我们发现2克已经在附件的1.0,这表明一些2克得分越高在文体分类起到良好的作用。

我们的实验分为三组,即安(关键字),安(2克)和安(2克),其结构由图的绿色和蓝色的部分1。通过这些模型,我们可以提取的关键字和2克小说,新闻,文本的角落。实验结果与基线相比,结果如表所示2测试集和训练数据。

3.5。语言分析

我们主要从四个方面分析差异三个寄存器,语料库的内容分析,词汇丰富分析、关键词分析、和关键2克分析。

3.5.1。语料库的内容分析

为了更好地理解的关键 - - - - - -克不同的寄存器中,我们主要分析的内容特征小说,新闻,课本。他们的具体统计数据如表所示1。(我)小说。我们选择莫言、余华的小说作为小说的集合。莫言是2012年诺贝尔奖得主,他的小说经常使用大胆、丰富多彩的词汇。句子在他的小说中富含的风格,长句、复合句、简单句,作者描述事情的方式不受限制。余华的小说的语言深刻地受到西方哲学语言,其特点是简洁,生动,流动性和动态(2)新闻。登记记录和报告的事实,新闻通常有几个特征,如真实性、及时性和正确性。真实性意味着内容必须是准确的。及时性是指内容的时间是有限的。正确性的报告意味着时间、地点和人物必须符合事实(3)课本。作为一种寄存器向学生们传授知识,课本专注于训练听、说、阅读、和写作技巧的学生,目的是扩大他们的视野和知识范围。所以,有许多类型的文章课本为学生学习,主要包含散文,小说,灵感,爱国主义,思想道德教育和其他的故事

3.5.2。词汇丰富的分析

根据方程(10),才语料库,竞技场队伍值越高,越富有的单词。我们计算的竞技场队伍小说,新闻,课本分别为:

自大于和更大的比 ,相对来说,小说最富有的词汇,其次是课本,新闻。

3.5.3。关键词分析

我们分析之间的差异小说,新闻,课本从POS的比例和音节。POS如图的统计分布5(一个)和音节的比例分布如图5 (b)。图中的数据5(一个)和5 (b)基于训练集和测试集,如图5(一个),我们可以获得POS每个寄存器中从高到低如下:(我)小说。神经网络,VV,NR,广告,JJ,弗吉尼亚州,SP,CD,OD,CS。(2)新闻。神经网络,VV,CD,NR,广告,JJ,弗吉尼亚州,NT,米,OD(3)课本。神经网络,VV,NR,广告,JJ,弗吉尼亚州,CD,SP

在图5,我们发现名词(NN)在每个寄存器的数量是最高的。为了更好的分析,我们细分名词(NN)成小部件根据其语义信息表所示4。

在表缩写词的具体含义5- - - - - -7表中给出4和8。缩写词表4由自己设计和表的内容是什么8来自中国的树图资料库宾夕法尼亚标记(30.]。我们将分析中的每个POS的分布小说,新闻,课本。采取以下POS为例,如下所示。(1)POS-NN。在图5(一个),我们发现名词(NN)的比例排名最高的小说,然后在文本的角落,最低的新闻。结合表5,我们发现有超过12种名词(NN)小说,如肺水肿、RN, PA, GN, TN, BN, EN。这些名词(NN)指人物、事件、时间、描述、等,对应部分的内容特点3.5.1。在新闻这些名词(NN)主要包括NT、肺水肿,PSC, RN,或者,CN,等等,主要组织的名称、域名词,职业,时间,集团组织,等等,从表6。因此,我们发现新闻侧重于广泛的群体,而不是个人。这些名词(NN)文本的角落名称、时间、植物、动物、事件、自然现象,等等。这些缩写的具体的例子如表所示7。因此,我们发现教科书重点描述人,等等。(2)POS-VV。在图5(一个)动词(VV)是最的课本,紧随其后的是小说和过去的新闻。结合表5- - - - - -7,我们发现动词(VV)小说等主要体有关的动词,如“笑”(笑),“哭”(哭),“跑”(运行),“走”(走),“跳”(跳),和“唱”(唱)。其中,“说”(说)和“问”(问)相关的嘴,“走”(走)和“跑”(运行)有关的脚,和“抱”(拥抱);这是相关的特点小说。在新闻动词,动词(VV)主要是虚拟的和持续的动词。例如,“进行”(做)一个虚拟动词和“上涨”(上)是一个持续的动词。新闻使用这些动词来表达其正式和严肃的基调。课本不仅包括身体动词也是个性化的动词;后者是丰富的课本因为广泛的寄存器中选择课本(3)POS-CD。此外,在图5,我们发现CD是最的新闻,紧随其后的是课本,小说。是显示在表6,我们发现有很多数字新闻。可以说,定量数据中使用新闻表达所提到的是什么,而不是模糊的单词,比如近似等级的话,“一半”(一半)和“大量”(很多),可以经常发现小说和课本。此外,的正确性新闻也反映在使用大量的数字

在图5 (b),我们发现音节单词不同的寄存器的分布范围从高到低为:(我)小说。2音节,四音节,三个音节,单音节词,multisyllable(2)新闻。2音节、4音节,单音节词,三音节,multisyllable(3)课本。2音节,四音节,三个音节,单音节词,multisyllable

我们分析每一个音节的分布在每一个寄存器,这些音节为例,如下:(1)单音节词。在图5 (b),单音节的词是最的小说,紧随其后的是课本,新闻。如表所示5- - - - - -7,我们发现大部分的中单音节的词小说体有关。这些动词都与特定的身体部位。根据的内容小说节3.5.1我们知道,它的特点是一致的小说主要描述了人物的具体行动。在课本,因为有很多小说,有更多的回答一两个字课本。中国语音学与简化,同音异义词有着显著的提升。如果单音节的单词仍广泛应用于新闻,它将不可避免地导致误解,这阻碍了语言作为一种工具的作用。因此,更准确的多音节的单词中使用新闻(2)两个音节。在图5 (b),我们发现双音节的词是最常见的新闻,紧随其后的是课本和过去的小说。结合表5- - - - - -7,我们发现新闻使用双音节的词来表达一个正式和严肃的基调。例如,“表决”(投票),“申明”(指令),等等,而不是“说”(说)小说和课本。此外,还有更多的双音节的动词新闻,在小说,在课本;双音节的词大多是名词(NN),如“鼻子”(鼻子)和“眼窝”(眼眶)。

3.5.4。关键2克的分析

在图6主要2克,我们可以得出结论,每个寄存器从高到低,结构如下:(我)小说。 , , , , , , , ,和谚语(http://library.umac.mo/ebooks/b26028347.pdf)(2)新闻。 , , , , , , , , ,和 (3)课本。 , , , , , , ,和

在这里, 表示一个句子或短语sp。结合表9- - - - - -11,我们分析每个2克的分布在不同的寄存器结构,主要以这些2克结构为例,如下:(1) 。在图6,我们发现这种结构的比例是最高的小说和课本和最低的新闻。在小说结构的例子 如表所示9。结合部分3.5.1,我们发现小说包含了许多对话。为课本选择,一些小说,所以也有很多的谈话。指表9和11、结构 可以被认为是神经网络的行动和行为的描述或NR,等节3.5.3我们知道,动词(VV)结构 体有关的动词,这符合的特点小说主要描述了人物的行动。与此相反,在新闻,有许多虚拟动词,如“进行”(做)见表10。使用这样的虚拟动词的原因新闻这些动词都符合自己的严重的寄存器。为课本,因为有很多小说,结构 是一样的吗小说(2) 。在图6,我们发现结构 是最的新闻,然后在小说,在课本。结合表10,我们发现结构的例子 是由两个双音节的词,如“市场经济”(市场经济)和“试点阶段”(试点阶段)。王、张曾指出,这种“双音节的结构 “有pan-temporal特点。也就是说,“双音节的结构 “是广泛应用于新闻,可以更准确地描述事物从一个更高的角度31日]。这是符合的特点新闻。因此,有大量的这样的双音节结构中使用新闻(3) 。在图6,结构 是最的课本,紧随其后的是小说,最后的新闻。从整体的角度来看表的内容11,比较新闻,我们发现课本更细致的描述,如“脸色惨白”(苍白的脸),“旧衬衣”(旧衬衫),“严格的”(严格),和“哪个混蛋”(混蛋),见表11。结合的内容课本节3.5.1的特征课本是更细致的描述,它可以更好的帮助学生学习和提高他们的写作能力。此外,作为一个正式的书面语言,新闻是简单的和严重的。的语言小说和课本更随意和灵活;因此,在之间的对话小说和课本,这种结构经常出现的名词结构总是省略

3.6。集群的验证

来验证我们提取关键字和2克的影响,我们使用t新力(32集群关键字和2克)方法。的输入t新力是 - - - - - -克注意力训练的网络,这是高维向量。与其他聚类方法相比,t新力聚类方法可以区分高维数据很好,有很好的可视化效果。聚类结果如图7。在这里,我们只显示几个主要关键词和2克图7。

从关键词聚类图的结果7(一)和2克聚类图7 (b),我们发现关键词聚类的效果优于2克集群,这是符合我们的结论部分4。在图7,我们发现新闻更集中,核心是集中在“经济”(经济)。的小说可以分成两组,因为我们的小说文集由两位作者写的那些作品,莫言、余华,红色圆圈所示图吗7(一);每个红色圆圈代表一个类。的课本更分散。这是因为的主题课本语料库是多样化的,所以的集群课本包含几个补丁。接下来,我们分析它从左向右,从底部到顶部。

从左边的图7(一)这些主角的名称主要是发现,在莫言的小说。原因在于,莫言的小说关注抗日战争和文化大革命。的右侧小说展示了主人公余华的作品。余华的作品主要集中在时代改革开放后的中国;因此,余华的作品更接近新闻。为课本聚类算法组,我们发现“鲁迅”(鲁迅)一起工作,”孔子”(孔子)和“庄子”(庄子)组合在一起,以及相关的一些作品“罗密欧”(罗密欧)和“朱丽叶”(朱丽叶)。一方面,我们可以看到,“余华”(余华)和“鲁迅”(鲁迅)的集合是相对较近,表明,余华和“鲁迅”(鲁迅)' s写寄存器相对相似。我们发现,1977年高中毕业后,“余华”(余华)进入北京“鲁迅”(鲁迅)文学学院深造,他可能,因此,一直受到“鲁迅”(鲁迅)写登记在他的研究。另一方面,课本类似于新闻,特别是“列宁”(列宁),”梅兰芳”(梅兰芳)等。我们发现,这些关键词有关爱国主义的主题,从而更接近新闻。从上面的聚类结果,词向量训练我们的模型有显著的影响。

与关键词聚类不同,小说和课本不是在2克的集群和集群的结果吗小说和课本相对离散。原因是有对话的小说和课本,特别是结构如“NN + VV”和“ ”,如图6,从而导致一个贫穷的小说和教科书之间的区别。很少有对话的新闻,“NN + NN”结构和“VV + VV”如图6为新闻是非常重要的。

事实上,在我们的论文中,注意网络有两个功能。一个是提取 - - - - - -克的关键词,可以区分小说,新闻,和课本;另一种是获得的向量化 - - - - - -克通过培训关注网络。

4所示。结论和未来的工作

我们提出一个模型专注 - - - - - -克网络(安)为关键 - - - - - -克提取。我们的模型充分利用空间语义信息的话说,和注意力机制得分 - - - - - -克的句子。随着训练模型的准确性,注意机制得分每个单词更准确。在实验中,我们的模型的分类精度明显高于基线精度。特别是,我们的模型并不局限于1,2克,但是的 - - - - - -克也适用于3、4、5、6。在未来,我们将进一步探索在以下两个方向:(我)我们将进一步探索影响注意力机制的因素,如句子的长度和数量发生的关键字,以提高每个寄存器的特征的分析(2)我们还将扩展短语结构句子和段落探索寄存器。通过这种方式,我们可以研究注册更全面的关键词,短语,短语结构、句子和段落

数据可用性

本文使用的数据集的一部分是可用的,例如新闻(https://www.sogou.com/labs/resource/list_yuliao.php),小说和教材受到保护。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由清华大学人文社会科学复兴项目(2019 thzwjc38),百度网通科技有限公司的项目开源课程和案例建设基于深度学习框架PaddlePaddle(20202000291),分布式多传感器系统的安全评估隐形攻击(62073284),Multi-sensor-based估计理论和算法与聚类层次结构(61603331)和中国国家重点研发项目(2019 yfb1406300)。