文摘

文本摘要(TS)被认为是最困难的任务之一,在自然语言处理(NLP)。最重要的挑战之一是,反对现代计算机系统的功能与所有它的新改进。许多论文和研究解决这个任务在文学但在萃取进行总结,其中一些正在进行抽象总结,尤其是在阿拉伯语由于其复杂性。在本文中,一个抽象的阿拉伯语的文本摘要系统,提出了基于sequence-to-sequence模型。这个模型是通过两个组件,编码器和译码器。我们的目标是开发sequence-to-sequence模型使用几个深人工神经网络调查,达到最佳的性能。不同层的封闭的复发性单位(格勒乌),长期短期记忆(LSTM)和双向长期短期记忆(BiLSTM)用于开发编码器和译码器。此外,全球注意力机制已经被使用,因为它提供了更好的结果比当地的注意机制。此外,AraBERT预处理被应用在数据预处理阶段模型,帮助理解阿拉伯语词汇,达到最先进的成果。此外,比较skip-gram和连续袋的话(CBOW) word2Vec字嵌入模型。 We have built these models using the Keras library and run-on Google Colab Jupiter notebook to run seamlessly. Finally, the proposed system is evaluated through ROUGE-1, ROUGE-2, ROUGE-L, and BLEU evaluation metrics. The experimental results show that three layers of BiLSTM hidden states at the encoder achieve the best performance. In addition, our proposed system outperforms the other latest research studies. Also, the results show that abstractive summarization models that use the skip-gram word2Vec model outperform the models that use the CBOW word2Vec model.

1。介绍

在过去的二十年里,有一个快速和广泛的可用的数据量增加等互联网新闻,文章,期刊,书评,等等。所以,自动文本总结系统非常需要从大量的可用的文本中提取重要的信息,而不是阅读整篇文章(1]。一般来说,文本摘要的过程可以被定义为从一个更长的文本文档生成一个简短的文本通过使用软件,在这个简短的文本摘要的主要部分的原始文档(2]。文本摘要可以分类,基于这三个角度的观察。第一个角是基于输入类型,总结的过程可以分为单文档摘要或multidocument总结。在单文档总结,输入只有一个文档,和摘要生成这个文件在multidocument总结,输入多个文档,总结应包含信息从所有这些文档。第二个角是基于上下文,总结过程可以分为通用,查询驱动或特定领域的总结。一般只使用原始文档摘要(s),而查询驱动总结关注返回与查询相关的重要信息从答案的用户或用户的查询。特定领域的总结使用一些领域知识做一个总结3]。最后和最重要的文本摘要角是基于输出类型,有两种类型,采掘和摘要式的总结。在采掘总结,总结是源文档中创建的句子或短语(s)基于统计数据和语言特征,而抽象总结表达的思想源文件中使用基于文本的真正语义不同的单词(1];(3]。此外,抽象总结比萃取总结更复杂,因为抽象总结需要文本的语义分析,可以通过使用机器学习技术和先进的自然语言处理(NLP) [4]。然而,摘要式的总结是更好的,因为它就像一个人类写的总结,这是更有意义的5]。

最近,显著改善提供深度学习方法在文本翻译等重要的任务(6];情绪分析(7];和文本摘要和其他字段8]。此外,使用深层神经网络的重要特性是它利用大数据集来提高他们的结果(9]。新的文本摘要方法是基于sequence-to-sequence encoder-decoder框架模型。这个模型由两部分组成,编码器和译码器。编码器读取一个新的令牌从输入序列在每个时间步和更新的隐状态取决于这个令牌。达到输入序列的最后令牌后,编码器产生的上下文向量和一个固定长度的表示输入,输入的长度无关。上下文向量是最后的隐藏状态,用于初始化解码器。解码器,sequence-to-sequence模型的第二个组件初始化的隐藏状态(上下文向量)编码器作为第一隐藏状态,以及令牌作为输出序列的起点。然而,译码器是训练用固定长度来产生一个新的序列。在每一个时间单元产生一个新单词的词汇给前面生成的词(10];(9)如图1,最后一个隐藏状态的编码器是美联储开始令牌作为译码器的输入(11]。这个模型被用于几个NLP应用程序,如文本摘要和机器翻译。在文本摘要,需要总结的文档的输入序列,和总结是输出,在机器翻译,句子在特定语言的输入序列,和相应的句子用另一种语言是输出(12];(11]。

这个模型的主要缺点是它整个输入序列编码成一个小矢量(上下文向量),所以很难总结长序列。为了解决这个问题,注意机制是由Dzmitry Bahdanau et al。12]。关注的主要思想是只注重一些单词的输入最相关的信息,而不是整个序列如图2,编码器的隐状态作为输入提供给注意力从关注美联储和上下文译码器在每个输出时间步(12]。

有两种不同类型的注意机制等全球和本地的注意。它们之间的区别取决于上下文向量的推导方法。在全球关注,参加了上下文向量的推导过程取决于所有编码器的隐状态而这取决于编码器的只有几个隐藏的状态在当地的关注(13]。

现有的大部分工作在这一领域关注的是英语但它仍然缺乏与阿拉伯语语言由于其复杂性,包括阿拉伯语双舌,多种方言,和阿拉伯语的复杂形态1,2]、[1]。此外,在这个领域大量的现有解决方案正在进行采掘总结,其中一些正在进行的抽象总结特别是阿拉伯语(1,2];(1]。另一方面,阿拉伯语为国语的22个国家,超过3亿人说阿拉伯语(Al-Saleh和麦奈(2]。因此,阿拉伯语总结系统非常需要这些天。

因此,本研究的第一个贡献是提出一个抽象的阿拉伯语的文本摘要系统,是基于深度学习。特别是,该系统是基于sequence-to-sequence模型与一个全球关注的机制来生成一个摘要式的阿拉伯语新闻摘要。此外,AraBERT预处理[14)已经应用在数据预处理阶段模型,帮助理解阿拉伯语词汇,达到最先进的成果。此外,早期停止一直在正确的时间应用停止训练模型。在第二个贡献,几个深人工神经网络用于发展中提出的系统调查实现最佳性能,即格勒乌,LSTM, BiLSTM。在第三个贡献,我们证明,生成摘要的质量是影响高字嵌入的质量通过应用skip-gram和连续袋的话(CBOW) word2Vec字嵌入模型以及它们之间比较。剩下的纸是组织如下:部分2介绍了相关工作,在部分3,该系统详细解释。节4、实验结果和评价进行了讨论。最后,在节5结论和未来的工作。

2。相关工作

几项研究被完成在阿拉伯语的文学文本摘要,但大多数都是萃取总结覆盖单一,multidocuments。这些研究都是基于指定文本的重要部分根据三种方法,符号,数字,和混合方法1];(2]。另一方面,没有多少工作直到现在在其他语言的抽象总结特别是阿拉伯语(11]。因此,我们将从最近开始在阿拉伯工作摘要式的总结,然后搬到英语摘要式的总结。

一般来说,有两种方法是基于语义的抽象总结和结构化的方法。第一种方法主要关注识别名词和动词短语总结文本处理语言数据。方法使用基于语义的方法涉及信息项的方法,多通道语义的方法,和语义图论方法。然而,在第二种方法中,文档的重要信息编码,使用含铅和身体短语,本体,包括树和模板和基于规则的模式(14]。

阿拉伯语的文本摘要,只有一项研究在文献中,使用丰富的语义图(显示)一个阿拉伯语的文本文档摘要式的总结(15]。显示(16)是一种基于本体的表示,是名词和动词的输入文档图节点,而边缘代表节点拓扑和语义之间的关系。系统包括三个阶段:第一,创建一个显示图源文件,然后生成的图表显示降低到一个更抽象的图。最后,从抽象图形生成摘要式的总结。该系统的主要缺点是它是基于手动构建本体,是一项非常耗时的任务15]。阿拉伯语的另一个研究的抽象总结出现在2018年(4四个阶段总结的)。首先,输入文档分为局部连贯multiparagraph部分片段。然后,为每个段标题关键字生成。之后,一个主要萃取总结每段是由采掘总结。最后,减刑技术应用于生成摘要式的总结。该系统的缺点是它取决于采掘总结,因此它不是一个纯粹的抽象方法。

最近,深度学习提供了良好的结果,近年来被广泛使用在文本翻译和情感分析等重要任务。深度学习在阿拉伯语使用摘要式的文本摘要首次在2017年由穆斯林教师等。17),引入了两个模型。第一个模型使用一个标准的sequence-to-sequence架构,第二个模型使用sequence-to-sequence模型与关注。然而,使用数据集相对较小。

2019年,一个研究摘要式的文本摘要多种语言,包括阿拉伯语出现(18]。在这项研究中,多个模型被应用在多个数据集的英语和阿拉伯语,然后比较它们之间。与关注,这些模型是简单sequence-to-sequence Pointer-Generator Scheduled-Sampling, Policy-Gradient。此外,小说引入先进的清洗技术,增加词汇的相关性以及文本摘要的效率。这种技术被应用于阿拉伯语数据集。

2020年,两项研究出现在阿拉伯语摘要式的文本摘要,第一个是由迪玛苏莱曼和阿拉法特Awajan [13),他们引入了一个两层的模型,该模型由编码器的输入文本层和实体层的名字,同时一层解码器。编码器和解码器使用LSTM,但是双向LSTM用于编码器而单向LSTM用于解码器。他们使用的一个AraVec pretrained字嵌入模型嵌入层。实验的数据集进行了收集和预处理是适合抽象总结。为评价、ROUGE1和ROUGE1-NOORDER被用作评估措施,它们的值分别为38.4和46.4,分别。然而,收集到的数据集是小不向公众开放,允许其他研究比较。第二个是由Molham Al-Maleh说Desouki Al-Maleh和Desouki9),阿拉伯语是建立一个新的数据集,然后用注意力机制抽象sequence-to-sequence TensorFlow(基线)应用。之后,添加复制机制是为了匹配pointer-generator模型和利用都抽象和提取方法,改进他们的结果。最后,覆盖模型和长度的惩罚。胭脂F1是用作评估测量值为44.23。

继续在英语语言的抽象总结,深刻学习使用英文摘要式的文本摘要于2015年第一次冲et al。19),三种类型的编码器提出了包括一袋的话,卷积,引起编码器。此外,当地的注意机制是译码器所使用的条件的每一个字总结输入句子。此外,定向搜索被用来选择最好的k目标词。Gigaword数据集是用于训练而duc - 2003和duc - 2004数据集被用于测试。有几个预处理阶段的数据集上执行,如使用小写字母,UNK令牌代表最不频繁的话,标记,使用符号来替换所有位数。评估质量生成的摘要,ROUGE1, ROUGE2,和ROUGE-L ROUGE1的价值是28.18而ROUGE2的值和ROUGE-L分别为8.49和23.81,分别。

Chopra et al。20.]介绍了RAS(反复细心的史书)的扩展抽象的句子总结(19)通过使用递归神经网络(RNN)架构,而不是使用前馈神经网络。Gigaword数据集用于训练而duc - 2004数据集是用于评估。ROUGE1、ROUGE2 ROUGE-L被用来评估生成摘要的质量,结果是28.97,8.26,和24.06,分别。

Nallapati et al。21)提出了一个抽象的文字总结模型使用一个注意机制与RNN encoder-decoder架构。编码器由两层双向GRU-RNN虽然解码器层由一层单向GRU-RNN。编码器中的第一层代表这个词水平,第二层是用于句子层面。此外,在译码器是用来将softmax层生成总结词汇。嵌入这个词输入文本的单词和一些特性包括实体名称、词性标记,TF-IDF美联储编码器。Word2vec用于单词转换成向量。训练模型,DUC Gigaword, CNN /日常数据集使用虽然ROUGE-1, ROUGE-2,和ROUGE-L被用于评估质量的生成总结它们的值分别为35.46,13.3,和32.65,分别。

周et al。22)提出了一种选择性编码为抽象的句子总结(海洋)模型,使用选择性编码模型扩展为抽象的句子总结sequence-to-sequence框架。它由一个编码器,译码器和选择性。海洋模型由一个双向格勒乌编码器和单向格勒乌解码器。选择性门生成表示句子的单词。DUC 2004、Gigaword MSR-ATC数据集用于训练和测试。此外,使用定向搜索选择最好的目标词。最后,ROUGE1、ROUGE2 ROUGE-L被用来评估生成摘要的质量及其值分别为36.15,17.54,和33.63,分别。

曹的dual-attention sequence-to-sequence框架提出了et al。23]。他们的模型包含两个编码器与双向格勒乌和一个译码器门的双网络的关注。此外,两个上下文向量由译码器生成和合并而不是一个上下文向量。Gigaword数据集用于实验显示,他们的模型大大减少了假总结了80%。评估质量生成的摘要,ROUGE1, ROUGE2,和ROUGE-L被使用,和它们的值分别为37.27,17.65,和34.24,分别。

混合pointer-generator看到提出的架构与覆盖et al。24)使用混合pointer-generator网络复制文字从源文本通过指向和使用跟踪报道了什么来防止重复。他们的模型应用于CNN /每日邮报,和ROUGE1 ROUGE2,和ROUGE-L被用来评估质量生成的摘要值39.53,17.28,和36.38,分别。

我们可以看到只有四个研究摘要式的阿拉伯文字总结,这让我们专注于应用摘要式的文本摘要阿拉伯语,试图加强阿拉伯文本摘要的质量。在下一节中,该系统是详细解释。

3所示。提出了系统

不同的组件和步骤已经被我们的系统使用在这一节中描述。该系统包括五个阶段如下:预处理数据,代表数据,分割数据,构建和训练模型,评估,如图3。提出系统的五个阶段详细描述如下。

3.1。数据预处理

这一步的目的是清洁数据并将其转换成一个连贯的形式轻松地处理它。首先,行与新内容或NULL值总结已被移除,和重复的行也已被移除。然后,我们采用以下步骤:(1)移除阻止的话只有等新闻内容的”' '”,等来减少数据和训练模型更快,因为他们不是很相关的培训模式。然而,停止的话一直在总结,因为他们是重要的模型,使预测总结更像自然短语。(2)删除任何不必要的字符,如标点符号、url、削减等。(3)应用AraBERT预处理[25]从词如“删除阿拉伯语添加“皈依”' '”和“”。我们移除这些增加减少单词量。(4)申请信规范化统一等不同形式出现的字母取代在{},{},{},{},{},{}。

3.2。表示数据

由于深度学习和神经网络只是接受数字作为输入一个文本是一个字符串(不是一个数字),字嵌入用于解决这个问题。在我们的实现中,已经创建了字嵌入使用word2vec [26];和skip-gram架构使用Windows 10。数据集独特的阿拉伯语新闻这个词被用来训练和构建嵌入通过连接每个新内容的总结。建筑的尺寸大小字嵌入向量代表每个单词已150年。之后,建了两本词典单词转换为整数,表示他们对输入和输出序列的索引。减少词汇量的大小,我们只用单词已经在字(词)嵌入或出现超过或等于10倍来构建一个字典。这减少了计算时间和复杂性。此外,特殊令牌已经被添加到字典等 , , ,和在哪里令牌被用来取代频繁词或未知的词越少,令牌已被用于填充的短句,令牌被用作开始令牌送入解码器的一个句子,和令牌被用作表达一个句子的结束。

快来帮助训练模型,文本的长度和总结已经检查修复的最大长度新闻内容和总结通过大多数的新闻内容长度和摘要的长度。这减少了很多额外的填充和计算。此外,一些新闻没有被包括在内,如果会有超过1 UNK在新闻内容或任何UNKs总结。这个已经完成,以确保模型是建立有意义的数据。最后,每个句子在新闻内容和总结已经转化为一组整数使用两种字典和衬垫匹配最长的句子训练集。

3.3。分割数据

在这一步中,数据集被长条木板分成三个组,训练集,验证集和测试集,训练集用于训练模型,验证集已被用于验证模型,和测试集(看不见的)测试和评估我们的模型。

3.4。构建和训练模型

sequence-to-sequence框架的encoder-decoder注意力机制用于生成一个摘要式的总结,根据新闻内容或文章内容与原始文本。我们的目标是开发sequence-to-sequence模型使用几个深人工神经网络调查,达到最佳的性能。深的人工神经网络,包括封闭的复发性单位(格勒乌),长期短期记忆(LSTM)和双向短期记忆(BiLSTM)用于构建该模型。构建三个组件的建筑模型阶段由编码器,译码器,和全球的关注。使用全球关注机制,而不是当地的,因为它提供了更好的结果。不幸的是,Keras并不正式支持关注层,所以使用的是第三方实施。同时,我们使用一个不同的数字的隐状态层编码器在一层隐状态译码器的影响进行调查的数量层生成的摘要的质量。该模型的体系结构与输入和输出的形状为每层如图4LSTM和格勒乌图5BiLSTM。

在数据4和5输入层的输入输入与最大长度序列在编码器端虽然是目标与在解码器端最大长度序列。然后,输入层的输出输入嵌入层产生一词在编码器端输入序列的嵌入而产生这个词在解码器端目标序列的嵌入。嵌入层的输出输入有一些格勒乌的编码器,LSTM或BiLSTM隐状态层。编码器生产两件事在格勒乌的情况下输出和隐藏的状态而产生的三件事LSTM输出,隐藏的状态,细胞状态。另一方面,编码器在BiLSTM产生五件事包括输出,前后两个隐状态序列,和前后两个细胞状态序列。之后,隐藏的状态送入解码器的格勒乌而隐藏状态和细胞状态被送入解码器LSTM的情况。否则,BiLSTM而言,这两个最后隐状态连接在一起使用连接层和两个细胞状态;然后他们被送入解码器,所以解码器的输入是三个向量,一个从嵌入层和两个编码器,如图5。然后,编码器和解码器的输出是输入的关注层用于关注输入部分有高度显著的影响产生的输出和上下文向量。该模型利用一个全球关注的机制,因为它提供了更好的结果比当地的注意机制(13]。最后,从关注层上下文向量和译码器的输出连接在一起并送入TimeDistributed层softmax-activated致密层接收词汇分布,将概率附加到每个单词的词汇。这个词的概率是最高的然后选为下一个输出。所有变化的模型已经被使用训练集训练(90%的数据集)和验证使用验证组(9%的数据集)通过50时代和批处理大小为40。稀疏分类叉已经作为损失函数,因为它克服任何内存问题。此外,早期停止一直用于停止训练神经网络监测val_loss在正确的时间,所以我们的模型已经停止了训练,一旦确认损失后增加了两个迭代。

3.5。评价

进行测试和评估模型的所有变化,测试集送入推理模型如图3,译码器有点不同的培训。这种差异只是在解码器的输入隐状态的输入时间t以前隐藏的输出状态和下一个单词的词嵌入在参考总结(目标总结)培训。虽然在测试过程中,没有参考总结,所以隐藏的输入状态的输出之前隐藏的状态和以前生成的词的词嵌入预测的总结。此外,输入第一隐藏状态训练和测试是“嵌入”这个词令牌和输出编码器的隐状态。

3.6。评价指标

评估的质量提出的所有变化模型,使用两个标准指标包括胭脂和蓝色nondifferentiable指标适合比较生成的参考总结总结。胭脂(依据评价Recall-Oriented替补)是一组指标和一个软件包用于评估机器翻译和自动文本摘要和这是一个recall-based评价指标(27]。胭脂措施的字数的参考总结出现在生成的摘要使用语法之间的重叠。我们计算精度、召回和f1-measure ROUGE-1分数,ROUGE-2, ROUGE-L, ROUGE-1措施word-overlap, bigram-overlap ROUGE-2措施,ROUGE-L措施之间的最长公共子序列参考总结和生成的摘要。

F1-measure提供精度和召回和it之间的调和平均数计算 在精密测量的百分比- gram从生成的总结,总结相关的参考,它是计算吗 虽然召回显示生成的摘要满足参考摘要多远,它是计算 在语法是字格的数量在参考总结和语法字格的数量生成摘要。另一方面,F-measure ROUGE-L计算如下(27]: LCS (X,Y)的最长公共子序列的长度X和Y,米和n的长度是X和Y,而ß 。

蓝色(双语评价替补)比较生成汇总到一个或多个参考总结通过计算从生成的摘要的字数,出现在参考总结(28]。蓝色是一种precision-based评价指标,其得分计算如下(29日]。

首先,计算简洁的点球,寻找最相似的参考长度 在哪里c和r分别是一个候选人的总结和参考总结。最后,蓝色的分数计算 在哪里语法精度得分及吗是正的重量(29日]。

4所示。实验

4.1。实验设置

实现了实验使用PythonKeras和溶合谷歌Colab木星笔记本Tesla GPU P100-PCIE-16 GB和27.4 GB RAM。我们使用一个“Keras”图书馆由于它关注模块化的,用户友好的和可扩展的。此外,Keras是一个高级神经网络库上面运行的TensorFlow [30.]。

4.2。数据集

我们有两个数据集的处理如下:1。阿拉伯语标题摘要(AHS)数据集12。阿拉伯Mogalad_Ndeef(飞行员)数据集2

唯有通过数据集是用于Al-Maleh和Desouki [9包含大约300)k阿拉伯语的文章和标题。我们认为新闻内容的原始文本和标题作为总结。当飞行员数据集用于扎基et al。18包含大约265)k阿拉伯语新闻,我们专注于两个字段的数据集,这是新闻内容和总结。

4.3。结果

在本节中,实验结果表明深人工神经网络的影响如格勒乌,LSTM, BiLSTM,和它的层数,AraBERT进行预处理,词的质量嵌入模型生成的摘要的质量。我们应用实验赋予和飞行员的数据集。测试组已被用于评估和结果都是平均水平。此外,与其他研究进行比较,证实我们提出了系统的有效性。

后应用数据集数据预处理阶段已经有数据集和飞行员,他们成为294 835和254 107独特的阿拉伯语的文章和新闻摘要,分别。然后,代表数据应用阶段,所以独特的单词和使用单词的总数和比例如表所示1。

由于计算资源的限制,我们删除新闻,新闻内容长度超过412和42个摘要AHS的数据集,而1786年和112年为飞行员数据集。此外,我们已经删除了消息,有超过1 UNK在新闻内容或任何UNKs总结,所以数据成为247年874年663年和196年都赋予数据集和飞行员的数据集,分别。数据集是长条木板分成三组如表所示2。

表3和4显示的结果应用格勒乌,LSTM BiLSTM模型有一个,两个,三个隐藏层编码器和飞行员具体数据集。它可以观察到,使用两层格勒乌和LSTM编码器实现ROUGE-1 F-measure平均值最高,ROUGE-2, ROUGE-L除了蓝色。因此,应用格勒乌LSTM和两个隐藏层的编码器是最好的sequence-to-sequence模型等格勒乌和LSTM使用一个和三个隐藏层来实现最佳的性能。另一方面,它可以观察到,使用三层BiLSTM的编码器实现ROUGE-1 F-measure平均值最高,ROUGE-2, ROUGE-L除了蓝色。因此,应用BiLSTM三个隐藏层是最好的sequence-to-sequence模型等BiLSTM模型实现最佳性能。

此外,学习的效果AraBERT预处理生成摘要的质量,我们实现该系统AraBERT预处理和没有AraBERT预处理对观众和飞行员的数据集和比较结果如表所示5。它可以观察到,AraBERT预处理提供了更好的结果比不使用它。因此,AraBERT预处理在数据预处理阶段扮演着重要的角色。

此外,比较skip-gram和连续袋的话(CBOW) word2Vec字嵌入模型进行了如表所示6。结果表明,摘要式的总结模型使用skip-gram word2Vec模型比模型,使用CBOW word2Vec模型。结果,生成的摘要的质量是影响高度嵌入这个词的质量。

与其他阿拉伯语进行比较研究,使用深度学习对于文本摘要,我们比较系统通过应用三层的BiLSTM编码器有两个最新的阿拉伯语研究基于深度学习(迪玛苏莱曼和阿拉法特Awajan [11];编码器(13];和Al-Maleh et al . Al-Maleh Desouki [9),如表所示7。

根据比较结果表7,发现,我们提出了系统的最佳F1-measure价值比较与其他研究[9)这意味着总结的提议系统是最高的质量。

4.4。讨论

通过考虑实验结果见表3和4的最佳性能格勒乌LSTM是使用两个隐藏层编码器。BiLSTM,三个隐藏层取得最好的表演。它是可观测的数据6- - - - - -9提出了系统应用BiLSTM优于格勒乌和LSTM。因此,我们可以得出结论,三层BiLSTM隐藏状态的编码器实现最佳的性能。

从我们的实验测试,我们发现,应用AraBERT预处理在数据预处理阶段发挥了重要作用在实现最佳性能如表所示5。

此外,从我们的实验测试,我们发现字嵌入的建设使用skip-gram word2vec比连续袋的话(CBOW) word2vec如表所示6。结果,生成的摘要的质量是影响高度嵌入这个词的质量。

最后,还有三个例子生成摘要的使用该系统通过应用BiLSTM三个隐藏层编码器来证明生成的摘要的质量。第一次和第二次的例子是随机从测试组准备的数据集,而第三个例子是飞行员测试集的数据集。文章或新闻内容,参考总结,由使用该系统生成的摘要如表所示8。

5。结论

在本文中,一个抽象的阿拉伯语的文本摘要系统提出了基于sequence-to-sequence。本文研究的核心价值在三个方向影响生成的摘要的质量。第一个方向是很深的人工神经网络的类型和数量的层用于实现编码器和译码器。我们发现这三层BiLSTM隐状态的编码器实现最佳的性能。第二个方向是预处理的数据,我们发现AraBERT预处理方面发挥了重要作用在实现最佳性能。第三个方向是嵌入模型,使用这个词,结果表明,skip-gram word2vec生成汇总质量比CBOW word2vec模型。

我们期待应用强化学习算法,结合强化学习技术与深度学习模型来提高生成摘要的质量。

数据可用性

使用的数据来支持本研究的发现来自阿拉伯语标题摘要(AHS)数据集(https://osf.io/btcnd/)和阿拉伯语Mogalad_Ndeef(飞行员)数据集(https://drive.google.com/file/d/12Lqej0BcPelRQ81ewYrqkIl2xzfQald8/view)。

的利益冲突

所有作者宣称他们没有利益冲突。

确认

这项研究受到了塔伊夫大学的研究人员支持项目数量(TURSP - 2020/231),塔伊夫大学,塔伊夫,沙特阿拉伯。