文摘

单个模型经常被用来分类文本数据,但单个模型的泛化效果文本数据集是可怜的。改进模型的分类精度,提出了一种方法,是基于一个深层神经网络(款),递归神经网络(RNN)和卷积神经网络(CNN)和集成多个模型训练的深度学习网络体系结构来获得一个强大的文本分类器。此外,增加模型的灵活性和准确性,各种优化算法用于训练数据集。此外,减少干扰的分类结果造成的停止词在文本数据,数据预处理和文本特征向量表示使用前培训模型以提高分类精度。最后的实验结果表明,该模型融合方法可以实现不仅改善了分类精度,还好对多种数据集分类的影响。

1。介绍

文本分类起源于1950年代。从最初的基于专家经验的系统,传统的机器学习方法,现在深学习方法,文本分类技术逐渐成熟1]。近年来,深度学习一直是学术研究的热门话题。伟大的突破已经在各个领域使用深度学习技术,如自然语言处理、计算机视觉、强化学习。文本分类基于深度学习的热门话题和研究人员的长期挑战。

在研究文本分类、Rocchio [2)首次提出Rocchio文本分类算法,它使用一个训练集构造原型向量为每个类和分配一个输入某个类文档通过计算所有文档之间的相似度在训练集和原型向量。这种方法很容易实现和计算。然而,它并不与多个类别和执行的任务主要是用更少的类别适合文档分类问题。基于Rocchio算法,Somya和Srinivasa3)提出了一个Rocchio算法层次结构。该算法采用术语frequency-inverse文档频率(TF-IDF)特征提取方法进行大规模multilabel文本分类分层数据集和具有良好的分类效果等数据集。但是,它有multitype数据集上表现不佳。Schapire [4)首次提出提高分类算法基于模型的融合。该算法主要是融合多个弱学习者变成一个强的学习者,实现一种改进的分类效果;然后,他提议装袋算法(5]。在这些薄弱的学习者中,随机森林,增加树木,梯度提高决策树(GBDTs) [6)基本模型时使用决策树结合提高和装袋算法;这种方法提供了一个显著提高分类效果。基于提升的想法,Bloehdorn和Hotho7)提出了一种自适应增强算法与语义。该模型算法使用一个集成的学习方法来提高文本分类的稳定性和准确性。然而,训练模型的数量大;的计算是非常复杂的;和之间的可解释性模型减少了。Kowsari [8)等人提出了一个随机multimodel分类方法,它利用网络学习体系结构的神经网络(款),递归神经网络(RNN)和卷积神经网络(CNN)随机生成隐藏层个数和神经元模型和获得预测通过多数投票。因此,这种方法取得了提高文本分类精度。然而,由于隐藏层和神经元的数量是随机生成的,每次都是不同的,生成的网络结构进行模型训练过程困难和计算非常复杂。参考文献(9- - - - - -11)提出了一种广泛使用的贝叶斯分类器,这是一个分类器。它有一个良好的分类效果文本数据,计算快速和容易实现。然而,贝叶斯分类器在文本与稀疏数据表现很差。因此,金等。12)开发了一种方法和强大的数据分布的假设来缓解这个问题关于贫穷的稀疏数据的预测和解决穷人稀疏文本数据的分类问题。另一个强大的分级机是支持向量机(SVM) [13),它使用一个灵活的和多样化的内核方法项目数据到一个高维空间,从而使用高维空间中的超平面分类数据;这种方法的分类效果较好,但单个分类器的作用是降低使用时在多个数据集。

传统的单一分类器,可以用来达到良好的分类效果,用于训练网络模型为一个特定的数据集。虽然单一分类器不能处理各种数据集,综合模型可以解决精度的问题在不同的数据集,但综合的训练模型是复杂和耗时。传统的单一的分类模型和综合模型改进本文和训练数据集通过结合多个网络模型。首先,各种优化算法用于解决文本特性问题,如较长的文本和稀疏的文本。其次,模型的训练过程中学习速率调整优化器,这样训练模型可以处理数据集不同的文本特色,增加模型的灵活性。

的基础上改进了三个网络体系结构:款,RNN, CNN。在款网络体系结构中,BP算法和许多优化算法相结合来训练模型。在RNN网络体系结构中,格勒乌(14)与学习水平和垂直网络,多个优化算法,ReLU [15)激活函数训练模型的设计。在CNN网络体系结构、多层卷积和池是用来提取文本特征,结合各种优化算法(16训练模型。最后,改进网络架构用于获得一个强大的文本分类模型通过使用一个融合策略和并行训练方法。

2。材料和方法

摘要文本分类过程包括以下步骤:文本数据预处理、文本的向量表示,文本特征提取,优化器选择、模型设计、模型融合和模型评估。图1显示了该方法的流程图从预处理模型评估。下面描述了整个文本分类的详细过程。

2.1。文本预处理

文本预处理的主要目的是干净的原始文本数据。大多数文本和文档数据集包含许多不需要的字,如停止词,拼写错误和俚语。在确定词频统计,这些噪声数据和不必要的特性影响的性能模型和分类的结果。摘要停止词汇列表NLTK语料库是文字删除和合并处理。此外,正则表达式是用来去除空间和一些特殊字符来减少计算成本和错误分类模型的训练。

2.2。词表示

词表示一个文本字符串转换成数值向量可以由计算机处理。常用的文本向量表示方法bag-of-words [17)方法,word2vec [18),和手套19)方法。本文使用的手套模型文本向量表示。基本思想是通过语料库构建共生矩阵,然后学习词向量基于共生矩阵和手套模型。模型使用矩阵分解与潜在语义分析(LSA)派生的全局特性和word2vec局部上下文信息来转换矩阵。在一起,这种方法不仅实现了全球语料库的统计特性,但也使用本地上下文特征向量来表示。使用的手套模型训练时,这个词对于给定的文本向量计算通过引入损失函数等 在哪里和词的词向量和字 ,分别;和偏见条款;是一个加权函数;代表单词的次数出现在单词的上下文 ;N词汇量的大小;和是同现矩阵的维数。此外,体重的功能定义;这样做是为了防止一些重量太大。此外,一些权重太小,影响文本分类的准确性,所以函数定义如下:

2.3。特征提取

常用的特征提取方法是TF-IDF [20.),N克(21]。TF-IDF用于提取文本特征时,单词之间的序列关系不能被捕获,因此文本的功能不能完全提取。因此,本文使用了N蟋蟀文本特征的提取方法。在文本数据、序列或一个句子组成米单词。然后,发生的概率米th词与前面米−1的话,概率值( )计算。根据链式法则,最后计算结果显示在以下方程:

相比之下,掉落和2克,N克方法提供了文本特征提取可以检测更多的信息。

2.4。优化算法

2.4.1。一个基于RMSProp减振优化算法

当训练模型的参数,学习速率的选择影响模型的效率和性能。如果学习速率过大,剧烈振荡发生在计算梯度,导致未能收敛于全局最优解,如果学习速率太小,训练速度将非常缓慢。当前的方法是模拟退火算法。当模型参数训练,为学习速率变化范围,定义阈值和调整学习速率。然而,这种方法需要事先定义一个阈值,并且不能适应不断变化的文本数据类型。解决问题关于学习速率阈值变化和振荡,本文使用基于Nesterov RMSProp算法的势头。算法首先初始化动态学习速率和不断更新学习速率在训练过程中防止这种速度过度或小在培训过程中,这将影响到培训的效果。具体的主要步骤如下。首先,一个minibatch包含米样本训练集组成,这些小的梯度和平均总和计算样品,如方程(4)。与此同时,一个指数衰减系数如方程(5)是用来控制历史信息的数量,也就是说,累计梯度,动态更新学习速率的大小(方程(6))和模型参数(方程(7))。 在哪里代表了指数衰减系数,代表了更新的计算速度,代表参数的更新,代表梯度,代表了动量系数。同时,减少暴力振荡观察训练模型参数时,采用基于Nseterov势头,并添加一个动量系数在计算梯度减缓振荡之前,见方程(8)。因此,优化器RMSProp算法结合Nesterov动力可以提高模型的训练速度和准确度。

2.4.2。根据亚当最优偏差校正算法

亚当是一个简单和计算高效的优化算法,可以克服遇到的问题在大型数据集和高维参数空间中。在传统的分类方法,如朴素贝叶斯分类器和支持向量机,对于文本数据和大数据集,有必要考虑内存消耗朴素贝叶斯模型的训练过程和模式振荡的问题,而支持向量机不具备这个问题。一个内核方法将文本数据放置到一个高维空间,并由此产生的模型有很多参数和非常复杂的计算。因此,介绍了亚当与偏差校正算法来解决传统方法的缺点。基本的想法是,当亚当计算梯度,它介绍了一阶矩估计(方程(9))和二阶矩估计(方程(10),然后纠正偏差的一阶矩(方程(11))和二阶矩方程(12)解决梯度稀疏和不均匀。方程(9)更新的一阶矩计算梯度和指数衰减率通过方程(同时纠正偏差11),加速模型的收敛性。方程(10介绍了二阶矩,方程(12)纠正偏差,提高模型处理非平稳的目标的能力。与此同时,参数(方程(13)是用于更新参数的值在方程(14))。本文利用上述算法在文本分类训练模型参数减少内存消耗,同时解决凸模型收敛的问题。 在哪里代表了一阶的时刻,代表样本的值梯度,和代表估计指数衰减率,代表的参数计算模型,代表一个小常数用于数值稳定,代表了步长用于更新参数 。

2.4.3。一种改进的优化算法基于SGD

之前SGD算法的引入,最常用的批处理梯度下降梯度算法(BGD)算法,这是针对整个数据集和计算所有样本的梯度方向。虽然这种方法可以获得全局最优解,当数据量大,计算所需的数量大,计算速度慢。为了克服BGD方法的缺点,本文使用了SGD算法。SGD是一种广泛使用的优化算法。这是一个经典的梯度下降算法改进。基本的想法是,所有训练数据可以从训练数据在每个迭代中获得。采取随机样本来估计目标函数的梯度,因此,极大地减少了算法的时间复杂度和这种方法应用于大规模文本数据集。当使用SGD算法本文一组文本训练数据输入到模型中。计算目标函数如下: 在哪里表示模型的经验损失 ;模型参数值计算如下:

2.5。模型结构和融合

2.5.1。款架构

款结构本文设计一个输入层、隐藏层和输出层,如图2。输入层是处理文本特征向量,和ReLU激活函数隐层(如方程(17)),以减少所需数量的计算在使用反向传播算法来更新参数。同时,介绍了辍学算法解决问题的梯度消失在培训过程中,最后,将softmax函数,如方程(18),用于输出时解决multiclassification问题。 在哪里代表的输出值 - - - - - -th节点和输出节点的数量。

2.5.2。RNN架构

解决传统RNN网络传播过程中信息丢失的问题,LSTM[的门结构22)和格勒乌网络通常是用来保留重要的信息。因为格勒乌的网络参数小于LSTM,梯度消失问题是可以预防和减少计算复杂度的过度拟合训练数据。格勒乌网络设计单元如图3。这个方法使用一个闸门机制,其中包含一个更新和重置登机口。所示的计算方程(19)和(20.),和输出向量计算通过方程(21)和(22)。最后一个RNN架构如图4。网络中的每个格勒乌单元不仅可以学习水平还纵向减少通信过程中信息丢失的问题。 在哪里代表更新门向量时间 , 代表输入文本特征向量,代表的参数矩阵,代表了ReLU激活函数,代表了重置门向量,代表输出向量。

2.5.3。CNN架构

cnn最初是用于解决图像问题,但在自然语言处理中,cnn的使用文本分类取得了更好的效果。在这篇文章中,CNN是用于文本分类时,一层six-layer卷积和最大池层,如图5。该模型采用一维卷积。在不改变文本的宽度序列,池层使用的最大池策略,不断从文本数据中提取重要特征通过一维卷积和最大池,然后使用一个池层结合收集的文本特征信息和输入到完全连接层。最后,文本分类的类别信息的输出。

2.5.4。模型融合

常用的模型融合策略包括均值法,叠加方法,多数投票方法。平均方法的主要思想是平均每个模型的预测结果和使用平均值作为最终的预测结果。叠加方法使用交叉验证模型,结合模型之间的特征和培训新组合到一个新的特性模型。通过这种重复特性叠加方法,强分类器终于获得。多数表决的方法包括计算每个分类器的分类结果的统计数据。其中,分类器得票最多的分裂的最后数据点对应的类别。该方法计算简单,易于实现,和分类效果优于单一分类方法。整个模型融合过程如图6。整个模型的融合步骤图中可以看到6;首先,文本数据集预处理,特征提取和转换成一个矩阵( , , ,和 )。然后,文本特征向量输入到网络体系结构为并行设计的训练,和每个网络体系结构使用不同的优化算法。总共n模型计算;那么这些n并行模型是测试在测试集上获得每个模型的预测结果;最后,这些k结果通过融合策略选择选择最终的预测结果作为这种模式的分类结果。

基于上面的融合策略,主要观点如下:并行模型训练的总数 ,文档类别的数量 ,和每个模型的分类结果文本数据被计算。其中,文本数据得票最多的是属于一类 。最后,属于分类的准确率总结和平均作为最终预测结果,和以下所示的计算方程: 在哪里代表模型的结果分类的文本 , 代表的数量训练模型,代表了多个类别的文档,代表的票数,指出文本数据属于类别 , 表示文本数据的数量属于类别的准确性 ,和N代表的票数。

3所示。结果与讨论

3.1。数据集

验证融合模型具有普遍性,本文使用三个不同的数据集,如表所示1:20新闻组、路透社、科学和网络。20新闻组数据集主要由20个新闻组为不同的主题。它包含20000个文档数据。路透社新闻数据集包含21578个文档数据和90类别。科学的网络数据集是一组抽象的学术文章。数据集包括WOS5736和WOS11967。本文使用文档作为训练数据的80%,20%,测试数据。的关系如表所示1。

3.2。评价

本文使用的准确性,回忆,和测量模型的分类性能。的计算公式如下:

3.3。参数设置

本文使用手套学习词向量模型,这个模型可以实现全局特性语料库的统计数据和本地上下文特征向量。同时,为了防止过度拟合训练数据,辍学的值设置为0.5,每个网络架构。每个架构模型使用亚当,SGD RMSProp三优化算法和ReLU激活函数来提高模型的训练速度。具体参数如表所示2- - - - - -4。

3.4。实验结果

验证的分类性能提出multimodel融合方法和显示,它比其他单一分类模型,在三个不同的公共数据集获得的实验结果进行了比较。结果如表所示5。

表5显示了大多数选票九模型的分类结果数据集。路透数据集,投票九模型的分类精度达到89.23%,高于0.66%的模型精度最高的比较实验。融合模型的测试结果如图所示7,这四个模型的比较结果如图所示8。20个新闻组上的数据集,当训练融合模型,收敛所需100时代,和模型的分类精度达到88.87%,高于5.13%的模型精度最高的比较实验。融合模型和比较模型的测试结果数据所示9和10,分别。分类准确率,是通过该模型在WOS5736数据集是92.33%,高于0.35%的模型精度最高的比较实验。融合模型和比较模型的测试结果数据所示11和12,分别。提出模型的分类准确率WOS11967数据集是85.08%,高于1.11%的模型精度最高的比较实验。融合模型和比较模型的测试结果数据所示13和14,分别。此外,在四个数据集,召回融合模型的高于款,RNN, CNN模型。总之,本文中使用的模型融合方法比单个分类器更好的分类效果,和融合模型有更普遍的影响,不仅是具体表现为更好的对一个数据集分类影响还是良好的对各种数据集的分类效果。

4所示。结论

本文提出了一种新的分类方法解决问题的数据集和单个模型的准确性。平行的组合训练多个深度学习的体系结构和集成策略用于获取模型。验证融合的效率模型,融合模型的实验评价路透社,20新闻组,WOS5736,和WOS11967数据集显示精度,回忆,和高使用融合模型与款相比,RNN, CNN模型。结果表明,融合模型还可以提高文本分类和集成策略可以用来为分类提供了灵活性。这个模型还提供了一个新的文本分类方法,可应用于大范围的数据集。在未来的研究中,我们将进一步探索融合模型的网络结构和每个网络参数对分类结果的影响,分析浅模型是否可以用于提高最终模型的准确性,同时增加训练速度。

数据可用性

三种类型的数据集从不同的页面包括以下。20新闻组数据集包含20000个文档有20个类别。与90年路透数据集包含21578个文档类别。科学的网络数据集包含WOS11967和WOS5736。与35 WOS11967包含11967个文档的类别,包括7父母类别。WOS5736包含5736个文档有11个类别,其中包括3父母类别。这些链接提供了这些语句。所有的链接都给如下:(1)https://archive.ics.uci.edu/ml/machine-learning-databases/20newsgroups-mld/,(2)http://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html,(3)https://data.mendeley.com/datasets/9rw3vkcfy4/2。

的利益冲突

作者宣称没有利益冲突。

确认

本研究山西省自然科学基金的支持下,中国金桥(2021 - 656)。