混合深度学习情绪分析模型

文摘

情绪分析在社交网络民意表达,如Twitter或Facebook,已经发展成为一个广泛的应用,但仍有许多需要解决的挑战。混合动力技术是减少对日益复杂的情绪错误的潜在模型训练数据。本文旨在测试几种混合的可靠性技术在各种不同领域的数据集。我们的研究旨在确定问题是否可以生产多种不同规格的混合模型比单一模型域和类型的数据集。混合深层情绪分析学习模型,结合长期短期记忆(LSTM)网络、卷积神经网络(CNN)和支持向量机(SVM)是建立和测试在八个文本消息和评论数据集不同的域。混合模型对三种单一模型相比,支持向量机,LSTM, CNN。可靠性和计算时间被认为是在每个技术的评价。混合模型增加了情感分析的准确性与单一模型在所有类型的数据集,特别是深度学习模型与支持向量机的组合。后者的可靠性显著提高。

1。介绍

情绪分析从社交网络上信息,如Twitter或Facebook,今天是越来越感兴趣的研究课题。虽然在这个地区已经完成了大量的工作,仍然有许多需要解决的挑战,包括改善模型的可靠性,减少处理时间,并应用技术开发为特定类型的数据和特定的数据域(1]。近年来,深度学习模型被广泛应用于情感分析领域,已经证明他们的巨大的潜力。

几项研究只关注构建一个模型从一个(或一些)数据集(s)在一个特定的领域,如营销策略(2)、财务预测(3- - - - - -5),和医学分析(6,7]。对于社交网络的应用程序,情绪极性基础深度学习应用于微博彻底描述(8- - - - - -14]。哈桑和马哈茂德15]证明了CNN和递归神经网络(RNN)模型可以克服短在深度学习模型的缺点。此外,钱等的研究。16)透露,LSTM行为有效地使用时在不同文本的水平weather-and-mood tweet。在回顾一些最近的研究(1,11,12,15,17- - - - - -20.),我们发现,CNN和RNN优于方法有相对较高的整体精度。两个浅神经网络和深神经网络可以逼近任意函数。然而,当对比浅神经网络,神经网络的优点是能做特征提取的过程中学习在大型数据集。这主要是因为深模型能够比浅模型提取/构建更好的特性,使用中间隐藏层来实现这一目标(21,22]。相同级别的准确性,深层神经网络可以更有效的计算和参数的数量。深层神经网络能够创建深表示;在每一层,网络学习一个新的、更抽象表示的输入。

虽然一个相对可靠的应用机器学习方法在一定的领域,每个深度学习方法都有自己的优点和缺点。LSTM通常会产生更好的效果比CNN,但需要更多的处理时间和CNN需要较少的hyperparameters和监督。与此同时,LSTM长句子更准确地执行,但需要更长的时间来处理(1]。

相结合的方式介绍了两个(或更多)的方法(23- - - - - -25)作为一种结合两者的优点,从而填补了单个方法的一些缺点。Alfrjani et al。25)结合机器学习和语义知识库为提高精度的情绪分析评论(提高1%到6%)。在另一起案件中,古普塔和乔希23]提出了一种混合方法,结合词汇和机器学习的情绪分析tweet(提高2%到6%)。混合动力系统与协作功能,因此,能够更好地解决潜在的陷阱,如果任何存在,与一个单一的系统。集成模型的有效性基于不同的任务可能会有所不同。CNN增强了支持向量机(26- - - - - -28],CNN与RNN [29日- - - - - -32),和Lexicon-based分析与机器学习33,34)显示一个增强的结果。CNN的结合、LSTM和支持向量机的目标是利用两个深层网络体系结构模型和支持向量机算法在执行情绪分析在不同的域和类型的数据集。此外,有不同类型的输入数据来自社交网络、微博和评论等。内和在这些类型,输入数据也有差异,例如,长度的分布的微博和评论,在每个数据集主题的多样性,样本量,或多或少存在明确的观点和无关的信息。一些方法可能无法执行在不同的领域,在情绪分析精度和性能不足1,35]。因此,某些方法可能不适应,难以适用于某些类型的输入数据。

一个问题在我们的研究是混合模型执行比单一模型无论数据集的特征。因此,我们的工作检查选择的混合模型如何与来自不同领域的不同类型的数据集。在这项工作中,我们评估和验证三种模式相结合的CNN, LSTM和支持向量机。我们考虑之间的关系模型和其先进的能力来提取特征,存储过去的信息和节点,并对文本进行分类。首先,在模型的初始阶段,两种可能的变化的顺序介绍了CNN和LSTM。然后,对于每一个替代方案,介绍了两个新变化:CNN ReLU函数和支持向量机的使用。我们应用这些模型与字嵌入在八个数据集,包括微博和评论。我们的实验结果表明,该组合模型增加了情感分析的准确性。

提出了三个重要贡献文献通过强调四个混合深度学习模型的情感分析结果准确性的提高,不管社交网络数据集的类型;提供一个实验研究来评估性能的混合深度学习模型;和详细的性能比较情绪分析方法与技术发展水平的方法。

本文组织如下。部分2概述相关工作;部分3描述的方法在这个研究领域;部分4包含该混合模型;部分5描述和讨论了我们的实验结果;和第六节提供了我们的结论。

2。相关工作

本研究的目的是为情绪分析,建立混合模型可以提高准确性。之前我们有检查和应用提出的方法在其他的研究中,讨论如下。

有很多方法可以建立混合模型。在[26- - - - - -28),作者CNN模型和支持向量机相结合,可以提高图像识别的准确性。卷积网络层用于特征提取和支持向量机的功能作为一个识别器。原来的CNN使用Softmax功能。Srinidhi et al。36)提出了一个混合模型,结合LSTM和SVM文本分类的径向基函数内核的积极和消极情绪。IMDb上的混合模型是评价电影评论数据集。这些模型从单一的深度学习模型与支持向量机相结合的分类。他们中的一些人是图像识别的应用。我们的研究结合了两种深度学习模型,然后使用支持向量机或ReLU分类。

艾克塔等。37)建立了一个混合深度学习架构,高效的情绪分析资源贫乏的语言。他们用CNN嵌入式向量和学习情绪情感分类的支持向量机。模型测试四个印地语数据集覆盖不同的域。签证官et al。31日)一个多通道LSTM-CNN模型用于情绪分析电子商务网站的评价/评论。此外,混合CNN-LSTM模型适用于对电影评论情感分析拉赫曼et al。30.]。在几个作品使用了相同的技术,例如,(29日,38- - - - - -40]。Kaur et al。41)设计一个算法称为混合异构支持向量机(H-SVM)。他们在Twitter上进行情感分析数据与COVID-19有关。Kastrati et al。42)使用三个不同的深度学习模型如CNN, LSTM, CNN-LSTM分类Facebook评论相关COVID-19大流行。他们使用pretrained字嵌入方法称为FastText(扩展Word2vec Facebook在2016年提出的)和一个更符合实际的词嵌入模型,伯特,学习和生成词向量。两个研究得分的微博/评论积极、消极或中性的。然而,这些模型都是单独测试在不同的数据集在一个特定的域或一些示例数据集上测试过。因此,他们通常没有证明有效性。

一项由Jnoub et al。19)关注情绪分析提供了一个通用模型,结合CNN和自己的评价向量算法变换。模型评估在三个不同的数据集:IMDb,电影评论,和他们自己的数据集收集从亚马逊的评论。Ombabi et al。43)提出了一个混合学习模式,它结合了CNN和LTSM深处。此外,FastText用于词嵌入和支持向量机分类的阿拉伯语。在我们的工作中,嵌入Word2vec和伯特都申请了词。我们提出了四种类型的混合深度学习模型基于CNN, LSTM和SVM分类两个微博和评论。

此外,其他研究Lexicon-based分析与机器学习相结合(33,34)或情感词典和极性转换设备(44]。这项研究由Sanchez-Rada和伊格莱西亚斯24)处理用户和内容情绪分类的问题。他们提出了一个混合模型合并功能从不同层次的社会背景。在不同的数据集模型评估。王等人的一项研究。45)提出了一种混合方法,关于电影评论的情感分析是用来改善获得初步推荐列表的组合协同过滤和基于内容的方法。在相同的方法中,使用情绪分类器诱导从影评作为第二滤波器提出了协同过滤后Pandey et al。10]。这些研究项目使用传统技术进行情感分析。我们的研究应用深度学习的技术改善情绪分类的准确性。

最近,转移学习已经成功地应用于情绪分析,较低的网络层的张来武监督训练数据集,如伯特(谷歌研究人员提出的人工智能语言(2018年46])和XLNET [47]。的例子可以发现在48- - - - - -51),伯特和XLNET申请情绪分析。不同的数据集和语言的评价提供了重要的结果。不过,它也需要足够强大的硬件,处理大型数据集,长期应用这些技术的时候。例如,BERT-Base模型拥有110参数,和BERT-Large模型拥有340参数:pretraining相当昂贵,需要四天时间在4到16日云tpu。

3所示。方法

考虑所有的优势和潜在的混合模型和针对改善情绪的性能分析技术,我们的论文评估四个混合模型。方法主要集中在三个主要部分:数据使用;过程构建特征向量;建立一个适当的混合方法情绪分析解决方案。这些算法应用于预测文本的情感极性和分类,根据极性。

3.1。数据集

我们的研究没有关注解决问题在一个特定的域,而是提供一个评估的一般应用模型。在这项研究中,我们使用一些公共数据集生成和标签的新数据集的一个特定的应用程序域。多种选择标准被认为是包括避免隐私问题的能力(52),接受在研究社区,来源和主题的多样性,和大小。所选择的数据集使情绪的综合比较分析方法研究了本文。实验的目的是了解是否数据集的模型给一贯准确的结果无论类型和大小。

实验使用八个数据集。三个数据集包含tweet (Sentiment140、推特航空公司和tweet SemEval)和五个数据集包含评论(IMDb影评(1)和(2)和康奈尔电影评论)。微博数据集,Sentiment140 [53),最大的,有160万条,每一个贴上或正面或负面情绪,而其他人,推特航空公司(54]和tweet SemEval [55),包含14640和17750条,分别贴上积极、消极或中性的。五个评估数据集包括共有125000条评论用户评论的电影(IMDb影评(1)56),IMDb影评(2)(57,康奈尔影评(58)、书籍和音乐(书和音乐评论(59]),贴上或正面或负面情绪。他们将更详细地讨论在1]。

研究收集到的数据集后,我们看到的八个数据集最初贴上积极和消极,和每个标签的样本相对平等。这两个数据集航空公司和Tweet SemEval包含不仅正面和负面标签,而且中性标签。拥有一个平衡的类分布是很重要的,确保先验概率不偏向训练分类模型和做60]。在这个研究中,我们专注于极性情感分析,基于积极的和消极的两类。这些数据集的大小降低了移除中性标签。剩下的积极和消极类是调整平衡。另外,我们应用k-fold交叉验证的数据以评估模型。通过这种方式,覆盖所有的测试数据集的实例避免偏向特定数据的子集。表1显示(正面和负面)采集样本的数量从每个数据集进行实验。

3.2。预处理和建筑特征向量

情绪可以进行分类提取的三个层次:文档,句子,和方面或特性61年]。在我们的实验中,我们应用基于文档的情感分析与字嵌入技术八个数据集的微博和评论。情绪分析要求在使用前清洗text-training数据作为输入的分类模型。无关信息在句子文本或数据,包括空格、标点符号,并停止的话,删除。两种技术常用TF-IDF该任务和嵌入。我们的建议使用后者,因为它提供了更好的结果比TF-IDF [1]。然后我们使用字嵌入模型,伯特和Word2vec,构建特征向量。

伯特是自然语言处理的语言模型,它是2018年由谷歌研究人员人工智能语言出版(46]。伯特Word2vec后开发,包括一些在Word2vec进步,比如支持词汇表之外(OOV)的话。

托马斯Mikolov Word2vec出版于2013年的谷歌(62年]。这种无监督学习模型从一个大型语料库训练数据集。Word2vec的维数远小于一个炎热的维数编码,与一个矩阵的NxD, N是文档的数量和D字嵌入的维度。Word2vec包含两个模型:skip-gram和连续bag-of-words (CBOW)。两种模型都是基于词的概率发生在接近对方。Skip-gram允许我们从单词开始,预测的话,可能环绕它。然而,使用Word2vec的主要缺点之一是缺乏支持词汇表之外的词汇。为了解决这个问题,我们使用特殊标记(UNK)单词中从未出现过的词汇。此外,我们还再培训Word2vec模型根据我们的数据集和所有词汇出现的五倍多,减少了使用的特殊令牌。

进行情感分析模型的一个问题是数据集的不同长度的样品。而深的学习模型需要固定的输入向量。数据1和2直方图显示数据集的评论和微博后清洗。的x设在代表样本数据的长度,y设在出现的频率。一些直方图是相当粗糙的,因为我们选择了来自不同来源的不同类型的数据集。标准化数据平滑轮廓基于样本大小可能符合模型(63年]。在这项研究中,我们几乎保持原始数据的情绪分析的目的创造必要的条件比较其他模型的效率。

我们可以看到在图1和2数据样本非常多样的长度。因此,有必要将样本数据设置为相同的长度。转换的数据样本相同的长度做如下调整。

对于每个数据集,我们选择一个固定长度 ;对样品短于 ,我们添加零的向量。反之亦然,在样本长度大于 ,必被剪除。然而,删除数据样本的长度将导致损失的信息分类中使用的过程,所以它是重要的选择一个固定长度尽量减少截断数据的样本。在这项研究中,我们使用微博和评论数据集对我们提出的模型。我们截断任何tweet或者审查它的长度比特征向量的长度长。特征向量的长度选择接近最大长度的微博和评论,所以很少在数据集样本被截断。这通常在其他作品(30.,64年- - - - - -66年]。

固定的长度选择如下:数据集相关微博通常有一个小的长度变化由于限制最多280个字符的tweet;因此,这个固定长度是选择的样本数据集的最大长度。剩下的数据集的长度选择从300年到500年,基于每一个数据集的直方图。有可能需要一个固定的长度 ,不同长度,而是微博和评论。然而,如果设置长度比较大,它会浪费多少内存,如果设置长度更小,它将错过一些审查数据。

3.3。混合的方法

有许多方法来建立情感分析的混合模型。在这项研究中,我们测试了几个成功的组合方法。如图3,我们首先使用Word2vec或pretrained伯特模型建立特征向量。然后我们不同的顺序CNN和LSTM模型中使用的下一个阶段:Word2vec /伯特- > CNN - > LSTM或Word2vec /伯特- > LSTM - > CNN。我们也改变模型的最后阶段,使用一个ReLU函数或使用一个支持向量机。

结合这两种变异收益率四个混合方法,我们已经测试了:(1)Word2vec /伯特- > CNN - > LSTM - > Relu(2)Word2vec CNN /伯特- > LSTM - > - > Relu(3)Word2vec /伯特- > CNN - > LSTM - > SVM(4)Word2vec CNN /伯特- > LSTM - > - > SVM

两种方法被用于我们的实验建立特征向量。第一种方法是Word2vec初始化随机权重学习所有单词的嵌入在我们的训练数据集。因为Word2vec不包括语境分析在自然语言处理复杂的语义或多态的情况下,我们的第二个方法是伯特。pretrained伯特模型用于这项研究。调整参数后,伯特模型作为特征提取器来生成输入数据的混合模型的建议。微博和评论的数据被送入伯特模型生成的特征向量,这些混合模型的输入执行分类。

下一步将CNN和LSTM深度学习模型,应用由于其良好的性能在情绪分析(1),以及利用两个网络架构上执行情绪分析数据时在不同的领域。CNN是一种前馈神经网络,因为它是由多层的过程,在一个方向上传递信息,从输入到输出,没有周期。它有一个深层神经网络架构(67年),通常从卷积和池/二次抽样层输入,转换成一个完全连接分类层。在这个研究中,一个卷积(1 d CNN)使用。LSTM RNN架构的许多变体之一(68年]。LSTM块包含三个所谓的盖茨,忘记门,输入门,和输出门,除了输入和输出模块和存储单元。cnn擅长处理空间相关数据而RNNs擅长时序信号。LSTM记得转发信息的序列和多层CNN可以充分捕捉并学习当地的信息。所以,两全其美的结合利用,空间和时间的世界。

最后的阶段是分类。我们使用的激活函数ReLU代替乙状结肠因为高收敛。此外,支持向量机分类的选择,因为它的效率在字(词)处理技术中,特别是在高维情况下,如自然语言处理。支持向量机(69年)是一个监督机器学习算法可用于分类和回归的任务。它被广泛利用在许多领域有积极的结果。在我们的研究中,我们应用了线性支持向量机的分类提出了混合深度学习模型。我们提取特征向量的隐藏层和喂它SVM分类预测(“积极”和“消极”)。

4所示。提出的混合模型

在本节中,我们提出了四个混合深度学习模型变化的CNN和LSTM深度学习层次和变化的CNN和SVM分类器层。这些混合模型的体系结构如表所示2和3和细节讨论如下。

4.1。场景组合1

第一个混合模型结合了CNN和LSTM模型。可视化模型的连接,连接过程,数据处理流程表表示2。

初始化函数嵌入是嵌入层与随机权重,将学习所有单词的嵌入在训练数据集。第一层的混合模式是美国有线电视新闻网,它接收向量由字嵌入。卷积有三层组成的512年,256年和128年的过滤器,分别与一个内核大小= 3,接收和处理数据之前喂进下一层深度学习。混合模型的第二层是LSTM,产生一个1×500矩阵送入分类器。接下来,混合模型的分类器是由两个连续的,完全连接层和128个节点,最后,ReLU激活函数的输出层。

4.2。场景组合2

第二个混合模型结合LSTM和CNN模型。可视化模型的连接,连接过程,数据处理流程表表示3。

输入数据是重塑嵌入数据的预处理矩阵。第一层的混合模式是LSTM层。输出矩阵13×500,输入第二个模型的混合深度学习模型。下一层的混合模式是CNN。卷积有三层组成的512年,256年和128年的过滤器,分别与一个内核大小= 3,负责接收和处理数据之前给到下一层。CNN的输出是夷为平地,转移到一个完全连接层。最后,混合模型的分类器是由两个连续的完全连接层组成的CNN与128个节点和ReLU激活函数作为输出层。

4.3。场景组合3和4

我们最后的混合模型是基于混合模型与场景1和2。我们使用这些模型的深度学习阶段(CNN-LSTM和LSTM-CNN)但取代了分类器。同时有多个替代CNN-based ReLU函数使用,我们选择使用支持向量机来替代分类器。场景3基于CNN-LSTM,场景4是基于LSTM-CNN。一个模型的体系结构概述表所示2和3。

5。实验结果

在本节中,我们目前的实验比较的性能提出的混合模型。此外,我们还检查其他常见的深度学习模型(SVM, CNN, LSTM)。所有这些与小节中介绍的八个数据集进行测试3.1预处理过的文本处理技术。准确性,AUC, f值指标用来评估模型的性能在所有实验。由于f值是来自查全率和查准率,我们也显示这两个措施供参考的目的。结果显示,讨论和分析了部分5。2和5。3。

5.1。性能比较

在进行实验之前,相关的配置参数,硬件设备和设施进行必要的库。我们使用谷歌与GPU特斯拉P100-PCIE-16GB Colab Pro或GPU特斯拉V100-SXM2-16GB [70年)和Keras (71年)和TensorFlow库(72年]。在所有的实验中,我们为我们的代码配置参数,如回声= 4,k倍= 10,和批量大小= 32与微博进行评论和128。K-fold验证方法的共同价值观k= 3,k= 5,k= 10,到目前为止,应用机器学习中使用的最流行的价值评估模型k= 10。后者值数据集时使用足够大的子集有大量的例子。这是使用的数据集的情况下工作。因此,九个部分被用作训练集和一个测试集在每个10验证。的价值k选择以确保每列火车或测试代表数据集的样本足够大。此外,这个过程确保了k交叉验证的模型诱导训练集的大小相同,k在所有测试集验证也相同的大小。建议将数据分成相等的样本,这样的性能模型是等价的。

5.2。结果

8组实验的结果显示:三种基线模型(SVM, CNN, LSTM)和四个混合模型:CNN和LSTM LSTM CNN, CNN-LSTM和SVM LSTM-CNN和SVM称为C-LSTM(或氯),L-CNN(或L-C), CLSTM-SVM(或CL-S), LCNN-SVM(或LC-S),分别。之间的比较分析的结果提出了混合方法相对于基线的方法也包括在内。

我们的实验运行两次:一次使用嵌入Word2vec训练词一旦使用pretrained伯特模型训练字嵌入。结果一直更好的伯特时使用,所以表4- - - - - -8提供详细的实验结果使用Word2vec和伯特。数据4- - - - - -8比较结果说明了Word2vec和伯特并排使用条形图。

精度结果见表4非常高的数据集和分类模型在使用pretrained伯特模型提取特征向量,90%左右,尤其是推特航空公司92.9%和93.4%在IMDb影评(1)。此外,结果证明混合模型显示(或等于)精度高于单一深度学习模型(SVM, CNN,或LSTM)七八个数据集。关于使用Word2vec音乐评论和书评的数据集,CNN的精度结果表中给出4分别是76.4%和76.5%。相比之下,当使用LCNN-SVM模型,结果显著提高到83.7%和82.7%,这代表着提高7.3%和6.2%,分别。

f值(表7),混合模型提供(或等于)值高于单一深度学习模型7八个数据集。关于AUC值表8,还混合模型执行比单一深度学习模型。混合模型使用SVM分类实现最好的结果使用Word2vec 8的数据集。在数据集当中,微博航空公司数据集和IMDb影评(1)是所有指标数据显示最高的值在所有情况下。书评和音乐评论与混合LSTM-CNN和LCNN-SVM模型工作得很好。Sentiment140数据集在所有模型精度较低。在数据1和2,我们可以看到的总数的分布和样品长度的数据样本数据集。Sentiment140数据集也不同于其他的数据集。这么多数量的样品长度数据不同。

5.3。讨论

见数据4来8,使用pretrained伯特产生更好的结果比使用Word2vec情绪分析模型和数据集。关注混合模型的结果,我们发现,对于每一个数据集,最好的结果是由混合模型。混合模型能产生更好的结果比单一模型使用Word2vec或伯特。使用Word2vec,结果从混合模型的精度高于从单一的模型。使用伯特结果也有所改善,尽管通过一个较小的数量,因为这些模型已经达到一个相对高的精度,主要是超过90%。

中的文本审查通常超过文本在一条微博,这表明LCNN-SVN对长文本执行比其他混合模型(表样例4)。在选定的数据集,当检查的文本长度分布的样本,审查的长度范围从1到800个单词。但是,康奈尔大学的电影评论范围从1到50个单词。此外,推特的长度范围从1到40个单词;然而,样本长度的分布Sentiment140数据集是右偏态。观察到在两个数据集的结果,Sentiment140和康奈尔影评,低于剩余的数据集。

其他一些研究执行情绪分析通过使用一个数据集的tweet或者评论发表在29日,33,34,37- - - - - -39,73年,74年]。注意,混合模型提供了改进的结果的处理时间和准确性。此外,这些混合的整体精度模型给出了八种不同类型的数据集,这给一个客观的看法总体精度。

表中所示的最先进的方法之一9,我们大多数的混合模型的提议得到了更高的精度结果六个数据集。然而,在Sentiment140汉et al。79年和阿比德等。12)取得了更好的精确度约为87%。XLNet方法对IMDb情绪分析数据集,由杨et al。47),导致了96.21%的准确率。另一方面,说明et al。37)测试CNN和支持向量机相结合的混合模型在推特和检查数据集;然而,结果显示混合方法相比,精度较低,只在一个单一类型的测试数据集(58.62%的准确率在微博数据集和77.16%的准确率评估数据集)。比较细节的最先进的方法如表所示9。它包括作者的名称、方法、数据和准确性(或F1的一些研究只提供F1度量)。

除了评估的可靠性模型,同样重要的是要评估算法的性能方面的资源利用率。很少有工作评估深度学习模型的计算复杂度虽然有一些建议84年考虑一些因素,如层数,输入矩阵的大小,根据特定的算法和其他因素。在CNN,卷积核的数量和大小和输出通道的数量每一层的考虑。针对这一点,很明显,混合模型的高可靠性的代价更高的复杂性。因为时间是最宝贵的资源和最考虑当评估算法的性能,我们包括分析模型的计算时间参与的比较研究,这是一个反思的时间复杂度。

表10包含所有数据集所需的时间处理参与实验。处理时间对整个计算过程的训练和测试模型使用Word2vec和伯特。它包括数据划分和时间来创建分类模型(初始化神经网络的层数、每层的节点数量,等等)。但不包括用于显示分类的结果。当使用混合模型与伯特为特征提取技术,精度一般高于Word2vec,但处理时间较长。

一般来说,混合方法提供更好的结果比单一深度学习模型。大多数混合网络提供更高(或等于)成绩在所有的数据集。此外,从Maltoudoglou等的好成绩。49)(表9),我们发现情绪分类的特征提取中发挥着重要作用。我们还讨论了特征提取的重要性1],TF-IDF和字嵌入特征提取技术进行分析。这些改进的结果为代价高而稳定的一些处理时间的增加,如表所示10。表显示了混合模型比单一模型需要较长的计算时间,因为混合模型是复杂和特性参数比单一模型。而计算时间长,他们不排除分析处理时间和准确性之间的权衡的结果。

我们的目标是建立一个混合深度学习情绪分析模型,适用于各种领域的数据集。然而,当建立分类模型,有很多参数必须定义之前,所以他们可以适用于一个给定的数据集而不是为别人。因此,结果是积极的和高度可靠,因为他们一直在评估许多数据集有不同的主题。最后,一般总结成果的实验讨论了早些时候引用如下:(我)混合模型增加了情感分析的准确性与单个模型的性能在所有类型的数据集,尽管SVM模型的计算时间较长。(2)结合有助于利用CNN的优势,LSTM,支持向量机,CNN有能力提取特征,LSTM有能力存储过去的信息在州节点(细胞状态),和支持向量机分类的能力。(3)使用支持向量机作为分类方法改善L-CNN和C-LSTM的结果。支持向量机在多维数据分层是有效的,有助于最小化局部最小值的神经网络。

6。结论

在本文中,我们提出了使用混合深度学习模型的情绪分析社交网络的数据。我们测试了混合支持向量机的性能,CNN, LSTM,使用两个单词嵌入技术,Word2vec和伯特八文本数据集的微博和评论。之后,我们将四个生成的混合模型与单一模型。这些实验了解混合模型的适应性,进行混合的方法是否能适应广泛的数据集类型和大小。我们研究了不同类型的数据集的影响,特征提取技术,深度学习情感极性的可靠性分析模型。

我们的实验表明,混合模型的表现在所有测试模型的可靠性进行情感极性分析。结合深度学习模型和SVM技术会产生更好的效果比使用单个模型进行情感分析。在大多数的测试数据集,利用SVM混合模型的可靠性高于不使用的;然而,计算时间与支持向量机的时间长的多。我们还观察到算法的有效性在很大程度上取决于数据集的特征和质量。

我们意识到数据集有一个大的背景下影响情绪分析模型的选择。我们打算研究混合方法的性能对混合情绪分析数据集和多个或混合环境中为了获得更深层次的认识在一个特定的主题,如业务、市场营销、或医学。应用来源于将情绪相关的上下文来为用户提供详细的个人的反馈和建议。

数据可用性

本研究的数据集用于支持这些发现可以从数据集引用的直接联系。

信息披露

资助者没有作用的设计研究;在收集、分析或解释数据;写的手稿;或决定发布结果。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作是由西班牙政府和欧洲(洋底Europeo de Desarrollo地区)菲德尔基金项目InEDGEMobility: Movilidad inteligente y sostenible soportada sistema运动要多代理y边缘计算(rti2018 - 095390 b - c32)。

引用

1. n . c .党m . n . Moreno-Garcia f . De la它,“情绪分析基于深度学习:比较研究,“电子产品,9卷,不。3,p。483年,2020年。视图:出版商的网站|谷歌学术搜索
2. m·j·s·基南先进的定位、流和大宗商品市场的情绪分析:过渡性基本和技术分析美国新泽西州霍博肯市威利,第二版,2018年版。
3. a . Pomeranets s Sohangir d . Wang和t . m . Khoshgoftaar”大数据:深入学习金融情绪分析,“《大数据,5卷,不。1,p。2018。视图:出版商的网站|谷歌学术搜索
4. h . Jangid s Singhal r·r·沙阿和r·齐默尔曼,“基于金融情绪分析使用深度学习,”同伴Proceedongs Web会议的2018国际万维网会议指导委员会,里昂,法国,2018年4月。视图:出版商的网站|谷歌学术搜索
5. g . g . Wang Yu,沈x”在线投资者情绪对股票走势的影响:一个LSTM方法,”复杂性卷,2020篇文章ID 4754025, 11页,2020年。视图:出版商的网站|谷歌学术搜索
6. r . Satapathy、e·威尔士和a·侯赛因情绪分析在生物医学领域瑞士巴塞尔,Springer Interntional出版AG), 2017年。
7. 拉其普特人,“自然语言处理、情感分析和临床分析,”卫生信息学的创新学术出版社,页79 - 97年,剑桥,妈,美国,2020年。视图:出版商的网站|谷歌学术搜索
8. 诉马利克和a . Kumar“情绪分析使用朴素贝叶斯算法,twitter的数据”国际期刊上最近在计算和通信和创新趋势》第六卷,没有。4、120 - 125年,2018页。视图:出版商的网站|谷歌学术搜索
9. p . Vateekul和t . Koomsubha情绪分析使用深度学习技术的研究在泰国Twitter数据”2016年13日国际联合会议上计算机科学和软件工程(JCSSE)IEEE,孔敬,泰国,2016年7月。视图:出版商的网站|谷歌学术搜索
10. a·c·Pandey, d . s . Rajpoot和m·萨拉斯瓦特”微博情感分析使用混合布谷鸟搜索方法,”信息处理与管理,53卷,不。4、764 - 779年,2017页。视图:出版商的网站|谷歌学术搜索
11. a . m . Alharbi和e . de Doncker”微博情感分析深层神经网络:一个增强的方法使用用户行为信息,“认知系统研究卷,54岁,50 - 61年,2019页。视图:出版商的网站|谷歌学术搜索
12. f·阿比德,m·阿拉姆·m·亚希尔和c·李,“情绪分析通过周期性变异近来卷积神经网络的推特,“未来一代计算机系统卷,95年,第308 - 292页,2019年。视图:出版商的网站|谷歌学术搜索
13. a . m . Ramadhani和h s咕,”Twitter情绪分析使用深度学习的方法,”2017年第七届国际年度工程研讨会(ina)IEEE,日惹,印尼,2017年8月。视图:出版商的网站|谷歌学术搜索
14. a . m . Khattak r . Batool, f·a·萨蒂et al .,“微博分类和情绪分析个性化微博建议,“复杂性卷,2020篇文章ID 8892552, 11页,2020年。视图:出版商的网站|谷歌学术搜索
15. 哈桑和a·马哈茂德“深度学习的方法短的文本的情感分析,”第三国际会议控制、自动化和机器人(ICCAR)IEEE,名古屋,日本,2017年4月。视图:出版商的网站|谷歌学术搜索
16. j .钱z妞妞,c·史,“天气相关的微博情感分析模型与深层神经网络”学报》2018年第10届国际机器学习大会和计算ACM,珠海,中国,2018年2月。视图:出版商的网站|谷歌学术搜索
17. r·莫妮卡s Deivalakshmi,珍妮特,“情绪分析美国航空公司微博使用LSTM / RNN的”2019年IEEE 9日高级计算国际会议(IACC)的IEEE Tiruchirappalli,印度,2019年12月。视图:出版商的网站|谷歌学术搜索
18. h·金和Y.-S。宋:“情绪使用卷积神经网络分类,”应用科学,9卷,不。11,2347年,页2019。视图:出版商的网站|谷歌学术搜索
19. n . Jnoub f . Al Machot和w·兰,“情绪分析使用的特定领域分类模型神经模型,”应用科学,10卷,不。18,6221年,页2020。视图:出版商的网站|谷歌学术搜索
20. b·麦肯j·布拉德伯里,c . Xiong, r . Socher“在翻译:语境词向量,”31日学报》国际会议上神经信息处理系统美国长滩,CA, 2017年12月。视图:谷歌学术搜索
21. h . Mhaskar问:辽、和方法”,何时和为什么深网络比浅的吗?“在人工智能学报2017年AAAI会议美国,旧金山,CA, 2017年2月。视图:谷歌学术搜索
22. a .辛德勒t Lidy, a . raub”比较浅与深神经网络架构自动音乐流派分类,”第九届论坛媒体技术学报》(FMT2016)FMT,滕,奥地利,2016年。视图:谷歌学术搜索
23. 即古普塔和n . Joshi”,增强微博情感分析使用混合方法和由当地会计上下文语义,“《智能系统卷,29号1,第1625 - 1611页,2019。视图:出版商的网站|谷歌学术搜索
24. j . f . Sanchez-Rada和c·a·伊格莱西亚斯曲柄:用户和内容情绪分类的混合模型使用社会环境和社区发现,“应用科学,10卷,不。5,1662年,页2020。视图:出版商的网站|谷歌学术搜索
25. r . Alfrjani t·奥斯曼,g . Cosma”混合语义knowledgebase-machine学习意见挖掘方法,”数据与知识工程卷,121年,第108 - 88页,2019年。视图:出版商的网站|谷歌学术搜索
26. D.-X。张天雪,r . h .冯,杨绍明。关铭王,“CNN-SVM微血管形态类型识别与数据增加,”医学和生物工程杂志》上,36卷,不。6,755 - 764年,2016页。视图:出版商的网站|谷歌学术搜索
27. m . Elleuch r . Maalej, m . Kherallah”的新设计based-SVM CNN分类器架构与辍学离线阿拉伯语手写识别,”Procedia计算机科学卷,80年,第1723 - 1712页,2016年。视图:出版商的网站|谷歌学术搜索
28. y唐”,深度学习使用线性支持向量机,”2013年,http://arxiv.org/abs/1306.0239。视图:谷歌学术搜索
29. r . t . Chen徐,y, x,“改善情绪分析通过句子类型分类使用BiLSTM-CRF和CNN,“专家系统与应用程序卷,72年,第230 - 221页,2017年。视图:出版商的网站|谷歌学术搜索
30. A·拉赫曼,A·k·马利克和w·阿里,b•拉扎”混合CNN-LSTM模型对提高电影评论情感分析的准确性,“多媒体工具和应用程序,卷78,不。18日,第26613 - 26597页,2019年。视图:出版商的网站|谷歌学术搜索
31. Q.-H。签证官,H.-T。阮、b . Le和>。阮”,多渠道LSTM-CNN越南情绪分析,模型”2017 9日知识和系统工程国际会议(KSE)IEEE,色调,越南,2017年10月。视图:出版商的网站|谷歌学术搜索
32. c·a·马丁j·m·托雷斯r·m·阿基拉和s·迪亚兹,“使用深度学习预测情绪:案例研究在旅游、”复杂性卷,2018篇文章ID 7408431、9页,2018。视图:出版商的网站|谷歌学术搜索
33. k . Elshakankery和m·f·艾哈迈德”HILATSA:混合阿拉伯语微博情感分析的增量学习方法,“埃及信息学杂志,20卷,不。3、163 - 171年,2019页。视图:出版商的网站|谷歌学术搜索
34. s . j . Putra哈利勒,m . n .谷纳温r . i阿明和t . Sutabri”混合模式为印尼社会媒体情感分析文本,”20国际会议的程序信息集成和基于web的应用程序和服务2018年11月,日惹,印尼,。视图:出版商的网站|谷歌学术搜索
35. p . Astya“情绪分析:方法和开放问题,”2017年国际会议上计算、通信和自动化(ICCCA)IEEE大诺伊达,印度,2017年5月。视图:出版商的网站|谷歌学术搜索
36. h . Srinidhi g . Siddesh, k . Srinivasa”混合模型使用MaLSTM基于递归神经网络和支持向量机的情绪分析,“工程和应用科学的研究卷,47号3、232 - 240年,2020页。视图:谷歌学术搜索
37. A . m . s .说明Kumar A . Ekbal p Bhattacharyya,“混合深度学习情绪分析架构,”科尔学报》2016年,第26届国际会议在计算语言学:技术论文2016年12月,日本大阪,。视图:谷歌学术搜索
38. 美国Al-Azani E.-S。m . El-Alfy“混合深度学习阿拉伯语微博的情感极性的决心”神经信息处理国际会议施普林格,广州,中国,2017年11月。视图:出版商的网站|谷歌学术搜索
39. g . Liu x,邓,s . Chen和l·李”双语文本情感分类的混合方法基于深度学习,”学报2016年17 IEEE /埃西斯软件工程国际会议上,人工智能,网络和并行/分布式计算(SNPD),IEEE,上海,中国,2016年5月。视图:出版商的网站|谷歌学术搜索
40. 杨问:张先生,z, m, l .朱”探索共同进化的微博情感分析情绪感染和行为:一个深度学习架构,”复杂性卷,2021篇文章ID 6630811, 10页,2021。视图:出版商的网站|谷歌学术搜索
41. h·考尔s Ahsaan, b . Alankar常诉,“提出情绪分析深度学习算法分析COVID-19 tweet,”信息系统领域,1-13,2021页。视图:出版商的网站|谷歌学术搜索
42. 库尔提z Kastrati l .领袖阿曼迪也同意这个观点,曼迪A et al .,“社交媒体评论的深度学习情绪分析器资源缺乏语言,“电子产品,10卷,不。10,1133年,页2021。视图:出版商的网站|谷歌学术搜索
43. a . h . Ombabi w . Ouarda, a . m . Alimi采矿、“深度学习CNN-LSTM阿拉伯情绪分析框架使用文本信息共享在社交网络上,“社会网络分析和挖掘,10卷,不。1,1-13,2020页。视图:出版商的网站|谷歌学术搜索
44. g . Yoo和j .南”混合情绪分析方法增强了情感词汇和极性转移设备,”13研讨会亚洲语言资源宫崎骏,日本,2018年5月。视图:谷歌学术搜索
45. 和w·m . y . Wang Wang,“sentiment-enhanced混合推荐系统的电影推荐:大数据分析框架,“无线通信和移动计算卷,2018篇文章ID 8263704、9页,2018。视图:出版商的网站|谷歌学术搜索
46. j·德夫林,硕士。Chang k·李,和k Toutanova,”伯特:训练的语言理解的深度双向变形金刚,”2018年,http://arxiv.org/abs/04805。视图:谷歌学术搜索
47. 戴z z杨,杨y . et al .,“Xlnet:广义自回归pretraining语言理解”,2019年,http://arxiv.org/abs/1906.08237。视图:谷歌学术搜索
48. 答:纱布,a Woubie诉某某先生,”转移单语模型资源缺乏语言:提格里尼亚语的情况下,“2020年,http://arxiv.org/abs/2006.07698。视图:谷歌学术搜索
49. l . Maltoudoglou a Paisios h·帕帕多普洛斯,“BERT-based正形情绪分析预测,”学报2020年保形和概率预测和应用程序PMLR,维罗纳,意大利,2020年9月。视图:谷歌学术搜索
50. X.-R。锣,J.-X。金,t·张“情绪分析使用自回归语言建模和广泛的学习系统,”2019年IEEE国际生物信息学和生物医学会议(BIBM)美国圣地亚哥,IEEE CA, 2019年11月。视图:出版商的网站|谷歌学术搜索
51. b . Myagmar j·李,木村,“跨域情绪分类与双向语言更符合实际的变压器模型,”IEEE访问7卷,第163230 - 163219页,2019年。视图:出版商的网站|谷歌学术搜索
52. 库马尔,m . Gahalawat p·p·罗伊,d . p .多格拉人,B.-G。金”,探讨年龄和性别对情绪的影响分析使用机器学习,”电子产品,9卷,不。2,p。374年,2020年。视图:出版商的网站|谷歌学术搜索
53. “Sentiment140——twitter情绪分析工具”,可以从:(2020年12月10日通过)http://help.sentiment140.com/site-functionality。
54. “Twitter我们航空公司的情绪,“可以从:(2020年12月10日通过)https://www.kaggle.com/crowdflower/twitter-airline-sentiment。
55. “国际研讨会于2017年语义评价,可以从:(2020年12月10日通过)http://alt.qcri.org/semeval2017/。
56. “大电影评论的数据集,”可以从:(2020年12月10日通过)http://ai.stanford.edu/∼7 amaas /数据/情绪/。
57. “袋的话符合袋爆米花,”可以从:(2020年12月10日通过)https://www.kaggle.com/c/word2vec-nlp-tutorial/data?select=labeledTrainData.tsv.zip。
58. “康奈尔CIS计算机科学,”可以从:(2020年12月10日通过)http://www.cs.cornell.edu/people/pabo/movie-review-data/。
59. “多域人气数据集”,可以从:(2020年12月10日通过)http://www.cs.jhu.edu/∼mdredze /数据/情绪/。
60. y Wan和问:高”,一个情绪对航空公司服务的twitter数据的分类系统分析,”数据挖掘学报2015年IEEE国际会议研讨会(ICDMW)美国新泽西,IEEE,大西洋城,2015年11月。视图:出版商的网站|谷歌学术搜索
61. l·张,王,和b . Liu“深度学习情绪分析:一项调查,”线数据挖掘和知识发现,8卷,不。4篇文章ID e1253 2018。视图:出版商的网站|谷歌学术搜索
62. g . s . t . Mikolov k . Chen拉和j·a·迪恩”计算的数值表示在一个高维空间,”2015年,谷歌的专利。视图:谷歌学术搜索
63. n Banić和n . Elezović”终端伏尔:找到离散总波动异常值在直方图中,“IEEE访问9卷,第1832 - 1807页,2020年。视图:出版商的网站|谷歌学术搜索
64. 张成泽,m . Kim g . Harerimana S.-U。康,j·w·金”Bi-LSTM模型来提高文本分类精度:结合Word2vec CNN和注意力机制,“应用科学,10卷,不。17日,第5841页,2020年。视图:出版商的网站|谷歌学术搜索
65. a . Jacovi o . s .您好,y戈德堡,“理解卷积神经网络用于文本分类,”2018年,http://arxiv.org/abs/1809.08037。视图:谷歌学术搜索
66. h·t·阮阮先生,”一个方法和情绪特点和集群支持,”Neurocomputing卷,370年,第165 - 155页,2019年。视图:出版商的网站|谷歌学术搜索
67. r .山下式m .西r·k·g .,和k . Togashi“卷积神经网络:在放射学和应用,概述”洞察成像,9卷,不。4、611 - 629年,2018页。视图:出版商的网站|谷歌学术搜索
68. ,的Hochreiter和j。施密德胡贝尔表示“LSTM可以解决很难长时间滞后的问题,”学报》第九届国际会议上神经信息处理系统1997年12月美国丹佛市。视图:谷歌学术搜索
69. m . m . Adankon m . Cheriet, a . Biem”Semisupervised最小二乘支持向量机”,IEEE神经网络,20卷,不。12日,第1870 - 1858页,2009年。视图:出版商的网站|谷歌学术搜索
70. “让你的Colab订阅”,可以从:(2021年1月22日访问),https://colab.research.google.com/notebooks/pro.ipynb。
71. “Keras: Python深度学习API,可以从:(2020年12月10日访问,https://keras.io/。
72. 可以从“TensorFlow:(2020年12月10日通过)https://www.tensorflow.org/。
73. k Ghasedi和h黄”,通过深度混合动力textual-crowd学习情绪分析模式,”学报三十二AAAI人工智能大会(2018年AAAI)2018年2月,新奥尔良,路易斯安那州。视图:谷歌学术搜索
74. m . Salur和艾登,“小说混合深度学习情绪分类模型,”IEEE访问,8卷,第58093 - 58080页,2020年。视图:出版商的网站|谷歌学术搜索
75. r·毛拉·a . Rahayuningsih w . Irmayani d . Saputra和w·e . / "改善情绪分析精度电影评论使用基于支持向量机的信息增益,”先进信息科学发展的国际会议(ICAISD)IOP出版,西爪哇,印度尼西亚,2020年8月。视图:出版商的网站|谷歌学术搜索
76. b . d . Tang秦,t·刘,“文档建模与递归神经网络的情绪分类,”学报2015年大会在自然语言处理的经验方法2015年9月,里斯本,葡萄牙,。视图:出版商的网站|谷歌学术搜索
77. c . Baziotis: Pelekis, c . Doulkeridis”Datastories semeval - 2017任务4:深lstm关注消息级别的和基于主题的情感分析,”学报》第11届国际研讨会语义评价(semeval - 2017)加拿大温哥华,2017年8月。视图:出版商的网站|谷歌学术搜索
78. m .陈词滥调“Bb_twtr semeval - 2017任务4:twitter情绪分析cnn和lstms,”2017年,http://arxiv.org/abs/1704.06125。视图:出版商的网站|谷歌学术搜索
79. K.-X。汉族,w•简。赵,Y.-T。程”,应用支持向量机(SVM)的情绪分析twitter的数据集,”应用科学,10卷,不。3,p。1125年,2020年。视图:出版商的网站|谷歌学术搜索
80. 答:美国莱恩和a·库马尔”情绪分类系统的Twitter数据对我们航空服务分析,”学报2018年IEEE第42届会议(COMPSAC)计算机软件和应用程序IEEE,东京,日本,2018年7月。视图:出版商的网站|谷歌学术搜索
81. x段、t .霁和w·钱Twitter的美国航空公司推荐的预测美国斯坦福大学,斯坦福大学,2016年。
82. m . j . Blitzer Dredze f·佩雷拉,“传记,宝莱坞,总是会和搅拌机:域适应情绪分类,”《计算语言学协会(ACL)布拉格,捷克共和国,2007年6月。视图:谷歌学术搜索
83. d·乌里韦“域适应情绪分类,”2010年第九次国际会议上机器学习和应用程序IEEE,华盛顿,美国,2010年12月。视图:出版商的网站|谷歌学术搜索
84. h·谢·m·张,j . Ge x,和h·陈,“学习空中交通图片:深卷积神经网络为空域操作复杂性评价,“复杂性卷,2021篇文章ID 6457246, 16页,2021年。视图:出版商的网站|谷歌学术搜索

版权

版权©2021 Cach n .党等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。