我们的研究没有关注解决问题在一个特定的域,而是提供一个评估的一般应用模型。在这项研究中,我们使用一些公共数据集生成和标签的新数据集的一个特定的应用程序域。多种选择标准被认为是包括避免隐私问题的能力( 52),接受在研究社区,来源和主题的多样性,和大小。所选择的数据集使情绪的综合比较分析方法研究了本文。实验的目的是了解是否数据集的模型给一贯准确的结果无论类型和大小。

实验使用八个数据集。三个数据集包含tweet (Sentiment140、推特航空公司和tweet SemEval)和五个数据集包含评论(IMDb影评(1)和(2)和康奈尔电影评论)。微博数据集,Sentiment140 [ 53),最大的,有160万条,每一个贴上或正面或负面情绪,而其他人,推特航空公司( 54]和tweet SemEval [ 55),包含14640和17750条,分别贴上积极、消极或中性的。五个评估数据集包括共有125000条评论用户评论的电影(IMDb影评(1) 56),IMDb影评(2)( 57,康奈尔影评( 58)、书籍和音乐(书和音乐评论( 59]),贴上或正面或负面情绪。他们将更详细地讨论在 1]。

研究收集到的数据集后,我们看到的八个数据集最初贴上积极和消极,和每个标签的样本相对平等。这两个数据集航空公司和Tweet SemEval包含不仅正面和负面标签,而且中性标签。拥有一个平衡的类分布是很重要的,确保先验概率不偏向训练分类模型和做 60]。在这个研究中,我们专注于极性情感分析,基于积极的和消极的两类。这些数据集的大小降低了移除中性标签。剩下的积极和消极类是调整平衡。另外,我们应用k-fold交叉验证的数据以评估模型。通过这种方式,覆盖所有的测试数据集的实例避免偏向特定数据的子集。表 1显示(正面和负面)采集样本的数量从每个数据集进行实验。

情绪可以进行分类提取的三个层次:文档,句子,和方面或特性 61年]。在我们的实验中,我们应用基于文档的情感分析与字嵌入技术八个数据集的微博和评论。情绪分析要求在使用前清洗text-training数据作为输入的分类模型。无关信息在句子文本或数据,包括空格、标点符号,并停止的话,删除。两种技术常用TF-IDF该任务和嵌入。我们的建议使用后者,因为它提供了更好的结果比TF-IDF [ 1]。然后我们使用字嵌入模型,伯特和Word2vec,构建特征向量。

伯特是自然语言处理的语言模型,它是2018年由谷歌研究人员人工智能语言出版( 46]。伯特Word2vec后开发,包括一些在Word2vec进步,比如支持词汇表之外(OOV)的话。

托马斯Mikolov Word2vec出版于2013年的谷歌( 62年]。这种无监督学习模型从一个大型语料库训练数据集。Word2vec的维数远小于一个炎热的维数编码,与一个矩阵的NxD, N是文档的数量和D字嵌入的维度。Word2vec包含两个模型:skip-gram和连续bag-of-words (CBOW)。两种模型都是基于词的概率发生在接近对方。Skip-gram允许我们从单词开始,预测的话,可能环绕它。然而,使用Word2vec的主要缺点之一是缺乏支持词汇表之外的词汇。为了解决这个问题,我们使用特殊标记(UNK)单词中从未出现过的词汇。此外,我们还再培训Word2vec模型根据我们的数据集和所有词汇出现的五倍多,减少了使用的特殊令牌。

进行情感分析模型的一个问题是数据集的不同长度的样品。而深的学习模型需要固定的输入向量。数据 1和 2直方图显示数据集的评论和微博后清洗。的 x设在代表样本数据的长度, y设在出现的频率。一些直方图是相当粗糙的,因为我们选择了来自不同来源的不同类型的数据集。标准化数据平滑轮廓基于样本大小可能符合模型( 63年]。在这项研究中,我们几乎保持原始数据的情绪分析的目的创造必要的条件比较其他模型的效率。

我们可以看到在图 1和 2数据样本非常多样的长度。因此,有必要将样本数据设置为相同的长度。转换的数据样本相同的长度做如下调整。

对于每个数据集,我们选择一个固定长度 d ;对样品短于 d 结束,我们添加零向量。反之亦然,在样本长度大于 d ,必被剪除。然而,删除数据样本的长度将导致损失的信息分类中使用的过程,所以它是重要的选择一个固定长度 d 尽量减少截断数据的样本。在这项研究中,我们使用微博和评论数据集对我们提出的模型。我们截断任何tweet或者审查它的长度比特征向量的长度长。特征向量的长度选择接近最大长度的微博和评论,所以很少在数据集样本被截断。这通常在其他作品( 30., 64年- - - - - - 66年]。

固定的长度 d 选择如下:数据集相关微博通常有一个小的长度变化由于限制最多280个字符的tweet;因此,这个固定长度 d 是选择的样本数据集的最大长度。剩下的数据集的长度 d 选择从300年到500年,基于每一个数据集的直方图。有可能需要一个固定的长度 d 不同的长度,而是微博和评论。然而,如果设置长度 d 比较大,它会浪费多少内存,如果设置长度 d 更小,它将错过一些审查数据。

有许多方法来建立情感分析的混合模型。在这项研究中,我们测试了几个成功的组合方法。如图 3,我们首先使用Word2vec或pretrained伯特模型建立特征向量。然后我们不同的顺序CNN和LSTM模型中使用的下一个阶段:Word2vec /伯特- > CNN - > LSTM或Word2vec /伯特- > LSTM - > CNN。我们也改变模型的最后阶段,使用一个ReLU函数或使用一个支持向量机。

结合这两种变异收益率四个混合方法,我们已经测试了: (1)

Word2vec /伯特- > CNN - > LSTM - > Relu

两种方法被用于我们的实验建立特征向量。第一种方法是Word2vec初始化随机权重学习所有单词的嵌入在我们的训练数据集。因为Word2vec不包括语境分析在自然语言处理复杂的语义或多态的情况下,我们的第二个方法是伯特。pretrained伯特模型用于这项研究。调整参数后,伯特模型作为特征提取器来生成输入数据的混合模型的建议。微博和评论的数据被送入伯特模型生成的特征向量,这些混合模型的输入执行分类。

下一步将CNN和LSTM深度学习模型,应用由于其良好的性能在情绪分析( 1),以及利用两个网络架构上执行情绪分析数据时在不同的领域。CNN是一种前馈神经网络,因为它是由多层的过程,在一个方向上传递信息,从输入到输出,没有周期。它有一个深层神经网络架构( 67年),通常从卷积和池/二次抽样层输入,转换成一个完全连接分类层。在这个研究中,一个卷积(1 d CNN)使用。LSTM RNN架构的许多变体之一( 68年]。LSTM块包含三个所谓的盖茨,忘记门,输入门,和输出门,除了输入和输出模块和存储单元。cnn擅长处理空间相关数据而RNNs擅长时序信号。LSTM记得转发信息的序列和多层CNN可以充分捕捉并学习当地的信息。所以,两全其美的结合利用,空间和时间的世界。

最后的阶段是分类。我们使用的激活函数ReLU代替乙状结肠因为高收敛。此外,支持向量机分类的选择,因为它的效率在字(词)处理技术中,特别是在高维情况下,如自然语言处理。支持向量机( 69年)是一个监督机器学习算法可用于分类和回归的任务。它被广泛利用在许多领域有积极的结果。在我们的研究中,我们应用了线性支持向量机的分类提出了混合深度学习模型。我们提取特征向量的隐藏层和喂它SVM分类预测(“积极”和“消极”)。

第一个混合模型结合了CNN和LSTM模型。可视化模型的连接,连接过程,数据处理流程表表示 2。

初始化函数嵌入是嵌入层与随机权重,将学习所有单词的嵌入在训练数据集。第一层的混合模式是美国有线电视新闻网,它接收向量由字嵌入。卷积有三层组成的512年,256年和128年的过滤器,分别与一个内核大小= 3,接收和处理数据之前喂进下一层深度学习。混合模型的第二层是LSTM,产生一个1×500矩阵送入分类器。接下来,混合模型的分类器是由两个连续的,完全连接层和128个节点,最后,ReLU激活函数的输出层。

第二个混合模型结合LSTM和CNN模型。可视化模型的连接,连接过程,数据处理流程表表示 3。

输入数据是重塑嵌入数据的预处理矩阵。第一层的混合模式是LSTM层。输出矩阵13×500,输入第二个模型的混合深度学习模型。下一层的混合模式是CNN。卷积有三层组成的512年,256年和128年的过滤器,分别与一个内核大小= 3,负责接收和处理数据之前给到下一层。CNN的输出是夷为平地,转移到一个完全连接层。最后,混合模型的分类器是由两个连续的完全连接层组成的CNN与128个节点和ReLU激活函数作为输出层。

我们最后的混合模型是基于混合模型与场景1和2。我们使用这些模型的深度学习阶段(CNN-LSTM和LSTM-CNN)但取代了分类器。同时有多个替代CNN-based ReLU函数使用,我们选择使用支持向量机来替代分类器。场景3基于CNN-LSTM,场景4是基于LSTM-CNN。一个模型的体系结构概述表所示 2和 3。

在进行实验之前,相关的配置参数,硬件设备和设施进行必要的库。我们使用谷歌与GPU特斯拉P100-PCIE-16GB Colab Pro或GPU特斯拉V100-SXM2-16GB [ 70年)和Keras ( 71年)和TensorFlow库( 72年]。在所有的实验中,我们为我们的代码配置参数,如回声= 4, k倍= 10,和批量大小= 32与微博进行评论和128。K-fold验证方法的共同价值观 k= 3, k= 5, k= 10,到目前为止,应用机器学习中使用的最流行的价值评估模型 k= 10。后者值数据集时使用足够大的子集有大量的例子。这是使用的数据集的情况下工作。因此,九个部分被用作训练集和一个测试集在每个10验证。的价值 k选择以确保每列火车或测试代表数据集的样本足够大。此外,这个过程确保了 k交叉验证的模型诱导训练集的大小相同, k在所有测试集验证也相同的大小。建议将数据分成相等的样本,这样的性能模型是等价的。

8组实验的结果显示:三种基线模型(SVM, CNN, LSTM)和四个混合模型:CNN和LSTM LSTM CNN, CNN-LSTM和SVM LSTM-CNN和SVM称为C-LSTM(或氯),L-CNN(或L-C), CLSTM-SVM(或CL-S), LCNN-SVM(或LC-S),分别。之间的比较分析的结果提出了混合方法相对于基线的方法也包括在内。

我们的实验运行两次:一次使用嵌入Word2vec训练词一旦使用pretrained伯特模型训练字嵌入。结果一直更好的伯特时使用,所以表 4- - - - - - 8提供详细的实验结果使用Word2vec和伯特。数据 4- - - - - - 8比较结果说明了Word2vec和伯特并排使用条形图。

精度结果见表 4非常高的数据集和分类模型在使用pretrained伯特模型提取特征向量,90%左右,尤其是推特航空公司92.9%和93.4%在IMDb影评(1)。此外,结果证明混合模型显示(或等于)精度高于单一深度学习模型(SVM, CNN,或LSTM)七八个数据集。关于使用Word2vec音乐评论和书评的数据集,CNN的精度结果表中给出 4分别是76.4%和76.5%。相比之下,当使用LCNN-SVM模型,结果显著提高到83.7%和82.7%,这代表着提高7.3%和6.2%,分别。

f值(表 7),混合模型提供(或等于)值高于单一深度学习模型7八个数据集。关于AUC值表 8,还混合模型执行比单一深度学习模型。混合模型使用SVM分类实现最好的结果使用Word2vec 8的数据集。在数据集当中,微博航空公司数据集和IMDb影评(1)是所有指标数据显示最高的值在所有情况下。书评和音乐评论与混合LSTM-CNN和LCNN-SVM模型工作得很好。Sentiment140数据集在所有模型精度较低。在数据 1和 2,我们可以看到的总数的分布和样品长度的数据样本数据集。Sentiment140数据集也不同于其他的数据集。这么多数量的样品长度数据不同。

见数据 4来 8,使用pretrained伯特产生更好的结果比使用Word2vec情绪分析模型和数据集。关注混合模型的结果,我们发现,对于每一个数据集,最好的结果是由混合模型。混合模型能产生更好的结果比单一模型使用Word2vec或伯特。使用Word2vec,结果从混合模型的精度高于从单一的模型。使用伯特结果也有所改善,尽管通过一个较小的数量,因为这些模型已经达到一个相对高的精度,主要是超过90%。

中的文本审查通常超过文本在一条微博,这表明LCNN-SVN对长文本执行比其他混合模型(表样例 4)。在选定的数据集,当检查的文本长度分布的样本,审查的长度范围从1到800个单词。但是,康奈尔大学的电影评论范围从1到50个单词。此外,推特的长度范围从1到40个单词;然而,样本长度的分布Sentiment140数据集是右偏态。观察到在两个数据集的结果,Sentiment140和康奈尔影评,低于剩余的数据集。

其他一些研究执行情绪分析通过使用一个数据集的tweet或者评论发表在 29日, 33, 34, 37- - - - - - 39, 73年, 74年]。注意,混合模型提供了改进的结果的处理时间和准确性。此外,这些混合的整体精度模型给出了八种不同类型的数据集,这给一个客观的看法总体精度。

表中所示的最先进的方法之一 9,我们大多数的混合模型的提议得到了更高的精度结果六个数据集。然而,在Sentiment140汉et al。 79年和阿比德等。 12)取得了更好的精确度约为87%。XLNet方法对IMDb情绪分析数据集,由杨et al。 47),导致了96.21%的准确率。另一方面,说明et al。 37)测试CNN和支持向量机相结合的混合模型在推特和检查数据集;然而,结果显示混合方法相比,精度较低,只在一个单一类型的测试数据集(58.62%的准确率在微博数据集和77.16%的准确率评估数据集)。比较细节的最先进的方法如表所示 9。它包括作者的名称、方法、数据和准确性(或F1的一些研究只提供F1度量)。

除了评估的可靠性模型,同样重要的是要评估算法的性能方面的资源利用率。很少有工作评估深度学习模型的计算复杂度虽然有一些建议 84年考虑一些因素,如层数,输入矩阵的大小,根据特定的算法和其他因素。在CNN,卷积核的数量和大小和输出通道的数量每一层的考虑。针对这一点,很明显,混合模型的高可靠性的代价更高的复杂性。因为时间是最宝贵的资源和最考虑当评估算法的性能,我们包括分析模型的计算时间参与的比较研究,这是一个反思的时间复杂度。

表 10包含所有数据集所需的时间处理参与实验。处理时间对整个计算过程的训练和测试模型使用Word2vec和伯特。它包括数据划分和时间来创建分类模型(初始化神经网络的层数、每层的节点数量,等等)。但不包括用于显示分类的结果。当使用混合模型与伯特为特征提取技术,精度一般高于Word2vec,但处理时间较长。

一般来说,混合方法提供更好的结果比单一深度学习模型。大多数混合网络提供更高(或等于)成绩在所有的数据集。此外,从Maltoudoglou等的好成绩。 49)(表 9),我们发现情绪分类的特征提取中发挥着重要作用。我们还讨论了特征提取的重要性 1],TF-IDF和字嵌入特征提取技术进行分析。这些改进的结果为代价高而稳定的一些处理时间的增加,如表所示 10。表显示了混合模型比单一模型需要较长的计算时间,因为混合模型是复杂和特性参数比单一模型。而计算时间长,他们不排除分析处理时间和准确性之间的权衡的结果。

我们的目标是建立一个混合深度学习情绪分析模型,适用于各种领域的数据集。然而,当建立分类模型,有很多参数必须定义之前,所以他们可以适用于一个给定的数据集而不是为别人。因此,结果是积极的和高度可靠,因为他们一直在评估许多数据集有不同的主题。最后,一般总结成果的实验讨论了早些时候引用如下: (我)

混合模型增加了情感分析的准确性与单个模型的性能在所有类型的数据集,尽管SVM模型的计算时间较长。