文摘
基于感性情感分析最近收到了很多兴趣,重点是自动识别用户的行为,如情感表达,基于在线社交媒体文本。然而,大多数之前的尝试是基于传统程序不足以提供承诺的结果。在这项研究中,我们通过识别分类情感情绪的文本。为此,我们提出深学习模式,双向长期短期记忆(BiLSMT),考虑五个主要的情感识别情绪(快乐、悲伤、恐惧、羞愧、内疚)。我们用我们的情感数据集上的实验评估完成情感分类的工作。数据集进行了评估,结果显示,最先进的方法相比,该模型可以成功地分类用户的情绪成几个分类。最后,我们使用统计分析评估我们的策略的有效性。这项研究的发现帮助企业应用最佳实践的选择,管理,和优化政策,服务和产品信息。
1。介绍
很长一段时间,基于计算机的情感检测和分类的研究一直是一个热门话题。情感检测可以通过使用各种媒介,包括文字、照片、视频和音频(1,2]。近年来,社交网站如Twitter, Facebook,和Instagram已经经历了一个意想不到的全球扩张。例如,Twitter每月有超过2亿活跃用户,2021年第四季度(3]。只要分析社交网络的研究材料可以解决特定的障碍提出的这些内容,计算语言学和文本分析的进步让研究人员提取和评价文本的情感由用户提供社交媒体通过大数据来源。
计算语言学专家进行许多研究发现和确定各级情绪,包括文字、表情,句子,和分析(4- - - - - -7]。许多研究,另一方面,关注emotion-related轴承而言,很少关注文本的情感线索,,如果包括,可以改善cognitive-based情绪的输出为社交媒体数据分类。因此,文本情感分类系统的研究和开发是出于情感表达文本的研究。
社交媒体提出的基于感性情绪分析系统是基于以前的工作在社会媒体情感分类模式(5,8]。先前的研究缺乏的能力代表情感信号使用高级特性表征,不利用单个深度学习的能力为情感类模型。然而,我们提出一个社会媒体cognitive-based情绪分析框架,侧重于检测和文本情感分类方案和使用高级特性表示深度学习模型的融合。
1.1。研究动机
在过去的几年里,基于感性SA应用程序已成为越来越受欢迎的在互联网上评估意见,情感和情绪的个体在不同的问题和政策。然而,通常很难分析文本情感与现有的检测方法检测情绪从社交媒体内容。因此,它是至关重要的提取和分析社会媒体内容自动分类的情绪。
社会媒体和传统博客的区别是,前者包含了复杂的文本材料。当非文本信息,这样材料包含文本和情感线索,这是更适合表达和传递人们的微妙的思想,情感,和个人特点(1]。然而,基于感性情绪分析,基于情感线索的识别,仍处于早期阶段。
有广泛的工作领域的文本进行分析的感觉(8)、建筑的词汇4),(感觉的认知和分析方面6),和分析的视觉感受1,9]。然而,进一步的研究是需要cognitive-based社交媒体领域的分析,重点从社会媒体内容中提取和分类的情绪。
1.2。问题陈述
在这项工作中,我们解决问题使用深度学习的英语文本情感分类技术。考虑一组评论= {R1,R2,R3…Rn},根据输入的目标是建立一个分类器分配一种情感标签Eiϵ{j s,做减法F-S}的审查国际扶轮j s,做减法,F-S显示不同的情感标签。我们的目标是在这项研究中开发一个功能强大的基于深度学习情感识别系统,能够准确地分类提供文本评论成所需的情感类别。
1.3。研究问题
RQ1:如何识别和文本内容分为不同的情绪组使用BILSTM,深学技术?
RQ2:什么是该技术的效率相比与其他机器学习和深度学习技术?
RQ3:如何提出了情感分类方法的有效性估计基线研究相比呢?
1.4。提出了贡献
以下是研究工作的主要贡献:(1)有效地捕捉语言的语义,一个先进的方案称为词使用嵌入函数表示。(2)情感分类的挑战,我们提出一个深层神经网络称为Bi-LSTM (Bi-LSTM),在两个方向学习上下文信息,使用向前和向后LSTM向前和向后。(3)我们测试了不同的ML分类器以及深度学习模型。(4)相比,先进的技术,我们提出了技术取得了生产性能。
目标是提高科学文献通过检测情绪指标文本材料在社交网站上。该系统将帮助企业识别和分析消费者的态度和情感对一个程序、政策或产品,它可以帮助他们做出更好的决策。
以下是本文的其余部分被组织:(i)部分2论述了当前有关基于感性情绪分析方法和框架,(2)部分3介绍了拟议的框架基于感性情绪分析,(3)在本节介绍了实验装置4,(iv)所提出的系统总结与缺点和未来潜在的指导部分5和6。
2。相关工作
由于模糊情感和大量的情感方面,检测和分类情感情绪分析是一项具有挑战性的活动。有几个技术和方法提出了检测和分类的情绪从社会媒体文本内容。这部分给出了总结当前的情感状态检测和分类的科学。
不同的机器学习模型的疗效评价(8]。变体支持向量机等机器学习模型,NB, DT, LR, XGBoost,然而,反向传播神经(症)分类器进行测试使用最先进的ISEAR情感数据集来实现这一目标。结果显示,BPN是所有分类精度最高,得分的71.27%。工作有一些限制:(i)仅限于5情感类,(2)它只使用ISEAR数据集,(iii)使用传统的特性和使用(iv)经典的机器学习模型。未来的发展方向可能包括利用各种情感的组合,(2)利用其他基准数据集,(iii)进行额外的深度学习实验,利用一个词(iv)嵌入特征表示方法。的作者(10)的任务是分类情感与印尼文本。该研究使用各种机器学习算法,包括NB、支持向量机、资讯,和最小的优化,实现这一目标。各种文本清洁任务(删除标记,停止词,和案例转换)。在测试期间,使用10倍交叉验证,研究结果表明,最小的优化技术优于其他方法。提取的变体tweet,我们使用情绪词汇标签以及“标签情感语料库”数据收集11]。此外,该研究使用了一个emotion-labeled推数据集创建一个丰富的情感词典。实验结果表明,支持向量机模型的输出最密切相关的主要情感类。包含情感词的变体同义词,另一方面,有助于提高系统的有效性。识别情感的人类语言是由(12在他们的研究。不同的语音识别模型,然后紧接着各种语音特性(峰间距离)。替代方法相比,实验中使用的数据集包含30个不同的主题,和最高的精度。一个et al。13)解决这个问题基于歌词的音乐情感分类研究。他们完成这个爬行百度音乐歌词的标签,一个著名的网络平台。后,朴素贝叶斯分类器训练在四个不同的数据集。根据研究结果,最终分类精度D-4 68%(数据集)。使用其他算法,另一方面,可以提高该系统的有效性。Dini和Bittar这14在推特上]进行研究分类的情绪。两个为此创建了全集:ETCC情感分类的tweet和ETCR情感相关性的tweet。这个数据集用于训练和评估机器学习模型,以及基于规则的模型的测试。结果表明,象征性的技术优于ML算法在确定微博意义,但ML算法是微博情感分类的最佳选择。未来的目标是创建一个混合模型,该模型结合了这两种方法,将讨论和标记数据质量测试。Kaewyong et al。15)建议lexicon-based方法在他们的工作自动化反馈调查学生的反馈。开始,收集的数据来自1100多个学生教老师的反应。后,使用预处理技术,紧随其后的是使用一个情绪词典将情绪分值分配给意见。与其他方法相比,结果表明,该解决方案的最佳效率。森et al。16)出发来确定多任务学习的一种新颖的方法输入字嵌入通过监督任务提示输入的情感和情绪。使用共同合格之后,他们看着嵌入提高情感检测。测试的准确性57.46%,研究结果显示,KMeans (ES-SWE)优于其他方法。在未来,它将执行嵌入一个配置实验,词是相互培训,emotion-topic敏感,用于情感或主题销售团队的认可。此外,他们建议的方法可以用来解决其他除了情感和情绪识别分类问题。工作也可以应用于语法嵌入。Kollias et al。17]调查对面部表情和情感深深的卷积神经网络检测(DCNNs)。与竞争模型相比,实验结果表明,该模型优于他们。然而,准确的设备估计可以通过开发一个真实的应用程序人机交流。云苓et al。18)使用卷积学习解决问题的方法提取的情绪从媒体内容,具体文本、音频和视频。基线工作相比,网络的内层使用激活特性,实现了96.55%的准确性MOUD IEMOCAP数据集的数据集和76.85%。进行微博情感分析,Severyn Moschitti [19)提出了一种深上优于卷积神经网络(CNN)。他提出的模型的输入是种子已经正确的单词训练使用深度学习模型。框架的主要优势是,它不需要在Twitter上支持属性来训练模型的数据记录。该模型实现最好的结果在句子和短语阶段,根据实验的结果。古普塔et al。20.)提出了一种新的深刻的学习情感识别方法在文本的对话,即情绪和semanticized LSTM (SS-LSTM)。两个数据集,ISEAR和SemEval2007情感文字,被用于实验。实验结果表明,该方法优于最先进的机器学习以及其他深度学习方法,平均F1-score 71.34%。然而,这项技术可以提高通过使用上下文敏感的框架来训练模型。威尔士(21]使用有效的计算机方法来调查识别问题的感受和情感预测。文本分类是进行积极和消极意义上的模块,在情感和情感线索识别预测系统。首先,感觉是在建议的方法,然后分配一个特定类型的情感不受欢迎的感觉。定义和分类的情绪从文本材料,大量的研究工作分为情绪,见上面的文献综述。
2.1。研究的差距
解决上述最近基于感性情绪分类技术的局限性,有必要检测和识别情绪从文本材料。关闭这个空白,我们提出一个全面的基于感性情绪表达的情感分类系统在线社交媒体。结果,对于情感分类,我们使用自动化工程技术特性神经网络称为Bi-LSTM紧随其后。
3所示。提出的方法
当前部分提出了提出了情感分类方法的综合建筑。
3.1。获取数据
我们得到一个基准数据集称为“ISEAR”[8包含5474条记录)。每个输入评论标记为一个单独的类三种情感类集,如j s F-S,做减法。这项工作使用Python语言(1),和使用的库是Keras基于TensorFlow深度学习框架(1]。图1提供了一个数据集的描述。
3.1.1。训练集
模型已经被训练使用训练数据集,以80%的数据用于模型训练(1]。图2显示了一个模范回顾培训的例子。
3.1.2。验证设置
在训练阶段,模型通常是准确的,但在测试阶段,模型的性能下降。因此,为了克服模型的性能错误underfitting和过度拟合,验证集必须使用(22]。Keras为确定最优模型参数有两个方法:手工数据验证和自动数据验证(3]。我们目前在我们当前项目使用手册数据验证。
3.1.3。测试组
基于新/看不见的情况下,测试集是用来评估模型的性能。使用它一旦模型训练正确使用火车和验证集。测试组负责模型的最终预测(23]。表1包含情感分类的测试集样本。
3.2。该系统的主要模块
该方法包括三个主要模块:我嵌入层的词表示,(ii) Bi-LSTM-based向前和向后上下文信息保存,和(3)乙状层的分类。第一个模块的目标是获得一个数字表示的条款,将进入另一个模块,它将产生一个编码表示的特性。Bi-LSTM用于创建这个编码表示,跟踪的向前和向后一词在一个系列的背景细节。最后,乙状结肠激活机制是用来执行分类最后模块(见图3)。以下是每个模块的分解:
3.2.1之上。单词表示利用嵌入层
情感数据集表示为一组多个用户评论和个别审查E”我感到很高兴当我赢得了足球池涉及一系列的”r话说,即。,w1,w2,w3,wr. A single term wi “felt” represents an embedding vector wi-Rn that includes real values [0.6, 0.9, 0.2]. An embedding matrix is made up of the embedding vectors of each term. During this project, the kera embedding layer was used. The embedding matrix is a two-dimensional matrix denoted byD R(rn),r输入评审和表示的长度n表示嵌入维度。在那之后,下一层收到一个嵌入矩阵D,也被称为一个句子/输入矩阵。
3.2.2。Bi-LSTM层
Bi-LSTM层负责学习长时间依赖关系。艾滋病在两个前和成功的拯救环境的形式编码的用户分析。单向LSTM,另一方面,从以前只保存信息背景下,从随后的上下文信息。因此,Bi-LSTM收集更多的信息进行编码审查处理。学习过去和未来意义的知识令牌(单词),Bi-LSTM雇佣了向前和向后LSTM [2]。LSTM向前发展。在LSTM,序列的处理完成从左向右通过串联二进制输入。第一个是现在(当前)输入“ ,”,而第二个是之前输入/隐藏状态” 。“向前LSTM产生一定的结果”“关于提供的输入序列: , , ,…, 。向后LSTM。向后LSTM,序列的处理完成左向右通过连接两个输入,第一个是当前输入” ,”,第二个是未来第二输入/隐藏状态” 。“向前LSTM产生一定的结果”“关于提供的输入序列: ,…, , , 。
提出的集成落后的上下文表示了矩阵生成不同的句子H= ,而H 。向前和向后的整合输出是通过以聪明元素总和的计算(见(1))。
最后,新的表示句子的矩阵(1)被放入一个分类层对最终分类工作。
方程(8)- (13)用于向后LSTM [24]给出如下: 在哪里n代表输入的大小,米代表状态细胞的大小,描述了向量的输入n×1的尺寸,描述了忘记门的向量米×1的尺寸,描述了向量的输入与门米×1的尺寸,描述了向量输出门米×1的尺寸,描述了向量的输出米×1尺寸,描绘了一个向量的细胞状态米×1的大小。
门的输出权重矩阵表示为 , , ,和与大小米×n。权重矩阵表示为输出的大门 , , ,和与大小米×米。偏差向量为代表 , , ,和与大小米×1。用正切函数 ,和物流乙状结肠功能用 。
每门Bi-LSTM执行自己的函数。忘记门的功能删除无用的信息。输入门需要存储的信息。最后,门的输出计算最终的输出 。
使用的符号在向前和向后LSTM表中列出2。
3.2.3。功能分类使用乙状结肠层
这一层执行分类的输入特性(最终)表示从以前获得模块。我们添加一个致密层与两个神经元之间是乙状结肠为此函数。乙状结肠激活函数进行非线性操作,其任务是计算各种情感类的概率。它将加权和转换成一个数字在0和1之间。因此,输出层通过审查文本之后”我感到很高兴当我赢得了足球池”标记的三个二进制类“j s”,“F-S”或“做减法”。
每一个情感类的概率计算使用softmax激活函数。最后的情感分类表示净输入(方程(14)可以近似如下: ,“w“代表一个权向量,x”表示一个向量的输入,“b”代表一个偏见的因素。
阶段Bi-LSTM系统的情感分类算法进行描述1。
|
||||||||||||||||||||||||||||||||||||||||||||
4所示。结果与讨论
实验在这个工作是在Python中使用Keras库实现的(一切Keras留言。)这是基于TensorFlow深度学习框架(25]。机器用于测试与64位操作系统和英特尔酷睿i7 8 GB的内部存储。原始数据集分为三组:训练、测试和验证。
4.1。答案RQ1
回答RQ1。”如何识别和文本内容分为不同的情绪组使用BILSTM,深学技术?”不同的实验对不同的情感线索,如快乐(J),悲伤,恐惧(F),羞愧(S)和内疚(S)为输出的评估提出了深度学习模型(G),我们创建了三个二元分类器实验:Joy-Sadness, Fear-Shame,和Fear-Guilt。
以下4.4.1。实验1:Joy-Sadness
实验来确定执行# 1的效率提出BILSTM模型对Joy-Sadness情绪信号,如表所示3。根据实验发现,BILSTM模型表现更好的情感线索“快乐”的F1-score 0.89和0.91召回,而情感线索“快乐”和“悲伤”表现最好的精度(0.88)。总体精度为0.88%。
4.1.2。实验2:Fear-Shame
实验2号来确定执行的有效性提出BILSTM模型关于Fear-Shame情感线索,如表所示4。BILSTM模型性能最好的“羞耻”情感提示,与精度(0.89),回忆(0.91),F1-score(0.89),和整体精度为0.86%,根据结果。
4.1.3。实验# 3:Fear-Guilt
实验3号来确定执行的有效性提出BILSTM模型关于Fear-Guilt情绪信号,和研究结果总结在表5。根据研究结果,BILSTM模型表现良好“恐惧”和“羞耻”的情感线索,准确的(0.89),回忆起(0.89),F1-score (0.89)。总体精度为0.89%。
4.2。答案RQ2
RQ2找到答案,“什么是拟议的技术效率与其他机器学习和深度学习技术?”,我们进行实验比较的效率一个字嵌入方案训练使用BILSTM方法使用传统的机器学习分类器特征表示如TF-IDF和CountVectorizer计划。表中给出的评估结果6和7。
4.2.1。准备BILSTM和机器学习方法试图利用传统特性的比较研究
拟议中的BILSTM模型的输出与各种机器学习方法使用经典特性表示计划,如以下所示实验:毫升驱动的。我们估计的输出不同的经典的机器学习分类器的特征表示策略,Countvectorizer和TF-IDF等,在这些实验。Countvectorizer叫做count-of-words中使用的方法,把文本转换为一个特征向量使用TF-IDF方案。许多分类器是受雇于Countvectorizer, TF,特遣部队xIDF特征编码技术、资讯的最佳准确性分数达到80.82%,XGBoost实现精度最糟糕的分数的71.23%。提出BILSTM模型。我们使用了BISLTM模型在一个字嵌入特性表示计划在这个实验中进行情感分类任务。使用嵌入一个词的主要优势在传统弓系统是弓模型输出退化的词汇量越来越大,而深层神经网络模型产生了更成功的结果。
表8表明BILSTM(方法)利用一个字嵌入计划生成更高效的结果比传统Countvectorizer和TF-IDF等特征表示方法。
4.2.2。的比较提出BILSTM深度学习模型的变体
不同的研究进行了评估的有效性提出BILSTM模型相比,各种DL模型。
(1)DL驱动的。个人CNN,个人LSTM,个人BILSTM、个人RNN的高级特性表示计划被用来测试各种深度学习模型(字嵌入)。个人格勒乌模型实现在所有DL分类器精度最高的82%,而个人RNN模型达到最低66%的准确性。
这部分使用了两个数据集比较我们的方法与不同的深度学习方法如个人BILSTM个人LSTM, CNN,个人和个人RNN。实验结果表8和9总结如下。
(2)比较提出BILSTM与个别CNN。在最初的实验中对于情感分类任务,提出BILSTM模型相比,个人CNN。的准确性、精密、召回和F1-score,该模型优于个人CNN模型(准确性= 88%,精度= 88%,召回= 88%,和F1-score = 88%)。CNN性能下降是由于这一事实的文本分类任务需要顺序数据的保存、一个CNN不能帮助。此外,一个大型数据集必须给CNN模型为了提高其准确性。
(3)比较与个别LSTM BILSTM求婚。在第二个实验中,一个人LSTM相比,该模型是一个情感分类的任务。单向LSTM的缺点是,它只保留先前的信息而不是后续信息。维护双方信息的单词(之前和后续)有助于更好地理解句子的上下文。结果,提出深层神经网络模型相比,个体LSTM层将减少对j s性能高达10%,2%做减法和F-S 1%,如表所示8。
(4)比较提出BILSTM和个人格勒乌。情绪的分类,提出BILSTM模型和个体之间的性能比较格勒乌执行第三实验。格勒乌的主要缺点是,它不执行特征提取,而是侧重于保护背景细节。与拟议中的BILSTM模型相比,格勒乌的j s产出下降了6%,3%做减法和F-S 4%,如表所示8。
(5)比较与个别RNN BILSTM求婚。提出模型的比较和RNN模型进行最后的实验。RNN的输出是退化的,因为它无法处理更多的序列,证明RNN无法监控远程关系。有必要保留细节很长一段时间为了维护上下文,一个RNN不能因为它只是短期记忆序列的跟踪。
相比BILSTM, RNN导致j s性能下降高达22%,11%做减法和F-S 6%,如表所示8。
4.2.3。为什么提出BILSTM模型是更好吗?
当我们使用“双向”LSTM (BILSTM)提供的数据,研究结果优于其他深度学习方法。BILSTM模型的目的是保留背景数据两边一个表达式,即。左右,在一个短语。从嵌入层接收数据后,BILSTM生成一个增强的编码数据,考虑当前和之前输入的信息。因此,很明显,BILSTM深学习模型可以成功地收集当前和过去的背景信息通过时间和生产预测。建议深学习模型在输入文本数据集的分类表现良好成各种情绪如快乐、悲伤、恐惧、内疚和羞愧。
4.3。答案RQ.3
回答RQ3,“如何估计的效率提出了关于情感分类技术对基线研究吗?”,我们进行了一项实验来看看提出BISLTM模型相比,执行基线示例。实验结果表中提到6。
4.3.1。提出(BILSTM)与基线相比(症)
在这个实验中,我们比较建议的输出BILSTM方法与(8),利用反向传播神经分类器分类的情绪。87.66%的精度,该方法优于当前最先进的分析,如表所示6。以下是原因我们的模型的改进的性能:我们的改进模型输出的原因是我们使用了“双向”LSTM模型有效地维护左右两个系列的背景细节。此外,BILSTM擅长存储知识在很长一段时间。因此,很长一段时间保持信息是非常有用的对于文本分类和预测任务。,另一方面,不适合分类问题(1]。此外,该症分类器与延迟收敛问题,神经网络权重下降超过当地的最适条件,和网络不关心(28]。
4.3.2。显著性检验
我们也跑实验是否提出BILSTM分类器,它使用这个词嵌入功能,统计不同资讯j s和MNB做减法和F-S进行显著性检验的“情感分类的任务。“研究结果表明,我们建议的BILSTM模型j s的功效在情感分类任务,做减法和F-S创新功能大大提高了(词编码),见表7,10,11。
5。结论
我们进一步分析了用户为什么以及如何在不同的情绪反应。开展这项研究的任务,我们提出应用Bi-LSTM技术。这项研究将包括以下模块:(i)的数据,(2)准备数据,和(3)应用深度学习算法。对情感分类任务中,我们使用一个深度学习模型,即Bi-LSTM。Bi-LSTM同时执行两个任务;即。,it can remember both the forward and backward sequence of the previous time sequence [8]。使用许多其他程序编码的文本后,手动解码文本分类为J, F, g .实验不同的机器学习和深入学习算法应用于情感数据集也同时进行。产生的结果表明,该Bi-LSTM模型改进结果的改善精度(87.66%)、精度(87.66%),回忆起(87.66%),F1-score(87.66%)的比较研究。
以下是一些潜在的限制提出的工作:(1)我们进行情感分类的文本内容(2)嵌入的研究仅限于随机词,没有使用的词表示模型,如手套,FastText或word2vec(3)情绪是不使用其他配置的深度学习技术机密(4)当前研究的内容是完全集中在ISEAR和Twitter情感数据集(5)在工作中,利用有限的情感线索(6)目前的研究没有提到情感强度,如强烈的负面,强阳性、弱负,和弱阳性,必须使系统更有效的讨论(7)这项研究仅限于文字用英语写的(8)AUC、密度和错误率可以用来更好地估计分类器的性能;然而,拟议的研究主题是局限于性能指标如准确性、严谨,召回,F1-score(9)中等数量的机器学习模型是目前用于测试,但这可以扩展
6。未来的发展方向
下面列出可能的未来选择的研究工作:(1)照片和视频可用于扩展工作(2)其他以前训练计划如手套、word2vec, FastText可用于词在未来的工作中嵌入层(3)对于情感分类,我们将调查深层神经网络的各种组合(4)探索更多的情感分类任务在不同的数据集(5)一个潜在的未来计划是提高性能的研究项目通过扩展不同的情感线索(6)研究将扩大到包括其他语言测试在其他语言中该模型的有效性(7)长时间计算的问题可以解决使用GPU,它允许对大规模数据集实验(8)使用深层神经网络系统的组合来解决情绪问题的分类将更有效。因此,我们将使用其他神经网络在未来(9)在未来,我们将更加重视通过系综的方法来提高设备效率(10)我们将把重点放在增加基础模型和寻找其他标准,可能会进一步提高整体精度的工作(11)在未来的研究中,我们将看看我们建议的方法结合其他NLP策略,如词性和标记为NLP问题实现更好的结果
数据可用性
两个公开可用的数据集(ISEAR和SemEval2007)被用来支持本研究的发现。这两个数据集内被引用,包括这篇文章。
的利益冲突
作者宣称没有利益冲突。
确认
科学研究的作者感谢院长以来,沙特国王大学资助科研副院长职椅子。APC是由塔伊夫大学的研究人员支持项目数量(TURSP-2020/331),塔伊夫大学,塔伊夫,沙特阿拉伯。作者要感谢支持。