文摘

在这篇文章中,我们提出一个多层次特征表示方法,结合句功能,如德国的形态学和俚语,和字面意思特性,如特殊符号和翻译情绪信息,和构建一个深度学习模型对德国情绪分类self-attentive机制的基础上,为了解决德国社会媒体文本的特点是口语化的,不规则的,多样化。与现有的研究相比,该模型不仅有最明显的改善效果,而且具有更好的特征提取和分类能力对德国的情感。

1。介绍

大数据背景下的网络已经成为一个重要的力量在推动数字人文研究和分析情绪倾向在Twitter等社交媒体文本的研究一直是一个热门话题在自然语言处理1]。德语,联合国的官方语言之一,世界上第八大语言,广泛使用在17个国家在东欧和中亚地区,和总人数为本地或第二语言大约是2.58亿2]。作为人们的一个主要方法进行交流和表达自己的情绪,社交媒体产生大量的短的文本与主观的情绪在德国每一天,这是有益的总结,分析和理性对情感信息包含在商业决策,分析政治观点,预测社会趋势在有关国家3]。它是很有价值的,能够防止精确的政治营销,构建和谐稳定的国际关系,促进跨国和区际经贸,开展的“腰带和路”战略合作共赢。然而,大多数当前的研究在这一领域关注英语,具有强大的位置,和大多数的分析工具对英语的特点,设计并实现了但是没有很多的研究,特别关注跨域德国情绪分析(4]。一些研究试图获得德国的情绪分析英文翻译的帮助下提供英语工具(5]。然而,结果不满意,因为情感的丧失,甚至语义转换阶段和忽视的德国语言的特点分析阶段。有两个主要的困难在德国社会媒体文本的情感分析。(1)德国语言有其自身的语言特点,通常包括免费订单,多重含义,复杂的形态,nonprojective关系(6]。(2)社会媒体文本特点是白话,俚语,不规则的语言,和缺乏明显的上下文信息在传递信息时,评估对象,或表达意见,这使得它很难获得令人满意的结果通过使用常见的情感分析方法(7]。

解决上述困难和德国网络语言的特点,本文采用深度学习方法来完成以下工作。部分2比较、分析和比较德国情绪分析最近的研究结果。部分3分析、过滤器和流程,也能进行字面意思情绪从多个角度特征提取。部分4结合了各种深度学习技术,如CNN, RNN, self-attention。在第5部分中,我们探讨使用情绪分析方案的可行性英文翻译情绪分类的实验结果的基础上,德国的tweet(以下称为tweets)。结果之前和之后的各种句和字面意思特性比较,和样品分析证明了本文模型可以有效地改善德国tweet的情感分析结果。

情绪分析(SA)旨在确定主观态度非结构化文本,其中一个主要任务是分类有关作者的观点和倾向8]。目前,有一个缺乏对情感分析的研究对德国语言,通常利用英语和其他语言的分析方法9),有明显缺乏研究,包含德国本身的特点。现有的社会媒体文本情感分析主要使用lexicon-based,机器学习或深度学习方法,特别是深入学习方法已经在许多任务突出近年来(10,11]。

2.1。德国的Lexicon-Based情绪分析

lexicon-based核心模型的方法是提取规则和字典构造情绪情绪歧视,也就是说,拟定和总体判断规则设计基于单词,短语,语法结构和使用情绪判断情绪极性词典为主要依据。文献[12)实现一个规则基于集合的分类器的德国电信领域的文本特征,及其F1是高于SVM和最大熵分类器,但该方法更依赖于语言或领域专家的经验和个人能力,不仅维护和扩展规则集的成本高,而且很难;这种方法更多地依赖语言或领域专家的经验和个人能力,它不仅是昂贵的维护和扩展规则集,但是也很难发展规则集适用于多种语言和实现。文献[13德国通用)构造俄文生梯Lex情绪词典有四个情绪水平每个字,跨域问题,取得了良好的结果在sentirueval - 2016 Twitter声誉监测任务基于这本字典。同年,(14)自动扩展面向目标的文本分类任务的情绪词典sentirueval - 2015年统计结果的基础上,面向目标的语法特征和词汇人气值、和该方法的最大熵分类器高于手动构建词典的准确性,回忆,和F1。

虽然lexicon-based情绪分析方法可以反映文本的结构化特性,它们取决于质量的判断规则和情感词典,和他们的程度的价值主要取决于手工设计和先验知识,难以涵盖无休止的生词和复杂和多样化的形式的德语在互联网上。

2.2。德国的情绪分析基于机器学习

特性工程成败的关键处理情绪基于机器学习算法的分类任务,和实验中常用的特性包括语法功能、TF-IDF特征,句法功能,和词汇特征。文献[15)相比,各种机器学习模型对德国银行贷款审查文本,最后发现,所有模型都超过85%准确,和SVM比NB(朴素贝叶斯)。文献[16)创建自己的语料库(331跨域德国新闻文章),发现支持向量机算法优于NB。然而,(17)发现NB算法优于SVM算法的F1的情绪分类三个领域,即经济、社会、和体育,在对比实验中自主研发的语料库(331跨域德国新闻文章)。可以看出,特征选择的适用性是一个主要的因素影响机器学习分类的有效性,和功能执行在一个特定的域不一定在其他领域表现出色。

2.3。德国的深度上优于情绪分析

深度学习的兴起极大地影响了市场人气的当前状态的研究分析。文献[18不同深度学习模型)相比,在30000年德国新闻语料库,在一个两层堆叠LSTM网络成功地克服了梯度爆炸的缺点和梯度消失的普通RNNs顺序记忆能力强和获得最好的准确性为86.3%。文献[19)使用字符级嵌入式cnn文本提取地方特色,扩大训练语料库代替同义词德国餐馆和产品评论和精度提高了2.4%。尽管上述研究试图构建一个深模型与多个隐藏层,网络结构相对简单和均匀,不仅未能有效地结合当地和文本提取更深层次的情感信息的序列特征也被黑盒有限深度学习模型的性质,使其难以充分利用德国语言的特点和常识的情绪。

3所示。多级德国tweet的情感特征

在本文中,我们提供了一个系统的特征提取规则对德国社会文本“口语、不规则、multisense和多样化”,能够提取不同粒度和类型的情绪特征在德国从多个视角(微博20.]。这种方法包含了德国的多级表示情绪特征,重点句功能,包含本地情绪信息和字面意思表达总体情绪信息的功能。

3.1。句的情感特征
3.1.1。词汇和形态特征

德国社会评论倾向于使用形容词和动词来表达情感21]。为了模型关注更多情感上的真正的单词,每个单词的词汇特征自动获得的帮助下词汇注释工具的重量来区分情感信息不同的单词。在本文中,对于每一个单词,我们首先使用谷歌翻译,NLTK,和德国形态分析工具。在本文中,每个单词,词汇的性质”形容词,副词,动词,名词,感叹,Emoji,或其他“由谷歌翻译首先标记,NLTK Py-Mystem1, PyMorphy22然后聚合的以上四个结果和通过多数投票方法(22]。

为了研究各种复杂形态的影响形式在德国的表达情感,工具PyMystem和PyMorphy2用于标签每个单词分为28形态形式属于10类(例如,形态“紧张”分为两类:命令式编程和声明式),和一些重要的德国形态形式表中列出1。自从PyMystem不仅使用一个词汇和基于规则的算法还考虑上下文信息,它比后者更可靠。因此,获得的结果由PyMystem首选基线形态学特征的话,虽然结果由宾or-phy2用作补充形态学特征。

表1
德国PyMorphy2形态学和PyMystem标记。
3.1.2。情感得分的特点

与英语相比,更少的研究已经开展了关于德国人气字典,和现有的工作集中在主题相关的固定域(9)或仅适用于面向目标的情绪分类(23),限制在分析德国社会媒体文本。字典(24]条目包含16057个情绪一般域,但它仍然是困难的复杂的德国语言形态和互联网上的新单词,只有粗将单词分为4水平基于情绪强度,没有精确区分具体情绪条目之间的区别。与现有的德国情绪词典相比,广泛使用的英语情感词典Sentiwordnet [25)和多语言情绪词典Senticnet (17)都有大规模的覆盖率和精确的情绪强度。因此,在本文中,我们使用Sentiwordnet获得每个单词的情绪得分根据其词汇性质和英语口译,然后使用Senticnet获得每一个原始的情绪得分德语和英语口译,分别。这三种情绪得分是连续−1 + 1的数据,它有能力描述词的情感倾向和强度更细,所以它们是用作句情绪得分功能提供更清晰、更准确的情绪信息模型。

3.1.3。脏话俚语的特点

社会媒体用户使用不雅语言来表达强烈的情感,发泄,表达贬义的态度,或诅咒他们不喜欢的对象。在德国的推文,还有各种脏话和俚语,,连同许多无方向性的表情,增加人气的粒度因素影响句子,和传统的情绪词典无法满足需求。在本文中,我们参考文献[18,19)和构造一个脏话俚语词典包含三种类型的词或短语,包括单词,比较彼此动物或肮脏的和无用的对象(例如,你抱怨是合计),咒骂与性或性器官(例如,菲克你!),以及各种单词用于侮辱,诅咒,或者亵渎(例如,Du bist静脉Narr)。在本文中,我们使用一个词的存在与否在德国字典作为判断的标准每个单词分为两类,脏话和nondirty的话,用这个结果句脏俚语的特征。

3.1.4。字母的特点

为了表达强烈的情感,用户在社交网络上经常有意识地违反德国语言的规则(26]。例如,初始或最后的信,元音,或大声辅音字(一个O O; u)重复几次;因此,每个单词的大写字母和重复字母数量作为一个字母在单词层面本文情感特征。

3.2。字面意思的情感特征
3.2.1之上。英语翻译的情感特征

在所有语言中,英语在情绪分析研究的最大份额,和大量的专业和方便的分析工具被开发出来。尽管失去了一些情感的特性和一些噪音的引入在德国英语翻译阶段,翻译引擎能够获得一个相对标准化和建模语言相比,英语翻译无序和标准化的德国最初的社交媒体。如果英语情绪分析工具是明智的选择,其结果可以提供可靠的参考德国情绪分析(5]。在许多成熟的英语情感分析工具,维德(27)和TextBlob3不仅适用于广泛的领域,但也特别擅长分析短社交媒体文本和获得一些浮点值表达情绪极性没有训练。因此,在本文中,我们首先使用谷歌和百度翻译引擎获得英语翻译,然后使用维德和TextBlob获得情绪极性值英语翻译,最后将它们集成到深度模型作为字面意思英文翻译的情绪特征。

3.2.2。表情符号的特点

类似于其他语言,德国社会媒体用户经常使用标点符号的组合模拟面部表情或emotion-related从而表达正面或负面的情感,例如,“^ _ ^”一个笑脸,“3)”的心和爱。在本文中,我们参考文献[22,23),计算每种类型的数量的表情符号表2极性分类标准,并使用表情符号的数量的每种类型的极性在一个句子的表情符号特征德国文本反映了积极和消极的情感极性的力量在德国文本。

表2
表情符号的分类。
3.2.3。为德国的情绪分析Self-Attentive深度模型

为了有效地结合的能力CNN多维数据模型来捕捉当地的特性,RNN的优势模型提取序列的长期依赖,self-attentive机制关注的重要信息,从而提高德国的情绪分类,提出了一种混合CNN-BiLSTM深度学习模型ACBM基于self-attentive机制。如图1,该模型包括六子(28]。模型包括六子。首先,也能进行特征编码层将每个单词和相应的情绪特征转换为包含语义和情感信息的情感词向量基于这个词向量和各种句情绪特征。然后,当地特征提取层负责提取每个单词的上下文特征从邻信息。序列特征提取层,负责整个文本,提取序列的特性和注意层,它负责生成序列中的每个元素的情绪重量,协同工作。最后,情绪分类层结合前面生成的注意力序列特性和文句上的输出特性编码层产生情绪的测定结果整个模型的分类。


图1
CNN-BiLSTM混合模型。

首先,我们关注优势:与CNN和RNN相比,该模型更复杂和更少的参数。因此,计算能力更小的要求。

然后,我们有速度快:关注解决问题,RNN不能执行并行计算。每一步的注意机制不依赖于上一步的计算结果,所以它可以与CNN并行处理。

接下来,我们有很好的效果:注意力机制的引入,前一个问题,每个人都有陷入困境:长途信息将被削弱,就像记忆不好的人不记得过去。

3.2.4。也能进行特征编码层

为了将文本信息转换成数字向量可以由神经网络处理,本文使用fastText [25)基于pretrained词向量从维基百科和庞大的公共网站文本,获得每个单词和词向量的维数wi是300。因为大尺寸的词汇表,它包含1888423个德语单词,和语法的使用字符特征生成单词向量,fastText不仅有效地降低的概率OOV(词汇),也适用于形态丰富的德国。

虽然fastText词向量是语义丰富,它们包含有限的情绪信息,和一些单词与语境密切和相反的情绪往往有相似的词向量。为了解决这个问题,本文充分利用现有资源,如构词规则,情绪词典,俚语词典,和德国的形态分析工具将情绪信息添加到现有的词向量,然后从情感词向量。在实验中,所有的连续特性与类似的情绪得分第一集群K和其他方法,则这类的数量每句的功能是有限的。然后,j(1≤th句功能j≤米)的我th词向量映射到一个q-dimensional情绪可以self-learnt深度模型 。最后, 包含情感信息的合并与原词向量 获得情绪词向量包含丰富的情绪特征,也能进行计算 ,符号代表了合并操作的向量,向量的维数555 d = 300 +问×米。

3.2.5。局部特征提取层

德国词汇不仅形态丰富,而且具有一词多义的。А。Будагов大词典的研究表明,一词多义的词在德国的比例高达80%,而且很多单词不仅有广泛的含义,相反也包含情感信息(26]。例如,一个最基本的和活跃的动词在德国,甚至“идти”,包含20多个含义,而动词“следить”的意义“,”“保健”,“监控”,和“。следить“动词有不同的情感意义,如“观察”“保健”“观察”和“,”和它所包含的语义和情感信息不仅取决于本身也受到其他词上下文(27]。例如,当形容词“зелёная”是紧随其后的是“трава”,“молодёжь,”和“скука”,意思是“绿草”和“幼稚的青春,”和含义的单词“绿草,”“幼稚的青春,”和“尴尬的无聊”不仅是不同的,也不符合的极性情感表达。

为了提取更客观和准确的地方特色的话说,本文利用CNN提取人气的地方每个单词的上下文特征向量矩阵的输出特性也能进行编码层,其结构如图2。假设包含的文本n单词和情感词向量的维数D情感特征矩阵的初始形状X是n×d。为了使CNN的序列长度的输入和输出一致,本文改变矩阵的形状X(n通过填充垫×+ (2)d。卷积层包含T块大小为3×D。当J(1≤J≤T)th卷积内核 混淆 在矩阵X,当地的特征值 将获得的。计算过程如下:


图2
局部特征提取层。

在1, 的情绪特征向量行吗我行我+ 2的矩阵X⊙代表卷积产品,b是偏见,f陆是非线性激活函数(重新选为激活函数摘要加快收敛)。在2第六,由3-gram当地特征值提取的我词的卷积核W在回旋的层T分别。相比之下,情绪词向量 ,当地的情绪特征向量 不仅包含的特性我单词本身,而且这个词的相邻区域的上下文特征,它包含语义和情绪信息更全面和客观。

3.2.6。序列特征提取层

cnn是有限的固定大小的卷积核窗口,这使得它难以长途序列信息模型。为了提取时间距离和深度隐藏的情绪信息,本文提要当地特征向量 按顺序到序列特征提取层。虽然标准RNN善于处理顺序数据,它有两个缺点:(1)梯度消失或爆炸问题在长序列训练就会降低其感知能力重要节点信息在更远的距离;(2)单向状态信息传输阻止它捕获的影响后的文本在目标词。因此,本文采用一种双向LSTM [13)提取序列特征,一方面,通过控制传输状态LSTM门结构,从而限制无效信息的过滤和记忆力长途情绪特征,另一方面,通过捕获前后文序列特性在当前位置LSTMs同时通过两个独立的和相反的方向。另一方面,两个独立LSTMs具有相反的方向获取的上下文序列特征同时在当前位置,然后考虑过去和未来的信心和语义信息综合每个位置的方向:

在(3), 和 代表了向前和向后LSTM模型, 和 两个模型对应的细胞状态, 和 对应的隐含层输出两个模型,初始状态 和 两个方向的LSTMs为零。方程(4拼接的输出 和 ,这是最终的输出序列的特征提取层。

3.2.7。注意层

大脑总是分配更多的关注相对重要元素时阅读,从而提高获取关键信息的效率。注意层在本节中采用类似的注意机制,在融合之前的信息,并将其发送给情感分类层,注意序列特性,准确反映德国文本中的重要情感信息通过计算每个词的情感重量和突出的元素包含关键特性和削弱non-emotion信息或者不重要的元素,从而提高了模型的有效性。深度学习模型基于self-attention机制在许多研究[28直接使用隐层)h我LSTM生成注意体重的不同元素的值 ,这是计算如下所示: 在哪里 从语料库自动学习的模型评分系统,一个和W都是权重矩阵,b是偏见。然而,这种算法的缺点是,隐藏的向量 由Bi-LSTM需要代表每个词的情感和语义信息,还需要包含这个词在情感表达的重量。如图3本文关注层是补充了 ,这是致力于生成基于隐含层权重 当地的特征向量V输出,而不是 ,并生成的重量 对应于我th词:


图3
层结构的关注。
3.2.8。字面意思特征编码层和情绪分类层

类似的功能和原理也能进行特征编码层,能特征编码层负责提取语句的字面意思情感特征向量科幻。模块的第一选择l保留字面意思然后转换它的情感特征jth字面意思特性(≤1J≤l)到一个p维情感特征向量 这可以通过多项式深度模型中的self-learn扩张。最后,文句上的特征向量 包含丰富的情感信息通过合并获得。计算公式是 ,和向量的维数科幻= 。

情绪分类层负责整个模型的最终的分类结果。如图4,首先,为了防止模型过度拟合,情绪分类层辍学和L2正则化策略适用于关注ASF序列特性,这样可以减少在隐藏层节点之间的交互通过随机丢弃一些参数的模型和控制模型的复杂性,以减少整个深层神经网络的泛化误差。然后,ASF合并处理结果与字面意思情绪特征科幻和发送到情绪分类层在一起。为了使模型更稳定和加快收敛,我们一步一步执行降维操作通过两个完全连接层和添加两层之间的标准化操作避免忽视小的特性值在某些维度。最后,附加税回归用于获得三分类结果与情感极性的“积极的,消极的,媒介。”


图4
情感分类层。
3.3。实验和结果分析
3.3.1。实验数据和评价指标

本文中使用的数据集是由(5),其中包含3968德国微博分类标签,包括1145积极情绪和1188消极情绪,其余的都是标记为中性。为了提高分类精度,语料库是预处理和文字相同的根被阻止映射到一个统一的形式(例如,从单数和复数去除干扰,人,女性和男性,被提名的情况下,与多个时态动词,形式,等等)。预处理后,有13943字或符号的语料库,其中12485可以映射到pretrained词向量由fastText,和OOV比率从14.78%下降到10.46%。使模型能够快速找到全局最优解,Mini-Batch梯度下降法用于训练模型,和最终的性能模型检查使用5倍交叉验证方法F1 _macro作为主要评价标准和准确性是用作二级评价标准来平衡精度和召回的关系,两者都是缩写F1和Acc在以后的论文。

3.4。比较实验和分析的结果
3.4.1。根据英文翻译比较多种分类方案

因为少量的德国语料库和德国情绪分析工具的有限能力,文献[5结合翻译引擎和一个英语情绪分析工具得到分类结果。sentiment140.com)获得最高F1 61%的价值。结果两个翻译引擎和两个分析工具的组合设计,基于这样一个前提:浸达到100%,四个组合的性能范围从47.85%到53.64%,其中百度翻译和维德(20.)最好的结果,如图5。发现德国语料库[5),百度翻译是略优于谷歌翻译在英语使用相同的分析工具的情况下,这也证明了翻译质量会有一些对分析结果的影响。


图5
比较各种英文翻译的情感特性的影响。

本文提取的特征向量伯特pretraining模型直接送入情绪的完全连接层分类,发现F1伯特英语pretraining模型是多语种的高出7.25% pretraining模型。通过对比实验,发现ACBM模型的结果比上述计划,这表明情绪分类的基础上,英语翻译是基于直接分析效果低于德国最初由于语义信息丢失,造成情感和语言特征的翻译。这表明情绪分类基于英语翻译的效果不如直接原德国文本的分析,和建议作为一个临时的解决方案或一个辅助解决方案迁移学习,直到实现机器翻译技术的进一步突破。

3.4.2。比较各种文句上的特性

为了深入探索德国tweet的情绪信息,充分利用相关知识和语言特征,本文将各种字面意思情绪特性添加到LSTM和ACBM模型,分别比较三个相关指标之间的这些特性和情感分类标签,肯德尔,皮尔森和斯皮尔曼发现的绝对值指数与相应的功能增加后的绝对值。指数的绝对值是与实验结果呈正相关添加相应的功能后,如表所示3。

表3
比较的结果对各种文句上的特性。

能特性,语句中选择英语翻译伯特向量,英文翻译维达情感价值,积极的数量表达式和关闭括号的方向有最好的效果。能特性改善LSTM语句相比之下,更重要的是,这表明ACBM更有能力提取情感特征的原始文本,所以字面意思特性的影响是有限的辅助和补充。两个翻译的情感特征的最好的结果表明,尽管仅依靠英语翻译的效果并不理想。它可以作为一个有效的援助在德国情感分析。表情符号也相对较好(括号结束时也类似于表情符号),这表明更喜欢使用社交媒体语言独特的表情符号来表达一个人的情感倾向。感叹号和问号不太有效,因为他们主要是表达感情的存在与否,但不包含积极或消极的情绪信息。

3.4.3。比较各种句的功能

为了研究各种句特性的影响在德国的情绪分析,我们还添加了各种情绪也能进行特性LSTM和ACBM模型,分别如图6。在这些特性中,情感得分,脏话俚语,而且情绪得分+词法是最有效的,与F1 LSTM则增加了0.83%、1.31%和0.77%,分别F1 ACBM则增加了0.97%、1.56%和1.57%,之前和之后分别添加特性。相反的字面意思的特性,也能进行功能明显改善ACBM更重要的是,这表明ACBM更敏感词上下文的特性和本地信息后引入CNN模块和self-attentive机制。此外,F1 ACBM的值是1.46 - -2.51高于LSTM有或没有的特性,和有或没有功能。值得注意的是,单独添加句特性的效果相对较差,但当情感得分和句功能,F1是0.6%高于情绪评分功能。这是由于这一事实self-attentive ACBM机制可以有效地提取词汇的每个元素的重量特性,因此该模型可以更关注情感得分的特性的重要元素。


图6
比较的结果对各种句功能。

为了验证在情绪分析德国形态的角色信息,各种德国形态形式被添加到两个模型,如表所示3和4。实验结果表明,六种形态形式加强对原始模型的影响,其中形态形式“紧张”和“人”有一个相对重要的增强效果。这可能是由于这样的事实,在德国的表情,规则往往表达强烈的主观情绪比其他形式声明形式和第一人,而其他的形态形式表达情感在德国非亚洲人不是很有效。

表4
比较不同方法的分类结果。
3.4.4。比较多个模型的结果

为了验证该模型的情绪分析能力ACBM德国社会媒体文本,表格4比较它与德国情绪分析工具 ,传统的机器学习方法(SVM),常见的深度学习模型(CNN, LSTM, Bi-LSTM),和各种深度学习组合模型。第一组分析原文直接没有引入任何特性,和相应的实验结果 和 。2组,几句特性(情感得分+词性+肮脏的俚语)和字面意思特性(表情符号+英语翻译情感)被添加在同一时间。相应的实验结果 和accw-f。F1↑和ACC↑表示相应的改善F1和ACC组2每个模型的实验结果与第1组实验结果相比,除了陀思妥耶夫斯基。的计算公式如下:F1↑= − 和ACC↑= − 。显然,高F1↑和ACC↑意味着情感分类的效果更明显在各级添加情感特性相应的模型。每个模型的描述如下:陀思妥耶夫斯基是一个德国根据俄文情绪情感分析深度模型训练(29日),F1值的测试集是0.71;BiLSTM-2layers再现两层堆叠双向LSTM提出了文献[13];Bilstm-att和bilstm-att2添加self-attention机制基于公式(5)和(6),分别基于BiLSTM;BiLSTM-CNN是BiLSTM前CNN的深入学习组合模型;CNN-BiLSTM BiLSTM前CNN的深度学习组合模型。

对比实验的结果说明,所有模型的性能显著改善后引入所有级别的情绪特征,其中ACBM提高最多,F1和Acc提高了5.03和5.07,分别。由于没有培训数据5],陀思妥耶夫斯基和接近SVM的性能表现不佳而不添加功能,而所有深度模型优于SVM有或没有添加特性。各级的功能,CNN和BiLSTM结果之间的差异并不显著,但结果都显著优于LSTM演示了CNN的能力有效地提取文本和当地的特性的敏感性BiLSTM捕捉功能序列前后的历史。如果模型层的数量F1添加到BiLSTM将提高了0.51,0.13和1.46 (30.),分别,这证明增加网络层的数量或self-attention模块可以有效地提高BiLSTM的性能,和改善self-attention机制更有效。结果CNN-BiLSTM略强于BiLSTM-CNN,这表明更合理使用CNN提取局部特性然后BiLSTM提取全局序列特性对德国tweet。这表明通过优化的组合CNN和BiLSTM清晰self-attentive机制,我们可以捕捉到当地的特色,总结全球信息,改善情绪分析更详细。

3.4.5。注意分析

ACBM模型能够分配更高的人气体重重要元素基于self-attentive机制和各种多层次文本的情感特征,从而提高情绪信息的提取和分析,生成令牌权重的热图ACBM self-attentive层(31日)如图7例如,无论是积极的还是消极的表情像”:D”和“:”,或者真正的话明显的情绪倾向,如“glucklich”(愉快),“体育运动”(像),“祝劳动”(好),“Grob”(粗糙),“玻色”(邪恶),“Abfalle”(浪费),和“雾。真正的词汇具有明显的情感倾向,如“玻色”,“Abfalle”和“雾”,高情感的重量。在句子1 - 5,最高的体重3.1 - -5.7倍的平均价值剩余的重量。在句子6和7,两个最高权重平均的10.9和15.3倍的重量。分析示例8,我们还可以看到,当有多个表达式相反极性的句子,ACBM赋予更高的权重相对重要的表达”:(“基于文本的意义和每个令牌的位置。


图7
热图产生的令牌权重ACBM self-attentive层。

4所示。结论

本文构造了一个基于self-attention机制的深度学习模型的基础上,融合句的功能,如俚语,德国形态、情感得分,和词的性质,和字面意思特性,表情符号和翻译等情感值,达到好的结果在分析德国tweet的情感。研究表明,尽管直接分析英语翻译的影响并不令人满意,它可以作为一个重要的辅助工具,深度学习模型;多层次的融合特性有利于提高各种模型的影响,其中能特性更明显的简单模型和语句句复杂的模型特征更明显;与单一深度模型和常见的深度模式相结合,融合CNN和LSTM等等的优点和改进self-attentive机制可以用来改善深度学习模型的影响。摘要ACBM设计可以显著提高情绪分类的结果对德国社会媒体文本结合的优势CNN和LSTM模型与改进self-attentive机制。

本文还有以下缺点和改进的余地:由于有限的德国语料库,对比实验只在德国进行微博语料库[5),如何构建一个更大的和更丰富的类型的德国人气语料库的下一阶段研究的重点;将这封信之后,标点符号,和一些形态学特征,模型未能达到预期的结果,更合理地将这些功能集成到深度学习模型,并探讨这些特性在不同语料库的作用。探索这些功能的作用在不同的语料也值得进一步研究。

数据可用性

本文中使用的数据集可从相应的作者。

的利益冲突

作者宣称没有利益冲突的这方面的工作。