改善中国情绪分析卷积神经网络在雾中计算

文摘

雾计算云计算的概念扩展到网络的边缘来缓解性能瓶颈和最小化数据分析延迟的中央服务器云。它使用边缘节点直接执行数据输入和数据分析。在公众舆论分析系统,边缘节点,从用户那里收集意见负责工作包括情绪分析一些数据过滤。至关重要。因此,找到合适的算法,是轻量级的操作和准确的预测性能。在本文中,我们关注中国在雾计算环境情绪分析工作和提出一个non-task-specific称为通道的方法基于变换的卷积神经网络(CTBCNN)为中国情绪分类,它使用一个名为频道转换的新结构基础(施)卷积层来增强自动特征提取和应用能力全球平均池层,防止过度拟合。通过实验和分析,我们表明,我们的方法实现竞争力的准确性和方便将这种方法应用于不同情况下的操作。

1。介绍

雾的概念计算(1,2]扩展从云计算将大量数据分析边缘节点。这些边缘节点是人口在地理上部署和接近原始数据输入。雾计算的主要目的是减轻网络流量负载和减少数据在云计算延迟。从互联网上数据的爆炸性增长,雾计算中越来越重要的是物联网(物联网)3),入侵检测,和许多其他领域。在舆论概念框架分析系统中,边缘节点负责工作包括情绪分析一些数据过滤。因此,这些边缘节点上的操作应该是轻量级的,准确的预测性能。

情感分析是一个重要的任务在许多实际应用和研究有很多。大多数研究情绪分析主要分为两类:基于情感词典的无监督方法和监督机器学习方法。第一个策略使用情绪词汇识别极性的文本。文献[4)实现微博人气值计算和分类文本的可扩展的情感词典。文献[5)结合基本情绪词汇和社会价值证据词典改善传统极性词典,从而实现中文文本情感分析的显著改善。有不同的方式表达相同的观点。因此,任何词汇不可能涵盖所有情绪的词或短语。此外,同一个词在不同的领域有不同的情感影响,这意味着词汇通常是特定于任务,同时监督机器学习方法使用传统的文本分类方法,如朴素贝叶斯(NB)和支持向量机(SVM)。彭日成应用几个机器学习技术的情感分类问题6),用电影评论数据和结果表明,支持向量机优于其他方法。特征提取方法基于TF-IDF、互信息和卡方7)是常用的机器学习方法。然而,分类性能有着巨大的差别与不同的特征选择方法8]。与此同时,工程也是特定于任务的功能。据我们所知,大多数情绪分析方法在云服务器实现。找到合适的关键算法,在雾计算环境中工作。最近,越来越多的研究人员应用深层神经网络情绪分析(9- - - - - -11]。和释放TensorFlow Lite可以便携设备上运行深度学习模型。

在这项工作中,我们关注中国情绪分析,旨在提出一种轻量级,non-task-specific方法可移植性高雾计算环境工程没有手动功能。我们提出一个方法称为频道基于变换的卷积神经网络(CTBCNN),这是一个提高卷积神经网络(CNN)模型。首先,我们输入句子和通过skip-gram获得词向量模型(12,13)和保持静态。然后我们使用一个名为频道的新结构基础(施)卷积转换层,提高了自动特征提取的能力的考虑的渠道信息的输出之前卷积层。我们的方法取代了完全由全球平均池层连接层,防止过度拟合。全球平均池被证明有效的计算机视觉任务[林敏14]。灵感来自林M的工作,研究了输出通过全球平均池层而不是完全连接层。

这项工作的主要贡献是提出了如下。首先,我们提出一个有效的方法,适用于雾的计算环境。方法可以应用于不同情况下处理不同的数据方便没有多少人操作。其次,我们提出的信道卷积转换层,能够涵盖更多的信息和提取更有代表性的特征。第三,我们的工作证明了正则化的影响全球平均在自然语言处理任务池层。

这项工作是有组织的如下。部分2介绍了CTBCNN的整体模型。部分3显示所有的堆垛结构回旋的层。部分4介绍了全球平均池的实现层。部分5给出了实验结果。我们结束这项工作6。

2。基于变换的卷积神经网络频道

我们第一次呈现的整体模型结构CTBCNN模型,呈现在图1。与经典的CNN (15),CTBCNN有两个主要区别。首先,CTBCNN有三个施卷积层。频道转换矩阵变换的技巧可以让我们实现卷积不仅高×宽平面上,而且飞机上高度××深度平面和深度宽度。这种卷积提高特征提取的能力覆盖在通道深度维度的更多信息。第二个区别是,我们取代完全连接层与全球平均池层因为完全连接层是一种致密连接容易过度拟合。

CTBCNN需要句子向量作为输入,并从每个输入句子提取特征图的三个施回旋的层,然后利用全球平均分担这些特性映射到输出情绪分类的结果。

在接下来的两个部分,我们将三个基于卷积的通道转换层的结构和全球平均池层的细节。

3所示。基于卷积的通道转换层

在本节中,我们首先给出的定义一个矩阵或向量的形状。在第二部分,我们介绍了传统的卷积层和卷积过程。第三部分介绍了施莱卷积的一层一层的基础上传统的卷积。最后我们堆栈施卷积层,给三个施卷积层结构。

3.1。形状的定义

使它更容易理解,我们定义的形状使用三维矩阵或向量:高度、宽度和深度。输入和输出的结果可以用卷积层的形状在一个直观的方式,例如,我们有一个图像的大小是h×w和RGB 3频道;然后形状的图像可以表示为(h, w, 3)。

3.2。传统的卷积层

输入是一个句子向量可以表示为

在哪里k维词向量的词包括n的词和句子意味着连接操作。因此,输入句子向量是类似于一个“形象”的形状(n, k, 1)。

通常在卷积过程中,一个过滤器就像一个窗口语言是用于生成一个新的特性 。

在哪里是偏见,是一个激活函数。在这个工作我们使用ReLU作为激活函数。从[16我们知道ReLU功能梯度下降法的收敛速度更快。作为卷积的结果,一个特征映射生成的地方

图2给传统的卷积的一个例子。一个特征提取从一个过滤器。假设过滤器是d的数量;然后输出卷积的形状 。直觉上,我们可以看到输出压缩为1的宽度,这意味着信息丢失。

3.3。基于卷积的通道转换层

减少信息损失和充分利用深度信息的维度,即信道信息,我们提出一个方法称为转换频道。频道转换是一个重塑的操作的一个向量。例如,输出卷积的形状 ,可以改变吗通过开关的宽度和深度尺寸。频道转换提供了两个好处。一个是以前的输出卷积可以保持“图像”形状,这样我们可以堆叠多个卷积层。另一个好处是,我们可以充分利用深度信息维度和提取特征图谱与更多的情感语义。

3.4。三个施卷积层

在CTBCNN模型中,我们有三个施卷积层。图3显示了三个基于卷积的通道转换层的结构。

在第一个卷积层(conv1),输入向量的形状 。类似于金正日的工作中,我们使用三种不同大小的过滤器。

每个大小是过滤器和提取特征图。对过滤器 ,卷积的形式输出 。频道转换的技巧用于开关宽度和深度尺寸,这样我们有新的形状未来卷积作为输入层。

在第二个回旋的层(conv2),我们使用三种不同的过滤器尺寸:

每个大小是过滤器和提取特征图。对过滤器 ,卷积的形式输出 。频道转换的技巧用于开关高度和深度尺寸得到新的形状 。最后,我们连接的输出三种不同大小的过滤器输出成为深度尺寸和形状 ,这可以被视为一个图像的大小n₂×n₁3通道。

在第三卷积层(conv3),我们使用过滤器实现广泛的卷积,过滤器和提取特征图。注意数量的特征图谱需要一样的整个模型的输出标签。这些特征图谱包含情感输入句子的语义,这将被发送到全球平均池层捕捉最重要的特征。

4所示。全球平均池层

在经典的CNN,特征图谱由卷积层通常送到马克斯池层将采样,然后连接长矢量,这是完全连接到输出的类别。致密连接很难解释如何分类水平层反馈信息从目标成本卷积层。此外,完全连接层容易过度拟合和严重依赖辍学正规化。

原因上面所提到的,我们的方法取代了完全连接层与全球平均池层。全球平均池层执行特征图和类别之间的直接通信。这样的特征图可以直观地理解为类地图的信心。此外,没有在全球平均池层参数优化;从而避免过度拟合。

从对比图4我们可以看到,全球平均池层需要每个特性的平均价值地图可以被视为信心值为每个类别,以及由此产生的向量是美联储直接将Softmax情绪类别之间的概率分布函数。

在哪里代表了模型参数集。 平均池特性映射对应类别的结果吗 。Y是类别空间。我们使用随机梯度下降法来减少负对数似公式的函数(6)和学习参数集。

5。实验

5.1。概述

我们有两个部分的实验。第一个执行中国使用CTBCNN情绪分类任务,与其他典型的机器学习方法和经典textCNN [15]。第二个实验关注全球平均的正则化影响池层CTBCNN模型。最后我们分析我们的模型的可移植性,以及它如何在不同的情况下可以方便地使用。

所有实验评估两个数据集:酒店评论(星期四http://nlp.csai.tsinghua.edu.cn/ ~ lj /)用于(17)和ChnSentiCorp-Book (http://www.nlpir.org/?action - viewnews itemid - 77)中使用18]。表1重复删除后显示了这两个数据集的细节工作。这两个数据集大致同样分为积极的和消极的。由于没有为这些数据集标准集,我们进行了10倍交叉验证和使用的平均精度指标来衡量每个方法的整体性能。

初始化向量是400维训练的230000篇文章从中文维基百科(https://dumps.wikimedia.org/zhwiki/latest/使用skip-gram架构)。对于hyperparameters模型,我们使用100 conv2过滤器conv1和100年的过滤器。在conv3,过滤器的大小是3×3与2过滤器按照类别的数量。

5.2。情绪的分类

CTBCNN的性能评估模型,我们尝试了几种典型方法。所有方法都尝试在两个数据集相同的静态词向量。我们的方法的结果与其他方法如表所示2。

表的第一行2给lexicon-based基线方法的结果(18,19]。实验结果表明,大多数机器学习方法超过基线方法在两个数据集。值得注意的是,书评含有更多的不常用的单词和词组,导致分类精度较低。SVM比其他典型的机器学习方法,它表明,支持向量机能够处理高维特性。经典TextCNN达到更好的性能比大多数机器学习方法,因为强大的卷积层的特征提取能力,而CTBCNN超过所有其他方法,这表明施卷积层可以提取代表功能比普通卷积层。

5.3。全球平均的正则化影响池层

评估全球平均的正则化影响池层,我们建立了一个比较实验取代了全球平均池(GAP)层的CTBCNN完全连接(FC)层,而其他部分保持不变。我们评估这个模型与FC层之前,没有辍学。两个数据集上的所有模型进行测试,结果如表所示3。

我们可以看到在桌子上3模型对数据集,完全连接层没有辍学给最糟糕的表现,预计的完全连接层容易过度拟合(20.不应用任何调整。第二个模型适用于辍学之前完全连接层,达到更好的性能比第一个,而我们的模型与全球平均池层实现了分类精度最高,这证明了全球平均池是一种有效的方式,以避免过度拟合。

5.4。的可移植性CTBCNN

从上面的讨论我们知道CTBCNN避免人体工程学通过施回旋的层,这意味着CTBCNN non-feature-specific non-task-specific。这是帮助不同的节点处理不同类型的数据在一个分布式计算网络。此外,CTBCNN可以方便地申请了多类分类任务。所有我们需要做的是确保输出的数量特征图的最后卷积层=类别的数量。

6。结论

雾计算使用边缘节点进行大量的数据分析工作。在公众舆论分析系统,它是至关重要的寻找合适的算法,是轻量级的操作和准确的预测。这项工作关注中国情绪分析雾的计算环境,提出一个基于non-task-specific称为通道转换的方法卷积神经网络(CTBCNN)。CTBCNN主要由两部分组成:三个施卷积层和全球平均池层。施莱卷积层能够覆盖更多的信道信息和提取更有代表性的特征图谱。全球平均池是一个规范,防止过度拟合。通过实验和分析,我们表明,我们的模型实现竞争力的准确性和方便将这种方法应用于不同情况下的操作。

数据可用性

“ChnSentiCorp-Book”数据(也称为“chnsenticorp - bk - ba - 4000”)用于支持本研究的发现是由Tan Songbo许可制,所以不能免费提供。请求访问这些数据应该Tan Songbo, tansongbo@software.ict.ac.cn。“邱酒店评论”数据用于支持本研究的发现可以从http://nlp.csai.tsinghua.edu.cn/访问~ lj /。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了中国国家重点研发项目的关键技术研究和应用信息安全认证,在批准号2016 yff0204001中国信息安全认证中心。

引用

1. Segura d . c . r . de Souza稳定,s m . Bruschi p s Souza,“通过移动设备提供计算服务协作的方式——一个雾计算案例研究,”20 ACM国际会议的程序模型,无线和移动系统的分析和仿真ACM,页117 - 121年,迈阿密,佛罗里达州,美国,2017年11月。视图:出版商的网站|谷歌学术搜索
2. 美国公园和y柳”,基于网络状态信息的网络智能连接车辆利用雾计算,”移动信息系统卷,2017篇文章ID 7479267、9页,2017。视图:出版商的网站|谷歌学术搜索
3. d·罗卡r·米利托,m . Nemirovsky和m·瓦莱罗能源”解决物联网大规模超系统:雾计算支持分级的应急行为,”雾在物联网计算页33-48 Springer,可汗,瑞士,2018。视图:谷歌学术搜索
4. 王张,z, y, t·廖“中国微博情感分析文本的基础上扩展情绪词典,“未来一代计算机系统卷,81年,第403 - 395页,2018年。视图:出版商的网站|谷歌学术搜索
5. w .兴、l .海涛和z Shaojian,“情绪分析基于情感词典和认知程度的中文文本理论,“上海交通大学学报(自然科学),20卷,不。1、1 - 6,2015页。视图:谷歌学术搜索
6. 庞,l·李和美国Vaithyanathan大拇指?:情绪分类使用机器学习技术”《ACL-02会议经验方法在自然语言Processing-Volume 10,页79 - 86,计算语言学协会斯特劳斯堡,宾夕法尼亚州,美国,2002年7月。视图:出版商的网站|谷歌学术搜索
7. l . Shouhan x鲁伊,z . Chengqing和h . Churen”框架的文本分类特征选择方法,”学报》第47届会议的联合会议上的ACL和第四届国际联合会议上的自然语言处理AFNLP:卷多重2,页692 - 700,计算语言学协会,2009。视图:谷歌学术搜索
8. w: y裴、y Jiani和l .物”情绪分类的文本特征选择中国的在线评论,“《实验与理论的人工智能,25卷,不。4、425 - 439年,2013页。视图:谷歌学术搜索
9. a . Severyn和a . Moschitti”与深卷积神经网络微博情感分析,”学报》第38届国际市立图书馆会议在信息检索的研究与开发2015年8月,ACM,。视图:谷歌学术搜索
10. l . Himabindu r . Socher和c·曼宁,”方面使用层次深度学习特定的情绪分析,“少量的研讨会学习深度学习和代表性,2014年。视图:谷歌学术搜索
11. c·n·多斯桑托斯和m•加蒂,“深卷积神经网络短的文本的情感分析,”25日计算语言学国际会议的程序(科尔的14),2014年。视图:谷歌学术搜索
12. g . t . Mikolov k . Chen拉和j·迪恩,“有效的估计在向量空间表示,”这个词https://arxiv.org/abs/1301.3781,2013年。视图:谷歌学术搜索
13. g . t . Mikolov Sutskever, k . Chen拉和j .院长”的分布式表示单词和短语及其组合,”学报》第27届年会在神经信息处理系统(少量的13)2013年12月,页3111 - 3119。视图:谷歌学术搜索
14. l . Min c羌族,y水城,“网络的网络,”https://arxiv.org/abs/1312.4400,2013年。视图:谷歌学术搜索
15. y . Kim“卷积神经网络对句子分类,”https://arxiv.org/abs/1408.5882,2014年。视图:谷歌学术搜索
16. a . Krizhevsky i Sutskever, g·e·辛顿“Imagenet分类与深卷积神经网络,”先进的神经信息处理系统,第1105 - 1097页,2012年。视图:谷歌学术搜索
17. l .小君和s Maosong”试验研究情绪分类的中国审查使用机器学习技术,”学报》国际会议自然语言处理和知识工程、IEEE NLP-KE 2007,第400 - 393页,北京,中国,2007年9月。视图:谷歌学术搜索
18. y, x, c .阴,l .商“平行情绪极性分类方法和子串功能降低,”趋势和应用知识发现和数据挖掘李,j . et al .,艾德,7867卷在计算机科学的课堂讲稿施普林格,页121 - 132年,柏林,德国,2013年。视图:出版商的网站|谷歌学术搜索
19. 张平,z, l .道“成分极性分类方法对产品评论,”学报2014年第七届IEEE联合国际信息技术和人工智能大会,ITAIC 201458 - 62页。重庆,中国,2014年12月。视图:谷歌学术搜索
20. n .斯利瓦斯塔瓦辛顿,a . Krizhevsky Sutskever,和r . Salakhutdinov”辍学:一个简单的方法来防止神经网络过度拟合,“机器学习研究杂志》上,15卷,不。1,第1958 - 1929页,2014。视图:谷歌学术搜索|MathSciNet

版权

版权©2018 Haoping陈等。这是一个开放的分布式下文章知识共享归属许可,它允许无限制的使用、分配和复制在任何媒介,提供最初的工作是正确引用。