文摘

我们引入一个词汇资源预处理社交媒体数据。我们表明,神经网络特性表示,增强通过使用这个资源。我们进行了2015年和2016锅锅作者实验分析语料,并获得更好的结果在执行数据预处理使用词汇资源开发。资源包括俚语词典、收缩、缩写、和表情符号常用于社交媒体。每个字典是英语,西班牙语,荷兰语,和意大利语言。资源是免费的。

1。介绍

如今,从社交媒体的消息是被用于各种目的的研究领域自然语言处理(NLP)及其实际应用。任务,如情绪分析,剖析作者,作者识别、观点挖掘,剽窃检测、有关计算文本相似度和任务,其中,依靠社交媒体内容为开发健壮的系统,帮助在市场营销决策过程,政治,教育,取证,等等。

基于神经网络的方法(字嵌入的)通常不执行数据清理(无监督特征表示1,2),考虑到网络本身可以解决相关的问题。这些方法对特殊字符”、“等”。”、“!”、“吗?”、“#”,用户名提到(“@”)作为一个普通的词1,3]。仍然在一些作品,字嵌入在哪里使用,使用基本的数据清洗(停止词删除,URL过滤、去除罕见的条款,等等),显著提高了特征表示和,因此,分类任务的结果(4- - - - - -6]。

的问题之一社会媒体信息的内容是,通常含有大量和各种非标准语言表达(7,8]。主要问题是列举了写作风格和不规则的语言特性用于这种类型的平台:由于短消息的性质,大多数作者使用俚语的词汇量,缩写,表情符号9]。俚语不视为语言的标准词汇的一部分,他们大多是用于非正式的消息。缩写是一个词或名字缩短形式以取代使用完整的形式。符号表情通常传达消息的当前的感觉的作家。的俚语和缩写是特定语言,和,因此,系统执行过程对社会媒体信息需要特定的每种语言的字典。一般来说,表情符号更普遍。

这项工作的主要目的在于开发和评价的实用性词汇资源,其中包含字典的缩写、收缩,俚语,表情符号。这个资源可以改善功能表示通过一个著名的神经网络方法:Doc2vec [1]。我们认为我们的字典可以帮助实现更好的结果在任务基于社交媒体数据,因为它们允许规范标准语言以不同的方式使用的表达式由不同的作者。我们评估我们的假设作者分析(美联社)任务,旨在预测作者的年龄和性别的一个给定的文本(10]。在我们的研究中,我们使用Twitter消息。然而,鉴于写作风格像Twitter这样的社交网络,Facebook,和Instagram,等等,是相似的,这些字典是有用的预处理和清洁从这些社交网络获得的信息。

剩下的论文结构如下。部分2描述了相关工作。部分3解释的方法用于制备词典和字典的结构。部分4描述了神经网络功能表示。部分5介绍了案例研究的作者分析任务。最后,部分6这个工作的结论并指出了可能的未来的工作方向。

2。相关工作

空前的越来越多的社交媒体数据在互联网上和用户生成内容的快速扩张,文本预处理使用相应的词汇资源变得越来越后续精确的文本分析的关键。在本节中,我们提出几个作品展示文本预处理步骤的重要性和它的实用性在实现更好的结果在不同的NLP的任务,特别是对使用神经网络功能的任务表示。

社会媒体提供了NLP的挑战,详细讨论了(11]。此外,我们关注的是作品(通常是不相关的词嵌入的),考虑不同的预处理方法,以解决这些挑战。

克拉克和荒木12]讨论的主要问题与处理社交媒体消息用英语写的。作者改进了开源的性能检查在推特上的数据通过开发一个预处理系统自动正常化休闲社交媒体英语。作者报告,使用预处理系统时,平均每句错误从15%下降到不足5%。

预处理的作用得到了重视,尤其是在处理社交媒体数据。已经证明一个适当的文本预处理对情感分析的任务(在社交媒体数据)显著提高这个任务的结果(13- - - - - -16]。一些最常用的预处理步骤包括删除url,特殊字符,和重复一个单词的来信;扩大缩写;删除停止的话;处理否定;并进行阻止。此外,预处理已经证明是有用的,即使处理其他类型的文本数据,例如,源代码[17]。

根据作者的论文概述分析(美联社)任务锅2013182014),锅19潘,201510],许多参与者进行一些预处理,主要用于删除HTML标记的tweets,其次为处理标签,url,以不同的方式和用户名提到。

2015年锅,只有一个团队(20.),删除所有字符序列代表emojis在最初的tweet。与表情符号不同,emojis通常由Unicode字符,所以,在这工作,他们使用被未知字符标记所取代。在相同的工作中,作者使用了多输入依赖解析器(21)能够识别正面和负面表情符号的进一步使用特性的分类过程。

几个研究小组,参加美联社任务锅(版本2013、2014和2015年)利用表情符号的使用和俚语的风格和内容的特性,分别。这些团队使用正则表达式提取表情符号(22,23]。其他研究团队构建词汇资源正常化表情符号的词汇(OOV)单词与相应的归一化条件24];然而,作者并没有公布这些资源,使其他人很难复制他们的结果。其余的团队还用表情符号在他们的作品并没有提及任何信息关于这些表情符号是如何确定在语料库和来源从哪里得到(以防他们使用一个字典)25- - - - - -29日]。

对俚语的使用美联社的任务,他et al。:30.)添加俚语词和句子的平均长度的特性集,提高准确性80.3%年龄鉴定和89.2%性别检测。法瑞斯et al。28)和迪亚兹和绅士31日使用字典从网页中提取(http://www.chatslang.com/terms/common(最后访问:01.07.2016);本文档中所有其他url也验证日期)。然而,这些列表是非常短的与我们的表情符号和俚语词典相比,手工收集从几个web资源。

关于神经网络,提出了几种方法对向量空间分布表示的单词和短语。这些模型主要用于预测一个字给周围的环境。然而,大多数作者表明,单词和短语也可以捕获的分布式表示句法和语义相似性或亲缘1,32,33]。这种行为使得这些方法吸引解决几个NLP任务;然而,与此同时,增加新的问题,也就是说,处理非规范文本,通常出现在Twitter等社交媒体论坛,Facebook,和Instagram。研究者提出几个预处理步骤为了克服这个问题,导致整体性能提高。燕et al。4)增强系统性能大约2%使用标准的NLP预处理,在标记,由小写字母,和罕见的条款删除停用词。Rangarajan周二bloom [5)关注社会媒体信息的拼写问题,其中包括重复字母,省略元音,使用语音拼写,替换字母和数字(通常是音节),和使用速记和用户创建的缩写词。数据驱动的方法,Brigadir et al。3)应用URL过滤结合标准的NLP预处理技术。

可以看到,有许多作品,解决社会媒体文本预处理的问题;然而,我们所知,只有少数作品基于神经网络特征表示愿意考虑数据清洗的效果的质量表示(特别在社交媒体上的数据)。在这项工作中,我们提出我们的社交媒体词汇和演示它的用途对于作者的分析任务。这个任务旨在识别作者的形象,也就是说,年龄和性别,社会媒体信息。在我们的实验中,我们使用两个语料库由Twitter消息从锅里获得竞争2015年(10)和2016年(34]。

3所示。创建社交媒体词汇

我们决定开发后的四个语言的字典,英语,西班牙语,荷兰语,意大利语,因为我们需要用这些语言编写的预处理微博作者分析任务锅2015 (10]。适当的预处理的tweet是至关重要的对我们的系统(35)的性能,因为我们的方法依赖于语法的正确提取克(36]。我们回顾了推潘语料库中,发现过度使用缩写词汇表,它可以分为三个大类:俚语、缩写、和收缩。

需要缩短单词出现为了节省时间和消息长度,它成为一种非正式语言的重要组成部分。例如,在Twitter消息,人们可以发现缩短表达式如(亲吻和拥抱)“亲亲抱抱”,“BFF”(最好的朋友),“LOL”(大笑),“啊!失望的”(感叹)和“4”(永远)。此外,我们注意到同样的俚语(以及其他类型的缩短表达式)使用不同的由不同的作者。为了规范这些表情,缩短我们分组在俚语词典》。缩写词的词典是符合设定的缩短形式的单词或短语,既可以用在正式和非正式的语言。我们的缩略语词典》还包括缩写,缩写,包括最初的字母或单词或短语的部分。为了给几个例子中包含在我们的缩写词和首字母缩略词词典,我们可以把“圣。”(街),”大街。”(大道),”Mr。”(先生),“纽约”(纽约),“磅”(磅),和其他很多。第三类的缩写词汇包括收缩。收缩也缩短版本的一个词,音节,或短语由省略内部信件。 Different rules for different languages are established in order to create a contraction. Some examples of constructions for the English language are “let’s” (let us), “aren’t” (are not), “can’t” (cannot), “who’s” (who is), and so forth.

此外,我们遇到了大量的表情符号。表情符号是一个面部的排版显示表示。表情符号的使用旨在使短信更富有表现力。我们在表情符号字典包含两种类型的这些图形表示:西方或水平(主要来自美国和欧洲)和东部或垂直(主要来自东亚)。西方风格的表情从左到右,好像头逆时针旋转90度:“:-)”(笑脸),”:- /”(怀疑的脸),“:- o”(震惊的脸),等等。东部表情符号不旋转,眼睛经常表达发挥更大的作用:”()”(笑脸),“((+ _ +))”(怀疑的脸),和“(有限责任)”(震惊的脸)。

字典的编制分为三个步骤:(1)我们在互联网上搜索免费的网站,被用作提取来源列表的俚语,收缩和缩写。(2)从选定的来源,我们手动提取俚语的列表,收缩,缩写及其相应的意义在每个语言(英语、西班牙语、荷兰和意大利)。我们创建不同的文件为每个web来源相同的结构。(3)一旦我们有所有不同的文件的列表,我们开始加入的所有文件相同的性质。我们每个文件格式和清洁;我们也删除了重复的条目。最后,我们手动检查字典中的每个条目的含义。

为了评估创建社交媒体词汇,最初的想法是在使用亚马逊土耳其机器人(37)收集众包的判断。然而,不像其他NLP任务,如词义消歧和情绪分析,通过众包评级机构可以有效地注释,注释创建字典需要特定知识的网络非正式的语言。因此,作为一个合理的选择,提出了资源验证手动5语言背景,研究人员会说多种语言,有工作经验的社会媒体内容。

值得一提的是,所有的词典都从互联网提取来源与一个西班牙语俚语的例外。这部词典。这本字典是扩大俚语得到的列表(38]。在这部作品中,作者从21000条手动选择的俚语,先前下载使用标签的情绪(#祝你快乐(幸福),# felicidad(幸福),#喜悦(快乐),等等)的搜索查询和Tweepy (http://www.tweepy.org/对Python)库。然后,研究人员选择了不存在的单词在西班牙Freeling[提供的词典39)工具。这些词及其上下文被作者手动修改,以确定是否存在官方消息传递相应的意义为了包括这些俚语中的条目列表。作者为我们提供了200的列表俚语的含义,并添加到739俚语从网络资源中提取,使939西班牙语俚语。

web页面的链接,为了提取使用俚语的列表,收缩和缩写英语,西班牙语,荷兰语,和意大利语言,以及链接的页面用于获得英语语言表情符号的列表,在附录中。自英语表情符号的含义是一样的在西班牙,我们翻译他们为了创建两个字典的表情符号(每个语言)。

3.1。词典的描述

每个字典按字母顺序是有序的,每个文件包含两列隔开一个制表。第一列对应一个俚语词,缩写,或收缩条目,根据字典的本质。第二列包含相应的条目的含义。意义由一小部分行,命令从最常见最常见的。

每个字典是在表的统计信息1,我们可以看到大量的俚语实体可用英语和西班牙语的语言;然而,有更少的俚语实体为荷兰和意大利。有很多荷兰的缩写。实体在我们的社交媒体词汇总数是7259。字典是在我们的网站上免费提供(http://www.cic.ipn.mx/ ~ sidorov / lexicon.zip)。

有几种方式使用该资源。一种选择是替换的出现缩短表达相应的文本意义在字典里为了规范表达式的使用。发生在这种情况下,可以取而代之的是最常见的意义(第二列第一的意思)或意义可以选择手动从可用选项。另一种方法是更换缩短表达式的符号以跟踪其发生和删除相关信息的特定缩短表达式。还有一个选项删除非标准词汇实例在字典里发现了它的存在。

4所示。基于神经网络特征表示

在这项工作中,我们使用基于神经网络算法的特征表示;即功能是在一个自动的方式从语料库。有两种方法可以学习文档的特征表示:()从字嵌入生成文档向量(或词向量)或()学习文档向量。在这项工作中,我们使用Doc2vec方法学习文档向量后,先前的研究学习单词嵌入(Word2vec) [33]。图1(一)显示了Word2vec方法学习单词向量。Word2vec方法使用迭代算法来预测一个词由于其周围的环境。在这种方法中,每个单词映射到一个独特的向量表示为一个矩阵的列。正式,因为一系列的训练的话,培训目标是最大化对数概率的平均值:

学习文档向量,同样的方法(1)用作学习词向量(见图1)。文档向量被要求预测任务的下一个单词从文档中许多地方取样,以同样的方式作为词向量是问有助于预测任务下一个单词一个句子中去。在文档向量法(Doc2vec),每个文档映射到一个独特的矩阵列向量表示的文档。这个词或文档向量随机初始化,但是,最后,他们捕捉语义作为一个间接的结果预测任务。有两个模型的分布式表示文档:分布式内存(DM)和分布式Bag-of-Words (DBOW)。

Doc2vec方法实现了神经网络的无监督学习算法特性表示固定长度从文本(可变长度)1]。在这项工作中,我们使用的免费实现Doc2vec GENSIM方法包括(https://radimrehurek.com/gensim/Python模块。Doc2vec的实现方法需要以下三个参数:功能返回的数量(向量的长度),窗口的大小,捕捉附近,和最低频率的单词包含到模型中。这些参数的值取决于语料库。我们所知,作者没有工作已经完成分析任务使用Doc2vec方法。然而,在以往的工作意见分类任务(40),一个向量长度为300的特性,窗口大小等于10,最低5被报道的频率。为了缩小Doc2vec参数搜索,我们遵循这个先前的研究,开展网格搜索在接下来的固定范围:向量的长度,窗口的大小,最低频率。基于网格搜索,我们选择Doc2vec参数如表所示2。

建议培训几次Doc2vec模型与无标号数据而交换的输入顺序文件。每次迭代的算法称为一个时代,而且其目的是提高质量的输出向量。文件的输入顺序的选择通常是由一个随机数生成器。为了确保的再现性进行了实验,在这项工作中,我们使用一组九规则为了执行顺序文件输入的变化在每个时代(我们运行9时代)的培训过程。考虑到语料库中所有未标记文档的列表,我们生成一个新的列表文件的顺序不同如下:(1)使用倒装语序的元素集,也就是说,。(2)选择第一个文件一个奇怪的指数以升序排序,然后甚至索引文件,也就是说,。(3)选择第一个文档是指数以升序排序,然后用一个奇怪的文件索引,也就是说,。(4)为每个文档与一个奇怪的指数,交换的文档索引,也就是说,。(5)以循环方式两个元素转移到左边,也就是说,。(6)每个文档的索引、交流文档的索引,也就是说,。(7)每个文档的索引,如果是3的倍数,交换文档旁边(),也就是说,。(8)每个文档的索引,如果是4的倍数,交换文档旁边(),也就是说,。(9)每个文档的索引,如果是3的倍数,交换文档索引是谁的,也就是说,。

5。案例研究:作者分析任务

作者分析(美联社)任务在于确定一个作家的某些方面,如年龄、性别、个性特征,基于文本的分析样本。这个概要文件的作者可以用在许多领域,例如,在取证获得犯罪嫌疑人的描述通过分析社交媒体发布消息,也可以通过公司个性化的广告推广社交媒体或电子邮件接口(41]。

近年来,人们提出了不同的方法来解决美联社自动任务,其中大部分使用机器学习技术,数据挖掘、自然语言处理。从机器学习的角度来看,美联社任务可以被视为一种监督multilabel分类问题,在一组文本样本给出,每个样本分配给多个目标标签吗,每个位置代表了作者的一个方面(性别、年龄、个性特征等)。任务在于建立一个分类器分配多个标签标记文本。

5.1。实验设置

因为这项工作旨在评估的影响我们的社会媒体资源时使用它在预处理阶段,我们进行了实验与未经预处理文本样本,即取代缩短与他们完整的表示。执行预处理,我们利用字典前面描述的部分3.1在以下方式:(1)给定一个目标缩短词或表达,我们寻找它在相应的字典。(2)如果缩短词存在于字典,我们把它换成最常见的意义(第二列第一的意思)。如果不存在这个词在字典里,我们让它不变。

我们使用机器学习的方法,分为两个阶段:训练和测试。在训练阶段,每个文本的向量表示样本自动获得一个神经网络框架,也就是说,,在那里文本的向量表示样本吗。获取文本的向量表示样本,神经网络的分布式表征模型训练使用Doc2vec方法(1]。美联储Doc2vec算法标记和未标记样本为了学习的分布式表示每个文本样本。我们使用单词克与从1到3 Doc2vec方法作为输入表示。该算法考虑了词的上下文克,它能够捕捉输入文本的语义。

然后,分类器训练使用分布式标记样本的向量表示。我们进行了实验使用scikit-learn [42]实现的支持向量机(SVM)和逻辑回归(LR)分类器,因为这些分类器使用默认参数之前已经表现出良好的性能在高维稀疏数据。我们产生不同的分类模型作者概要文件的每一个方面,也就是说,一个年龄模型,另一个用于性别形象。

在测试阶段,标记文本的向量表示了使用分布式模型建立在训练阶段;然后要求分类器分配一个标签为每个方面的作者简介每个标记样本。

我们还执行另一个评估拟议的词典使用基线两种最先进的方法对美联社任务:字符3克和单词unigrams (Bag-of-Words模型)特性表征。

5.2。数据集

为了评估建议的方法,我们利用两个语料库为2015年和2016年作者分析设计任务在锅里(http://pan.webis.de/),这是作为谱号的一部分举行会议。锅2015语料库由微博在四个不同的语言,英语,西班牙语,荷兰语,和意大利,而锅2016年英语语料库由推特,西班牙和荷兰。全集都分成两部分:培训和测试。每个部分由一组年龄和性别标记对应的微博。此外,潘2015语料库包括几个人格特质(外向、稳定、愉快的,认真的,打开)。全集的完整描述在表3和4。

全集都完美的平衡性别组。然而,我们可以看到比较表3和4锅里的实例数量2016语料库远远高于2015年在锅里。此外,潘2016语料库更不平衡的年龄组,和这些群体的数量高于锅2015语料库,使锅2016年美联社更具挑战性的任务。

锅2015年和2016年美联社语料实例的数量和不同年龄组的数量和分布,可以得出更一般的结论我们的方法的结果进行对比,没有预处理。

由于政策的组织者锅美联社的任务,只有2015年和2016年美联社训练数据集已经被释放。因此,为了评估我们的建议,我们进行了实验训练语料库在10倍交叉验证在两个方面:(1)从整个数据集,提取的向量(2)提取的向量从每个折交叉验证只使用训练数据。在这两种情况下,我们预测标记文档的标签在每个褶皱和计算的准确性预测标签对金本位的所有文档。值得一提的是,在锅里竞争,提交系统评估的测试数据,只能在评价平台上(http://www.tira.io/)的竞争。初步版本的开发使用字典在我们提交锅2015 (35和潘201643]。

5.3。评价结果与向量提取整个数据集

表5- - - - - -11存在年龄和性别类精度获得2015年锅,锅2016全集使用两种不同的分类器(LR和SVM)和预处理。这里“LR-NP”是逻辑回归没有预处理;逻辑回归,“LR-WP预处理;“SVM-NP SVM没有预处理;“SVM-WP SVM与预处理;“D2V Doc2vec。最好的结果为每个分类器(有/没有预处理)以粗体显示。最好的结果为每个特性集展露无遗。注意,当2015年锅进行实验语料库的年龄阶级,我们只考虑到西班牙语和英语的数据集,因为荷兰和意大利这类是目前不可用。出于同样的原因,锅2016语料库,我们提供的结果年龄和性别类英语和西班牙语的语言,同时,荷兰语言,结果只是性别类提供。

在大多数情况下,Doc2vec方法优于基准方法。然而,对于荷兰和意大利2015年盘数据集,这个角色3克方法提供了更高的精度。这可以解释为这些全集有一个小的实例数量,而Doc2vec方法需要大量的实例构建一个适当的特征表示。

我们也观察到,所有的数据集,除了2016年荷兰,当使用Doc2vec方法获得的最高精确度高阶克作为输入表示(1 + 2克或1 + 2 + 3克)。这种行为是由于这些输入表示允许Doc2vec方法考虑语法和语法的模式作者用同样的人口特征。

此外,结果表明,在大多数情况下,系统性能增强是当执行预处理使用了字典,无论分类器或特性集。此外,最高的结果为每个数据集的年龄和性别类(除了西班牙性别类2015年锅语料库)获得在执行数据预处理。

5.4。评价结果向量提取每一个褶皱的交叉验证只使用训练数据

为了避免可能产生的过度拟合获得整个数据集的向量,我们进行了更多的试验提取的向量从每个折交叉验证只使用训练数据的潘潘2015和2016全集。这更好地匹配需求的现实场景中,当测试数据不可用在训练阶段。

表12- - - - - -17现在的一些结果向量的提取从每个折交叉验证的是只有这个折叠的培训文档,而不是与整个数据集。我们遵循的符号表中提供前面的小节。

表中给出的实验结果12- - - - - -17确认时获得更高的分类精度的结论使用发达词典和高阶进行预处理克Doc2vec的输入表示方法,允许将句法和语法信息,在大多数情况下,优于unigrams输入这个词表示。

此外,它可以观察到,结果当提取的向量从每个折交叉验证只使用训练数据相媲美的整个数据集上训练时,确保没有过度拟合的检测分类器。这也表明,我们的方法可以被成功地应用在更现实的条件下,当没有测试数据信息在培训阶段。

5.5。统计学意义的结果

为了确保我们的方法的贡献,我们进行了两两之间的显著性检验结果不同的实验。我们认为Doc2vec方法与未经预处理,以及基线方法(性格克和Bag-of-Words)。我们使用了Wilcoxon signed-ranks (Wsr)测试(44为计算的差异结果的统计学意义。Wsr测试是优于其他统计检验(如学生的以及)来比较两个分类器的输出45]。Wsr排名是一种非参数检验,两个分类器的性能的差异在不同的数据集和比较积极和消极的排名差异。Wsr测试的一个重要需求是分类器相比,评估使用完全相同的随机样本,和至少五个实验为每个方法进行。在这项工作中,我们进行了分层10倍交叉验证在每个实验中,它允许我们应用此测试。

重要性水平编码如表所示18。一般认为,当,然后我们考虑系统显著不同。表19礼物Wsr测试的结果计算出的英语,西班牙语,荷兰语言。这里的“D2V-NP”对应的结果集使用Doc2vec方法没有预处理;“D2V-WP预处理。角色3克和Bag-of-Words方法的结果表示为“Char。3-grams-NP”和“Bag-of-Words-NP”,分别。

的显著性检验可以得出这样的结论:Doc2vec方法预处理获得非常显著(见表18)结果与性格克和Bag-of-Words方法没有考虑语言的预处理。关于Doc2vec有无预处理方法,结果是有时明显,有时不是。例如,在英语的情况下,获得的“D2V-WP”明显改善了“D2V-NP”;然而,西班牙和荷兰,结果“D2V-WP”并不明显好于“D2V-NP。”

6。结论和未来的工作

预处理的社交媒体用户生成的内容通常是一项具有挑战性的任务由于列举了和非正式风格的这些消息。此外,它是一个重要的一步一个正确和准确的随后的文本分析。

我们开发了一个资源,即一个社会媒体词典文本预处理,其中包含俚语词典,收缩,缩写,表情符号常用于社交媒体。资源是由字典的英语,西班牙语,荷兰语,和意大利语言。我们描述了数据收集的方法,列出了网络资源用于创建每个字典,并解释了标准化过程。我们还提供了关于词典的结构及其长度的信息。

我们进行了2015年和2016锅锅作者实验分析数据集。作者分析任务旨在识别作者基于他们的年龄和性别语言的使用。我们提出使用神经网络自动学习功能表示方法和基于机器学习算法的分类过程,特别是,SVM和逻辑回归。我们执行了一个旨在评估锅2015年和2016年锅训练语料在两个方面:()从整个数据集,提取的向量()提取的向量从每个折交叉验证只使用训练数据。没有预处理的实验语料使用社交媒体词汇。

我们表明,我们的社会媒体的使用词汇提高了神经网络的质量特性表示当用于作者分析任务。我们获得更好的结果,在大多数情况下,对于年龄和性别类研究语言在使用该资源,无论分类器。我们进行了统计显著性检验,这表明,在大多数情况下,通过使用获得的结果改进发达字典都具有统计学意义。我们认为,这些改进是实现由于标准化的缩写词汇表,用于丰富社会媒体信息。

我们注意到有一些常用的术语在社交媒体不存在在我们的网络资源,专门为英国,荷兰,意大利语言。因此,在未来的工作中,我们打算扩大俚语词典与手动收集条目为每个语言,因为它是为西班牙俚语词典。

附录

在本附录中,我们提供web页面的链接,用于构建我们的资源。

每个英语词典的来源链接如下。

缩写http://public.oed.com/how-to-use-the-oed/abbreviations/http://www.englishleap.com/other-resources/abbreviationshttp://www.macmillandictionary.com/us/thesaurus-category/american/written-abbreviations

宫缩https://en.wikipedia.org/wiki/Wikipedia List_of_English_contractionshttp://grammar.about.com/od/words/a/Notes-On-Contractions.htm

俚语http://www.noslang.com/http://transl8it.com/largest-best-top-text-message-list/http://www.webopedia.com/quick_ref/textmessageabbreviations.asp

西班牙语的来源链接每个字典下面。

缩写http://www.wikilengua.org/index.php/Lista_de_abreviaturas_Ahttp://www.reglasdeortografia.com/abreviaturas.htmhttp://buscon.rae.es/dpd/apendices/apendice2.html

宫缩http://www.gramaticas.net/2011/09/ejemplos-de-contraccion.html

俚语http://spanish.about.com/od/writtenspanish/a/sms.htmhttps://www.duolingo.com/comment/8212904http://www.hispafenelon.net/ESPACIOTRABAJO/VOCABULARIO/SMS.html

每个荷兰语言的字典的来源链接如下。

缩写https://nl.wikipedia.org/wiki/Lijst_van_afkortingen_in_het_Nederlands

宫缩https://en.wiktionary.org/wiki/Category Dutch_contractionshttps://www.duolingo.com/comment/5599651

俚语http://www.welingelichtekringen.nl/tech/398386/je-tiener-op-het-web-en-de-afkortingen.htmlhttp://www.phrasebase.com/archive2/dutch/dutch-internet-slang.htmlhttps://nl.wikipedia.org/wiki/Chattaal

每个意大利语言的字典的来源链接如下。

缩写http://homes.chass.utoronto.ca/ ~ ngargano /柯西/ corrisp / abbreviazioni.htmlhttp://www.paginainizio.com/service/abbreviazioni.htm

宫缩http://www.liquisearch.com/contraction_grammar/italianhttps://en.wikipedia.org/wiki/Contraction_/%28grammar/%29意大利

俚语https://it.wikipedia.org/wiki/Gergo_di_Internet Il_gergo_comune_di_internethttp://unluogocomune.altervista.org/elenco-abbreviazioni-in-uso-nelle-chat/http://www.wired.com/2013/11/web-semantics-gergo-di-internet/

字典的来源链接下面的表情符号。https://en.wikipedia.org/wiki/List_of_emoticonshttp://pc.net/emoticons/http://www.netlingo.com/smileys.php

相互竞争的利益

作者报告没有利益冲突。

确认

这项工作完成CONACYT 240844项目的支持下,CONACYT根据主题网络计划(语言技术专题网络项目260178和271622),SNI, COFAA-IPN, SIP-IPN 20161947, 20161958, 20151589, 20162204, 20162064。