文摘

语义分类的中国话语是一个重要的和具有挑战性的任务。话语文本是高维、稀疏。此外,当数据集的类的数量很大,数据分布的严重不平衡。在解决这些问题,我们提出一种新颖的端到端模型称为CRAFL,基于卷积层与注意力机制,复发性神经网络和改进的局部损失函数。首先,残余网络(ResNet)从字嵌入提取短语语义表示向量的维数,减少输入矩阵。然后,注意机制区别关注ResNet的输出,和长时间的短期记忆层学习的特征序列。最后但最重要的是,我们运用一种改进的局部损失函数来减轻数据类不平衡的问题。我们的模型与其他先进的模型比较长的话语数据集,和CRAFL模型已被证明是更有效的任务。

1。介绍

长话语的语义分类是指从文本信息提取方法的特性。从本质上讲,它是一种特殊的话语分类任务。多种重要的信息,如时间和地点的事件,人,和类型的事件,包括在描述文本。其中,时间、地点和事件的人可以通过实体识别中提取。然而,事件的类型不能通过实体识别;相反,他们可以从语义理解。在这个任务中,话语的内在语义特征提取采用深度学习的方法是必要的1]。

近年来,卷积神经网络(cnn)和递归神经网络(RNNs)已经广泛应用于文本分类任务(2- - - - - -6]。cnn能够从空间数据捕获地方特色。与cnn, RNNs有效处理序列信息。长期短期记忆(LSTM) [7),作为一个RNN的发展架构,可以解决梯度消失和爆炸长文本序列学习的问题。研究人员已经提出了LSTM和其他方法的组合(8- - - - - -11)提高LSTM在文本分类的性能。

长话语的语义分类是一项非常具有挑战性的任务。首先,文本的话语是高维向量。这个高维输入参数的数量增加,并呈现在RNN很难优化模型。这个问题可以解决的降维CNN。第二,很长一段话语文本稀疏的问题。话语文本通常由500到2000字,其中只有几个非常有用的分类任务。神经网络学习时不能专注于重要的信息文本功能,但注意力机制可以有效地帮助解决这个问题(12]。最后,很长一段话语文本涉及大量的类。一般而言,一个文本分类任务的类的数量不超过20。然而,如果一个话语文本有超过200类,类不平衡问题将会很严重。焦损失使高度准确的密集的培训对象探测器图像数据不平衡时的类(13]。我们可以将这种强大的损失函数转换为文本分类任务解决类不平衡问题。

事件抽取的话语,我们提出一个深度序列模型基于剩余网络(ResNet)注意机制,双向LSTM (BiLSTM),和改进的局部损失函数。我们的模型的主要贡献是首先ResNet申请长话语的语义分析和改善焦损失函数添加高斯权重解决类不平衡问题。我们评估CRAFL和比较我们的结果的有效性和广泛的基线。实验表明,CRAFL执行比基线长话语的语义分类的任务。

2.1。深度学习的话语模式分类

深度学习在文本分类性能优越的任务。在各种RNN结构,LSTM是其中一个最强大的网络文本序列处理。黄等。14)提出了一个LSTM-based方法模型长文本和利用文档级情绪的句子之间的语义关系分类。这个模型优于几种变异的LSTM三公开文档级审查数据集。燕et al。15]介绍了两种的组合LSTM网络文档表示和multilabel排名。标签的文档被表示为一个语义树,可以捕获标签之间的相关性。

ResNet [16]表现优于其他模型ImageNet大规模视觉识别的挑战在2015年。ResNet可以训练深度网络比传统的CNN,更快,它可以减少梯度爆炸和消失。研究人员试图在自然语言处理应用ResNet捕获文本的内部语义信息。Zhang et al。17]提出一种引起ResNet模型识别医学概念关系中国电子医疗记录。在这个模型中,ResNet可以减少语料库噪声参数学习的负面影响。胡锦涛et al。(18)提出了一个情绪分类器相结合ResNet和注意力机制。该模型实现了先进的性能在三个中国公众情绪分类数据集。

然而,cnn和RNNs都有一些问题在处理长文本。cnn缺乏学习能力的序列相关性,而RNNs可能遇到急剧增加的参数在处理高维向量。在解决这些问题,研究人员结合RNNs cnn或其他结构。Yoon和金8]介绍了多道词典集成CNN-BiLSTM情绪分析模型。模型可以捕捉长期依赖和短的文本的高级特性。陈等人。6)提出了一个情绪分析仪利用BiLSTM条件随机域,和CNN。固执己见的句子分为三种类型,每一组的句子分别送入CNN层进行情感分类。

LSTM和注意力的结合机制已被成功地用于解决问题的序列。你等。9)提出了一个基于BiLSTM极端multilabel文本分类模型和multilabel注意力机制。这种方法优于RNN和CNN在五基准数据集。Zhang et al。10)提出了协调CNN-LSTM-attention (CCLA)模型学习文档的语义和情感信息。模型不仅捕捉当地语义信息在句子也获得生产的共同意义的句子。刘和郭11与卷积)推出了一个名为“引起架构BiLSTM层(AC-BiLSTM)类似于张的方法。然而,与张的工作相比,刘翔的模型有较低的时间和空间复杂性,也获得了良好的结果。

总的来说,许多研究基于LSTM和其他结构的组合,他们在文本语义分类取得了出色的表演。这些研究作为CRAFL的基础。

2.2。解决不平衡数据

不平衡数据分布在文本分类的一个挑战,和许多研究人员努力解决这个问题。解决方案包括过采样(19,20.),加权类(21,22),等等。李等人。19]介绍了过采样技术通过直接创建合成文本。这种方法解决了数据不平衡问题情绪分类的任务。刘等人。21)提出了引力模型来缓解class-imbalanced各种类的问题通过学习不同的加权因素,导致一个泰森多边形法分区。Pouramini et al。23]介绍了两种不平衡的概率特征选择模型文本数据。

焦损失提出了解决类不平衡问题在目标检测任务通过重塑标准交叉熵损失(13]。焦损失优越不仅在计算机视觉领域,而且在文本挖掘领域。太阳et al。24)提出了一个信息提取模型来分析生物医学文献和应用一种改进的局部损失函数来减轻类不平衡。焦损失函数在处理类不平衡方法是有效文本。

3所示。模型

CRAFL框架由四部分组成:字嵌入层,CNN层,BiLSTM层和输出层。CRAFL的体系结构模型如图1。


图1
CRAFL方法的框架。

首先,文本输入的时候,这个词将层转移这个文本嵌入到话语向量通过使用一个字典索引。第二,CNN层与注意力机制被用来提取文本的功能,和BiLSTM层学习的特性。最后,模型输出分类结果通过输出层采用softmax和改进的损失函数。每一层进行了成功的细节部分。

3.1。字嵌入

字嵌入的核心理念是词汇映射到真正的向量。字嵌入之前,文本需要预处理获得数据结构表达。预处理包括去除低频词,这个词去除停用词,和中国的分割。之一,特别是,我们的方法利用Jieba中文分词使用最广泛的工具,将文本单词为一个数组。序列中的 , 输入文本的长度。我们使用Word2vec [25),一个工具包谷歌在2013年推出,获得这个词向量矩阵 , ,在哪里 是词向量的大小。

词语在不同的上下文中有不同的含义,因此我们微调词向量为每个话语在训练来提高性能的特征提取。我们应用相同的数据集,本研究中使用的字典索引Word2vec模型。

3.2。ResNet与关注

CNN是一种最常用的联结主义模型特征提取。在卷积层,联结主义多个过滤器窗口大小相同的走向最后的输出层。我们使用两个ResNet块学习这个词向量的地方特色。ResNet块如图2。三个卷积层存在于一个街区,每一层都是紧随其后的是BatchNormalization和ReLU激活。


图2
的架构ResNet块。

他等的工作后16),我们定义了一个构建块如下: 在哪里 和 是一个ResNet块的输入和输出向量,最后的输出ResNet层是吗 后ReLU的激活。

我们添加了注意力机制ResNet层捕获高层语义的关键组件。所有的州 ,我们定义 在哪里 编码状态计算加权和的吗 在时间步 和 的重量是 。 和 是用于转换 一个标量。如图1,模型繁殖输出的注意机制和ResNet并发送输出到下一层。

3.3。BiLSTM模块

LSTM提出了克服RNN的梯度消失问题[7]。BiLSTM涉及复制第一次复发性层网络中,并排两层存在,即。,the as-is input sequence as the input to the first layer, and providing a reversed copy of the input sequence to the second layer [25]。使用双向网络的好处可以证明了样本的句子,“外面在下雨。我想一整天XXX。”的基础上“下雨”,我们可以预测“XXX”可能会“休息,”“睡眠”或“吃火锅。“然而,后续“整个天”表明,“吃火锅”是不合适的。此外,单向LSTM学习知识只从一个方向,但BiLSTM可以学习从整个上下文的信息。

BiLSTM框架如图3。输入矩阵 而输出矩阵 。 和 有相同的大小。


图3
BiLSTM的框架。

序列 forward-layer内存单元的输出,而序列 backward-layer内存单元的输出。BiLSTM的详细操作可以定义如下: 在哪里 , ,和 网络的权重矩阵和吗 和 是非线性激活函数。在每个时间步 ,输出 计算的基础上forward-layer状态吗 和backward-layer状态 。

3.4。改善焦损失和输出层

输出层是将softmax分类(26]。输出尺寸文本类的数目,以及每种类型的条件概率值是通过方程(6),将softmax是一个非线性激活概率实现正常化。 在哪里 softmax(值)表示的概率特性反映了类 , 代表输出, 和 ,在哪里 类的数量。

焦损失函数应用于解决类不平衡而不是交叉熵(14]。为了增加的重量小,我们改进了焦损失通过添加高斯重量。某个类的样本数量越少,高斯权重越大,越关注的模型。改进后的损失函数表示如下: 在哪里 是一个权重因子和 每个类的计数。焦损失增加了调节因素 与参数的交叉熵损失 。当 ,焦损失相当于交叉熵, 增加, 应该减少。在0到1的范围,小 是,较小的负样本(大量的类)的重量。我们改进 用高斯部分增加的重量少许多类。在林等人的工作13),当 和 ,模型效果最好。我们跟随林的工作和应用相同的参数设置。的参数 和 控制每一个的重量损失,确保类 。

4所示。实验

4.1。数据集

在这项研究中使用的数据集包括刑事案件描述话语从中国在线判断。这个数据集(27培训包含154592个文档,验证,和34720年的17131份文件文件进行测试。有202个类型的事件,和前5类型的最大和最小的数据如表所示1。

表1
最大和最小的类型的事件。

表1显示事件类型的分布严重不平衡。最大数量的类是数百倍最小类训练集的数量。

有三个我们申请的其他数据集模型评估。SogouCA数据集包含1920000个中国新闻文档从搜狗公司收集的新闻网站,还有18类的新闻。我们使用80%的数据进行训练和测试为20%。中国科学文献(CSL)数据集包含了31489名中国科学文献可以分为34类。我们随机选择80% / 20%数据作为训练集和测试集。AG)的语料库的新闻文章http://groups.di.unipi.it/∼gulli / AG_corpus_of_news_articles.html包含英语新闻文章收集了来自2000多个新闻来源。有120000篇文章7600培训和测试数据集。

4.2。度规

为了评估我们的方法的性能,我们计算macro-average精度,召回,几何平均数(G-mean)值(28]。F1的分数是分类器最常用的指标之一。然而,与F1的分数相比,G-mean值可以占类不平衡。因为当一个类是完全错过了分类器,G-mean该类趋于零的价值。因此,G-mean可以标明分类器的效果在类不平衡的问题。为一个类 ,让 实例的数量,确定正确(错误)的积极和 是实例的数量进行分类正确(错误地)负面的。我们可以计算出macro-average精度 ,回忆 ,和G-mean 在方程(9)- (11)。 在哪里 是类的总数。

4.3。基线

我们基准测试以下基线文本语义分类的方法,取得了良好的结果在文本分类:(我)有线电视新闻网:multilabel文本分类模型与多个滤波器卷积层大小,max-pooling层,林提出的改进的损失函数等。5]。(2)SR-LSTM:监督情绪分类模型学习句子和黄等提出的文档表示。14]。(3)BiLSTM +注意:极端multilabel基于BiLSTM文本分类模型和注意力机制提出你et al。9]。(iv)AC-BiLSTM:一个模型结合的优势CNN, RNN,关注文本语义提取和分类机制提出的刘和郭11]。(v)ResNet + BiLSTM + +过采样注意:相同的基本架构与我们CRAFL模型,使用过采样解决类不平衡而不是焦损失基于李的工作等。19]。

4.4。Hyperparameter设置

为了优化模型中,我们应用网格搜索结合手动选择hyperparameter参数调整值。我们设置了hyperparameters如表所示2。对定量因素,我们报道的实验结果不同的hyperparameter值5.3节,认为承认范围是基于之前文献的发现。

表2
Hyperparameter设置我们的模型。

如表所示2,我们初始化词与300 -维Word2vec-trained嵌入层嵌入层。内核大小和过滤器的CNN层3 - 512。

我们训练我们的模型通过使用亚当与梯度剪裁。亚当设计一个独立的自适应学习速率的估计不同的参数通过计算一阶和二阶梯度的时刻(29日]。辍学层选择数据随机防止过度拟合,使模型更健壮(30.]。词向量的维数和辍学的价值会影响时间效率。因此,合理的输入维数和辍学对于建模是必要的。我们监管网络输出层前的辍学率为0.5,和批量大小设置为32。学习速率初始化设置为0.001。

我们使用相同的参数设置基线模型的文献。对于其他文献中描述的参数不,设置我们的模型是一样的。

5。结果与讨论

5.1。整体性能

表3显示长话语数据集上的成果。为了避免归零,G-mean类的值是0时,我们将它设置为0.001。在表3,CRAFL优于23.8%的基线和可以提供相对的改进与CNN和相对提高20.3%和18.1%相比SR-LSTM和BiLSTM +关注G-mean的价值。CRAFL也优于AC-BiLSTM即使他们有类似的结构。此外,类不平衡问题的改善焦损失函数,可以解决的,其效果优于过采样的方法。

表3
实验的结果与基线相比。

比较的方法基于CNN和LSTM表明BiLSTM网络可以实现更好的结果。因此,对于长话语的语义分类数据,LSTM非常适合序列数据处理,和双向信息的话语应该学到的东西。如表所示3,CRAFL执行比单一的CNN或LSTM神经网络。这一发现表明,CNN层可以提取初步功能RNN层才能获得良好的效果。

模型与注意力机制的影响也相对较好。这些发现与许多研究的结论一致,注意机制可以专注于重要的信息和提高学习的结果9- - - - - -12,17,18]。

召回的模型是不稳定的,因为不平衡输入数据。召回的模型通常是不满意没有措施来处理数据不平衡。结果在表3表明,过采样和改进损失函数对不平衡数据有很好的效果。改进的焦点比过采样损失函数可以获得更好的结果。

我们也测试了我们的方法在其他数据集和其结果与基线相比而言G-mean价值。

按照表4我们的模型显示,其优势在这三个数据集。搜狗CA,所有方法有更好的性能,因为这个数据集的数据不平衡问题并不严重。对于英语培训数据,我们的模型也优于其他方法由于其优秀的英语语义的理解。

表4
实验的结果与基线相比。
5.2。进一步识别

为了分析我们的模型的性能,我们也报告混淆矩阵的最小最大5和5类表5。

表5
混淆矩阵最大的和最小的事件测试。

从表5很明显,模型的类标签185是错过了。最小的5类,其他4类的模型的性能是可以接受的。为五大类,模型显示了其优良的性能。最重要的是,该模型表现良好在大多数大型和小型类;然而,它也忽略了一些小类。

为了进一步研究模型结构的每个部分的作用,我们进行实验一些CRAFL在表的结构6和图4。图中所示的模型4如下:CRAFL-ResNet (CRAFL一样的建筑,而是通过CNN ResNet), CRAFL-BiLSTM (CRAFL一样的结构,但通过移除BiLSTM层),CRAFL-Att (CRAFL一样的结构,但通过消除注意力机制),CRAFL-ImFL (CRAFL一样的结构,但利用交叉熵损失),和CRAFL。

表6
实验的结果与基线相比。

图4
不同的模型体系结构的影响。

从表6和图4,可以看出ResNet可以实现更好的结果比CNN话语数据集。因此,ResNet比其他一些更适合以前CNN-based网络之前BiLSTM层文本语义分类的任务。BiLSTM层的作用是话语的语义特征提取。删除这一层时,特征提取的影响将显著降低。此外,注意机制的改进模型的整体性能表明,注意力机制发挥作用的词向量的加权计算功能。

改进的局部损失函数的性能也优于交叉熵的损失函数和标准焦损失。它表明焦损失可以有效地解决类不平衡的问题,和我们介绍了改进可以提高性能。

超大号的网络会导致过度拟合数据集不够大。本研究使用四个CNN层,只有一层BiLSTM提取功能之后再把他们到输出层。此外,一个特定的结构需要特定的任务。例如,如表所示2比BiLSTM +关注AC-BiLSTM更为复杂,但其效果并不明显。此法适用于情绪分类的任务相对较少的类。

5.3。其他观察结果

我们改进的局部损失函数添加一个高斯重量。 和 在方程(8控制类的权重。训练集最大的类共有10051个样本。因此,我们改变了 从1000年到5000年,和实验的结果见表7。

表7
通过不同G-mean价值 ( )。

从表7可以看出,当的价值 范围从1000年到5000年,对结果的影响并不明显,因为类与大样本大小,的变化 对他们的重量几乎没有影响。

我们分析这个词嵌入维数的范围[500],和结果被发表在表8。

表8
通过不同的嵌入维G-mean价值。

如表所示8,随着词嵌入维数的增加,一个伟大的进步。然而,对于300多个维度,添加其他维度没有显著改善。因此,也依照之前的大部分文学作品(31日),300年被选为最佳嵌入维数。

作为一个最重要的hyperparameters定义学习过程,批量大小进行了分析通过考虑以下值:{8,32,128,512}。结果被发表在表9。

表9
G-mean价值通过不同批量大小。

从表的结果9批量大小越小,越好模型表示。此外,批量大小的影响不显著4 - 32。然而,小批量大小导致较长的训练时间。因此, 选择(32]。

分析了辍学,和我们不同的辍学范围(0,1),对应以下代表级别: 。结果被发表在表10。

表10
G-mean价值通过不同的辍学生。

从表10,辍学的值接近1时,性能明显下降。当 ,辍学的影响不能完全证明。此外,当数据量相对较大,辍学可以发挥巨大的作用33]。因此, 被选中。

模型的性能是最好的卷积内核时略有调整。在培训过程中,精度是最高的卷积内核时获得的 ,这是接近当前的单词和预测单词的窗口大小。

6。结论

在这项工作中,我们提出了文本语义分类CRAFL模型的中国话语。第一次稀疏长论述分类和类不平衡问题的解决了ResNet BiLSTM-based模型与注意力机制和改进的局部损失。实验表明,CRAFL长的话语数据集可以实现先进的性能。因此,它表明ResNet和BiLSTM适合长话语语义提取、和改善焦损失函数可以解决数据不平衡的问题。然而,当数据集非常不平衡,我们的模型忽略了一些类和少量的数据。因此,尤其是小的数据集类,数据不平衡的问题很难彻底解决。

未来的研究将集中在话语关系识别,探讨如何利用隐性文本语义的话语。我们计划去探索其他序列学习模型语义特征提取的话语和进一步评估我们的方法在其他应用领域。

数据可用性

XML数据用于支持本研究的结果中包括这篇文章。之前报道的XML数据是可用的https://github.com/china-ai-law-challenge/CAIL2018。这些先前的研究(和数据)是在相关地方引用文本中引用(27]。

的利益冲突

作者宣称没有利益冲突。