文摘
药品不良反应(adr)的一个重要组成部分的分析,药物使用,测量药物使用的好处,并使政策决定。传统渠道识别adr是可靠的但非常缓慢,只产生少量的数据。文本评论,在专业网站或通用的社交网络,可能会导致一个数据源前所未有的规模,但在自由格式的文本识别药物不良反应是一个具有挑战性的自然语言处理问题。在这项工作中,我们提出一种新颖的模型这一问题,结合复发性神经结构和条件随机域。我们评估模型综合实验研究,表明改进了最先进的ADR提取的方法。
1。介绍
最近的研究对文本挖掘应用程序越来越多地使用非标准的信息来源来获取新数据与健康状况相关,治疗的效率,药物反应,不同药物之间的相互作用。通过社交媒体用户提供自身信息的文章和言论自由文本论坛。这些丰富的信息已成功使用,例如,监测药品不良反应,使它可以检测罕见和低估了反应通过用户抱怨他们的健康1]。
在这项工作中,我们专注于药品不良反应(adr)的识别。adr药物上市后监测的重要组成部分。传统上,药物不良反应报道已确定使用(i) FDA不良事件报告系统(aer)投诉个别病人和他们的医生和(2)科学文献和临床试验报告2,3]。如今,药物反应可以从用户评论在网上提供,和处理这些信息在一个自动化的方式代表了一个新颖的和令人兴奋的方式个性化医疗和大规模药物测试。我们的目标是提取短语对adr中用户的帖子。例如,一个句子“1日丸用食物,几个小时后我经历了气短、抑郁,痉挛,胃不舒服”包含四个药物不良反应,也就是说,呼吸急促,抑郁症,抽筋,胃不舒服。在形式上,这个具有挑战性的任务分为两个子任务:药物不良反应和药物不良反应正常化的识别。在本文中,我们专注于第一子任务。
双向递归神经网络(RNN)和条件随机域(CRF)被认为是最强大的序列建模模型(4- - - - - -13),每个人有自己的优点和缺点。直接RNN应用程序,尤其是LSTM或格勒乌细胞,可以得到更好的长序列的输入模型,但是RNN输出(softmax层)将每一个独立的标签进行分类。CRF可以解决这个问题,但不如RNN表达在建模序列本身;因此,它是自然的,试图团结。
在这项工作中,我们应用一个RNN和CRF使用以下策略。我们喂养句表示成一个双向RNN编码为每个词上下文向量。除此之外RNN,我们使用一个连续的CRF共同解码的话对整个句子的标签。类似的策略已经成功地提出了在过去的两个序列标签任务:词性(POS)标记和命名实体识别(尼珥)[14- - - - - -16]。我们评估模型对ADR在标注语料库CADEC提取。CADEC语料库由取自1250年医学论坛帖子AskaPatient.com(17),手工标注提到的每个帖子一直adr。我们的结果表明,RNN的联合模型和CRF改善的性能最先进的CRF和RNN模型单独训练。因此,我们可以总结这项工作的贡献如下:(i)我们已经引入了一个联合模型,该模型结合了CRF和RNN模型ADR的标签序列提取;(2)我们进行了实证评价该模型的基准数据集;(3)实验结果表明,该模型可提高对最先进的性能。
本文的组织结构如下:在部分2,我们调查相关工作;部分3介绍了结合RNN + CRF模型和部分4详细地考虑我们的实验评价。节中我们得出结论5。
2。相关工作
我们的工作代表了一个新的看看最近流行的研究生物医学文本挖掘和药物警戒从社交媒体。
2.1。生物医学文本挖掘
最近的研究在各个领域的生物医学研究应用文本挖掘,包括命名实体识别等问题(10,11],关系提取[18,19),文本分类(9,20.),假设一代(21,22,知识来源和语言资源的创建。全面审查重要领域的生物医学文本挖掘可以发现在23,24]。黄和陆23]报道的一系列评价自然语言处理(NLP)系统为各种生物医学的任务,包括NLP知识方法和机器学习方法。
一般来说,生物命名实体包括基因/蛋白质、化工、药物和疾病。至于关系,大多数的研究都聚焦于实体的功能(例如,基因功能)、关系的事件,和交互(例如,药物之间或蛋白质-蛋白质之间的关系)。很多研究采用简单的分类器来从文本中提取信息。例如,非政府组织等。25)采用分类方法基于分布式表示的一组特性来预测药物病在癌症治疗的关系。Rastegar-Mojarad et al。26)使用机器学习的方法来识别疾病名称从用户评论约前180名最常搜索的药物中央社报道论坛。为了确定候选药物再利用,作者删除已知药物的适应症,并手动审查的评论不使用食品药品监督管理局报告。这项工作的主要限制是缺乏一个带注释的语料库来评估拟议的系统。Zhang et al。20.)提出了一种加权平均的四个分类器,分别基于一个手工制作的词典,n克,词表示向量(也称为字嵌入的)。Avillach et al。3)开发了一种方法来找到先前建立药品和不良事件之间的关系利用MEDLINE语料库等医学主题词和副主题词“化学诱导”和“不利影响。“公认的限制这些资源包括志愿者报告事件的需要和缺乏足够大结果集得出统计结论。这些缺陷导致了药物警戒从社交媒体的崛起。
2.2。药物警戒从社交媒体
社会媒体被越来越多地用于医学和药理研究自2010年代初;“药物警戒”这个术语是对自动监控社交媒体的潜在药物不良影响和交互。
NLP技术已经应用于文本的五个主要领域:(i)生物医学文献,临床试验记录和电子医疗/健康记录(例如,医疗信件和信件)3,5,10,27- - - - - -30.];(2)从Twitter短消息9,31日,32];(3)从健康和电子商务网站用户评论4,26,33,34];(iv)网络搜索日志(22];和(v)论坛和留言板讨论药物,健康状况,治疗方式等等35- - - - - -37]。大部分的这些作品关注创建语言方法基于关键词的提取主要的不利影响,文本分类器来检测是否含有药物不良反应或与药物反应相关,和序列标记算法来提取提到的adr。评估技术应用于药物反应检测已在38,39]。
意见挖掘中,观点的一个主要任务是识别目标(也称为方面)或表达意见。这个任务已经被许多研究者研究使用frequency-based方法和非监督和监督方法。在[40),作者描述语言资源事件提取:语言学词典等数据库和词汇表。目前,大部分的最先进的方法是基于CRF的手工特性和双向RNNs [7,8,10]。Irsoy和羊毛衫,7)应用深RNNs提取直接或主观的表情;在他们的实验中,3 - layer RNN超过CRF, semi-CRF, 1-layer(即。、浅RNN)。刘等人。8]RNNs申请方面提取数据集对笔记本电脑和餐厅,并根据pretrained RNNs字嵌入的表现功能丰富CRF-based模型。
近年来,有越来越感兴趣区域检测adr的社交媒体。它开始于2010年的开创性研究利曼et al。41),分析用户的帖子关于六药物与卫生相关的社交网络DailyStrength。FDA警告被用作一个黄金标准评估发现之间的联系药物和药物不良反应。杨et al。42]做了一个实验十5 adr药物和检查它们之间的关联文本使用关联挖掘技术从在线医疗社区。Rastegar-Mojarad et al。26)开发了一个基于规则的系统中提取药物的效果。费尔德曼et al。37从健康相关的网上论坛]发现药物不良反应文献。他们使用基于字典的药物检测、提取和症状与词典和基于模式的方法。点态互信息(PMI)是计算评估drug-ADR关系的可能性。作者分析了几个案例研究表明,一些药物不良反应的药物是报道之前FDA沟通。这项工作的一个限制是注释的数量数据;不到500个样本包含的测试集。参见[39)全面审查的ADR与NLP-based从社交媒体数据提取方法。
监督机器学习技术已经成功地应用于检测药物不良反应。扁et al。31日)使用一个支持向量机分类器来识别描述adr的tweet。Yom-Tov和Gabrilovich22]分析了网络搜索查询日志中提取相关信息和不良反应的药物。ADR提取已在很多研究被认为一个序列标签问题使用条件随机域(CRF)。crf与一组丰富的上下文,lexicon-based,语法和语义功能被用于(6,9,33]。在[6),语义特征是基于集群使用的词k——pretrained字嵌入集群。一组实验表明,语境和语义功能是最有效的分类adr在tweet。我们还注意社交媒体挖掘共享任务车间(组织的太平洋生物运算2016)研讨会上致力于挖掘药理从Twitter和医疗信息,与竞争基于公布的数据集(32]。
监督模型倾向于工作在训练完全带安全标签的数据。虽然有大量的未标记数据从社交媒体,标签数据耗时的获得。古普塔et al。35,43)使用semisupervised学习模式识别药物,症状,和条件。Lexico-syntactic模式已经吸取了种子字典的条款,和引导基于规则的方法从种子中提取特定实体失踪字典。这种方法的一个局限是,它不确定长描述性短语。Stanovsky et al。44)使用一种主动学习技术来创建一个引导adr的词汇。这种方法的主要优点是它可以用少量的手写识别实体规则或上手写的例子。我们纪念这些作品作为这一地区未来改进的可能性。
最相关的研究,本文是通过Metke-Jimenez和卡里33),Miftahutdinov et al。4],Stanovsky et al。44];他们都使用了CADEC语料库进行训练和测试。Metke-Jimenez和卡里33)应用基于字典的方法和crf识别CADEC语料库的adr。他们使用基线特征,包括一袋的话,信n克,和字形状(例如,如果令牌由大写字母)。应用严格的评估,他们和放松为每个匹配跨版本的评估。作者把语料库分为训练集和测试集,使用70/30分裂。CRF表现以知识为基础的方法在句子层面上,实现严格的和放松F1措施分别为60.2%和84.9%。Miftahutdinov et al。4)应用CRF与一组丰富的功能提取所有疾病实体包括药物适应症,药物不良反应,病人的历史。对CRF特性,他们使用手工制作的功能,包括上下文特征,字典,基于集群和分布式词表示。CRF优于双向远离火源和3 - layer RNNs审查程度上基于5倍交叉评价和实现F169.1%和79.4%的措施在识别疾病相关表达式的精确匹配和部分匹配练习,分别。他们使用单词映射进行单独训练的社会媒体和科学文献。Stanovsky et al。44)采用RNN和字嵌入Blekko医学上训练语料库结合嵌入DBpedia训练。如果一个单词是词汇搭配的DBpedia实体,然后DBpedia嵌入被用作RNN的输入。否则,Blekko嵌入使用。作者用75/25分裂和计算评价指标提取每一个词在一个句子而不是adr的跨越。的knowledge-infused RNN实现F1在每个单词的评估措施的93%。作者没有评估RNN CRF与LSTM格勒乌是无法相比的。我们还要注意,这些论文没有分析时代培训RNNs和不适用RNN和CRF的联合模型。
我们的工作不同于提到在几个重要方面工作。(1)我们与CRF的联合模型实验,分别RNN以及两种模型。(2)此外,我们雇佣了CNN提取字符级特性代替手工的工程特性。(3)我们使用社交媒体上的字嵌入的训练和科学文献。(4)我们提取的定量分析和定性分析adr演示跨不同的病人组药物不良反应的变化。
3所示。模型
本节说明了我们的监督模式结合递归神经网络(RNN)和条件随机域(CRF)的提取药物不良反应。我们制定疾病实体提取序列标注问题。下面我们描述了模型的体系结构。
3.1。复发性神经网络
RNNs自然用于序列学习,输入和输出都是文字和标签序列。RNN复发性隐状态,旨在模拟内存,也就是说,激活一个隐藏的状态在每一个时间步依赖于前一个隐藏的状态(45]。复发性单元计算输入信号的加权和。
培训RNNs捕捉由于长期依赖关系是难以消失的效果渐变(46),因此使用最广泛的修改RNN单位是长期短期记忆(LSTM) [47固定误差]提供了“旋转木马”,不排除自由梯度流。最常见的LSTM架构包含三个盖茨:输入门,一起忘记门,和输出门,复发性细胞。LSTM细胞通常是组织成链,与先前的LSTMs输出连接到后续LSTMs的输入。最近的一个简化的LSTM架构是由封闭的复发性单位(格勒乌)引入了赵et al。48]。格勒乌非常类似于一个LSTM细胞;格勒乌只有一个“更新门”而不是单独的忘记和输入盖茨,不区分细胞状态和隐藏状态,和总是暴露整个隐藏状态,没有一个特殊的门。
一个重要修改的基本RNN架构是双向RNNs,过去和未来上下文可用在每个时间步(49]。双向LSTMs,由[的坟墓和。施密德胡贝尔表示50,51),包含两个链LSTM细胞前后在两个方向流动,最后表示是一个线性组合或简单地连接的状态。
3.2。条件随机域
CRF (52)是一种先进的方法,以标记的序列作为输入,估计的概率标签(从一组预定义),并返回最好的得分标签序列。我们表示 输入序列和对应的标签。CRF是定义为一个图的顶点的索引和边的权值对应的影响和对彼此,因为马尔可夫性质。直链CRF是CRF用一个简单的链图,其中每个边缘的形式 。
所示(52),一个标签序列的条件概率计算如下: 在哪里是归一化,是特征向量,矩阵的大小吗 ,的矩阵 ,是矩阵中的行。方程,被加数代表从标签的分数的标签。在我们的例子中,标记的加数代表了分数的词。我们定义的加数的矩阵得分输出周期性网络。最大似然学习涉及到最大化 我们用直链CRF的实现,最大限度地减少损失函数和火车的重量计算全球标签序列的分数。在测试过程中,模型的维特比算法适用于预测的最佳得分标记序列。
3.3。联合模型
我们提出的模型的主要思想是将CRF与神经网络相结合,用神经网络建模的非线性势代替线性潜在功能基于稀疏的特性。图1说明了提出了ADR萃取体系结构。
首先,单词嵌入被送入双向RNN(例如,LSTM)。圆圈表示LSTM细胞。向前和向后的网络返回一个表示每个单词的上下文。然后,这些输出向量通过辍学层正规化(53]。结果提要与线性激活,致密层的输出尺寸等于标签的数量。与标准RNN架构的不同之处在于,我们不直接使用将softmax输出这一层,而是利用密集的输出层为一个额外的CRF层共同解码上下文标记的序列。
模型的另一个重要部分是额外的矢量图标记为“附加嵌入”1。在如下所示的实验,我们增强的基本字嵌入另一个向量训练与字符级CNN (16),只需连接双向LSTM两个向量作为输入;我们将看到这个额外的模型还提高了最终结果。
4所示。实验和讨论
4.1。质量指标和数据集
在本节中,我们评估我们的模型和比较基准的方法。自表达式是很难定义的边界甚至人类注释器(54],我们遵循[55,56),进行实验评估如下:(1)精确匹配后CoNLL评价(57](2)部分匹配中描述(56]。
我们计算了几个模型精度指标如macroaveraged精度(P),回忆(R),F1测量(F)如下: TP是正确预测注释的数量和FP和FN假阳性和假阴性的数量,分别。后(56),我们使用以下公式部分匹配: 在哪里与这个词是一个提取术语相交, 之间的交集t和,这学期的长度是在令牌。部分匹配,我们计算指标每一句话和平均结果值。
我们使用了Keras库(https://keras.io/)来实现神经网络和生物(开始在外面)标签计划在句子层面。批处理大小为128;我们使用了亚当优化器使用默认参数(58]。我们评估我们的网络使用优质CADEC语料库的标注。类似于(33),我们排除了跨越CADEC adr的语料库之间的重叠,选择最长的连续跨越和结合这些adr成一个注释。
语料库是分成两个不同的数据集,留下70%培训(共有875条评论,5264句英语,和3933 adr)和30%(375个评论,2356句,1837 adr)进行测试。
4.2。实验结果
我们评估模型通过比较使用以下方法:(1)CRF具有以下基本特点:每个词与词性标记本身,后缀和前缀长度为6个字符,和两个词在两个方向上的一个窗口(向后和向前)从目前的词(2)功能丰富的CRF-based方法与参数提出了(4];该方法利用以下特点:基线上下文特征,字典,基于集群和分布式词表示。作者使用以下词典:统一医疗语言系统(uml), ADR词典和字典等多字表达式“感到累了,”和“感觉昏昏欲睡。“布朗分层算法用于基于集群的词表示(矢量大小为150)。作者连续袋字模型训练语料库与健康有关的评论与下列参数:向量大小为200,当地的长度的10 -抽样5,词汇截止10。我们使用公开可用的实现这个功能丰富的方法(https://github.com/dartrevan/ChemTextMining/)(3)深双向RNNs softmax层,特别是LSTM和格勒乌,网络的输出是输入的组合与softmax激活一个完全连接层。
我们使用最多100时代训练网络。对公平的比较,所有网络使用同一个词嵌入训练与健康有关的评论(250万4]。我们发现97%的单词词汇,和3%的词,表示是均匀采样的范围从嵌入重量(59]。不同方法的结果如表所示1。
表1表明该模型始终优于其他方法的精度F测量,同时保持和最好的复发模型的回忆。因此,我们得出结论,RNN和CRF的确会导致质量改进的ADR提取自由文本的评论。第二个结论是连接输入字嵌入一个额外的嵌入向量基于字符级CNN也显著提高了结果。另一个有趣的结论从表1是GRU-based复发性架构始终超越LSTM-based架构完全匹配的运动。最后,另一个有趣的结论是,F1分数3 - layer格勒乌+ CNN + CRF从70.65%上升到79.78%,部分匹配和精确运动由于边界问题。定性分析结果表明错误与实体的边界由于否定的存在(例如,“我有没有痛苦”),连接词,动词,形容词或副词(如“降低总胆固醇戏剧性的”)。
我们最初设定的100年时代培训模型,探索质量量度训练时期的数量从20到100不等。图2介绍了结果。这表明培训深LSTM和格勒乌可以有效地实现在60 - 80左右时代之前的性能变得稳定。联合模型的双层LSTM + CNN + CRF CNN和3 - layer格勒乌+ + CRF优于CRF从30 - 40时代开始,从这里,性能改善缓慢。
4.3。定性分析提取ADR提到
药品不良反应可以根据病人方面有显著的差异。调查各种药物不良反应之间的区别,我们收集评论从健康信息服务webmd.com。每个评论包含以下字段:(1)品牌名称的药物用于治疗这种疾病(2)条件/原因在治疗(3)自由文本审查给造成的影响使用的药物(4)人口统计信息这篇评论的作者(年龄和性别)。
我们还要注意,这样的人口统计信息通常不讨论组和网站中提供。在最近的一项研究[60),几种方法对药物自动挖掘文本的统计信息进行评估包括神经网络、监督机器学习和主题建模。
我们选择评论以下卫生条件分析:(1)4563评论关于抑郁症(药物:适应症,叫做西、阿普唑仑、左洛复、百忧解)(2)5422评论关于高血压(药物:赖诺普利、阿替洛尔、Bystolic,代文,等等和氢氯噻嗪)(3)10914评论纤维肌痛(药物:适应症,重,曲马多,百忧解,阿米替林,Savella,帕罗西汀CR,片剂,帕罗西汀,环苯扎林)。
为了检测药物不良反应与一个特定的人群,我们提取药物不良反应出现在评论四倍多,然后排除adr如果精确匹配出现在评论的作者有不同的人口统计标签(例如,“男性”或“女性”或“19-34时代”比其他年龄的)。表2,3,4呈现的结果。表显示,主要不良反应与年龄或性别改变,反映出很自然的进展与医疗常识直觉相匹配。因此,我们的方法也可以用于矿井定性信息从一个数据集的医学评论,也许发现新的药物不良反应在一个特定的用户组。
5。结论
在这项工作中,我们提出了一个新颖的方法从用户评论中提取药物不良反应:递归神经网络的组合双向LSTM-based和CRF这个分数上运作,由这个神经网络提取。我们评估我们的方法与先进的神经模型代表ADR提取数据集,发现结果已经得到了明显的改善。此外,进一步改善了通过扩展输入嵌入的字符级模型。因此,我们的最终模型成功地结合了三种不同的方法在NLP统计建模。在进一步的工作中,我们计划与其他神经模型试验相似的一般体系结构和进一步提高ADR从自由文本中提取的艺术评论。
的利益冲突
作者宣称没有利益冲突。
确认
俄罗斯支持的工作是科学基金批准号15-11-10019。