培训伯特包括两个阶段,即。,pretraining和微调。在第一阶段,即。,pretraining, unlabeled data is used to train the model over different tasks. In fine-tuning, the pretrained parameters are fine-tuned on the labeled dataset to model a downstream task. The architecture of BERT is based on bidirectional transformers in multiple layers [ 43]。在这项工作中,我们使用<我nline-formula> 的误码率 T 基地 由12层表示<我nline-formula> l ,768隐藏单位表示<我nline-formula> H ,12 self-attention正面表示<我nline-formula> 一个 。

伯特生成更符合实际的嵌入。许多模型已经广泛被用于将文字转换成嵌入如word2vec fasttext,手套。然而,这些模型产生嵌入一个词不考虑它的上下文。在自然语言中,意义类似的词在不同的上下文中可能会有所不同。上下文相关的表示不是被这些模型导致类似的向量表示一个词在不同的上下文中有不同的含义。与之前的模型,伯特生成更符合实际的嵌入。

伯特带作为输入一个句子或句子。伯特使用零件模型标记输入序列。添加特殊标记的记号赋予器在输入序列的开始和结束。第一个标记,标记每个输入序列的开始<我nline-formula> C l 年代 。输入序列中的两个句子除以一个特殊的标记<我nline-formula> 年代 E P 。除了对输入句子分词,个别单词,如果不是发现在词汇表中,也标记化的subwords和字符。这样,伯特生成嵌入的词汇通过生成嵌入他们的成分subwords和人物在词汇表中找到。除了生产令牌嵌入,伯特通过添加嵌入到每个令牌生成句子嵌入在标记化的文本表示令牌是否属于第一个或第二个句子。它进一步生成位置嵌入的指示输入序列中的一个令牌的位置。最后,对于一个给定的输入表示令牌可以用连接对应的令牌嵌入,句子嵌入,嵌入的位置。

让<我nline-formula> t 我 代表这个词的标记嵌入<我nline-formula> 我 和<我nline-formula> 年代 我 代表其句子嵌入<我nline-formula> p 我 代表它的位置嵌入,嵌入的一个字<我nline-formula> 我 表示为<我nline-formula> E 我 可以表示如下: (1) E 我 = t 我 ⊕ 年代 我 ⊕ p 我 , 在哪里<我nline-formula> ⊕ 代表了连接操作。

我们使用通用伯特模型pretrained BBC新闻语料库。Pretraining伯特由两个监督任务。在第一个任务中,伯特使用掩蔽的概念掩盖一些输入令牌随机和预测蒙面的令牌,因此学习双向表示。蒙面的隐藏表示令牌传递将softmax层。第二个任务是下一个句子预测,其目的是了解两个句子之间的关系。

转移学习代表的想法适应学习从一个任务到另一个地方。知识学到pretrained伯特模型可用于任何下游任务模型。我们使用农场微调伯特从给定的文本检测adr序列。农场提供了一个框架,使转移与伯特学习简单。使用变压器,为语言提供了一个模块化设计模型和预测。过程分为以下两个阶段。

给定一个输入序列<我nline-formula> 年代 、体重矩阵<我nline-formula> w ,偏差值<我nline-formula> b ,给定序列的概率<我nline-formula> 年代 属于类<我nline-formula> c 通过将softmax函数计算变量的值呢<我nline-formula> x : (2) P x = c ∣ 年代 ; w ; b = softmax w · 年代 + b = e w c · 年代 + b c ∑ n = 1 n w n · 年代 + b n , 在哪里<我nline-formula> n 表示美国存托凭证类别的总数。

FARM-BERT使用亚当优化器进行了优化。亚当给出的参数更新规则如下: (3) w t = w t − 1 − η 米 ^ t v ^ t + ε , 在哪里<我nline-formula> w 代表模型的权重,<我nline-formula> 米 代表移动平均线,<我nline-formula> η 步长。

实验三个数据集上执行。第一个数据集是Twitter数据集用于( 12)是由合并两个数据集,即。,推特一个DR dataset and Attention Deficit Hyperactivity Disorder (ADHD) dataset. The Twitter ADR dataset was collected using the names of 81 drugs common in the US market [ 44]。这个数据集的微博使用的药物并不代表任何特定条件但广泛的不同的药物不良反应。数据集是补充了额外的ADHD数据集包含了用于治疗多动症药物名称。数据集分为训练数据和测试数据25% 75%。序列标签通常是通过使用标准I-O-B方案根据该令牌是基于他们的位置在开始(B),(我),内部或外部(O)给定的实体。Twitter数据标签采用投入计划有4类:I-ADR指示给定的令牌是一个ADR的一部分,I-indication指示给定的令牌是一个迹象的一部分,O-indication表示令牌以外的任何指示或ADR,和<我nline-formula> < 垫 > 表明令牌是一个填充。

第二个数据集包括生物医学文本收集从PubMed摘要 45]。在数据集有6821个句子。数据集分为训练数据,验证数据和测试集的比例8:1:1。类似的投入计划已被用于注释PubMed数据集。然而,数据集不包含任何I-indication类别留下3标签对于每一个令牌,即。、I-ADR O,或<我nline-formula> < 垫 > 。图 2显示的例子句子提到adr在Twitter和PubMed数据集。

第三个数据集是TwiMed语料库[ 46]。这个数据集进一步包括两个部分,TwiMed-Twitter TwiMed-PubMed。三种类型的实体标注语料库,即。、毒品、症状和疾病。我们认为症状和疾病的不良反应在我们的实验。此外,这些实体之间的关系有三种类型,即。、理由使用outcome-negative, outcome-positive。Outcome-negative表明药物在给定的输入序列可以引起不良反应。我们把这句话当作ADR-positive如果药品和不良反应之间的关系像outcome-negative注释。类似的问题也在实验Zhang et al。 47]。

表 1提供了量化数据集用于实验的细节。

精度(<我nline-formula> P ),回忆(<我nline-formula> R ),<我nline-formula> F 分数(<我nline-formula> F )是用来评估模型的性能。我们选择这些指标,因为他们已经广泛被用于评估模型在最先进的作品。

精密测量结果的相关性。换句话说,它描述了许多预测样本属于某个类实际上属于这类。它通常表明我们的模型分类其他类,这个类: (4) P = 真正的 阳性 真正的 阳性 + 假 阳性 。

召回措施有多少实际相关的结果被返回。计算有多少实际样本属于某个类的正确预测模型提供洞察这个类作为另一个类的错误分类: (5) R = 真正的 阳性 真正的 阳性 + 假 底片 。

通常,精度和召回互为逆相关。为了克服这种不平衡,<我nline-formula> F 分数是使用精度和召回的调和平均数: (6) F = 2 · P · R P + R 。

该模型使用PyTorch库是在Python编程语言实现。FARM-BERT将学习速率<我nline-formula> 3 e − 5 。模型调整使用批处理大小8 5时代。

实验用以下执行常规和深度学习模型在推特上和PubMed数据集。这些模型的结果相比,该模型。 (我)

支持向量机(SVM)。我们使用一个线性内核支持向量机检测基于词的ADR<我nline-formula> n 克、句子嵌入和词法特性,即。的名字,毒品和药物不良反应。

表 2显示了基线模型和该模型的结果。可以看出深度学习技术一般产生更好的结果比传统的模型,即。、支持向量机和延时。在传统模型,延时执行比支持向量机。我们发现美国存托凭证和药物方面没有发挥实质性作用仅识别药物不良反应。这表明发现关键词在给定的句子不能导致提取有效药品不良反应的问题更多的取决于上下文。将使用词的上下文信息<我nline-formula> n 克使用句子和语义信息嵌入的改善了这些模型的性能。然而,词<我nline-formula> n 克在这些模型表示为词频率为有效的分类是不够的。

深度学习模型,就是在输入序列表示为嵌入的,上下文信息是后天习得的,因此,利用单词的语义表示的形式通过多层网络的嵌入。在深层神经网络中,伯特执行比CNN, CNN执行比LSTM更好。我们发现CNN执行比LSTM因为CNN捕捉当地模式虽然LSTMs捕捉全球模式的输入。我们观察到,在大多数情况下,输入序列组成短的文本。因此,提取有效信息从本地关键短语运用CNN在ADR提取中起着主要作用。LSTMs另一方面擅长捕捉远程依赖关系。应用LSTM时,输入句子长编码作为一个例子。因此,一些重要的短语可能不是学会了作为一个显著特征。

我们还观察到不同的嵌入模型的影响,即。、word2vec fasttext,手套,CNN和LSTM。我们发现两个CNN和LSTM执行初始化fasttext嵌入时比word2vec和手套嵌入。fasttext模型考虑了词的形态从单词的内部结构中提取信息而不是仅考虑整个单词的上下文。Fasttext代表每个单词字符的总和<我nline-formula> n 克。通过考虑subword信息,fasttext word2vec和手套生成不同的嵌入的词汇。训练数据用于任何机器学习模型,无论它可能是多大,仍然可以不包括所有的词在一种语言的词汇。如果这种看不见的单词测试数据中发现,他们表示并不是由word2vec手套嵌入模型。然而,fasttext克服这个限制,代表了词汇通过添加成分的嵌入的字符<我nline-formula> n 克在词汇表中找到。

伯特优于CNN和LSTM。伯特的更好的性能的原因是它学习情景化双向的方式嵌入。在自然语言中,一个词可能转达多重含义是基于使用的上下文。Word2vec fasttext,手套生产同样的一个词表示即使在不同语境下的含义不同。伯特,另一方面,产生一个词的上下文相关的嵌入。在伯特,一个输入单词是由其标记嵌入的总和,句子嵌入,嵌入的位置。

该模型FARM-BERT优于所有产生的模型<我nline-formula> F 89.6%和97.6%的分数在Twitter和PubMed数据集,分别。FARM-BERT执行比伯特在Twitter上2%和6% PubMed数据集。FARM-BERT的更好的性能比标准的伯特表示的有效性微调伯特hyperparameters农场使用修改后的值。

在本节中,我们比较了计算时间被训练和测试伯特和FARM-BERT在Twitter和PubMed数据集。表 3显示了训练这两个模型的计算时间为每个时代在几秒钟内同时表 4显示了模型的测试时间以秒为单位。模型的训练时间在PubMed和Twitter数据集也展示了数据 3(一个)和 3 (b),分别。类似地,两个数据集上的测试时间的模型显示在图 4。

实验表明,训练伯特在每个时代比训练FARM-BERT花费更多的时间。类似的观察测试伯特和FARM-BERT时已经取得了。因此,FARM-BERT工作计算速度比标准伯特在训练和测试。FARM-BERT计算速度比伯特因为农场支持并行处理。此外,支持多任务学习使用多个预测头也使得FARM-BERT速度比标准伯特。分析这两种模型的计算性能表明使用FARM-BERT ADR预测的有效性,而不是标准的伯特。

在本节中,我们比较的结果,我们建议的方法与先进的三个数据集上执行工作,我。e, PubMed数据库、Twitter数据集和TwiMed数据集。

表 5汇总方法的结果和之前的PubMed和Twitter数据集上执行工作。<我nline-formula> F 成绩通过这些模型直观地显示数据 5(一个)和 5 (b),分别。

作品的比较都是由可可et al。 12),Ramamoorthy和基于 9,丁等。 11]。模型由可可et al。 12)使用BLSTM正向和反向RNNs相结合。400 -维pretrained嵌入用于初始化嵌入层( 52]。模型被应用到Twitter的数据集。Ramamoorthy和基于 9]使用BLSTM初始化charCNN嵌入,嵌入word2vec词,和PoS嵌入。模型使用self-attention机制,已应用于PubMed数据库。丁等。 11)使用BGRU charLSTM嵌入和300 -维手套词表示( 52通过嵌入水平的注意机制。嵌入的输出水平的关注层用作辅助分类器和添加到BGRU输出层识别药物不良反应。该模型被应用到PubMed和Twitter的数据集。很明显从表 5,该模型FARM-BERT优于所有最先进的模型应用于Twitter和PubMed数据集。的<我nline-formula> F 分数,FARM-BERT执行比可可et al。 12约14%的Twitter数据集。它执行比Ramamoorthy和基于 9大约10%在PubMed数据集。它得到更好的性能比丁等。 11)在Twitter上大约5%和7%和PubMed数据集,分别。

表 6比较结果通过FARM-BERT与以前的工作成果的TwiMed语料库。<我nline-formula> F 模型的分数TwiMed-Twitter和TwiMed-PubMed数据集也在数字 6(一)和 6 (b),分别。

前两个模型在表 6,即,支持向量机和我nteractive attention network (IAN), have been used by Alimova and Solovyev [ 48TwiMed数据集)。伊恩使用注意机制学习目标和上下文表示。实验使用CNN-based方法、多通道CNN联合AB-LSTM,多次反射Self-Attention机制(MSAM)由( 47]TwiMed语料库。CNN-based方法提出了刘et al。 49)和全et al。 50为检测之间的关系。提出了联合AB-LSTM Sahu和阿南德( 51]。MSAM已经提出的( 29日)利用多次反射机制来学习复杂的语义信息通过专注于不同领域的一个句子。从表中可以看出,FARM-BERT方法提出的我们的工作表现优于其他方法。