文摘

有一个集中的核心内容文本信息的新皇冠流行通知。提出了一种联合学习文本信息提取方法:TBR-NER(基于主题识别命名实体识别)基于主题识别和命名实体识别的预测标记风险领域和流行轨迹信息以文本信息。学习和数据传输增加用于解决数据不足的问题由于最初的地方爆发流行,和相互理解是通过主题自我标签不引入额外的标记数据。以传染病在河北和吉林两省为例,验证了该方法的可靠性和有效性五种话题识别和15种实体信息提取。实验结果表明,与现有的四个尼珥方法相比,该方法可以实现最优速度通过相互学习每个任务在早期阶段的训练。独立的测试集的最佳精度可以提高20%以上,和最小损失值显著降低。这也证明了共同学习算法(TBR-NER)本文中提到的执行更好的在这样的任务。TBR-NER模型特定的社会性和适用性,可以帮助在流行预测,预防和控制。

1。介绍

2019年12月,一种新的冠状病毒(COVID-19)传播的物种之间,在短时间内快速传播全球。疾病的快速传播和严重经济和社会破坏远远超出人们的预期。利用数据挖掘和自然语言处理技术预测的疫情发展趋势进行智能安全预警已经引起了学者的兴趣。它已逐步成为热点之一在自然语言处理1- - - - - -3]。根据当前标准化的防疫和控制,艾滋病传播的特征是随机的小规模的爆发,导致短缺情况下信息数据的早期传播,使疫情信息的研究更复杂的问题。与他们的效率高、标准化和实时特性,人工智能,大数据,和其他技术取得了巨大的收益在几个防疫和控制领域爆发以来小说coronavirus-infected肺炎(4- - - - - -6]。西珥模型是一种使用最广泛的流行传染病动力学模型的预测模型。它可能会考虑传输速度和模式和许多传染病预防和控制策略。轨迹位置监控并提供早期预警的预警模型挖掘语义轨迹数据,结合位置,时间,和各种应用环境。此外,一些研究人员使用多元宇宙算法和人工智能算法,自然语言处理技术,和其他的综合考虑不同的预防和控制措施和各种因素建立一个早期预警模型,具有明显的优势。COVID-19流行预测已经引起了学者的兴趣来自世界各地的许多领域。例如,Khayyat et al。7)提供了一个预测分析模型预测流行病的传播在沙特阿拉伯和利用时间序列相关性神奇动物模型来执行 - - - - - -测试的数据,给流行的未来发展的基础。Alsunaidi et al。8)建立了一个动态预测和传输技术基于SEIRD流行病模型并使用最大似然计算时变模型参数显示的情感影响感染率,死亡率,回收率COVID-19传播。Balaha et al。9从CT扫描中特征提取和使用深度学习和pretrained模型学习它们。采用混合动力技术,添加几个CNN模型提高预测精度。Wieczorek et al。10流行性传播)开发了一种神经网络模型利用政府数据和纳丹训练模型来实现良好的预测精度;Kozio et al。11]提供了一个分数阶爵士流行预测流行病传播模型。模型参数估计使用遗传方法,并使用西班牙语数据仿真验证。因为疫情的关键内容的文本信息集中,每个词都有其核心主题,如受感染的病人的基本信息,跟踪信息在疾病和诊断的时间。当进行信息提取、信息提取技术表示在当前的结果常常不能利用特点流行注意文本和不能使用的主题信息。此外,一些算法受标签成本高和小标签数据。由于上述问题,这项工作提出了一种合作学习策略主题识别和命名实体识别TBR-NER。这种技术注释流行通知信息,然后利用属于不同学科的不同实体的特性来完成主题self-annotation没有添加额外的注释数据,减少人类注释工作。

提高模型的泛化能力在没有样品的情况下,实体提到替换和外部知识库替代用来改善数据。同时,转移学习增强了模型的文本分析能力。以下是本研究的主要贡献。(1)TBR-NER模型提出了流行的文本提取通知信息。流行的文本提取准确性通知信息增加了整合通知信息文本培训模式与主题识别实体识别。(2)提出一个self-annotation合作学习的方法。主题self-annotation没有提供新的注释数据基于实体注释。特性不同的实体属于利用各种主题话题识别工作。(3)添加中文信息语料库(中文维基百科语料库)训练。一方面,一些实体地名信息取代了实体在训练过程中达到的目标数据增强。 On the other hand, the pretrained model is finally transferred to the joint learning model by learning the notice text to express the learning sentence structure, word collocation information, and so on, which effectively avoids the diversity and ambiguity of the expression and improves the model’s generalization ability. (4) Comparative tests were conducted on the collected datasets from the provinces of Jilin and Hebei. The findings demonstrate that the proposed topic recognition and named entity recognition (TBR-NER) combined learning system can extract critical information in the epidemic notification job. The topic recognition and entity recognition tasks will help in the cooperative learning process, resulting in higher classification results.

2。相关工作

2.1。条件随机场

条件随机场(CRF)是一种概率模型(12)用于标签和分割数据序列结构。它结合了最大熵模型的属性与隐马尔科夫模型,它可以描述长距离依赖。它可以在全球范围内标准化的特点,然后达到全局优化的目的,更好的克服了标签的偏见问题。当第一次收集的文本信息,模型通常把重要信息形式的人物等级。尽管这种方法是基本和简单的掌握,它有一定的缺陷。基于分类标签的事情复杂当多个连续体共存。例如,三个地理名称的吉林省,长春市,和吉林大学对应于三位实体的标签分类长春市吉林大学吉林省。然而,没有明显的边界连续实体之间在使用字符级形式提取建模和上述单词将预测作为一个实体标签。为了解决这个问题,本文添加实体标签生物(见图1)。每个原始独立的实体信息注释标记与三种类型的标签之一:一开始标签(B),中间标签(我),(O)和无关紧要的标签。参见图1。”的分类预测结果Qianxiguan村,西关镇Gaocheng区,“成为”B-location, I-location, I-location, B-location, I-location, I-location, B-location, I-location, I-location, I-location, I-location,和I-location。“红色标签代表病人的ID,深绿色的标签代表病人的家乡,粉色标签代表病人的家庭时间,紫色标签代表病人的轨迹行动事件,蓝色的标签代表病人的轨迹运动的时间,和浅绿色的标签代表病人的诊断时间;深蓝色的标签代表病人转移的时候,薰衣草的标签代表的名字医院,病人被转移,和深褐色的标签代表病人的交通信息。

虽然添加生物模型可以帮助不同的连续的事情,这个策略会有一些缺点。例如,随着标签数量的上升,一个非法的预测标签序列增加的危险。本文以下故障可能流行的识别任务:(1)模型识别工作信息标签的Id,如“b案例Id、我的工作信息,I-case Id”。(2)最初的标签“b案例Id”应该出现在实体信息的开始,中间和模型预测的实体信息,如“I-case Id、b案例Id和I-case Id。”这些不正确的标签会影响模型的整体精度。在标签的预测,因此,有必要研究也能进行分类预测精度尽可能保证合法的标签序列的预测。

的引入条件随机域模型(CRF)在这项研究可能识别标签序列分布规律的一部分,允许合法的标签序列;公式如下:

其中,公式(1)代表的评分功能函数序列标签上我,表示句子需要与词性标注,代表了th单词句子 , 代表了词性标注的标签序列的得分th的词语,显示标签序列需要削减标记位置的演讲届任期。外求和是每个特性函数的核心价值的总和 ,和内轮廓特征的总和值在每个位置的单词注释的句子。公式(2)是指数和规范分数,和概率值我可以获得的标签序列。在本文中,维特比算法(13)是用来计算分数的法律标签路径快速和动态编程DP是用来解决最优路径问题。

2.2。转移学习

转移学习(14,15)的特点是一个给定的域和一个标记目标域的标签。尽管两个部分的数据分布是不同的,知识的可以学到的知识吗 。转移学习是解决问题的优化方法引入少量的样本。转移学习时的数据量通常是适当的源域是充分的和在目标域是最小的。

本工作使用转让学习援助模式培训地址underfitting问题引起的少量的流行信息数据。因为通知消息的数量经常不足在流行病传播的早期阶段,只有少量的数据用于模型训练,导致模型的词义缩小。因此,本研究收集中国信息通知文本语料库从维基百科。它使用了一个基于面具伯特模型语言(传销)self-supervised训练来获得额外的文本搭配和句子结构信息。

双向编码器表示从变压器(BERT)语言预处理模式可以自动提取丰富句特点、语法和结构特点,从序列和语义信息。伯特模型用于这个研究包括12层,每个隐层和输出后pretraining可能表达不同程度的词向量。隐层输出向量伯特的最后一层是常用的模型,虽然一些测试证明后,层向量,越难匹配当前工作本身(16]。提高高维抽象信息的保留和pretraining模型的泛化能力,本文融合的输出的最后四层pretrained模型 ,在哪里模型的输出向量,层数,是时间步,权重系数 , , ,和是0.1,0.2,0.3和0.4,分别。

2.3。规则匹配

规则匹配是一种寻找匹配高度正规化的数据(17]。当提取流行信息在这个研究中,发现一些数据信息非常标准化,如图2。例如,“某些X-year-old”声明有一个更大的信心,声明描述了年龄或“XXXX年出生”声明具有更高的信心,描述了出生日期的信息。

考试的流行文本显示,几个基本属性交互文本表现出一致的模式。通过评估样品和消除干扰因素,如人工注释错误,利用正则表达式提取信息属性连接。融合的数据是使用匹配搜索。使用的规则匹配策略来降低成本标签注释可能模型关注更少的常规标签分类,提高模型的精度。

2.4。数据增强

数据增强是一种综合的技术新数据从现有的数据。当训练样本稀疏和标签成本很高,它旨在增强数据点的数量,减少过度拟合,提高整体模型的泛化能力(18,19]。

由于缺乏案例文本在流行的早期阶段,努力学习更详细的规则模型基于一些样品。此外,一些标记在流行文本,如交通信息和就业信息,比其他标签数量大幅降低的现象。没有数据增加,模型无法检测的基本信息标签。同义词替换(SR),随机插入(RI),自发交换(RS),随机删除(RD)和实体提到替换所有典型的数据扩充策略用于NLP工作(20.]。同义词替换的方法和实体提到替换主要是本文中使用。然而,使用同义替换(SR)可能没有从根本上改善数据的预期效果。这是因为向量的值互换替代术语几乎相同,导致增强主观数据。另一方面,训练模型可能认为增广数据准确短语和没有重要数据扩展。

属上述提出的解决方案的挑战:首先,每个单词的词性在原始文本识别,接下来,评论与相同数量的言语但是不同干扰到其他句子代替同义词,最后,data-enhanced文本检查的可信度和data-enhanced文本合并到训练语料库,例如,“在汇丰酒店餐厅”和“X,在欢乐购物城市”这样的词“汇丰酒店”和“欢乐之城”可以看成是不同的单词的同义词;“吃饭”和“购物”属于相同的实体类型,和增强的数据“在君悦酒店餐厅”可以通过改进的同义词替换方案。

3所示。建设基于主题的联合学习模型识别和命名实体识别

3.1。TBR-NER模型的原则

所需的语料库TBR-NER共同学习模式来自于两个方面:(1)新流行通知语料库提取根据epidemic-related信息公告发布的国家健康委员会和(2)从中国获得中国通知语料库维基百科语料库。删除文本信息后,佳能的两部分是数据清洗和流行通知语料库标注。爆发之后,通知语料库数据增强使用实体提到替换和外部知识库替换。其次,pretrain中文信息通知文本语料库在维基百科使用传销语言模型来构造相应的字典映射。同时,流行语料库的数据增强后,获得的相关词向量需要根据索引。第三,一个标准的基于主题识别和命名实体识别的学习方法(TBR-NER)用于训练和预测信息。实体识别和分类的效果提高的帮助文本信息的主题。最后,经过的主要结果,得到最优结果。TBR-NER模型框架如图3。

3.2。基于掩蔽伯特模型语言(传销)

伯特模型基于传销是一门新语言的表示模型发布的Google AI团队在2018年,这是变压器的双向编码器表示(21]。不像其他的语言表征模型,伯特旨在pretraining深双向表示通过共同调整所有层的上下文。因此,pretrained伯特表示可以通过额外的输出调整层。它不需要修改的架构具体任务和任务模型可以应用于各个领域建设。

有两种常用的伯特模型:(1)BERTBASE: , , ,和总 (2)BERTLARGE: , , ,和总

伯特擅长了NLP的任务,包括分类、问题回答,和翻译(22- - - - - -24]。总统夫人伯特模型用于这项工作。从之前的模型模型的主要区别是,它建议预测的损失价值以下短语通过将有限数量的词转换为面具或与一个特定的概率随机变化的另一个词。伯特模型的主要目的是获取词向量通过大规模文本学习,评估不同的令牌单位之间的关系,然后映射关联变量。伯特模型采用两阶段模型训练来解决一词多义的广泛出现在通知信息。它始于双向语言模型训练,然后移动到微调模式解决下游目标。结果,这个词向量由伯特和灵活性高的影响。

3.3。两级分层的基于主题的学习模型预测

流行文本信息,第一每个流行通知文本划分为五个主题:案例基本信息介绍,在疾病过程中轨迹信息,家庭信息在疾病案例,案例的诊断信息,和其他类型。然后,实体信息分为16大类:患者ID、病人的籍贯,病人的住所,病人的工人阶级,病人的诊断,病人的开放轨迹运动时间、病人的移动轨迹起点,病人的移动轨迹终止的地方,病人的轨迹行动事件,患者乘坐交通工具,交通工具信息,病人的家庭时间,病人的诊断,病人被运送到医院的时候,病人是着迷于医院名称和无关的信息。15-type实体信息对应于BI的开始和中间标签序列注释和无关紧要的实体信息。因此,15种实体信息匹配的30个分类标签,加上不相关的类,必须预测每个字母作为一个类别在31个类别。

两级层次的学习概念如下改进模型的预测标签信息:首先,文本语句用于分类的主题。分类完成后,实体分类是基于标签在当前声明中可能存在的主题。图4描绘了一个两级分级基于主题学习模型预测。两级分层学习是利用散射原文的标题31类别为多个主题类别。标签类型为每个主题很少,和模型很难误解。

两级分层学习基于主题的预测主要是分为两个步骤:(1)主题分类进行通知信息文本,与文本信息分为五个类型的主题之一(2)例如,流行的文本信息通知如下“案例1:女,18岁,来自石家庄,河北、平安超市售货员,和生活在平安的社区。汇丰银行(HSBC)在1月18日,她吃了酒店。她不在家出去1月19日。1月20日核酸测试是积极的。1月21日与专家组磋商后,诊断为新的冠状肺炎。“在上述流行的通知信息,识别“平安社区”作为一个“病人居住”需要两个步骤:首先,它是必要的,以确定其主题。句子如下“案例1:女,18岁,来自石家庄,河北、平安超市销售员,和生活在一个平安的社区。“这属于主题类别”介绍基本信息的情况下,”的主题下,介绍基本信息的情况下,“使用模型1识别和分类实体。这个主题下的可能的实体类别包括病人id,病人来源,病人居住,病人工作场所,无关的信息

3.4。两级联合学习基于主题的预测

建议两级分层学习基于主题预测使用流行的学科信息注意文本的最后一部分。然而,仍然有以下困难在实际的应用场景:(1)误差累积问题由于实体标签预测两个阶段之后,如果话题预测模型第一步,软弱的总结果不是很好无论多么准确成功实体识别模型。预测误差积累在第一步中,主题和主题的影响预测成为瓶颈的成功预测(2)在两级分层模型中冗余的问题,学习,大量的模型需要使用不同的任务,在实际应用更麻烦(3)分裂的两个任务主题信息和实体识别句子在任务分解问题阻止两条信息相互补充。实体识别效果的改善在第二阶段将没有反馈影响句子分类的效果。改善主题分类精度只会提高总分类的瓶颈影响,而且没有良性的相互引用主题识别和实体识别

基于上述问题,这项工作提出了一个新颖的两级联合学习技术基于主题预测:基于主题的歧视。TBR-NER是基于主题的结合学习模式识别和命名实体识别。TBR-NER向前迈出的一步是基于层次学习范式。原主题识别和实体识别融合基于主题的具体用法信息的通知文本,允许模型实现主题的两个任务同时识别和实体识别,如图5。

TBR-NER模型提出本文分为以下步骤:(1)首先,对每个句子执行字符级分割。本文没有使用传统方法的第一个词分割,然后输入到模型因为分词会有先天的偏见。不同的分词算法将聚合其他数字的字符的话,这些presegmented的话不一定是适合当前的任务。伯特self-attention机制模型将总字符根据当前工作在低水平。因此,本文选择汉字或数字作为分割单元(2)基于实体的主题自我标签标记结果,添加一个“<主题>”标签,每个句子的开头。这个标签用于当前的主题分类修正,其中包含当前句子的主题信息,如图6。本文的主题信息不需要额外的人工注释。这个话题是由实体标签标记的内容在前面的阶段中,这是一种“自我标签”的过程。例如,当一个“id”或“起源”实体出现在一个句子,句子将被自动标记为“案件类别的基本信息介绍。“主题自我标签过程基于实体标记结果保存手动标记过程和不引入额外的知识(3)句子的主题类别预测“<主题>”标签的位置,并执行实体识别句子的内容。因为“<主题>”本身位于句子,该模型还可以观察的主题表示“<主题>”在做实体识别和“<主题>”本身也可以用于主题分类。自己看到的实体表示不同的字符。话题识别和实体识别互相学习才能获得更好的预测结果。TBR-NER的学习过程模型如图7

3.5。TBR-NER模型损失函数

TBR-NER在本文提出的模型损失函数主要由以下两部分组成:

和对应于他们的权重比例,通过调整,模型可以更加关注一个特定的任务。表示预测的一个句子,它叫做叉,公式如下:

其中,实际的概率分布和什么代表了预测概率分布。

的损失函数条件随机场(CRF)优化算法中引入部分的总结吗3所示。1,公式如下:

其中, 代表了发射分数, 代表了转移得分,代表的是归一化因子, 马克的概率 。

4所示。实验结果和分析

4.1。实验结果分析

流行的文本信息通知卫生委员会颁发的吉林省和河北省从1月10日到2月14日,2021年,被选为数据源来测试的有效性建议方法在流行的任务通知信息。数据集是随机抽取的,70%作为训练集,作为一个独立的测试集的30%。单独的测试集的准确性和最终的损失作为评价模型指标,利用准确的定义如下:

在公式(6),代表人物和的总和代表正确预测的和字符,这是预期的准确性字符。在这项研究中,四个尼珥模型被选为比较参考实验:伯特+ BiLSTM + CRF (25],伯特+ CRF [26],BiLSTM + CRF [27),和LSTM + CRF (28]。每个模型的实验结果的第一个20轮的学习进行了比较。

4.2。模型没有转移学习

四个尼珥模型的准确性和损失价值实体识别比较没有转移学习。尼珥的四个模型的准确率相对较低,如数字8和9。在20轮教育,伯特+ BiLSTM + CRF模型和伯特+ CRF模型都小于0.49。他们不能在整个培训过程中收敛在较长时间内,导致梯度扩散。模型不能打破瓶颈,导致价值观的重大损失和最优的当地的困境。虽然BiLSTM + CRF和LSTM + CRF模型比前两个模型和模型损失值收敛快,模型精度仍然贫困。表1比较的准确性和损失值尼珥的实体识别模型4。

评估实体识别的效果相当,TBR-NER模型还执行20轮学而不合并转移学习,使实体识别预测和主题识别预测使用的流行轨迹信息。实验结果中描述数据10- - - - - -12。TBR-NER模型的拟合性能大大增强比前四尼珥模型。在同样的设置,第七个周期TBR-NER模型的准确性的学习。表2显示主题识别的准确性和损失值任务和实体识别任务使用TBR-NER没有转移学习。

实验研究结果表明,TBR-NER模型可以克服瓶颈后损失许多学习轮和预测精度高。这是因为模型实体识别任务严重依赖主题分类的工作。TBR-NER模型的主要算法是一个两级联合学习基于主题识别的技术。语句的主题分类任务很简单的迭代阶段的初始模型,和主题表示向量有更多优秀的可分性在高纬度地区(见图13)。实体识别的任务是由显著增长的主题分类的工作。话题识别和实体识别继续学习在接下来的学习阶段,实现同步收敛。实体识别和分类下的模型的准确性达到91.60%的优越价值TBR-NER模型时教在18轮。虽然TBR-NER模型大大提高了预测结果尼珥的四种类型的模型相比,该模型的精度没有达到最优状态前七学习时间。模型通过损失域后,失去价值快速收敛和模型的精度最终趋于稳定。

4.3。模型转移下学习

这项工作员工转移学习辅助模型训练和提高模型的泛化性能解决underfitting问题引起的少量的流行信息数据。保持公平的对照实验总结实验之前,上述TBR-NER模型不适用转移学习优化模型。在这篇概述中,学习优化TBR-NER转移模型和比较结果。

数据14- - - - - -16展览主题识别的准确性,TBR-NER模型的实体识别,和损失价值转移下学习。TBR-NER模型学习第六回合时,实体识别的分类精度达到95.85%,高于TBR-NER模型的准确性没有转移学习。此外,TBR-NER模型下的损失价值转移学习低至5866,这是大大少于四个尼珥的损失价值模型中讨论部分3所示。2。损失值越小,越少的模型的预测和现实之间的差距和越收敛模型。此外,数据的比较10和14显示,实体识别的准确性和主题识别TBR-NER模型中的相互影响,TBR-NER的直观的表示模型的共同学习。

分析主题TBR-NER模型的识别和实体识别转移学习下表所示3。话题识别和实体识别之间的比较结果TBR-NER转移学习和TBR-NER没有转移学习下表所示4。TBR-NER之间的实体识别模型的比较结果转移下学习和其他四个尼珥模型如表所示5。

4.4。TBR-NER模型的泛化

核实TBR-NER模型的推广,本文使用89年的数据从2月18日到3月1日,2021年,河北省的流行通知信息作为一个独立的测试集。一个词到一个词实体识别精度作为评价指标。表6显示了准确率。表6表明,预测结果的准确性与文字标签可以达到90%以上,证明该TBR-NER模型具有较强的泛化。

5。结论

本文提出了一种新颖的文本信息提取方法COVID-19爆发通知基于共同学习的主题识别和命名实体识别。模型可以同时完成任务的主题识别和实体识别,实现主体自我标签过程基于标签的结果,有效地提高分类的准确性流行通知信息。该方法采用规则匹配和条件随机域分词基于流行的正规化特征信息描述。它使用数据增强和转移学习技术来解决模型的泛化能力没有样本,提高文本信息的分析能力。实验是对四个不同的自然语言处理系统。研究结果表明,测试集上的建议方法的准确性显著提高和损失函数明显降低。此外,主题识别任务和实体识别任务有很多共同促销TBR-NER模型的学习过程,证明学习主题识别和实体识别在文本信息提取是相辅相成的。最后本文模型生成的是使用来自吉林、河北省份的数据集进行验证。这个概念将扩大在未来包括数据集从更多的地区,给流行预测和预防的重要信息。

在未来的工作中,我们计划去探索更多的国家的新皇冠的疫情信息和文本标签信息通知其他语言。其他国家和地区可以使用这个模型来预测其文本轨迹信息。尤尼斯等人。29日]NLP-related技术用于转录阿拉伯语和拉丁语的语言。经过探索和研究,我们可以尝试移植阿拉伯和非洲语言的文本信息模型在未来导致全球防疫。更新和改进模型来提高预测的精度将大大有助于防疫和控制。此外,该模型可以通过pyqt5继承的GUI和结合实时地图软件为用户提供便利和防疫。用户可以使用该模型来提取实际位置和路径轨迹为JSON数据格式和动态显示流行通过网页实时轨迹路线图。

数据可用性

本文的实验数据来自于网站,和特定的网站如下:疫情通知网站,河北省,中国http://wsjkw.hebei.gov.cn/gzdt/index_43.jhtml吉林省疫情通知网站,中国,http://wsjkw.jl.gov.cn/xwzx/xwzx/index_41.html。

的利益冲突

作者宣称没有利益冲突。

作者的贡献

XF QY项目构思,设计实验,起草了手稿。RH,年、ZH型和ZF收集数据并进行了实验。RH,年和XF校对和抛光手稿和组织这个项目。

确认

这项工作是支持的科技项目的教育部门吉林省(JJKH20220245KJ和JJKH20220226SK),吉林省高等教育科学研究项目(JGJX2021D213和JGJX2021D226),中国国家自然科学基金联合基金项目(U19A200496)和教育部工业大学合作,合作教育项目(202101244021)。