文摘

在重症监护室(ICU),有必要预测病人的死亡率和数学模型有助于提高预测精度。最近,递归神经网络(RNN),尤其是短期记忆(LSTM)网络,显示顺序建模和优势是有前途的临床预测。然而,ICU数据是高度复杂的疾病,由于不同的模式因此,单一LSTM模型,而是一个整体算法LSTM (eLSTM)提出,利用整体框架的优越性来处理临床数据的多样性。eLSTM算法被承认评估数据库的ICU医疗信息集市重症监护III (MIMIC-III)。总共调查18415例表明,与临床评分系统削弱了II相比,沙发,和APACHE II,随机森林分类算法,和单一LSTM分类器,eLSTM模型实现了最大的性能优越的价值接受者操作特征曲线下面积(AUROC) 0.8451和最大precision-recall曲线下的面积(AUPRC)为0.4862。此外,它提供了一个早期的ICU患者的预后。结果表明eLSTM能够动态地预测患者的死亡率在复杂的临床情况。

1。介绍

死亡率预测临床管理和治疗是至关重要的,特别是在重症监护室(ICU) [1,2]。各种评分系统开发并广泛用于评估临床结果,最常见的是简化的急性生理评分(SAPS) II (3),顺序器官衰竭评估(沙发)4)和急性生理和慢性健康评估(APACHE) II [5]。评分系统评估病人的死亡率通过逻辑回归模型假设一个线性和成瘾性疾病的严重程度之间的关系和收集相关的生理参数,这是可行的但不切实际的6]。近年来,介绍了机器学习在医学应用和显示其卓越的临床诊断的效率和决策支持。对于承认ICU患者,很多生理测量收集,包含症状,实验室测试,生命体征(如心率、血压和呼吸速率)(7,8]。在ICU临床测量不断监测值波动随着时间的推移和死亡率的时间趋势预测9]。因此,临床记录序列提供了丰富的病人的身体状况信息(10,11),使利用机器学习的发展中从这些多元时间序列数据预测模型。决定任务,死亡率预测可以通过逻辑回归等分类算法,解决支持向量机,和随机森林(RF) (12]。然而,大多数的方法目前使用不敏感颞后继数据之间的联系,从而不能得到全部好处ICU的数据,这限制了他们的表演在死亡率预测(10,13]。

目前,递归神经网络(RNN)是用于解决时间序列的预测问题,在许多领域取得了杰出的成果14- - - - - -19]。有几个RNN的变异已经开发,其中,长期短期记忆(LSTM)网络是最流行的一种变体20.]。LSTM学习长期依赖关系,通过融合一个存储单元能保持状态。有三门装备在LSTM决定哪些信息总结或忘记之前移动到下一个后继(21- - - - - -23]。LSTM非常适合捕捉从时态数据和显示顺序信息优势在机器翻译24,25),语音识别(19),和图像字幕(26)等。在医学领域,许多已经努力LSTM申请临床预测基于电子健康记录(6,17,27- - - - - -30.]。立顿等人采用LSTM收集10,401集表型分类建立模型28]。鉴于13频繁采样临床测量(舒张压和收缩压、周围毛细血管再充盈率,end-tidal有限公司2,部分灵感O2Glascow昏迷规模、血糖、心率、pH值、呼吸率、血氧饱和度、体温、尿量),LSTM模型能够预测患者是否患有128最常见的条件,如急性呼吸窘迫、充血性心力衰竭,肾功能衰竭。乔等人LSTM和潜在的主题模型用于从文本中提取信息评估的严重性疾病的临床讲义(29日]。范教授等人进行了一个实验糖尿病患者群7191 53208年招生中收集2002 - 2013年的澳大利亚大型区域性医院,和结果显示改进性能利用LSTM在疾病进展建模和重新接纳预测(31日]。

ICU死亡率预测,目前的预后模型大多采用单一LSTM分类器(6,29日,30.]。然而,在大多数情况下,单个模型不够高效在ICU处理复杂的情况。患者在ICU异构患有不同疾病多个并发的问题,和加护病房的临床数据是高度复杂的9,32,33]。各种疾病患者,潜在的病理生理的演进的病人(如肾功能衰竭)通常体现在不同的生理变量(例如,异常在肾小球滤过率和肌酐)(9]。即使拥有相同的疾病的患者,他们可能有不同的并发症经历异构健康状况(33]。因此,混合学习者在ICU所需的预测模型。

一个学习者主要有更强的泛化能力比一个学习者34- - - - - -37]。集成学习是一个过程,集成了一套给定问题获得一个组合预测模型(38- - - - - -43]。不同构造分类器学习多个假设,聚合多个预测结果来解决同样的问题。与独立的模型,构建一个假设空间,几款可以扩大空间的组合,可能提供一个更精确的近似真实的假设(34]。它已经表明,整体系统比单个分类器系统在解决复杂的问题34,38,39]。

因此,我们提出了一个算法的多个长期短期记忆网络(eLSTMs)在加护病房处理复杂的情况。在eLSTM LSTM模型的多样性欠的停止用于构建模型的子集。两个策略是用来产生不同的从整个训练数据子集,即引导样本和随机特征子空间。引导策略生成样本不同子集的科目,而随机特征子空间提供了不同的组合集的临床指标。即相互区别子集实例和功能水平。各种LSTM相应的分类器训练,最后分数计算的平均预测值从基础的学习者。通常,eLSTM算法选择一个数量的训练子集与随机选择的特性集使用引导实例,构造上的多个LSTM学习者多个子集,所有个人的平均预测成绩作为最终输出。这项工作的主要贡献如下:(1)提出一个LSTM整体框架开发混合顺序分类模型,该模型能够处理复杂的临床情况,如ICU和(2)应用引导和随机样本特征子空间个人LSTM合奏创造多样性分类器。目前的机器学习模型将促进应用程序在复杂的临床情况。

本文的其余部分组织如下。部分2描述了ICU数据集,提出eLSTM算法的实现,实验设计。实证结果产生了各种系统的死亡率预测提出了部分3。eLSTM的优点是讨论部分4。最后,部分5本文得出结论,表明未来的工作。

2。方法

2.1。数据集

这项工作的ICU数据提取重症监护医学信息集市的三世(MIMIC-III)数据库(44]。MIMIC-III ICU招生是一个大型的和公开的数据库在贝斯以色列女执事医疗中心,美国从2001年到2012年。它包括丰富的患者的临床资料,包括实验室测试和生命体征。共有18415名患者从数据库提取MIMIC-III > 15岁和滞留时间≥10天。临床结果的预测的任务是28天postadmission死亡率。2162名受试者的研究人群包括积极组织死后28天内与其他16253例ICU住院和消极组幸存入住ICU后28天。从表LABEVENTS。csv和CHARTEVENTS。csv, 50个变量连续10天(表示D1,D2,…D10)记录死亡率的预测。变量是每24小时采样。这些变量是常用的临床测量和细节表中列出1。

表1
死亡率的预测变量。
2.2。LSTM合奏算法

整体方法生成多个学习者和总他们提供组合预测。其中,装袋和提升方法是最受欢迎的。个体学习者的多样性是一个很重要的问题对于整体模型,可以通过选择和结合培训例子或输入特性,将随机性注入学习算法(34,36]。

提出eLSTM算法是一种利用LSTM的集成学习方法为基础的学习者。两个随机策略是用来产生不同的训练子集,因此构建一个基础LSTM分类器的数量。所有的预测都是综合全面的估计结果。

给定一个训练集N训练实例,每个实例可以表示为(V,Y)。V是一个矩阵包含的值D变量和T序列。它可以写成 ,用方程表示(1)。 是一个向量给出了方程(2)。 代表的价值dth变量在tth时间步。和Y的目标标签实例以0(负面)生存和1(积极的)死亡。正面和负面的群体大小的比例来标示 :

LSTM的优势获取时间信息和流行是采用时间序列建模。LSTM块的详细结构见图1。


图1
插图LSTM块的结构。

LSTM块的输入 。然后,隐层的输出,即当前隐藏状态 ,计算如下: 在哪里 , ,和 盖茨是忘记,输入和输出,分别。 前面的隐藏状态。 和 之前和现在的细胞记忆。权重矩阵 , , ,和 和偏差向量 , , ,和 模型参数。符号 乙状结肠函数吗 双曲正切函数。符号 表示矩阵乘法和 elementwise产品。

乙状结肠层是应用于LSTM块的输出二进制分类的最后一步。预测的分数 计算方程(4)。损失函数加权交叉熵的标签和预测分数 积极的实例加权 和消极的加权1。网内的参数更新几个迭代达到最小损失值:

eLSTM模型由多个LSTM分类器,及其体系结构如图2。


图2
的架构eLSTM算法。

eLSTM的过程由两个阶段组成:基础学习者生成和集成。

基础阶段的学习者生成,引导采样策略37)和随机子空间方法(RSM) (35)都是用来生成不同的学习者训练子集构建多样化的基地。作为训练集抽样方法,引导随机抽样了实例替换整个训练集和RSM是随机选择变量的子集。随机选择的子集是由于不同的引导实例变量表示 。

在整体模型而不是误差控制策略,偏压控制通常采用火车多个基本分类器模型的多样性中受益。因此,选择适当的数字分类器的训练时期由实验满意水平的偏见。模型的方差由于单个分类器的多样性是由以下整体操作(45,46]。eLSTM,训练时期的数量设置为100,由pre-experiments验证。

然后,多个LSTM分类器学习子集。让 表示的集合P分类器训练基地。为输入V,pth LSTM分类器赋予个体预测分数 ,用方程表示(5)。

最后,在集成阶段,平均分数的LSTM分类器作为整体输出并计算如下:

eLSTM算法的过程在图提供3。


图3
eLSTM算法的过程。

eLSTM模型完成后,它是应用于:对于一个实例,每个LSTM分类器使用部分的值对应的变量子集,使预测;不同LSTM分类器使用不同的变量,产生多个预测分数;最后预测得到的平均分数。

2.3。动态预测

LSTM和eLSTM模型,需要完整的数据序列预测结果。然而,在实践中,收集病人的生理参数。开发动态过程提供日常预测,在这工作,未来几天的值填充的最新数据获取完整的序列。然后,LSTM算法和eLSTM算法采用的完整数据集预测结果。因此,死亡率评估是每天更新与补充数据接近接近的可靠性。流程见图4。


图4
流程图与数据更新动态预测。
2.4。实验设计

拟议中的eLSTM算法相比,三个评分系统(削弱了II,沙发,和APACHE II), RF算法,LSTM分类器。LSTM分类器,乙状结肠层上应用二进制LSTM块的分类。LSTM块有一个隐藏的隐藏层64单元,和辍学率0.5是应用到输入层。重量参数初始化随机使用Glorot均匀初始化(47]。LSTM模型训练与学习速率的亚当优化器0.01 100年最大的时期。10%的训练数据作为验证集找到最好的时代。在eLSTM算法,有两个重要的hyperparameters:基地LSTM分类器的数量和大小的变量子集。考虑到运行时间,基地的数量LSTM分类器在当前的工作是设置为200。,一半的变量是随机选择构建单个分类器作为文献[推荐35]。最终,200个人LSTM-based分类器训练与25个随机选择重新取样实例变量。此外,动态预测通过RF算法实现培训10模型数据的第一个1、2,…,分别为10天。

实验重复50次。对于每一个实验,选择90%的数据集作为训练数据和左边的10%作为测试数据。在培训过程中,数据被归罪预处理和标准化。缺失的值是由线性插值归责方法,假设一个线性发展的时间变量缺失的数据(48]。然后,所有的变量都是通过减去手段规范化和划分标准偏差计算训练数据。

比较这些模型的性能,一些指标计算预测分数和真正的标签。接收操作特征(ROC)曲线和precision-recall曲线绘制评价分类器的性能。使用1−特异性作为中华民国曲线x设在和敏感性y设在所有潜在的阈值,而precision-recall情节适用的查全率和查准率x设在和y设在。中华民国(AUROC)下的面积和precision-recall曲线下的面积(AUPRC)计算比较。此外,预测类标签之间的偏见和真正的标签是全面衡量灵敏度/召回、特异性、准确性、精密,F1的分数。灵敏度/回忆正确计算有多少真阳性病例分为积极的,而精密计数真阳性病例的比例情况下分为积极的。F1的分数是调和平均数的查全率和查准率。

3所示。结果

3.1。死亡率的预测性能

中华民国曲线和precision-recall曲线模型如图5和6。eLSTM模型产量最大的AUROC 0.8505和0.45的最大AUPRC。


图5
所有系统的ROC曲线。

图6
所有系统的precision-recall曲线。

重复实验的详细统计结果表2。方差分析测试显示显著差异在AUROC AUPRC,灵敏度/召回,特异性、准确性、精密,F1中使用方法( )。可以看出射频的模型,LSTM,和eLSTM更大AUROC值(射频:0.8282±0.0151,LSTM: 0.8382±0.0158,和eLSTM: 0.8451±0.0136)比得分系统削弱了II,沙发,和APACHE II(削弱了II: 0.7788±0.0166,沙发:0.7354±0.0184和APACHE II: 0.7467±0.0173)。AUROC提出eLSTM模型最大的平均值为0.8451,LSTM方法第二大意味着AUROC值为0.8382,0.8282和射频方法的第三大。eLSTM模型优于其他模型的AUPRC最大的价值为0.4862±0.0345。此外,eLSTM算法最大的灵敏度/召回0.7758和RF模型和LSTM模型中值的0.7197和0.7384,而三个评分系统的最小值0.5418 - -0.6922。事后分析Dunnett AUROC测试显示了差异AUPRC, eLSTM之间的敏感性和其他方法很重要( )。完全,eLSTM模型获得的重要的最大价值AUROC, AUPRC和敏感性。注意到所有方法精度较低和F1的分数。这主要是由于不平衡分布的类标签,也就是说,消极的实例的数量远远大于积极的。

表2
评估所有死亡率的预测系统(均值±std)。
3.2。动态预测

图7显示死亡率预测的时间进程在入学后一到十天。看到,可用的数据每天更新,尽管AUROC值的各种系统持续上涨,通过整个过程,eLSTM AUROC值,LSTM,射频高于三个评分系统。从第三天,eLSTM拥有最高的价值,直到结束的记录。方差分析后跟Dunnett eLSTM模型的测试显示了AUROC值显著高于LSTM和射频模型(eLSTM vs LSTM: ;eLSTM与射频: )。图表也清楚地表明,射频,LSTM,和三个评分系统达到最高性能的最后一天,eLSTM达到相应的水平至少比评分系统和2和6天前1天前比射频和LSTM,分别。这些事实证明eLSTM具有较强能力的动态预测以及早期预后。


图7
所有系统的AUROC值与数据更新。

图8表明AUPRC AUROC数据更新的类似的趋势。eLSTM模型产量最大的AUPRC 0.5在所有方法。方差分析后跟Dunnett测试展品AUROC eLSTM模型的价值明显高于LSTM和射频(eLSTM vs LSTM: ;eLSTM与射频: )。


图8
所有系统的AUPRC值与数据更新。
3.3。的影响在eLSTM LSTM分类器的数量

eLSTM AUROC价值上升的增加基础LSTM分类器(图的数量9)。它有一个陡峭的上升不到40 LSTM分类器集成时,然后保持温和上升,最后停留在一个高原100年之后分类器。类似的情况也AUPRC(图中观察到10)。


图9
的AUROC值eLSTM基地LSTM分类器的数量增加。

图10
的AUPRC值eLSTM基地LSTM分类器的数量增加。
3.4。在eLSTM变量子集的大小的影响

方差分析测试表明变量子集的大小在AUROC eLSTM模型会导致显著的差异以及在AUPRC (AUROC:F= 45.932, ;AUPRC:F= 7.079, )。AUROC值同样高的eLSTM多组16日25日或32变量(图11)。和eLSTM达到最大AUPRC当变量子集的大小是16,25日或32(图12)。成对比较图基测试显示了AUROC和AUPRC值eLSTM模型训练集的16日25日和32个变量显著高于8和50个变量( ),尽管没有显著差异的模型与集16日25日和32个变量。在这个工作中,变量子集的大小被设置为25日的平均价值与文学的建议在协议(35]。


图11
eLSTM的AUROC值与多个大小的变量子集。

图12
eLSTM的AUPRC值与多个大小的变量子集。

4所示。讨论

值得注意的是,RF算法,LSTM,和eLSTM表现出更好的性能比削弱了II,沙发,和APACHE II评分系统(表2)。这表明,数据驱动的数学模型可以帮助改善ICU的死亡率的预测,进一步其他临床任务。不同的模型为不同的目的和情况。目前的研究表明,在动态预测,LSTM和eLSTM优于RF算法。射频通常被认为是一个易于使用的算法的决策。然而,时间进程不敏感,导致疲软利用时间序列数据中的信息。但在LSTM块,在前面的时间步的值对未来影响时间的步骤;因此,LSTM块能够捕获数据和适合的时间趋势时间序列建模。此外,随着输入数据的更新,LSTM的预测能力不断提高。换句话说,LSTM在动态预测的优势。 The results demonstrate that generally, the eLSTM algorithm outperforms a single LSTM classifier. Also, it is seen in Figures7和8eLSTM模型有更好的成就比LSTM早期预测。它可以解释说,而不是一个假设空间由一个LSTM分类器,eLSTM算法生成多个基本学习者扩大假设空间,导致更好的近似真实的假设。

提出eLSTM算法成功地处理在ICU临床时间序列数据和提供了一个统一的模型来预测ICU患者的死亡率。在加护病房,病人患有各种各样的疾病。约翰逊等人总结的分布主要国际疾病分类(ICD)在整个MIMIC-III数据库(44),主要在ICU常见的传染病和寄生虫病(ICD-9: 001 - 139),消化器官的肿瘤,和胸内的器官,等等。(ICD-9: 140 - 239)、内分泌、营养、代谢,和免疫(ICD-9: 240 - 279),循环系统疾病(ICD-9: 390 - 459),肺部疾病(ICD-9: 460 - 519),消化系统疾病(ICD-9: 520 - 579),泌尿生殖系统疾病(ICD-9: 580 - 629),创伤(ICD-9: 800 - 959),和中毒的药物和生物物质(ICD-9: 960 - 979)。加护病房的病人通常被诊断出患有一种疾病,多。综合症。病人的生理状态是复杂的,因此,它是一个学习者很难发现病人由记录的模式参数。因此,在以往的相关研究中,ICU的数学模型通常被设计为单一特定的疾病,如心脏衰竭或脓毒症(49- - - - - -53,目前,它缺乏通用的定量覆盖所有ICU患者死亡率的预测方法。eLSTM的多样性是通过采用装袋和RSM算法。基地建设的学习者,引导采样和RSM确保学习者投入到各种病人和疾病。模型训练,引导ICU的抽样数据产生发散不同疾病患者分布的数据集。与此同时,RSM组装不同的生理变量代表病人的状态。这些过程在训练子集拓宽视图实例和ICU的功能水平数据,因此收益率LSTM分类器不同的基地。在这部作品中,设置25变量在模型中带出最好的性能数据11和12)。而太少的变量将大大减少基础学习者的分类能力,冗余变量会损害学生的多样性。结果与前面的发现一致(35]。此外,作为装袋的一部分战略模型的输出端,独立基础学习者集成使ICU病人的一般情况全面、清楚。由于个体学习者的分类能力和模型的整体学习能力,胜任该eLSTM算法捕捉疾病之间的复杂关系和ICU中的参数数据,从而提高结果的预测。

5。结论

在本文中,我们提出一个新的方法命名eLSTM可以处理复杂和异构ICU死亡率预测的数据。拟议中的eLSTM模型获得预测结果通过合并多个平行LSTM分类器的结果。训练基地LSTM学习者在不同子集的使用引导样本和随机生成特征子空间。实验结果表明,该eLSTM算法有效地利用LSTM分类器的整体框架和实现性能优良的提取MIMIC-III数据集。此外,它提供了一个早期的ICU患者的预后。eLSTM模型承诺提供一个通用的定量工具来评估所有患者在ICU的风险,甚至对其他复杂的临床情况。在未来的工作中,其他方法值得研究聚合组件的分类器来优化结构以及算法。

数据可用性

使用的数据来支持本研究的发现在MIMIC-III网站(https://physionet.org/physiobank/database/mimic3cdb/)。

的利益冲突

作者宣称没有利益冲突。

确认

这项工作得到了国家自然科学基金(批准号81271662和81271662)。