事件预测模型考虑时间和输入错误在重症监护室:使用电子病历的回顾性研究gydF4y2Ba

介绍gydF4y2Ba

由于重症监护资源总是有限的,和更好的资源分配会导致更好的结果gydF4y2Ba1gydF4y2Ba等传统分数),急性生理和慢性健康评估(APACHE) [gydF4y2Ba2gydF4y2Ba),简化急性生理学得分(SAPS) [gydF4y2Ba3gydF4y2Ba),和死亡概率模型(mpm) (gydF4y2Ba4gydF4y2Ba)被用来预测的结果病人住进了重症监护室(ICU)。然而,由于病人在ICU的状态变化迅速,预测不良事件和临床并发症,死亡率的主要原因和可怜的结果,可以买一些时间来干预,改变自然的疾病过程(gydF4y2Ba5gydF4y2Ba,gydF4y2Ba6gydF4y2Ba]。虽然传统的分数被广泛使用,但这些分数只使用承认患者的特点,也有许多试图开发使用时间序列数据预测模型。gydF4y2Ba

增加使用的电子医疗记录(电子病历)gydF4y2Ba7gydF4y2Ba和人工智能(AI),开发了许多人工智能模型来预测事件在卫生保健领域gydF4y2Ba8gydF4y2Ba),和重症监护领域也不例外。此外,ICU经常产生许多不同类型的测量数据。因此,许多模型已经开发重点是ICU数据(gydF4y2Ba9gydF4y2Ba- - - - - -gydF4y2Ba13gydF4y2Ba]。gydF4y2Ba

先前的模型使用回顾性EMR开发数据。应用这些模型在现实世界中,应该考虑两个点。模型应该知道超过一个事件是否发生在预计时间内。在大多数研究中,事件发生的分布在后续时间内倾斜到一边(gydF4y2Ba5gydF4y2Ba,gydF4y2Ba9gydF4y2Ba]。我们这种现象定义为“时间偏态”,这意味着更多的真阳性样本时预测时间是接近实际的事件发生时间。特别是,性能指标快速反应小组的直接联系的保证时间依赖对治疗干预的可行性,类似于脓毒症治疗指南建议的小时包。第二,医疗记录数据通常是输入不正确,推迟,甚至经常错过在这个领域在病人护理(gydF4y2Ba14gydF4y2Ba]。这些错误应该影响任何实时预测模型。即使人类取而代之的是一个物联网的医疗(IoMT)传感器gydF4y2Ba15gydF4y2Ba),这些传感器能产生噪音数据和事务可以推迟。因此,模型应该健壮的考虑到这些输入错误。gydF4y2Ba

因此,预测模型使用电子病历应实现如下:(1)修正时间偏态和(2)鲁棒性延迟输入和数据输入错误。在此,我们开发了一种新的预测模型使用深度学习的技术,可以在临床上应用于实现上述两点。gydF4y2Ba

方法gydF4y2Ba

研究参与者和群体发展gydF4y2Ba

我们回顾了成年患者承认ICU在遣散医院从2013年到2017年,韩国高等学术医学中心,包括医疗、medicosurgical,神经,心脏手术恢复,冠心病监护单位,共有200加护病房床位。患者信息被取代住院病人身份匿名代理键和转移与时间相关的信息,如出生日期和图表输入时间,通过随机选择的时期之前的分析。这项研究是遣散医院的机构审查委员会批准,延世大学卫生系统,首尔,韩国(IRB 4-2017-0939)和Ilsan医院(NHIMC 2018-06-004-001)。透明的报告后的所有方法进行个人预后和诊断的多变量预测模型(三脚架)的指导方针。gydF4y2Ba

模型开发gydF4y2Ba

我们开发了预测模型3事件:死亡率、脓毒症、急性肾损伤(AKI)。这些在ICU(重症监护病房)被认为是重大事件,对这些事件的预测和干预将有助于改变病人的临床过程。模型使用19特点:6至关重要的信号,11个实验室检测,格拉斯哥昏迷评分(GCS)、年龄(见gydF4y2Ba多媒体附录1gydF4y2Ba)。两个作者,重症监护专家(KSC和CH),选择功能广泛,通常用于一般icu。我们排除了任何18岁以下的患者年,至少没有一个有效的记录1 5生命体征(即脉冲率、收缩压、舒张压、呼吸速率,和体温),和之后的事件时间ICU停留。gydF4y2Ba

以下工作发现的事件定义。gydF4y2Ba死亡率gydF4y2Ba被定义为一个在加护病房EMR的死亡记录。根据临床监测定义(gydF4y2Ba16gydF4y2Ba),gydF4y2Ba脓毒症gydF4y2Ba定义为患者至少有一个并发急性器官功能障碍。脓毒症是由升压的起始或机械通风;乳酸水平升高;或者在基线肌酐水平显著变化,胆红素水平,或血小板计数在前48小时或24小时后怀疑严重的感染。gydF4y2Ba涉嫌严重感染gydF4y2Ba被定义为血培养和持续管理新的抗生素。阿基,根据肾脏疾病:改善全球的结果(KDIGO)临床实践指南gydF4y2Ba17gydF4y2Ba),定义如下:增加血清肌酐水平0.3 mg / dL在48小时内,增加血清肌酐水平基线水平的1.5倍,已知或假定发生在前7天内,或减少0.5毫升·公斤gydF4y2Ba^1gydF4y2Ba·hgydF4y2Ba^1gydF4y2Ba在6个小时的尿量。阿基的起始时间定义的时间点肌酐水平升高。gydF4y2Ba

每个预测模型是基于双向长期短期记忆(biLSTM)和设计为一个二进制分类模型,它的答案gydF4y2Ba是的gydF4y2Ba或gydF4y2Ba没有gydF4y2Ba的问题。两种类型的数据:使用的模型(1)的动态特性,这是时间序列数据,(2)静态特性。采样频率的动态特性是1小时。我们使用biLSTM动态特性和静态特性的完全连接层。我们从LSTM连接输出和完全连接层,用它们作为分类的输入层(gydF4y2Ba图1gydF4y2Ba)。biLSTM层有20个隐藏节点。亚当•优化训练中,我们使用0.001的学习速率,批处理大小为32,最大300(见的时代gydF4y2Ba多媒体附录2gydF4y2Ba详情)。此外,考虑到未来事件发生的时间间隔,我们设置3未来时间点:TgydF4y2Ba_1gydF4y2Ba(近期),TgydF4y2Ba_2gydF4y2Ba(中期未来),TgydF4y2Ba_3gydF4y2Ba(将来)。考虑到临床情况和转变医务人员的时间表,每个事件都有不同的时间点:死亡率和阿基预测3,6日,提前12小时,脓毒症是预测2,4,6小时。在T模型预测事件gydF4y2Ba_我gydF4y2Ba(我{1,2,3}),我们预处理数据,积极的和消极的实例。具体来说,我们随机选择了一些在T时间点gydF4y2Ba_我gydF4y2Ba积极的实例和一些事件发生的时间点内TgydF4y2Ba_我gydF4y2Ba从随机选择的时间点消极的实例。选择预测次之后,我们从入学时间收集的输入特性预测时间。由于EMR数据有缺失数据,推导出丢失的数据,我们申请延后方法如果有效数据之前失踪的时间点。如果没有有效数据丢失的时间点之前,但是存在有效数据丢失的时间点之后,我们填补缺失值与正常价值的功能。减少过度拟合,我们使用L2正规化的重量每一层时,停止了模型早验证集的模型的性能没有改善连续60时代后100时代而训练每个模型。纠正失衡的结果,我们使用平衡minibatch培训。gydF4y2Ba

‎gydF4y2Ba 把这个图gydF4y2Ba

性能度量gydF4y2Ba

我们比较了模型性能与其他广泛使用的分数和模型。模型的性能相比死亡率的APACHE-II和顺序器官衰竭评估(SOFA)分数,和脓毒症模型性能预测与沙发的分数。虽然这些分数不是黄金标准预测事件,医生的决定都是基于这些分数。因此,我们将我们的模型与这些分数,在先前的研究[gydF4y2Ba18gydF4y2Ba- - - - - -gydF4y2Ba20.gydF4y2Ba]。此外,我们将我们的模型与其他流行的机器学习模型(例如,逻辑回归和XGBoost)(见gydF4y2Ba多媒体附录2gydF4y2Ba详情)。然而,没有黄金标准AKI的分数;因此,我们只比较了模型与其他机器学习模型AKI的事件。单个模型的预测性能测量是接受者操作特征曲线下的面积(AUROC) precision-recall曲线下的面积(AUPRC),特异性,gydF4y2BaFgydF4y2Ba_1gydF4y2Ba分固定的敏感性为0.85,考虑一项研究[gydF4y2Ba21gydF4y2Ba]。gydF4y2Ba

验证gydF4y2Ba

模型验证在两个方面:第一,5倍交叉验证使用开发人群中执行评分标准的机器学习算法。然后,独立的模型外部验证验证队列。验证对象包括患者承认国家健康保险公司Ilsan医院的加护病房,二级医院由国家保险公司2017年1月和12月之间。gydF4y2Ba

错误和延迟输入实验gydF4y2Ba

模型鲁棒性对入口错误和延迟输入与两个机器学习模型通过测量多少AUROC和SD值被添加噪声影响。测试误差的鲁棒性输入,我们添加了高斯噪声归一化特性与特定的范围(例如,1/1000,1/200,1/100,1/20,1/10,1/2,每个特性的范围)内随机选择的两个生命体征数据时间序列的10%。接下来,为了与其他机器学习模型,我们增加了噪声对两个随机选择的生命体征。此外,我们测试了延迟输入的鲁棒性。延迟输入错误,我们删除了数据在特定的时间(即清廉小时)为两个随机选择的生命体征;然后,延后的删除数据估算方法。gydF4y2Ba

所有分析使用Python(3.6.7版)(gydF4y2Ba22gydF4y2Ba),使用TensorFlow 1.14构建的模型(gydF4y2Ba23gydF4y2Ba深度学习框架。gydF4y2Ba

数据可用性gydF4y2Ba

期间生成的数据集和/或分析在这项研究中不公开由于医院规定电子医疗数据,但可以从相应的作者在合理的请求。gydF4y2Ba

结果gydF4y2Ba

人口特征gydF4y2Ba

总共有21732和2487名患者被包含在开发和验证组,其中57.13% (n = 12416)和56.49% (n = 1405)是男性参与者,分别。参与者的平均年龄为60.97(标准差15.2)和69.05(标准差14.13)年的开发和验证组,分别。死亡率的流行、败血症和阿基是783年(3.6%)、679年(3.12%),和1978年开发队列中(9.15%)和209年(8.4%)、243(9.77%)、287(11.54%),验证队列gydF4y2Ba表1gydF4y2Ba。gydF4y2Ba

模型的性能gydF4y2Ba

发展队列,死亡的AUROC值预测模型3、6和12小时提前分别为0.990,0.984,和0.982,分别。对验证对象、模型实现AUROC值为0.960,0.964,和0.938预测死亡率3、6分别提前12小时。死亡的AUPRC值预测模型3、6、12小时提前分别为0.887,0.794,和0.727,分别在开发队列,和0.728,0.786,和0.645,分别测试队列。模型与APACHE-II相比,沙发、逻辑回归,XGBoost模型。我们的模型产生了AUROC和AUPRC价值高于其他模型,除了少数点。此外,脓毒症的AUROC值预测模型2,4,和提前6小时是0.768,0.739,和0.761,分别在开发队列和0.766,0.751,和0.738,分别测试队列。脓毒症的AUPRC值预测模型2,4,和提前6小时是0.105,0.092,和0.103,分别在开发队列和0.294,0.270,和0.318,分别测试队列。这些表演都明显高于那些使用沙发分数(金本位医疗分数),逻辑回归,和XGBoost模型,除了AUPRC值在开发队列。虽然AUROC值模型的得分高于沙发,AUPRC值比沙发的得分越低。最后,阿基的AUROCs预测模型3、6和提前12个小时是0.838,0.836,和0.802,分别在开发队列和0.804,0.766,和0.760,分别测试队列。 The AUPRC values of AKI prediction model were 0.385, 0.356, and 0.307, respectively, in the development cohort and 0.372, 0.342, and 0.340, respectively, in the test cohort; these values were higher than those using the other two machine learning models (logistic regression and XGBoost; see图2gydF4y2Ba和gydF4y2Ba多媒体附录3gydF4y2Ba和gydF4y2Ba4gydF4y2Ba)。gydF4y2Ba

‎gydF4y2Ba 把这个图gydF4y2Ba

对误差的敏感性和延迟输入gydF4y2Ba

个人作为噪声模型进行评估通过添加数据错误。AUROCs模型除了我们提出的模型都是减少通过增加附加噪声。例如,在死亡率预测模型,当添加高斯噪声特性范围,我们模型的AUROC降至0.0004(标准差0.002),而这是0.270 (0.0530 SD)的逻辑回归模型,和0.0732(标准差0.0442)XGBoost模型,分别。其他模型显示类似的结果。然而,在延迟输入实验,平均差异AUROC原始和延迟输入数据之间的验证队列(见几乎是0gydF4y2Ba图3gydF4y2Ba和gydF4y2Ba多媒体附件5gydF4y2Ba)。gydF4y2Ba

所示gydF4y2Ba图4gydF4y2Ba,每个图显示每个模型是如何工作的。在死亡率预测模型中,12个小时在事件之前,打开闹钟只有12小时的模型。事件临近时间,闹钟打开长达6和3小时模型、顺序。其他事件显示出类似的结果。因为每个事件模型预测不同的时间窗口,模型的预测可以克服时间偏态,虽然有轻微的时间真实事件和预测之间的区别。gydF4y2Ba

‎gydF4y2Ba 把这个图gydF4y2Ba

‎gydF4y2Ba 把这个图gydF4y2Ba

部署gydF4y2Ba

这些模型已经在韩国实现三级和二级医院。gydF4y2Ba图5gydF4y2Ba显示应用程序的一个屏幕快照用于部署模型。gydF4y2Ba

‎gydF4y2Ba 把这个图gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

本研究证明了预测模型不仅在ICU事件,考虑是否时间间隔的事件发生时,也会发生。通过考虑所有这三个模型,预测事件在不同的时间间隔,医生可以推断gydF4y2Ba当gydF4y2Ba事件会发生。此外,模型的健壮性测试通过模拟数据错误和延迟输入。所有的模型显示相似的健壮性延迟输入;但是,只有我们的模型被认为是可靠的输入错误。gydF4y2Ba

结果事件的标签是最重要的事情之一在监督学习,比如这些模型。定义的死亡率EMR-recorded死亡率数据。然而,对于脓毒症,根据Sepsis-3定义(gydF4y2Ba24gydF4y2Ba),疑似感染时的时间点,和器官衰竭开始需要知道。为了克服这个问题,Rhee et al (gydF4y2Ba16gydF4y2Ba)提出了临床监测脓毒症的定义。Nemati et al (gydF4y2Ba21gydF4y2Ba)定义脓毒症同样除了一些时间间隔因为所有的定义是基于Sepsis-3定义。阿基的定义取决于血清肌酐水平。除了死亡,因为安琪和脓毒症是由实验室测试事件标签可能是不正确的。这一点可以让两个模型的性能差比死亡率预测模型。gydF4y2Ba

因为这个工作定义,脓毒症患病率差异两个群体:死亡率为3.12%和10.04%,和脓毒症患病率在开发和验证组的3.12%和11.17%,分别。这可能是因为外科ICU患者占更大比例的发展比验证队列的队列。这导致验证队列的APACHE和沙发分数高于开发群体。gydF4y2Ba

许多研究都试图预测事件的ICU。例如,后于et al (gydF4y2Ba9gydF4y2Ba)开发了一个模型来预测在ICU(重症监护病房)循环衰竭。此外,循环衰竭的重症监护病房采用梯度增加,评估方法与夏普利添加剂解释(世鹏科技电子)值。模型计算分数每5分钟循环衰竭的风险预测在接下来的8个小时,和它有一个AUROC 0.90。然而,由于该模型是within-setting模型开发的,目前尚不清楚需要多长时间的事件发生。模型只预测事件是否发生在8小时内,即使只有1小时后的事件可能会发生。迈耶等(gydF4y2Ba10gydF4y2Ba]预测死亡率,出血,需要肾脏替代治疗心胸手术后24小时;这些事件的AUROCs是0.87,0.95,和0.96,分别。虽然该模型预测实时事件,结果是定时事件。Nemati等预测脓毒症65年ICU使用特性,包括EMR和高分辨率的床边监测数据;他们的模型产生了AUROCs 0.82, 0.81, 0.80, 0.79,预测脓毒症4,6,8,分别提前12小时。模型是基于Weibull-Cox回归模型,考虑within-setting时间点。为了克服模型的时间偏态,金等(gydF4y2Ba11gydF4y2Ba)开发了一个模型来预测住院心脏骤停的时间点使用一个字符级的周期性单元用威布尔分布。他们认为,时间偏态符合威布尔分布,然后预测的时间点分布表示的最大价值。我们的数据也显示时间偏态的积极活动。绘制event-prediction时间与每组时,大多数预测真实事件被发现附近发生的真实事件发生(gydF4y2Ba多媒体附件6gydF4y2Ba)。这种现象可以显示在其他时间预测模型。颞偏态时重要的模型应用于真实的世界。从模型中,当医生收到警报工作—就是说,报警警报和真正的事件之间的时间足以干预疾病进展。gydF4y2Ba

死亡率和阿基预测模型表明,预测时间是事件时间越近,AUROC值越高。然而,败血症事件,有关的分析显示,提前6小时预测模型比工作提前2小时预测模型。这可能是因为脓毒症的定义是主观多于其他事件。gydF4y2Ba

大多数先前的模型鲁棒性评估主要集中在推广到任何数据输入。例如,体重衰变(gydF4y2Ba25gydF4y2Ba)和提前停止法(gydF4y2Ba26gydF4y2Ba)是众所周知的方法,使模型更加健壮。然而,在这项研究中,我们专注于鲁棒性错误和延迟输入。所有的模型显示延迟输入的鲁棒性。这可能是因为延后方法(用于转嫁删除数据)导致延迟输入数据不明显不同于原始数据,与noise-add实验。然而,错误输入的实验表明,我们的模型比其他模型(更健壮gydF4y2Ba图3gydF4y2Ba)。虽然我们随机选择两个生命体征在错误输入的实验中,我们进行了敏感性分析,通过选择特定的对生命体征和添加噪声只有那些对。均值之间的差异原来的模型和噪声模型考虑规模1小于0.003。性能仍然选择类似这样的生命体征,和噪音被添加(多媒体附录7)。此外,与时间序列模型,需要值的时间窗口,non-time-series模型需要一个抽象值。似乎让值抽象可以导致更高的鲁棒性比时间序列模型。然而,本文的系列模型产生AUROC值低于我们的模型,除了脓毒症与测试数据集(预测模型gydF4y2Ba多媒体附录8gydF4y2Ba)。这一发现表明,时间序列模型取得了更高的性能和更健壮的错误和延迟输入(见gydF4y2Ba图3gydF4y2Ba)比本文的系列模型。这可以解释为,时间序列模型从所有的时序特性,而不是一个时间序列代表的价值。gydF4y2Ba

我们所知,这是第一次尝试评估模型的鲁棒性对延迟输入和输入错误。没有度量误差的鲁棒性和延迟输入。因此,AUROC变化,意味着区别是用来评估鲁棒性噪声添加时,或输入被推迟。gydF4y2Ba

限制gydF4y2Ba

对我们的研究有一定的局限性。首先,我们可以不考虑每个事件之间的相关性。例如,死亡率和阿基可引起败血症。然而,在这个模型中,每个事件被认为是一个独立的结果。进一步的研究应该进行预测相关的结果。第二,我们通过添加模拟评估输入错误和延迟输入噪声回顾性数据。此外,该模型在现实世界中工作。评估这些点,未来的研究应该执行。第三,手动输入特征选择;然而,这几个变量是常用在icu全球预测病人的结果。 According to survey on sepsis prediction [27gydF4y2Ba),我们的功能已经包含在其他模型。此外,其他临床并发症或不良事件在未来的研究应该扩大。gydF4y2Ba

结论gydF4y2Ba

在这项研究中,我们开发了一个结果预测模型对真实世界的应用程序。我们认为不仅性能,而且模型的鲁棒性颞偏态和输入延迟和错误。通过考虑时间偏态,医生可以更有效地干预疾病进展。此外,由于模型是健壮的延迟输入和输入错误,医生可以信任这个模型比那些不那么健壮。gydF4y2Ba