使用不同深度学习模型预测重症监护病房患者实验室值异常:比较研究

介绍

背景

机器学习和数据分析方法用于各种应用，例如异常检测[1]、文本分类[2]、图像分割[3.]和时间序列预测[4]。机器学习最近变得非常流行的一个领域是医学。在医学方面，由于数据可用性的提高，现在有了其他应用。特别是医学影像[5]及电子健康纪录[6，7]在这里代表了突出的例子。在医学图像检测疾病(如肺炎)方面已经做了很多研究。8]，这是由计算机视觉的进步推动的。此外，电子病历允许使用机器学习模型执行许多任务，例如预测住院时间[9]和脓毒症患者的死亡率[10]。在这些研究中，作者使用电子病历来训练他们的机器学习模型。然而，电子病历拥有如此多的数据，使用合适的工具，它们可以支持许多有价值的应用程序。

在本研究中，我们考虑重症监护病房(ICU)重症患者的治疗。在这些患者的整个治疗过程中，定期收集实验室数据。由于在ICU中需要监测的数值非常多，有时可能超过100个实验室测试[11]，重要的异常或趋势可能不会被注意到。这可能导致不理想的治疗策略和并发症在病人的情况下。例如，COVID-19患者实验室值的早期变化是死亡率的重要预测指标[12]。对实验室异常的正确分析可以指导治疗策略，特别是在早期发现可能危及生命的病例时。这应有助于资源分配，并通过允许及时干预来挽救生命。此外，卫生保健工作者30%-50%的时间都在电脑前，必须处理大量的患者数据[13，14]。节省下来的时间可以让他们有更多的时间和病人在一起。

之前的工作

由于大数据最近在医疗领域的可用性，特别是电子病历，人们对将机器学习工具应用于医疗应用的兴趣越来越大。由于实验室测量的采样不一致、丢失值的频率高以及存在噪声数据，处理来自电子病历的医疗数据可能相当具有挑战性。此外，在将机器学习算法应用于医疗数据之前，没有标准化的方法来处理这些数据。尽管如此，许多作者已经设法处理数据并将机器学习算法应用于医疗序列建模。作者(15]开发了一种掩蔽的自我注意机制，该机制使用位置编码和密集插值策略来整合时间顺序。作者在MIMIC-III数据集上训练和测试了他们的模型，与循环神经网络(rnn)相比，他们在模型上取得了更好的性能。基准测试任务包括预测死亡率(分类)、住院时间(回归)、表型(多标签分类)和失代偿(时间序列分类)[16]。虽然基准测试任务包括分类任务，但这些任务都不包括实验室值或具有大量稀疏数据的不规则采样序列的建模。创建基准是为了在从MIMIC-III数据集中提取的特定类型的医疗数据上比较不同的机器学习模型，并且仅涵盖4个任务。然而，MIMIC-III有更多的数据，可以允许执行更多的任务，如本研究中的一个。

也有一些研究比较了从不规则采样时间序列中学习的不同方法和机器学习算法，这主要是在医学领域。例如，作者[17比较允许从不同形式的不规则时间序列中学习的建模原语，如离散化、插值、递归、注意和结构不变性。作者讨论了每种建模原语的优缺点以及它们适合的任务。另一项研究[18使用了一种基于递归的方法，使用了称为门控递归单元(gru)的rnn的特定版本，并讨论了使用它而不是其他方法的优点。此外，作者[19]提出了一种早期检测败血症的系统，该系统使用基于插值的方法进行数据输入，然后使用时间卷积网络(tcn)和动态时间翘曲。作者使用多任务高斯过程进行多通道数据输入，随后使用TCN模型预测未来败血症诊断的概率。作者证明，他们提出的算法优于最先进的败血症检测算法。相比之下，我们使用基于离散化的方法，然后进行数据输入，将不规则采样的时间序列转换为定期采样的时间序列，因为它提供了一种简单的方法来理解、调试和实现一个框架，以处理敏感的实验室值，这些值可以有效地推广到其他电子病历。

本研究目的

这项工作的目的是分析ICU患者的实验室结果(实验室值)，并将这些实验室值中哪些预测将很快超出正常范围(下次进行这些测试时)，哪些预测将正常。这使卫生工作者能够关注这些实验室值、它们的重要性、它们与患者当前病例的关系以及它们对患者未来病情的影响。这可能会减少ICU的住院时间和死亡率[20.]。此外，卫生保健工作者可以将未来的测试重点放在这些实验室值上，而不是浪费时间和资源在不必要的测试上，这些测试约占ICU订购测试的50% [21]。最后，它将使医务人员减少检查所有实验室值所需的时间，并将注意力集中在相关的实验室值上，使他们有更多的时间与患者相处[14]。

方法

问题定义

手头的任务是预测未来在ICU的一段时间内，哪些实验室值是正常的，哪些是异常的。输入数据包含患者的人口统计数据和实验室数值，从他们入院到住院结束。输出是一个二进制向量，其中每个数字表示在未来4小时内特定实验室值异常(1)或正常(0)的可能性。因此，我们的问题是一个“多对一”或多标签分类问题。此外，我们选择了4小时的时间窗口，因为在MIMIC-III和eICU中发现的大多数实验室值每4小时记录一次。因此，使用此时间步长将引入最少数量的数据工件，特别是考虑到在较小的时间框架(如1小时)中实验室值的变化是不明显的。其他作者也使用了相同的实验值时间窗[22]。最后，系统总体框图如图所示图1．

‎ 查看此图

数据和队列定义

用于训练、验证和测试不同预测模型的数据来自MIMIC-III数据库。这是一个数据库，包含了31,532名在贝斯以色列女执事医疗中心的重症监护室住院的患者的数据[6在2001年至2012年期间。我们还使用了来自eICU合作研究数据库的数据[7]。它是由飞利浦eICU项目创建的重症监护研究的多中心数据库。它包含来自美国335个ICU单位的200,859个ICU住院的数据。在这两个数据库中，唯一的ICU住院ID与每个唯一的ICU住院相关联。

我们的队列研究重点是ICU的机械通气患者。由于COVID-19病毒导致重症监护病房接受机械通气的患者数量急剧增加，这一队列现在确实具有相关性。对于这些患者来说，了解哪组实验室值有异常趋势并予以关注是至关重要的，因为这与病例的发展有直接关系[12]。在之前的一项研究中使用了相同的队列，该研究侧重于使用强化学习动态优化重症监护中的机械通气[22]。在这个队列中，我们提取了25,086例eICU和11,943例MIMIC-III ICU患者的机械通气事件。ICU患者的住院时间为12 ~ 72 h，以4小时为步长。患者人口统计和临床特征显示于表1．

输入数据包括3个人口统计学特征(年龄、性别、体重)和25个实验室值(白细胞计数、PaCO)₂血红蛋白等)。所选择的实验室值与机械通气患者最相关，如莱茵大学医院Westfälische亚琛工业大学(RWTH)的医疗团队成员在其先前的工作中所示[22]。在多媒体附录1，从MIMIC-III和eICU数据集中选择的特征与其均值和标准差一起列出。

输出是一个长度为25的二进制向量。为了将实验室数值转换为二进制值，我们使用了美国医师学会(American College of Physicians) [23]。最后，用于从两个数据库中提取队列数据的结构化查询语言(SQL)查询包含在Git存储库中[24]。

预处理

从MIMIC-III和eICU数据集中提取的患者原始数据非常稀疏，并且有几个缺失值。因此，有必要进行预处理，为机器学习管道准备数据。首先，采用带时间窗的采样保持方法处理缺失值;在这种方法中，数据样本被保持(重复)，直到下一个可用的数据样本或达到最大保持时间。对于每个特征，我们进行了频率分析，以确定产生新测量的频率。获得连续测量时间差的计数，当它们的累积和超过阈值时，将第一个值作为保持时间。当特征的保持时间超过这个最大值时，数据点被认为是损坏的[25]。对于其余的缺失值，使用奇异值分解的k近邻imputation和均值imputation [26]。任何数据缺失超过50%的ICU住院均被丢弃(在整个队列中发生率<1%)[22]。最后，使用Tukey极差检验来检测和删除异常值。有关预处理步骤的详细说明见Git资料库[24]。

预测系统概述

用于预测患者实验室值异常的整体系统架构见图2．在执行前面解释的预处理步骤之后，输出时间序列将分为两种主要类型:人口统计数据和实验室值。每次ICU住院将使用移动窗口技术分成多个较短的序列。图3提出一例ICU住院时间L=11(44小时)。在这里,X_米表示患者在时间步长的输入数据向量米∈⁺,Y_米表示患者的输出二进制向量。窗口大小W∈⁺在8个序列中，我们从停留中提取了3个子序列。例如,W₁包括输入向量[X₀: X₇]和输出二进制向量Y₈．将移动窗口的过程应用于数据集(MIMIC-III, eICU)中的ICU停留。然后，将得到的子序列进行洗牌，并用于训练、验证和测试我们实验过的不同机器学习模型，如下所示图2．这意味着来自同一ICU住院的窗口子序列可以分布在训练集、验证集和测试集之间。此外，我们尝试了不同的窗口大小之间W = 5和W = 10并在结果一节中解释，在所有模型中选择给我们最好结果的模型。

我们尝试预测精确的数值实验室值(回归问题)，然后在将预测值与正常范围进行比较后将预测输出转换为二进制向量。然后训练模型以最小化最小平方误差损失。结果比直接预测输出二值向量并对二值交叉熵损失进行优化的结果差10%-20%。因此，我们选择了这个系统模型。

‎ 查看此图

‎ 查看此图

预测模型

在我们的场景中，预测模型的目标是预测给定输入序列的实验室值异常。机器学习问题是一个多标签分类问题，因为多个lab值同时被分类为正常或异常(multiclass)，并且多个lab值同时可能被分类为异常(multilabel)。我们实验了四种当前的深度学习(DL)方法:长短期记忆(LSTM)、带时间编码的自注意(变压器架构)、卷积神经网络(CNN)和TCN。在下面的小节中，将简要讨论每个模型体系结构。对这些模型进行了更详细的解释多媒体附录2(2，27-39]。

LSTM模型

LSTM是一种能够从长序列数据中学习的RNN。DL模型中典型的LSTM层由多个LSTM单元组成。另一种类似但更简单的细胞结构称为GRU [4]。我们在模型中实验了这两种细胞类型，并选择了LSTM，因为它的性能更好。我们实验中使用的架构如图所示图4．所有的实验值将被输入到LSTM块中，以便从顺序数据中学习。每个LSTM块包括一个LSTM层，该层具有“tanh”作为内置激活函数。然后，在序列数据通过这些层之后，将出现批处理归一化层，这些数据将与人口统计特征连接起来。然后，连接的数据将经过一堆完全连接的层，以具有s型激活函数的最后一个密集层结束。在前向传播期间，输出概率将与阈值进行比较，以产生用于计算损失和其他评估指标的二进制标签。

‎ 查看此图

CNN模型

cnn学习优化它们的核，以连续的方式从输入数据中提取信息。此外，它们在时间序列预测和分类问题上也很有效[27]，通常在总训练时间方面优于lstm，而且计算效率更高[28]。在我们的例子中，我们使用了一维多重CNN (M-CNN)，其中的核(过滤器)沿着时间轴移动，对所有特征执行卷积操作。内核大小定义了一个内核在任何时间点覆盖的时间步长。

除了接受1个输入流的普通CNN外，我们开发了一个架构，可以并行接受2个输入序列流。每个流将使用不同的过滤器进行处理。这确保了我们捕获序列中的短期依赖关系以及长期依赖关系。网络架构如图所示图5．

‎ 查看此图

变压器模型

变形金刚是一种最新的神经网络架构，源自早期研究中首次提出的注意力机制[29]。该机制最初是为翻译任务设计的，而翻译任务早先是使用rnn完成的。

在自然语言处理任务中，变压器通常使用一组叠加的正弦函数来表示单词的位置。然而，在时间序列任务中，我们需要将时间的含义附加到输入中。作者(30.]已经引入了一种方法，其中每个输入特征被表示为一个线性分量和一个周期分量。最后的结果将是一个时间步长的学习向量表示，它将在注意层之前与输入数据相连接。我们开发的模型体系结构如图所示图6．

‎ 查看此图

TCN模型

tcn首先用于基于视频的动作分割[31]。不久之后，它们被用于序列建模任务，如检测败血症[19]。TCN与传统的CNN有两个不同之处;首先，TCN可以接受任意长度的序列，并使用0填充输出相同长度的序列;其次，TCN执行因果卷积。一般来说，tcn是有利的，因为与rnn不同，它们可以用更少的内存并行训练。此外，它们支持可变长度的输入，可以很容易地取代任何现有的RNN。图7展示了我们设计并在实验中使用的TCN架构。

‎ 查看此图

评价指标

在我们的工作中，我们预测了未来时间步长的输出二进制向量，而不是实际的数值实验室值。我们尝试将模型训练为回归模型，预测实际数值并最小化最小平方误差。然后，我们使用推荐的范围将预测的数值输出转换为二进制向量。然而，当我们将模型作为直接预测二元向量的多标签、多类别分类器处理时，我们得到了更好的结果。因此，我们使用的评估指标是二进制精度、精度、召回率和F1分数。

评价设置

由于我们同时预测多个实验值，并且所有的类都是同等重要的，因此我们使用微平均来计算全局的准确性、精密度、召回率和F1。这些评估指标用于评估模型的训练、验证和测试。此外，为了对模型进行比较，还进行了以下几点:首先，使用Keras Tuner库对模型的架构和超参数进行了优化[40以确保模型达到最佳状态。其次，对模型进行训练以优化二值交叉熵损失[41]。第三，在连续10个epoch验证损失小于0.01时，采用提前停止方法停止模型的训练。这减少了模型过拟合的机会。第四，我们在模型训练过程中为所有随机过程设置种子，以确保结果的可复制性。最后，我们对所有模型使用相同的阈值(TH=0.5)和相同的窗口大小(序列长度=6)，以确保公平的比较。对于短于6个时间步的序列(ICU住院时间<24小时)，我们使用0填充。此外，我们实现了一种基于梯度增强的方法(LightGBM)，用于与基于dl的方法进行比较。LightGBM是性能最好的非基于dl的算法之一，在时间序列分类任务上表现良好[32]。

我们试验了两种训练模型的方法。在第一种方法中，我们训练模型并在MIMIC-III数据集上验证它们。然后，我们在MIMIC-III和eICU数据集上对它们进行了测试，如图2．在第二种方法中，我们在eICU数据集上训练和验证它们。然后，我们在eICU和MIMIC-III数据集上对它们进行了测试。表2显示每个数据集(窗口大小=6)中两种方法中使用的训练、验证和测试样本的计数。在这两种情况下使用了相同的患者队列，但eICU有更多的患者数据，导致比MIMIC-III更大的集合。最后，模型架构和超参数可以在我们的Git存储库中找到[24]和多媒体附录2．

伦理批准

贝斯以色列女执事医疗中心(美国波士顿)和麻省理工学院(美国剑桥)的机构审查委员会批准了MIMIC-III数据库的数据收集、处理和发布。eICU数据库的数据收集、处理和发布已获得eICU研究委员会的批准，并免于机构审查委员会的批准。根据欧盟数据保护法，使用亚琛工业大学和亚琛工业大学医院的计算基础设施处理所有数据。

结果

在图8， 9和10，我们分别报告了不同模型在训练过程中的验证损失、F1分数和准确性。以“mimic”结尾的模型名称表示在mimic - iii数据集上训练，以“eicu”结尾的模型名称表示在eicu数据集上训练的模型。此外，由于在训练中使用了较早的停止，一些模型比其他模型更早停止训练。因此，它们的度量在停止点之后是恒定的。

在表3和4，我们报告了不同模型的测试准确率、召回率、精度和F1分数。所有结果均为所有实验室值和测试样本的平均值。

由于我们期望我们的系统在医院的大量数据上连续运行，我们希望所选模型的性能足够好，以满足这种需求。因此，我们测量了模型的推理时间。实验在一台运行频率为3.60 GHz的Intel(R) Core i9-9900K处理器(Intel Corporation)的计算机上进行，使用32gb DDR4 RAM和Nvidia GTX 1080ti图形处理单元(Nvidia Corporation)，运行Ubuntu(20.04版本，Canonical Ltd)、Python(3.8版本，Python Software Foundation)和TensorFlow(2.6版本，谷歌Brain)。表5报告整个批处理(批大小=128个样本)上每个模型的推理时间。

‎ 查看此图

‎ 查看此图

‎ 查看此图

讨论

在这项工作中，我们开发了一个端到端系统来从电子病历中提取和处理实验室结果，并应用各种机器学习算法来确定哪些实验室值在接下来的4小时内会超出范围，并且结果令人满意。这使医务人员能够专注于这些可以改善患者整体诊断和治疗的实验室值。此外，它可以帮助减少在不相关的实验室测试上浪费的时间和成本。为了实现这一目标，我们采取了以下步骤:首先，我们使用SQL查询从MIMIC-III和eICU数据集中提取我们队列的相关患者数据。其次，采用带时间窗的采样保持方法，结合k近邻插值、均值插值和奇异值分解来填补缺失值。此外，我们使用Tukey范围检验来检测异常并删除异常。第三，我们尝试了非深度学习方法，如LightGBM和4深度学习算法进行时间序列分类。基于dl的方法通过模型之间的映射和处理函数来堆叠模型，使用梯度下降或动量方法来优化拟合。像LightGBM这样的梯度增强方法在每次迭代中使用基本学习器模型在广义线性建模框架内迭代地拟合模型到误差项和平均结果，在基本学习器模型中引入惩罚项。最后，我们在两个著名的EHR数据集(MIMIC-III和eICU)上训练和测试了我们的算法。 Cross-validating our algorithms on these 2 data sets ensures not only a broader performance comparison, but also helps analyze how far the different algorithms can generalize on new unseen data.

对不同基于dl的模型的训练结果进行更深入的分析(图8(9和10)表明，在eICU数据集上训练的M-CNN模型在训练结束时的效果比其他任何模型都好。此外，我们可以看到，当在更多的数据(eICU数据集)上训练时，TCN和变压器模型的性能都得到了显着提高。的结果可以更好地理解这一点表3和4．首先，在eICU数据集上训练的模型更好地泛化了以前从未见过的两个数据集的数据。这是因为模型有更多的数据可以训练，所以他们可以看到更多的变化和他们学到的案例。另一方面，在MIMIC-III数据集(eICU训练样本大小的43%)上训练的模型在MIMIC-III的测试样本上表现良好，但在eICU的测试样本上表现较差。其次，在两种训练方法中，M-CNN模型在几乎所有的评估指标上都表现最好。CNN模型在许多序列建模任务上表现良好，通常优于LSTM或GRU等RNN架构。此外，在不同的基于dl的方法中，基于cnn的模型具有最少的可训练参数，并且占用的内存最少，这使得它们在训练数据量较少的数据集上表现更好。另一方面，标准的cnn只能处理固定大小的输入，并且通常关注由于其静态卷积滤波器大小而直接接近的数据元素。然而，结合多个CNN模型有助于进一步提高精度，通过应用具有多个滤波器大小的卷积并结合输出以给出更鲁棒的预测。此外，在我们的示例中，我们选择了一个静态的、相对较短的输入序列长度，从而减轻了长而可变长度序列的问题。 In case of long, variable length input sequences, a TCN will be a better candidate. A TCN employs techniques like multiple layers of dilated convolutions and padding of input sequences to handle different sequence lengths and detect dependencies between items that are not next to each other but are positioned on different places in a sequence. Furthermore, more complicated architectures like transformers and TCNs with many more trainable parameters would perform better if they had access to more data, which is often an issue in the medical field because of the scarcity of available training data. Therefore, M-CNN architectures are desirable for modeling medical time series data with static lengths and relatively short lengths like lab values requiring relatively smaller training data sets. Moreover, the M-CNN architecture can generalize well on unseen data when trained well, considering integrated measures for reducing overfitting during model training. An interesting fact is that despite not outperforming the M-CNN model, lightGBM performed as well (sometimes better) as some other DL-based approaches while requiring much less training time. Non-DL–based approaches can model problems with much less training data but require hand-crafted features and are very sensitive to outliers and variation in data. Further, removing seasonality is often needed when dealing with time series data. Finally, we can see that the LightGBM model is the fastest in terms of the inference time according to表5，其次是CNN模型，在基于dl的模型中速度最快。M-CNN模型尽管优于常规CNN模型，但在推理时间上慢了29%，这是预期的，因为模型有更多的参数。

总的来说，我们的综合分析显示了使用DL模型对ICU患者实验室值的未来异常进行分类的优势。虽然我们在2个最常用的电子病历数据集上测试了我们的算法，但还需要进一步的测试来评估整个流程在其他电子病历上的性能，包括预处理步骤和机器学习模型的调优超参数的泛化程度。尽管如此，我们相信这项研究可以帮助其他试图使用机器学习建模医学时间序列问题的研究人员。