用迁移学习方法纠正临床预测模型的时间表现漂移:回顾性队列研究

介绍

临床风险预测模型可以为治疗干预和资源配置提供决策支持，从而改善患者预后，降低医疗成本[j]。1]。随着电子健康记录(EHR)数据的可用性和数量的增加，这些模型正在从基于规则的工具演变为基于数据驱动的基于概率的工具，例如，基于机器学习的患者预后预测模型[2]。其中一个关键的挑战是性能随时间的推移而漂移，这是由患者群体中逐渐或快速的数据变化引起的，例如患者转归率的变化、临床实践的发展和测量精度的提高[3.]。

为了纠正时间性能漂移，有一系列可用的模型更新方法，包括重新校准、模型特定自适应(例如，在随机森林[RF]模型中重新加权每棵树的叶节点和神经网络模型的增量学习方法)、模型扩展(例如，纳入新的预测因子)和全模型修正[1]。这些更新方法在分析复杂性、旧数据和更新样本要求以及计算需求方面各不相同。通常，全模型改装不是主要选择，特别是在临床应用中，因为单独使用新数据(通常较小)时存在过拟合的风险，而旧数据则被完全丢弃[1]。模型更新的本质是创建不断更新和适应新传入数据的模型，同时在新旧知识之间取得平衡[4-7]。

急性肾损伤(Acute kidney injury, AKI)是一种可能危及生命的临床综合征，目前唯一有效的治疗方法是支持治疗和透析，影响10%-15%的住院患者和50%以上的重症监护患者，死亡率很高[8，9]。对于AKI预测，Davis等[2]开发了7种常见的回归和机器学习模型，并发现歧视性能的下降在统计上显着，但对所有模型来说都很小。由于他们只收集了美国退伍军人事务部医院的数据，所以这不是人口流动的典型情况。利用从拥有欧洲最大肾脏治疗设施的皇家伦敦医院收集的数据，Haines等[10]建立了创伤后AKI的风险预测模型，受试者工作特征曲线下面积(AUROC)从开发组(2012年2月至2014年10月)的0.77(0.72-0.81)下降到验证组(2014年11月至2016年5月)的0.70(0.64-0.77)，且时间漂移显著。

在这项研究中，我们建立了一个医院获得性AKI的临床风险预测模型。该模型被命名为迁移学习梯度增强机(TransferGBM)，该模型基于迁移学习范式，并保持2个基梯度增强机(GBM)学习者的堆叠集成。迁移学习已被证明是处理数据稀缺(例如，在新数据不足或成本低的情况下)和许多领域数据分布差异的最有效方法之一[11-17]。迁移学习旨在选择性地重用源领域的数据或知识来辅助目标领域的建模过程，并将旧数据作为源领域，将新数据作为目标领域来解决性能漂移问题。由于现有的迁移学习方法只关注目标领域的性能优化，我们仍然需要一个精心设计的机制来整合和平衡从源领域和目标领域学习到的新旧知识。

方法

AKI的定义

根据肾脏疾病改善全球结局(KDIGO) AKI临床实践指南，我们采用基于血清肌酐(SCr)的标准来分级AKI的严重程度[18]。我们没有使用尿量来定义AKI，因为它在重症监护环境之外不太可能准确[19，20.]。轻度AKI(“AKI 1期”)定义为7天内SCr升高至基线值的1.5至1.9倍，或48小时内SCr升高至0.3 mg/dL (26.5 μmol/L)或更高。基线肌酐值定义为最近的SCr(如果有);否则，它是入场SCr。中度AKI(“AKI 2期”)被定义为7天内SCr比基线值增加2.0 - 2.9倍。最严重的AKI(“AKI 3期”)被定义为7天内SCr增加基线值的3.0倍或更多，或在48小时内急性增加至少0.3 mg/dL或开始肾脏替代治疗后SCr增加到4mg /dL (353.5 μmol/L)。

研究群体

该研究使用堪萨斯大学医学中心2010年至2017年未确定的电子病历数据构建了一个回顾性队列。这些数据在之前的一项研究中使用过[20.]共纳入141696例成人患者(121537例非aki患者;20159例AKI患者;3150例≥2期AKI患者;1491例AKI 3期患者)。为了反映住院患者群体的变化，不同年份入组的患者被视为不同的个体(即，我们在患者接触水平上处理数据)。

如图所示表1老年患者(即年龄≥65岁)的比例总体呈逐年上升趋势，从2010年的31.7%上升到2017年的36.5%。46 ~ 55岁患者比例逐年下降，其他年龄段患者比例保持不变。男女患者的比例随时间变化不大，基本维持在1:1。白人患者的比例一直排在第一位，占每年样本总数的70%以上，而夏威夷原住民的比例最少(仅为0.1%)。只有不同种族患者的比例保持稳定，没有明显变化。非裔美国人的比例在2010年高于其他所有年份，白人患者的比例在2010年略低于其他所有年份。此外，AKI(任何AKI)的发病率呈明显下降趋势，从2010年的16.9%下降到2017年的12.8%。

数据预处理

对于每个患者，我们收集了PCORNet公共数据模型(CDM)模式中所有当前填充的变量，包括人口统计细节(即年龄、性别和种族);结构化临床变量，包括合并症(《国际疾病分类》第9号和《国际疾病分类》第10号代码)、程序(《国际疾病分类》和现行程序术语代码)、实验室测试(逻辑观察标识名称和代码)和药物(RxNorm和国家药物代码);以及一些生命体征(如血压、身高、体重和体重指数)[21]。所有变量都有时间戳，数据集中的每个样本都由一系列每日汇总的临床观察向量表示。因此，前一天或当天的数据所形成的特征集t可在数天内预测AKI [t，t+1]用于24小时预报(或几天内预报)[t+ 1,t+2]用于48小时预测)。

我们对数据集进行如下预处理。首先，对于数值特征，如实验室测量值和生命体征，我们系统地去除了超过1%和99%的极值。其次，我们对分类变量(如诊断和程序)执行one-hot编码，将它们转换为二进制表示。第三，对于药物代码，我们将数据转换为预测时间之前的累积暴露天数，而不是二进制表示。第四，当在一定时间间隔内有重复记录时，选择最近的测量值。第五，我们使用“采样-保持”方法来检索早期可用的测量值，当测量值在一定的时间跨度内丢失时。第六，我们引入了额外的特征，如每日血压趋势或住院时间，这些已被证明对预测AKI有用[22]。第七，我们排除了所有形式的SCr和血尿素氮，因为它们与AKI诊断有很高的相关性，不适合连续预测。最后，共获得28,306个特征用于模型开发。

我们采用了离散时间生存框架[23]对带时间戳的电子病历数据进行预处理，如图图1．我们把病人的整个住院时间分为l不重叠的日常窗口(即l=Δt2Δt、……T),T是住院时间的长短或特定的检查点。基于专家知识，我们选择了一个检查点T=7，表示入院7天。间隔值Δt是根据临床需要选择的预测窗口。例如:Δt=1表示1天(24小时)预测，Δt=2表示2天(48小时)预测。我们将使用所有可用的数据t——Δt及时预测AKI风险t．我们根据不同预测任务的标准将AKI发病日对应的数据作为阳性样本处理，而第一个阳性样本日之后和不同AKI分期天数之间的数据被丢弃，因为我们无法判断这些时间段内的真实AKI分期，因为医生可能进行了干预，患者的病情可能已经改善。其余数据均为负样本。对于住院期间未发生AKI的患者，采用入院后7天内可获得的所有数据构建阴性样本，其余入院后7天的数据丢弃，以减轻数据不平衡。在离散时间生存框架下，我们可以训练一个更符合现实世界临床实践的模型，其中每天滚动预测患者的AKI风险是必不可少的[24]。

‎ 查看此图

TransferGBM建模框架

为了纠正时间性能漂移，我们提出了一个基于迁移学习的建模框架，名为TransferGBM，如图所示图2．

‎ 查看此图

从迁移学习范式的角度来看，我们将旧数据视为源域或源数据，将新数据视为目标域或目标数据。我们基于几个基本思想设计了TransferGBM。首先，基础学习器是GBM，它已广泛应用于临床预测建模研究[25，26]。选择GBM是因为(1)它对高维和共线性数据具有鲁棒性;(2)它可以自动处理缺失值;(3)它在模型训练过程中嵌入了独特的特征选择方案，使其输出更具可解释性[20.，27]。其次，我们对新旧数据进行了不同的处理，用2个独立的GBM模型分别代表新旧知识。第三，我们将旧知识转移到目标领域，同时通过上述2个GBM模型的集成来平衡预测中的新旧知识。第四，利用目标数据定期更新2个GBM模型及其在预测函数中的相对权重，以适应数据分布的变化。

TransferGBM建模框架包括5个步骤。首先，我们使用所有源数据构建源模型(即源梯度增强机[SourceGBM])，并使用基于交叉验证的过程搜索最优特征工程方案和GBM的超参数(如树的深度、学习率、最小子权重和早期停止)。其次，我们将上述最优特征工程方案应用于目标数据，然后利用内置的增量学习机制对处理后的目标数据进行SourceGBM适配，得到自适应模型(即自适应梯度增强机[AdaptedGBM])。第三，我们使用目标域的原始开发集构建目标模型(即改装的梯度增强机[RefittedGBM])，同时重用SourceGBM中GBM的最优特征工程方案和超参数。第四，构建了用于叠加集成学习的预测概率值矩阵[28]，通过将目标域开发集中每个样本的AdaptedGBM和RefittedGBM的预测概率值与样本的真实标签组合成一个向量，并将所有向量池化成一个矩阵H．第五，将基于逻辑回归(LR)学习器的叠加集成学习方法应用于矩阵H，得到最终的预测模型，该模型分别集成了AdaptedGBM和RefittedGBM模型的新旧知识。

从目标域的角度来看，建模过程涉及3个不同的特征集，包括(1)表示源域和目标域特征相交的公共特征，(2)表示属于目标域而不属于源域的唯一特征，以及(3)由GBM学习器从目标数据中选择的重要特征。在对SourceGBM进行适配时，我们将从目标数据中提取的公共特征与源领域特定特征的缺失值相结合，从而将SourceGBM的旧知识转移到目标领域。考虑到目标领域特定知识(即新知识)的价值，我们允许GBM学习器从目标数据的共同特征和唯一特征中选择最重要的特征，从而在不受特征空间约束的情况下获得目标领域的新知识。TransferGBM建模框架的伪代码见图3．

‎ 查看此图

实验设计

我们设计了以下3个预测任务:任何AKI预测(即AKI分期≥1)、中重度AKI预测(即AKI分期≥2)和重度AKI预测(AKI分期3)。根据一般临床需要，任何AKI预测窗口设置为48小时，其他2个任务设置为24小时。

我们汇集了2010年和2011年的数据，并将它们作为旧数据(即固定的源域)使用。2012 - 2017年的数据独立作为新数据，得到6个目标域。我们分别对源域和目标域进行分层随机抽样，分为开发集(80%)和验证集(20%)。我们在训练集上使用10倍交叉验证调整了GBM的超参数，包括树的深度(2-10)、学习率(0.01-0.1)、最小子权重(1-10)和通过早期停止确定的树的数量。我们用AUROC来衡量模型的性能[29]，取95% CI的平均值。

应该注意的是，SourceGBM在目标域的验证集上的性能表明了时间验证，而RefittedGBM(使用目标域的开发集进行训练)在目标域的验证集上的性能表明了内部验证。为了验证TransferGBM，我们首先研究了性能是否随时间推移而漂移，然后研究了TransferGBM是否能够保持性能。

道德的考虑

该研究不需要机构审查委员会的批准，因为所使用的数据符合《健康保险流通与责任法案隐私规则》中规定的去识别标准[30.]。HERON数据请求监督委员会批准了该数据请求。

结果

基础模型选择

我们检查了5种常见的机器学习模型，这些模型基于对任何AKI预测的每年数据的5倍交叉验证。这些模型包括LR、决策树(DT)、RF、k近邻(KNN)和GBM。模型参数定制如图表2，除了scikit-learn包中提供的默认参数[31]。5个模型在不同年份的内部验证AUROC性能见图4．GBM和RF的auroc均达到0.7以上，说明这些模型对AKI有一定的预测能力，而其他3个模型(DT、LR和KNN)的预测能力普遍较差。考虑到GBM表现最好，我们在后续的实验中选择了它作为基础学习器。

‎ 查看此图

业绩随时间变化

图5描述了RefittedGBM的内部验证与SourceGBM在3个预测任务中的时间验证之间的AUROC增益(即ΔAUROC)。ΔAUROC随时间呈线性增长趋势，这意味着由于数据分布随时间的变化，传输模型(即直接将SourceGBM传输到目标域而不进行任何自适应)不是新数据的最佳选择。从另一个角度来看，性能增益在0.051以内，这意味着传输的模型仍然包含一些可以在新数据中重用的一般知识。

‎ 查看此图

TransferGBM的性能验证

TransferGBM维护了一个由2个GBM模型组成的叠加集合，分别代表从新数据和旧数据中学习到的新知识和旧知识，前者使用2010年和2011年的数据训练，后者使用2012年至2017年每年更新的数据训练。利用2012 - 2017年目标域的验证集，我们比较了TransferGBM、TransportedGBM(即直接将SourceGBM传输到目标域而不进行任何适配)和RefittedGBM(即使用目标域数据对SourceGBM进行适配)的模型性能。为了更好地模拟临床应用中电子病历的积累过程，我们进一步研究了不同大小的可用训练集(即更新数据)，范围从目标域开发集的25%到100%，通过分层随机抽样而不进行替换。多媒体附录1显示了TransportedGBM, RefittedGBM和TransferGBM在不同目标年和不同训练集大小的3个预测任务中的AUROC (95% CI)表现。

我们从建模框架选择的角度评估了不同规模的可用训练集对模型性能的影响。图6以2012年为例进行了说明。当训练集规模较小时，TransportedGBM的性能优于RefittedGBM。随着训练数据量的增加，RefittedGBM逐渐改进，最终优于TransportedGBM。总体而言，无论可用训练集的大小如何，TransferGBM的性能始终优于TransportedGBM和RefittedGBM。

接下来，在建模框架选择方面，我们研究了训练集大小和数据分布位移对模型性能的共同影响，如下所示图7．

对于任何AKI预测，当训练集大小为25%时，TransportedGBM在前3年(2012年至2014年)的表现优于RefittedGBM。然而，在随后的3年(2015 - 2017)中，TransportedGBM的预测迅速下降，表现落后于RefittedGBM。在整个6年中，TransferGBM始终优于TransportedGBM和RefittedGBM, AUROC范围从0.759 (95% CI 0.732-0.766)到0.804 (95% CI 0.778-0.812)，与RefittedGBM相比，平均AUROC增益为0.03，与TransportedGBM相比为0.02。当训练集大小为100%时，RefittedGBM在所有6年中显著优于TransportedGBM，但仍低于TransferGBM。TransferGBM的AUROC范围从0.783 (95% CI 0.757-0.792)到0.828 (95% CI 0.802-0.834)，与RefittedGBM相比，平均AUROC增加0.04，与TransportedGBM相比，平均AUROC增加0.02。

对于AKI≥2期预测，尽管训练集大小仅为25%，但RefittedGBM优于TransportedGBM(除了2012年的目标年)，并且更大的训练集与更好的预测相关。这意味着目标域的数据分布与源域的数据分布存在显著差异，直接将外部模型传输到目标域并不是明智的选择。同样，无论训练集大小和目标年份如何，TransferGBM都是3个模型中最好的模型。当训练集大小为25%时，TransferGBM的AUROC范围为0.830 (95% CI 0.795-0.851) ~ 0.921 (95% CI 0.893-0.932)，当训练集大小为100%时，其AUROC范围为0.866 (95% CI 0.835-0.877) ~ 0.946 (95% CI 0.920-0.959)。

对于AKI阶段3预测，当训练集大小为25%或50%时，RefittedGBM在前3年(2012年至2014年)显著低于TransportedGBM，但在随后的3年(2015年至2017年)预测接近。当训练集大小为50%或100%时，RefittedGBM和TransportedGBM的表现非常接近。这个结果意味着直接传输外部模型是一个很好的选择(即不需要重新构建模型，特别是当目标域上的训练数据不够时)。TransferGBM仍然是最好的模型，当训练集大小为25%时，AUROC范围为0.920 (95% CI 0.890-0.936) ~ 0.948 (95% CI 0.921-0.962)，当训练集大小为100%时，AUROC范围为0.866 (95% CI 0.854-0.911) ~ 0.959 (95% CI 0.932-0.973)。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

实验结果表明，无论目标域的可用训练数据有多少，TransferGBM都能始终优于TransportedGBM和RefittedGBM。我们也确认旧数据很重要，不应该被丢弃，特别是在新数据不足的情况下。新旧知识之间存在差异，因此需要达到平衡。

对于所提出的基于迁移学习的建模框架的候选基学习器，我们考虑了几种常用的线性和非线性机器学习算法，其中RF对过拟合和高维特征变量具有良好的鲁棒性[32，33]。XGBoost可以同时考虑多个潜在的相关预测因子，并可以处理潜在的非线性相关性[34-36]。DT是一种计算速度快、精度高的非参数学习算法，可以处理连续字段和类型字段，非常适用于高维数据[j]。32]。LR是一种非常适合稀疏数据集的线性算法，当模型中只有少数变量是有价值的预测因子时，模型性能保持稳定。KNN实现简单，不需要数据训练过程，非常适合高维数据。实验结果表明，XGBoost算法具有较好的性能。RF的性能与XGBoost非常接近，并且都是基于树的集成方法。DT可能会忽略变量之间的相关性，经历一些较大的噪声，导致模型性能很差[33]。LR表现不佳可能与AKI危险因素之间的非线性相关有关。KNN可能会受到EHR数据中大量噪声的影响，导致性能很差。

TransportedGBM、RefittedGBM或TransferGBM的选择取决于或受数据分布、建模成本、目标域可用训练数据等实际情况的影响。TransportedGBM在源数据上进行训练，然后直接应用于目标数据，不需要任何适应和额外成本，适合于源域和目标域之间分布非常相似的临床场景。当分布不相似时，RefittedGBM将是比TransportedGBM更好的选择，它只需要在目标数据上重新修正模型，除了需要从目标域获得足够的训练数据。TransferGBM无疑是一个更复杂的解决方案，它需要适应一个现有的模型，重新构建一个新的模型，并构建这两个模型的集合。这使得TransferGBM更适合于源域与目标域分布部分相似或相似程度变化显著的临床场景。

关于TransferGBM的适应性，很明显，TransferGBM是AdaptedGBM和RefittedGBM组合的灵活自适应扩展(AdaptedGBM是通过将TransportedGBM/SourceGBM更新到目标域获得的)。这也意味着在某些情况下，由于堆叠集成学习机制，TransferGBM可能会降级为AdaptedGBM或RefittedGBM。以一些极端情况为例，当目标域与源域处于相同分布时，由于使用目标域的新数据更新模型后几乎没有变化，TransferGBM会退化为AdaptedGBM甚至TransportedGBM。相反，当目标域与源域处于完全不同的分布时，TransferGBM会退化为RefittedGBM，因为在这种情况下，在叠加集成学习过程中，AdaptedGBM几乎是无用的，甚至是负的和被抑制的。在TransferGBM设计的大多数情况下，即当源域和目标域的分布或多或少相似但不完全不同时，TransferGBM将自适应地实现AdaptedGBM和RefittedGBM之间的平衡。

动机

传统上，迁移学习应用于数据稀缺和分布不均的场景，其基本思想是有选择地重用源领域的数据或知识来辅助目标领域的建模过程。对于时间性能漂移的场景，我们提出将旧数据作为源域，新数据作为目标域，这可能适合迁移学习，并试图验证其有效性。

我们认为，与重新校准和增量训练等常见方法相比，迁移学习可以从另一个角度为纠正时间性能漂移提供见解。例如，当数据分布发生显著变化时，迁移学习可以立即丢弃旧的知识/模型，并从源域重新选择新的合适的训练样本进行学习，而增量训练则存在缓慢的渐进适应。

由于我们研究的主要目的不是在常见的建模场景下建立高性能的AKI预测模型，因此我们将数据划分为不同的年份，采用简单清晰的建模过程，没有进行全面的特征工程、类平衡、超参数搜索等。

限制

我们的研究有几个局限性。首先，我们在模型训练和验证中使用回顾性数据，并且没有外部验证我们的模型。因此，我们的结果并不能说明在实际临床实践中的表现。其次，我们没有采用最先进的迁移学习算法，如gapBoost、远域迁移学习、选择性学习算法、多线性关系网络和传递性迁移学习，这些算法已经在系统综述中讨论过[37，38]。这些算法可能会产生更好的预测性能。第三，我们没有将我们的方法与其他时间性能漂移的校正方法和时间性能漂移的检测机制进行比较，例如Davis等人提出的方法[1，2，39]。第四，我们没有考虑流行的时间序列模型，如循环神经网络和长短期记忆[40，41]，以及添加历史汇总特征表示(例如，过去48小时的平均实验室测试结果和生命体征)[42]。这些方法可能产生与迁移学习方法相同的效果。

结论

本研究解决了临床预测模型中表现漂移的问题。我们提出了一种新的基于迁移学习的建模框架，并使用堪萨斯大学医学中心的真实电子病历数据对其进行验证，用于AKI预测。提出的TransferGBM模型通过对旧知识的转移和新旧知识模型的整合，克服了目标数据不足和数据分布漂移的问题。结果表明，TransferGBM优于运输模型和改装模型。