可解释的机器学习预测药物引起的QT延长:电子健康记录分析

介绍

药物性长qt综合征[1，2]是全世界住院病人的主要关切，并已被确定为临床决策支持工具的关键目标[3.-7]。重要的是，尽管某些药物被认为具有显著的临床风险[8，9]，对其他人来说，尽管diLQTS有已知的风险，但缺乏临床验证[10-12]。在过去的几年中，一些研究小组试图利用电子健康记录(EHR)数据应用预测模型来模拟风险[13-17朝着开发一种利用数据科学和机器学习创新的自动化方法的目标迈进。在前期工作中[18]，我们对使用EHR数据预测diLQTS的机器学习方法进行了比较评估，我们发现最准确的预测方法是深度学习模型(6层神经网络)。然而，每种模型都有其预测缺乏可解释性的局限性[19]，因为我们无法评估哪些临床特征最具预测性。因此，我们无法基于这些模型构建一个有意义的决策支持方法来降低diLQTS的风险，或者确定我们的模型是否可以很容易地导出到其他系统。

除了增加信任的作用之外[20.]在预测模型中，可解释性在评估预测模型中起着至关重要的作用[21]，特别是在人工智能时代，越来越复杂的模型可以使用相对原始或未经处理的临床特征来创建。可解释性的限制是至关重要的，不仅因为用户可能不理解为什么一个模型会提出它所做的建议，而且因为缺乏可解释性会增加数据转移形式的偏见风险[22-24]。当一个模型在一个群体中开发，然后应用于另一个群体时，就会发生数据转移;注意，如果治疗模式随时间动态变化，这种效应也可能发生在同一医院系统内。包含可解释模型还允许进行详细的调查，以发现混淆并确定在预测框架中排除关键因素的情况，并评估反向因果关系，这是大数据模型中的关键考虑因素。虽然“可解释性”本身不能像准确性或校准那样很好地量化，但在开发预测模型时，它仍然是一个关键考虑因素。

电子病历数据的前景是，它提供了一个规模(即力量)，可以从数千名患者和潜在的数百万个数据点中得出临床推论，但代价是缺乏简单的临床验证能力。有了这种能力，就有能力预测大量异质受试者的临床结果，整合临床记录的广度，以及可能具有非线性关联的可能诊断和药物的范围，这些非线性关联无法用标准(即基于回归的)方法轻松检测到。然而，利用机器学习利用电子病历数据的方法受到可解释性和预测准确性能力的限制。

在我们之前工作的后续调查中[18]，我们研究了一种可解释的预测建模方法的应用，该方法大规模应用于EHR数据来预测diLQTS。我们特别研究了聚类作为可解释性桥梁的使用，并将这种方法与深度学习、不可解释方法进行了比较，这种方法之前被认为在我们的医疗保健系统中提供了卓越的预测准确性。

方法

数据来源和研究人群

这项调查的数据先前已被描述[19]。简要地说，我们检查了2003年至2018年期间uhealth系统内35,639名住院患者的电子病历数据，这些患者接受了39种药物中至少1种与药物性QT间期延长风险相关的治疗，并且在给药后24小时内进行了心电图检查(图1)。药物引起的QT间期延长的主要结局是在排除传导疾病(如束支传导阻滞、室内传导疾病和心室起搏)的心电图后，基于在接触期间任何超过500毫秒的校正QT间期。预测因子包括任何药物或诊断(国际疾病分类，第九版或第十版)在用药时列出的医疗记录。

‎ 查看此图

初步药物分析

39种罪魁祸首药物的不同配方被组合在一起(即，口服和静脉注射胺碘酮被一起分析)。我们首先使用卡方计算对每种药物和diLQTS风险进行了未经调整的关联分析。经多重比较校正(Bonferroni校正;P显著性值= 0.05 /29 = 0.0017)被归类为“高风险”的组合分析，以及进一步的模型开发(见下文)。

预测器过滤和数据分割

原始数据集中的药物和诊断以字符串数组的形式从EHR中提取每个受试者的数据，然后我们执行一热编码(keras。分词器［25];版本2.8.0)为每个变量创建一个单独的变量，如果在qt相关的药物管理时没有诊断或药物，则标记为0，如果存在则标记为1。因此，缺失值被编码为0，假设如果EHR中没有药物或诊断，则患者没有服用药物或没有诊断。这个过程产生了一个包含22,817种独特药物和诊断代码的数据集，我们根据频率从其中过滤出前10,000种。值得注意的是，在36639名受试者中，第10000个最常见的预测因子只出现在5个受试者中。这10,000个预测因子与diLQTS的未调整相关性使用最大信息系数(MIC;minepy。麦克风;版本1.2.6)，它检查基于互信息的线性和非线性关联[26]。通过MIC排序后，选择相关性最高的500种诊断和药物进行聚类分析(见下文)。对于深度学习分析，直接将one-hot编码后的前10424个预测因子输入到模型中。数据分割(图1)，根据diLQTS的诊断进行分层(sklearn.train_test_split;1.1.2版本)。数据首先被分成训练集(28,511/35,639,80%)和测试集(7128/35,639,20%);然后将训练集进一步分成开发集(21,383/28,511,75%)和验证集(7128/28,511,25%)。开发集用于拟合聚类(聚类分析)以及训练深度神经网络。验证集用于检查聚类模式和预测准确性，以及检查深度学习的训练。测试集用于对聚类和深度学习模型进行对比测试，如下所述。

集群发展与评价

仅使用诊断代码进行聚类，以方便药物风险的比较。为了确定最优簇数，我们首先应用KMean聚类(sklearn;版本1.1.2)到开发集创建从K=2到K=50的集群，然后检查惯性图和轮廓分数(图S1A和S1B)多媒体附录1)。在确定K=4为最优聚类数后，我们用聚类分配来拟合验证集。为了确定哪些诊断在每个聚类中被过度代表(即与其他聚类差异最大)，我们计算了每个聚类的每个诊断的比例，并根据该聚类内比例的乘积以及该比例与下一个最高比例的聚类之间的差异(称为“比例乘积”)分配了一个值。每个聚类的临床解释由临床医生专家(MAR)在每个聚类的比例乘积排序后进行。临床解释包括评估每个分类的诊断主题(例如，重症相关诊断和胃肠道相关诊断)，以提供每个分类所组成的患者“类型”的总体框架。使用卡方检验检验diLQTS风险的独立关联，以及使用逻辑回归(未惩罚)对任何高风险药物或高风险药物组合的比例风险进行检验。使用Stata IC软件(版本16;StataCorp)。

深度学习模型开发

深度学习模型(深度神经网络)的超参数应用于我们之前的研究[19]。具体来说，深度神经网络由6层组成，第一层1024个神经元，后5层512个神经元;Sigmoid激活函数;每层50%的dropout;层之间的批归一化。最终输出是一个二元预测(diLQTS的存在)，具有二元交叉熵损失函数(RMSprop优化器;学习率=1 × 10⁵;ρ=0.9)，以及接收者工作特性曲线下面积(AUC)的验证度量。该模型在500多个计划的时期内运行，提前停止(keras.callbacks.EarlyStopping)，如果没有超过50次的改进，那么总共训练118次。使用学习曲线监测训练(图S2A和S2B)多媒体附录1)。开发集用于训练，验证集用于每个epoch之后的验证。深度学习模型总共有12265473个参数，其中12258305个可训练参数，7168个不可训练参数。

模型比较

通过聚类和高危药物数量的逻辑回归，对hold -out测试集进行聚类模型预测，得到预测概率。通过将训练好的模型应用于测试集，对深度学习模型进行预测，得到diLQTS的预测概率。模型首先使用AUC进行比较，平均精度得分(sklearn.metrics.average_precision_score)和精确召回曲线下的面积，以获得与阈值无关的比较。采用Youden [27]。选择截断点后，使用F₁-分数表、召回表、精确表和列联表。使用校准曲线评估校准。通过创建逻辑回归模型来预测实际标签，对神经网络预测进行普拉特重新缩放。

分析

所有分析均使用Python(版本3.9.7;Python软件基金会)，在Jupyter Notebook (Anaconda)上运行。使用Stata IC软件(版本16)进行聚类分析和重新缩放的空白图。最后的脚本见表S1多媒体附录1．

伦理批准

该项目由科罗拉多大学内部审查委员会(COMIRB #18-0251)批准。

结果

初步药物分析

在最初的用药评估中，我们发现胺碘酮、多非利特、氟康唑、异丙酚和索他洛尔与diLQTS的未调整风险增加显著相关(表1和表S1多媒体附录1)。有趣的是，先前与住院患者diLQTS高度相关的药物，如氟哌啶醇[5]，美沙酮[8]，西酞普兰[28]和阿奇霉素[29]，与diLQTS呈正相关或无显著相关性。此外，值得注意的是，昂丹司琼[30.]与diLQTS (P=1.12 × 10^-39年)。

与diLQTS的关联

在最常见的前10,000种诊断和药物中，与diLQTS标签相关MIC最高的100种列于表S2多媒体附录1，前500名保留用于聚类分析(最小MIC为0.000443)。diLQTS的主要诊断包括长qt综合征、酸中毒、心源性休克、心房颤动和急性呼吸衰竭;相关的主要药物包括氯化钾、速尿、胺碘酮、镁和白蛋白(见表S2)多媒体附录1)。这些结果强调了可能的反向因果关系，因为氯化钾和镁似乎更有可能被用作治疗或预防diLQTS，而不是它们本身是病因。由于先天性长qt综合征是diLQTS的一个众所周知的危险因素，因此与长qt综合征既往诊断的强相关性提供了有意义的原理证明[1，31-34]。

聚类分析

聚类数优化确定了4个聚类为最高轮廓分数(图S1A)多媒体附录1)，使用肘法对惯性评分进行验证(图S1B)多媒体附录1)。手动检查群集组件(表2和表S3多媒体附录1)表明聚类0似乎包括大量的重症诊断;聚类1包括提示心血管疾病的诊断;聚类2包括符合药物中毒和损伤的诊断;第三组包括恶心、腹痛和头痛。在验证集中，我们发现与聚类2和3相比，聚类0和1的diLQTS基线风险增加(表2)，而接触高危药物(图2A)和高危药物的组合(图2B)。第3组的受试者未接受任何高风险抗心律失常药物(胺碘酮、索他洛尔或多非利特)的治疗，但对于所有其他3组，使用其中一种药物治疗会增加diLQTS的风险(图2C)。有趣的是，异丙酚的使用仅显著(P= 0.0002)与第二组受试者diLQTS的风险相关(图2D)但不包括聚类0 (P= 0.0161)或1 (P= .4920;第3组未暴露)，使用昂丹司琼与第2组diLQTS的风险降低显著相关(P=6.371 × 10⁶)，但不包括其他群集(0:P=。996, 1:P=。129，一个nd 3:P= .0577;图2E).这些结果表明，尽管抗心律失常药物在所有类别中都增加了diLQTS的风险，但对于非抗心律失常药物，影响主要出现在类别2中，丙泊酚增加了diLQTS的风险，而昂丹司琼降低了风险。

‎ 查看此图

预测精度比较

深度学习的AUC为0.776 (图3A)与聚类分析的AUC 0.636 (图3B);深度学习的精确查全曲线下面积为0.373 (图3C)，而聚类分析(图3D);深度学习的平均精度得分为0.379，聚类分析的平均精度得分为0.193。基于Youden的截断点选择方法，深度学习预测diLQTS的最佳截断点为Pr(diLQTS) 0.12，聚类分析的最佳截断点为0.15。基于这些截止值F₁-深度学习的得分为0.39，聚类分析的得分为0.29。两者的应急表见附录的表S4A和表S4B多媒体附录1，用分类比较表3表明两种方法的一致性为71.4%。校正比较载于图4，其中我们注意到神经网络校准不良，并且通常高估diLQTS的风险(即diLQTS病例的实际比例小于预测概率)，这在我们之前的工作中已经用这些模型进行了描述[18]。使用Platt重新缩放(图S3A和S3B)多媒体附录1)，神经网络的校准得到了改进，与聚类分析的校准类似(图S3B)多媒体附录1)。

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

在这项基于电子病历的随访分析中，我们试图比较两种不同的方法，以整合机器学习来指导临床决策，以预防diLQTS，重点是临床可解释性和预测准确性。首先，我们通过诊断代码模式对个体进行聚类分析，以确定潜在可识别的临床亚组，治疗临床医生可以从中识别可能存在diLQTS风险的患者，以指导未来的决策。为了进行比较，我们应用了一种深度学习算法，该算法是基于在同一人群中的先前工作确定的，以获得预测准确性的“黄金标准”水平，通过使用更可解释的方法来量化预测准确性的潜在损失。从临床角度来看，我们的研究结果揭示了一些有趣的见解，即哪些特定药物具有最大的diLQTS风险，以及哪些亚群似乎最易受影响。然而，我们也发现，与“黑箱”方法相比，使用这种可解释方法的预测准确性有相当大的损失，这应该在未来的临床护理预测模型整合工作中加以考虑。

在临床观察中，有几个值得注意。首先，我们发现，当独立于患者特征进行检查时，某些药物，如氟哌啶醇或美沙酮，与diLQTS建立良好的关系，与风险增加无关，而其他药物，如昂丹司琼，实际上与我们的人群风险降低有关。这一发现指出了diLQTS的多因素性质，强调了在评估风险时考虑其他相关背景因素的必要性。然而，这也可能表明，在住院环境中，使用这些药物可能比风险更大，这也与先前的研究一致[9-12]，其中包括一个预防diLQTS的临床决策支持工具，在治疗提供者无视警报并不顾风险开已知的延长qt药物的患者中，死亡率却出现了矛盾的下降[4]。特别是在非危重病人(不属于第0类)和没有心血管疾病史(不属于第1类)的受试者中，使用昂丹司琼似乎有更多的益处，与使用异丙酚的更大风险相平衡。然而，这些见解应该谨慎对待，因为我们不知道与获得ECG相关的qt相关药物给药的具体时间，也不知道药物是一次给药，几次给药，还是根本不给药(仅作为必要的临时药物列出)。这种限制似乎可能适用于一些已知的qt相关药物，如氟哌啶醇和昂丹司琼，我们发现它们与qt延长没有(前者)或反向(后者)关联。无论潜在的影响如何，这一考虑突出了临床决策支持工具的局限性，这些工具广泛应用于与diLQTS相关的所有药物，并且在设计未来工具时需要关注相对人群风险和适应症。

其次，我们发现，也许并不奇怪，诊断为危重疾病的患者(第0组)最容易使用高风险药物进行diLQTS，而第2组和第3组中诊断为良性的患者患diLQTS的可能性较小。这一发现具有直接的临床意义，因为它表明决策支持工具可能最有效地针对重症监护病房的患者，那里的风险最大，而不是广泛适用于所有住院患者，需要注意的是，异丙酚的使用可能需要在没有心血管疾病或危重疾病的受试者中进行更密切的监测。我们的研究结果还表明，应避免使用胺碘酮和异丙酚等特定药物组合，或密切监测并积极治疗其他可能导致diLQTS风险的因素，如电解质异常。

最后，我们的研究结果强调了模型可解释性和准确性之间的关键权衡，因为我们发现使用深度学习的黑箱预测模型比更具可解释性的基于聚类的模型更准确(更大的AUC和精确召回曲线下的面积)。这一发现为所有预测建模的实践者提出了一个关键问题:预测准确性的提高是否值得缺乏对模型为什么做出预测的理解?更具体地说，在不了解模型如何做出预测的情况下，如果治疗临床医生认为模型不太适用于特定患者，该如何对其提出质疑，如果预测准确性降低(所谓的“数据转移”发生了)，应该做出哪些改变。23，24])。对于经验丰富的临床医生来说，不难理解为什么危重患者(第0类)的风险会增加，或者为什么diLQTS高风险药物的组合会增加风险，而且一种能够揭示这些类别的方法似乎比黑盒方法在临床上更有用。这种临床解释对于深度学习模型来说是不可用的，这对应用中的信任构成了挑战。此外，在之前的工作中，我们证明了强化学习可以应用于基于集群的决策模型(使用Q表)，以允许决策支持工具随着时间的推移而改进[35];目前尚不清楚深度学习模型是否可以与强化学习一样容易地集成，也不清楚是否有足够的前瞻性数据来更新这种模型的2000多万个参数。广泛地说，随着越来越多的基于深度学习的预测模型被用于预测diLQTS，特别是那些直接应用于心电追踪本身的预测模型[36，37]，在临床应用中，与可解释性的权衡仍将是一个关键的考虑因素。

限制

本研究的主要局限性是大规模EHR数据研究中固有的高度噪声，以及缺乏对诊断、药物或结果进行详细验证的能力的挑战，这些都是在没有手动图表审查的情况下可以在计算机上执行的。上面强调了与药物管理相关的反向因果关系或缺乏时间粒度的一些限制。一方面，大数据科学的这种常见限制限制了在粒度验证方面可以做的事情;另一方面，它既提高了建模的统计能力，又提供了一些防止群体偏见的保护，因为在单个诊所或单个提供者水平上的研究可能会出现这种情况。随着EHR在全球范围内的使用，探索这些大数据模型中的可解释性的方法可能会越来越重要，为此我们的研究应该为如何平衡可解释性和预测准确性提供一些基础。

未来的发展方向

重要的是，我们的研究结果为直接临床实施“智能”临床决策工具提供了机会，这些工具结合了患者特征以及对患者风险的理解，以提高diLQTS预测的准确性，并指导临床决策，包括监测高风险患者或选择可用的替代药物。当与动态学习模型相结合时，如Q学习[35，我们的方法提供了提高患者整体安全性和临床结果的机会。

结论

总之，我们发现预测diLQTS的可解释方法允许以一种有助于深入检查特定药物相互作用的方式进行评估，并确定有意义的临床人群以进行预防。这种可解释性是以牺牲预测准确性为代价的，在寻求将预测建模集成到临床决策支持工具以防止diLQTS的组织中，必须考虑到这一点。