使用随机森林的患者特异性预测模型:一项危重病人的观察性研究gydF4y2Ba

介绍gydF4y2Ba

利用各种来源的健康数据中包含的信息来实现个性化医疗已经成为一些备受尊敬的健康研究人员感兴趣和讨论的研究课题[gydF4y2Ba1gydF4y2Ba-gydF4y2Ba5gydF4y2Ba]。特别是，患者预后预测是医疗保健中的一个重要主题，因为准确的预后信息可以为治疗计划和资源分配提供信息。虽然预后评分系统传统上是基于大量人口研究开发的，但当前向电子健康记录(EHRs)的快速过渡导致对数据驱动的、患者特异性结果预测模型的兴趣增加。大规模EHR数据支持个性化预测模型，其中考虑了索引患者(要对其进行预测)与过去患者(其临床数据可以在EHR存储库中找到)之间的相似程度。这种个性化方法通过仅为索引患者构建定制的预测模型，确保预测模型针对索引患者而不是人群中的平均患者进行优化。gydF4y2Ba

个性化患者预后预测的关键是如何定义患者相似性。在基于ehr的结果预测的背景下，研究了各种相似性度量，包括基于距离的[gydF4y2Ba6gydF4y2Ba，gydF4y2Ba7gydF4y2Ba]和基于集群的[gydF4y2Ba8gydF4y2Ba)方法。此外，倾向得分匹配[gydF4y2Ba9gydF4y2Ba]采用了类似的方法，通过识别接受研究中治疗的可能性相似的患者。定义的相似度量称为患者相似度量(PSM)，它可以在患者之间计算。随后，可以使用PSM值来丢弃低于某一阈值的EHR患者数据，或者将EHR患者对预测建模的贡献与PSM值成比例地加权。gydF4y2Ba

在健康领域之外，有几个领域在机器学习和预测分析中采用了相似的方法。一个典型的例子是电子商务中的产品推荐，利用类似消费者的购买历史来向给定的客户推荐产品[gydF4y2Ba10gydF4y2Ba]。此外，各种子空间聚类[gydF4y2Ba11gydF4y2Ba，gydF4y2Ba12gydF4y2Ba]和混合模型[gydF4y2Ba13gydF4y2Ba已经开发并应用于识别和使用跨不同应用领域的类似案例。gydF4y2Ba

我们之前在这方面的研究探讨了余弦相似度PSM对具有硬阈值的重症监护病房(ICU)患者的个性化死亡率预测[gydF4y2Ba14gydF4y2Ba]和装袋[gydF4y2Ba15gydF4y2Ba]。结果是有希望的，并且表明仅使用来自相似患者的数据，而不是整个可用数据集，可以产生更好的预测性能。然而，为了研究PSM的特定选择对结果的影响，值得研究其他PSM。gydF4y2Ba

定义PSM的一种有趣的方法是使用随机森林(RF)接近度量，它表示两个案例落在RF树的同一终端节点上的可能性[gydF4y2Ba16gydF4y2Ba]。Xu和他的同事开发了案例特定随机森林(CSRF)，使用RF接近度量作为自举采样权[gydF4y2Ba17gydF4y2Ba]。虽然这种方法使用RF接近度来个性化标准RF，但RF接近度也可以用作RF以外的预测模型的独立PSM。作为一种随机相似性度量，射频接近度当然不同于我们之前研究的余弦相似性PSM，因此可以从不同的角度捕捉患者的相似性。此外，其他类似的方法(倾向得分匹配，子空间聚类等)往往依赖于众所周知的距离度量(如欧几里得或马氏)或聚类算法(如K-means)来识别类似的情况。据我们所知，rf激发的PSM从未被用于ICU患者预后预测的目的。gydF4y2Ba

本研究的目的是评估射频患者相似性在提高危重患者死亡率预测性能方面的有效性。gydF4y2Ba

方法gydF4y2Ba

患者数据提取自ICU公共数据库多参数智能监护II (MIMIC-II) 2.6版[gydF4y2Ba18gydF4y2Ba，gydF4y2Ba19gydF4y2Ba]。由于MIMIC-II是一个未识别的、公开可用的数据库，因此本研究无需进行研究伦理审查。为了与我们之前的结果进行直接比较[gydF4y2Ba14gydF4y2Ba，gydF4y2Ba15gydF4y2Ba]，对17152例ICU入院患者的相同数据集进行分析。gydF4y2Ba表1gydF4y2Ba列出了从MIMIC-II中提取的预测变量。结果变量为30天死亡率。排除数据缺失的ICU住院患者，与以前一样，每个纳入ICU的住院患者被视为独立的“患者”。gydF4y2Ba

在MIMIC-II中，每名患者平均有1.24个ICU入院，这表明大多数患者只住过一个ICU。来自同一患者的其他入院可能包含有用和相关的信息，因为它们代表了与索引患者最相似的“患者”(由PSM确定)。这类似于在大多数预后评分系统中纳入过去的患者病史。最重要的是，如果在预测时可以获得来自同一患者的其他入院数据，那么如果不考虑这些数据，将是对数据的浪费。gydF4y2Ba

在MIMIC-II的29,149例成人ICU入院患者中，17,152例(58.84%)有完整的数据，并纳入本研究。gydF4y2Ba

在该数据集中，总体30天死亡率为15.10%(4401 /29,149)，而男性为56.70%(16,527/29,149)。平均年龄64.5岁，标准差为17.0。选择性、紧急和急诊住院的百分比分别为18.00%(5,247/29,149)、3.70%(1,078/29,149)和78.30%(22,824/29,149)。有关该数据集的更详细的描述性统计资料，请参阅[gydF4y2Ba14gydF4y2Ba]。所有数据均使用SQL Developer version 3.209 (Oracle Corp .)从MIMIC-II中提取。gydF4y2Ba

在CSRF中如何计算自举抽样权值[gydF4y2Ba17gydF4y2Ba]，本研究中的射频PSM首先是通过使用所有数据在无监督模式下生长RF来计算的gydF4y2BamtrygydF4y2Ba值等于预测变量的总数，agydF4y2BanodesizegydF4y2Ba5、500棵树。当以无监督的方式使用时，rf能够在未标记的数据之间开发不相似度度量，该度量已用于区分观察数据和合成数据[gydF4y2Ba16gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba]。该RF的接近值被归一化，如图所示gydF4y2Ba图1gydF4y2Ba量化一个指数和另一个病人之间的相似性。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

在哪里gydF4y2Ba我gydF4y2Ba和gydF4y2BajgydF4y2Ba参考索引和gydF4y2BajgydF4y2Ba患者在数据上分别，和gydF4y2BaProxgydF4y2Ba_{我,我gydF4y2Ba}在生长的RF中同时具有索引和的树的数量是多少gydF4y2BajgydF4y2Ba同一终末淋巴结的患者。计算数据中每对患者的RF PSM。gydF4y2Ba

对于每个指标患者，使用训练数据中M个最相似的患者(即RF PSM硬阈值)来训练定制的预测模型。采用硬阈值法评估了4种不同的模型:死亡计数(DC，预测死亡风险等于M个最相似患者的经验死亡概率)、逻辑回归(LR)、决策树(DT)和RF。gydF4y2Ba

M值的范围随预测模型的不同而变化。对于DC, M的范围从10到15,000，步长为10，而对于LR和RF，范围从4000到15,000，步长为1000。DT的M范围为5000 ~ 15000，步长为1000。当M足够小时，在M最相似的患者中，M范围的变化解释了计算负担和分类变量(预测因子或结果)缺乏可变性(当M患者过于同质时，某些分类变量中仅保留1类)。此外，对于LR、DT和RF，训练数据的大小必须足够大(至少1000)，因为有75个预测变量(gydF4y2Ba表1gydF4y2Ba)。由于DC与最小的计算负担相关，并且不受分类变量变异性不足的问题的影响，因此用最小步长和最宽的M范围进行评估。LR、DT和RF范围的下限由试错法确定。步长为1000产生了足够的分辨率，从而可以识别预测性的性能模式，这将在结果部分中得到体现。除上述M范围外，除DC外，所有训练数据也用于表示传统的预测建模，DC使用所有训练数据意味着使用整个训练数据中的总死亡率作为所有患者的预测死亡风险。在任何情况下，15,000都非常接近使用所有训练数据，其中包括大约15,500名患者。gydF4y2Ba

请注意，我们并没有试图为每个患者选择最佳的M值，因为我们的目标是研究RF PSM对预测性能的影响，作为M的函数，正如我们在之前的工作中所做的那样[gydF4y2Ba14gydF4y2Ba]。gydF4y2Ba

作为第五种预测模型，CSRF进行了研究。整个数据集用于训练CSRF模型，因为RF PSM被用作自举采样权值。由于这是一种软阈值方法，因此对CSRF应用M值范围是不适用的。gydF4y2Ba

请注意，虽然之前研究过DC、LR和DT [gydF4y2Ba14gydF4y2Ba]， RF和CSRF则没有。为了在个性化预测分析中进行全面的射频调查，我们将射频和CSRF纳入本研究。gydF4y2Ba

采用受试者工作特征曲线下面积(AUROC)和精确召回曲线下面积(AUPRC)对预测性能进行评价。为避免过拟合，对所有模型进行了10倍交叉验证。在交叉验证的每次迭代中，计算测试数据中每个患者与训练数据中每个患者之间的RF PSM。然后，对于测试数据中的每个患者，使用训练数据中M个最相似的病例(CSRF除外)来训练上述预测模型，其中M的变化如上文所述。一旦所有患者的测试数据被预测，AUROC和AUPRC为该折叠计算。因此，交叉验证的10次迭代产生了10个auroc和10个auprc。gydF4y2Ba

所有计算均在R 3.3.1版本(R Foundation)中进行。特别是，gydF4y2BarandomForestgydF4y2Ba包(gydF4y2Ba21gydF4y2Ba]构建RF(除用于接近测量计算的无监督RF外，其余参数均为默认值，其参数值如上所述)。使用Xu等人提供的R代码构建CSRF模型[gydF4y2Ba17gydF4y2Ba]，有gydF4y2BanodesizegydF4y2Ba1500棵树，而gydF4y2BamtrygydF4y2Ba被设置为与gydF4y2BarandomForestgydF4y2Ba包(即预测数平方根的底数)。LR和DT模型使用gydF4y2Ba统计数据gydF4y2Ba和gydF4y2BarpartgydF4y2Ba包，分别使用默认参数设置。gydF4y2Ba

结果gydF4y2Ba

图2gydF4y2Ba和gydF4y2Ba3.gydF4y2Ba将硬阈值DC、LR、DT和RF分别以AUROC和AUPRC表示为模型训练中纳入的相似患者数量的函数(即M)。在AUROC和AUPRC中，当M太小(由于样本量小)或太大(由于训练数据中包含不同的患者)并且在中间某处出现峰值时，表现出次优表现的模式在DC中最为突出，在LR中略微可见。有趣的是，DT在gydF4y2Ba图2gydF4y2Ba弱地显示1在gydF4y2Ba图3gydF4y2Ba。RF似乎没有从RF PSM的硬阈值中获益，因为它的性能相对独立于M。gydF4y2Ba

DC和DT有统计学意义的改善(通过双侧)gydF4y2BatgydF4y2Ba在最佳表现(就平均AUROC或AUPRC而言)和最大数量的患者用作训练数据时，对于AUROC (DC:gydF4y2BaPgydF4y2Ba<措施;DT:gydF4y2BaPgydF4y2Ba<.001)和AUPRC (DC:gydF4y2BaPgydF4y2Ba<措施;DT:gydF4y2BaPgydF4y2Ba<措施)。LR和RF在AUROC (LR:gydF4y2BaPgydF4y2Ba= . 07;射频:gydF4y2BaPgydF4y2Ba= 0.75)和AUPRC (LR:gydF4y2BaPgydF4y2Ba= 36;射频:gydF4y2BaPgydF4y2Ba= .85)。gydF4y2Ba

表2gydF4y2Ba将每个模型相对于平均AUROC和AUPRC的最佳预测性能制成表格。出现最佳表现的类似患者的数量以及CSRF的表现也在gydF4y2Ba表2gydF4y2Ba。gydF4y2Ba图4gydF4y2Ba和gydF4y2Ba5gydF4y2Ba(AUROC和AUPRC)是箱形图，对应于中显示的最佳表演gydF4y2Ba表2gydF4y2Ba并使所有5个模型之间的快速视觉比较。请注意，这些最佳性能仅对应于AUROC或AUPRC的最大平均值，而不代表统计上显著的峰值性能，如gydF4y2Ba图2gydF4y2Ba和gydF4y2Ba3.gydF4y2Ba。总体而言，RF和CSRF的性能最佳，其次是LR、DC和DT。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

机器学习的传统理论是，收集更多的训练数据总是有益的。如果收集的数据代表相同的潜在现象，这是正确的，但在医学上往往很难做出这一假设，这主要是由于患者/临床特征的巨大差异，以及我们对复杂的人类健康和疾病途径的有限理解。在大数据时代，我们现在可以更有选择性地选择哪些情况应该包括在预测建模中。数据驱动的患者相似性匹配，通过PSM，导致客观的训练数据选择，并使用隐藏模式的多维数据，人类临床医生难以识别。gydF4y2Ba

与传统的一刀切的预测模型相比，比如弗雷明汉心脏研究[gydF4y2Ba22gydF4y2Ba]，患者特异性预测模型提高了预测性能，但代价是增加了与所有成对PSM值的计算和针对每个患者的独特定制模型的训练相关的计算负担。考虑到如今强大的计算能力正以不断下降的价格出现，这是一种合理的权衡。利用并行计算的大数据分析，可以在护理点实时训练和使用特定患者的模型。gydF4y2Ba

在本研究中，RF和CSRF优于DC、LR和DT，而RF和CSRF之间的差异无统计学意义，这是我们之前的工作没有研究过的。RF与CSRF之间的比较很有趣，因为区别本质上是硬阈值与加权自举。此外，CSRF也没有改进使用所有数据作为训练数据的传统RF。RF和CSRF的可比性，以及类似患者数量对RF性能的可忽略不计的影响(gydF4y2Ba图2gydF4y2Ba和gydF4y2Ba3.gydF4y2Ba)，这意味着并非所有的预测模型都能从PSM的使用中获益。这可能是集合模型的一个特征，但需要进一步的研究来澄清。gydF4y2Ba

在未来的工作中，应该研究一种适当的方法来规避M过小时分类变量缺乏可变性的问题。一个简单的解决方案是在“用完”相似性匹配之后，在模型训练中排除这些有问题的分类变量。例如，性别可能用于PSM计算，但如果随后的训练数据仅包含1个性别(与索引患者的性别相同)，则可以从模型训练中删除性别以避免计算问题。然而，这种解决方案不适用于结果变量。这个问题与如何在个性化预测分析中最好地使用给定数据集中的变量这一重要主题密切相关:它们应该用作预测变量还是相似性变量，还是两者兼而有之?这个主题需要进一步的研究，包括现实生活和模拟数据。gydF4y2Ba

虽然本研究只研究了预测性能作为M的函数，而没有尝试为个体患者选择最佳M值，但当本研究的结果被用于实践时，最佳M选择将变得重要。然而，在患者相似度的情况下，为给定患者选择最优M并非易事，因为它可能因不同类型的患者而异。这意味着最优M值不应该基于gydF4y2Ba图2gydF4y2Ba和gydF4y2Ba3.gydF4y2Ba因为它们代表了整个队列个体患者可能不遵循在gydF4y2Ba图2gydF4y2Ba和gydF4y2Ba3.gydF4y2Ba。出于这个原因，必须首先编译相似患者的子集(假设他们足够相似，从而产生相似的最佳M值)，然后必须将该子集划分为训练、验证和测试数据，以便验证数据可用于M选择。这种方法的主要挑战是可能出现样本量不足的情况，特别是考虑到本研究中有75个预测变量。此外，很难确定有多少相似的患者应该包括在这个子集中，以及他们需要与正在考虑的患者有多相似。gydF4y2Ba

除了从训练数据中选择M个最相似的患者外，也可以对RF PSM值设置阈值，使RF PSM值高于该阈值的所有患者都被纳入模型训练。这种方法的一个优点是可以保证和控制训练数据的相似性质量，而固定的M将强制使用M个患者进行模型训练，而不管他们在绝对意义上与索引患者有多相似。然而，这种方法的一个挑战是需要对RF PSM的大小有很好的理解，这可能是另一项研究的主题。此外，阈值可能因患者而异。gydF4y2Ba

除了上面提到的未来工作，未来的PSM研究方向应该包括以下内容:其他PSM，特别是那些可以捕获时间模式的PSM，其他健康数据集，除死亡率以外的患者结果，其他预测变量(如诊断，除血管加压剂以外的药物，来自自由文本临床医生笔记的信息等)，以及其他预测模型。gydF4y2Ba

与前期工作比较gydF4y2Ba

与我们之前研究余弦相似度PSM的DC、LR和DT结果相比[gydF4y2Ba14gydF4y2Ba]，预测表现模式作为相似患者数量的函数在本研究中是相似的。就每个模型的最佳性能而言，有2个性能优于我们之前工作中的相应性能(即95%置信区间之间没有重叠):分别是AUPRC和AUROC方面的DC和DT。其余报告的最佳表现在两项研究中没有显示出任何显著差异。尽管有适度的性能改进，但这些结果表明RF PSM优于余弦相似PSM。gydF4y2Ba

然而，与最佳表现相关的类似患者的数量在两项研究中有所不同。RF PSM倾向于需要更多相似的患者纳入训练数据以达到最佳表现;对于AUROC和AUPRC，余弦相似度PSM结果在DC为100和60,LR为6000和6000,DT为2000和4000时达到峰值。这一发现表明RF和余弦相似性psm对患者相似性的量化有所不同。gydF4y2Ba

限制gydF4y2Ba

本研究有局限性。首先，MIMIC-II是一个单中心数据库，因此结果可能无法推广到其他ICU数据。其次，没有对预测模型的各种参数值进行广泛的调查，以便将需要训练的模型数量保持在合理的水平。虽然广泛使用的R包中的默认参数设置是合理的选择，但参数值对预测性能的影响可以在未来的工作中进一步研究。gydF4y2Ba

结论gydF4y2Ba

psm驱动的预测分析是一个令人兴奋的话题，因为准确的、量身定制的患者结果预测可以极大地告知风险分层和资源分配。本研究的结果源于射频PSM的使用，证实了PSM在提高患者水平的预测性能方面的效用。RF和CSRF的卓越预测性能，以及RF PSM在某些模型中优于余弦相似度PSM的事实，表明RF非常适合于特定患者的预测建模。gydF4y2Ba