从数据到最优决策:数据驱动的概率机器学习方法，为败血症患者提供决策支持

简介

在过去的几十年里，我们的社会已经过渡到这样一种状态，瓶颈已经从缺乏数据转变为提取有意义的知识并随后使用这些知识来推动决策的限制。这种数据丰富、知识匮乏的矛盾在计算驱动的临床决策支持系统(CDSS)中尤其真实，其中自动化高通量数据采集和电子健康记录的进步尚未转化为知识提取和概率决策指导。即使在对人类健康构成危险和普遍威胁的情况下也是如此，败血症就是其中之一。败血症是对感染的一种压倒性的全身免疫反应，导致患者自身组织和器官受损。这一过程可能发生在任何年龄，无论潜在的健康状况如何，也可能发生在看似良性的事件中。严重败血症每年约有1800万人(美国有75万例)，并具有非常高的短期死亡风险(28%至50%)[1严重败血症是重症监护病房(ICU)死亡的主要原因(占发展中国家ICU死亡的60-80%)，全球每年有600多万儿童死于严重败血症[2］．

令人惊讶的是，虽然败血症是最常见的疾病之一(死亡人数超过前列腺癌、乳腺癌和艾滋病毒/艾滋病的总和[3.)，该州的科研经费资助率最低。这与它在我们社会中的严重程度和发生率形成鲜明对比(败血症住院人数在过去10年里增加了一倍多[2])和用于防治疟疾的资金(2008年为146亿美元，平均每年增长11.9%)。败血症的诊断通常会延迟，因为它很难与其他高风险疾病区分开来，这种延迟会导致患者病情迅速恶化。解决这一问题的一种潜在的变革性方法是利用隐藏在患者电子健康记录(EHR)中的大量信息来获得CDSS。

卫生保健系统采用电子病历预计将大大提高病人护理的效率和质量[4］．不幸的是，尽管电子病历的采用呈爆炸式增长，相关资本支出巨大，但这些收益尚未实现[5，6］．失败的原因之一是我们利用复杂的大规模数据来生成知识并为临床决策提供信息的能力仍然有限。例如，虽然CDSS已经存在了几十年，但它们大多局限于警报系统和(数据无关的)基于代理的建议，这些建议依赖于硬编码的标准。虽然在某些系统中，患者的病例被用于概率训练，但这些努力的重点是特征相关性和最终的临床结果[7-10]而非可执行的政策(见[11，12)。我们之前关于乳酸预测工作中EHR观测之间的关联的工作也属于这一类(11)。

在临床决策支持中，一些最强大的建模决策方法是将学习问题视为马尔可夫决策过程(MDPs) [13］．MDP是一种离散随机控制过程，下一个状态仅取决于当前状态和决策者所执行的操作，而它与所有其他状态和操作是有条件独立的。对mdp的扩展是部分可观察的mdp (POMDPs)，其中状态本身是隐藏的，只有观测值可用。在这种情况下，关于当前系统状态的信念是基于观察及其基于状态的可能性形成的[14］．求解mdp /POMDPs的方法有很多，包括动态规划、线性规划和强化学习[13-17］．当问题变得棘手时，强化学习方法是首选，因为它们不需要底层MDP模型的知识。

令人惊讶的是，尽管MDP方法在临床环境中的使用已经得到了很好的建立，但只有少数几个值得注意的例子，其中POMDP已被探索用于具有概率结果的特定疾病决策支持。MDP已被用于决策支持，以确定肝移植的肝脏接受度[18-20.]、爱滋病病毒治疗开始[21]、乳癌筛检[22]、丙型肝炎的治疗[23]，他汀类药物治疗时机[24]，以及其他[25］．然而，在大多数情况下，病理是复杂的，患者的潜在状态是潜在的，我们只能观察发射信号(观察结果)具有一定的不确定性。在医疗决策支持中采用POMDP的一个显著例子是Hauskrecht和Fraser [26，27他们用包括治疗和测试行动的POMDP模型来模拟缺血性心脏病。这项工作使用了一个令人印象深刻的状态变量层次模型，并在预测给定场景下的最优策略方面表现得相当不错。同样，Turgay等人[28]使用POMDP模型来支持个性化的乳房x光筛查决策，该模型使用了六种状态，其中三种状态是完全可观察到的。Kreke等人为肺炎相关败血症患者创建了2状态POMDP模型，其中仅包括细胞因子测试作为调查行动，并将顺序器官衰竭评估(SOFA)评分用于MDP状态空间定义[29，30.］．在所有这些情况下，状态模型和策略都是粗粒度的，参数空间有限，训练集只有几十个病人。

在这里，我们使用基于点的POMDP求解器以及1492例患者的数据集，其中包括带有时间戳的血液测试、生命体征和其他有关败血症的记录。我们通过定义数据驱动的状态、观察、概率信念、行动和奖励来模拟患者的轨迹和治疗。然后，我们评估了这种方法的潜力，以告知抗生素组合的最佳管理，定义为抗生素“政策”。此外，我们还评估了应用机器学习方法来预测患者死亡率和住院时间的预测能力，以推动临床决策支持。

方法

数据收集

EHR数据库包含1492例成年患者(≥18岁;已删除个人健康信息并符合至少两项全身炎症反应综合征(SIRS)标准的ICU病例[31被加州大学戴维斯健康系统(UCDHS)录取，用于所有的分析，图1(a).所有受试者均获得知情同意，分析得到加州大学戴维斯分校机构审查委员会(irb# 254575)的批准。1492例患者中45.0%为女性，平均住院时间为17.0天(SD 36.7天)，38.0%为急诊科入院。表1总结使用的数据集;图2提供总/ICU住院时间的直方图)。UCDHS是一个三级护理的学术医疗中心，在研究期间没有用于诊断或治疗败血症的主动电子病历警报系统。所有数据都是通过结构化查询语言对去标识的关系数据库进行查询，从EHR中抽象出来的。在2010年1月1日至2010年12月31日期间住院和出院的患者被纳入数据库。以下六个变量被用作观测变量在我们的模型中图1(a):温度、呼吸频率(RR)、白细胞计数(WBC)、平均动脉压(MAP)、收缩压(SBP)和血液培养结果，并明确提及培养中存在的细菌种类。前五个变量是对病人一段时间内记录的病情的测量;温度、RR、WBC和MAP是SIRS标准的一部分。

‎ 查看此图

‎ 查看此图

脓毒症模型

国家的定义

我们在公式中所包含的状态是根据定义良好的标准和专家意见选择的，图1(a).如上所示，每一种状态都由若干特征来定义表2．定义各自状态的SIRS标准为hr>每分钟90次，rr>每分钟20次呼吸(或动脉CO分压)₂< 32mm Hg)，温度为>38°C或<36°C，白细胞为> 12000或<4000个细胞/mm3(或> 10%条带)。对于被诊断为败血症的患者，至少需要存在两项SIRS标准，并且应该存在疑似感染(例如，通过血液检测结果明显)。败血症性休克发生在败血症引起的低血压(收缩压低于90mmhg，低于基线< 40mmhg，或MAP低于70mmhg)，尽管进行了充分的液体复苏，但仍持续存在。此外，我们还包括了在训练阶段由于缺少数据库信息而无法完全确定的状态，例如缺少重要指标测量和时间戳。这些状态是“可能的感染性休克”(PSS:低血压，血液测试阳性，没有足够的生命体征来确定SIRS和/或败血症)，“可能的SIRS”(PS:没有感染，没有生命体征来确定SIRS)，“菌血症可能的SIRS”(BPS:感染，但没有生命体征来确定SIRS和/或败血症)。我们在这项工作中没有包括“严重败血症”状态，因为目前的数据集没有提供足够的信息来将器官衰竭纳入患者状态定义。

行动

策略是遵循的一个或多个操作。每种抗生素组合都被认为是一种可能的作用。我们分析的患者EHR中共包含48种抗生素。在这里，我们考虑了最常用的五种抗生素(万古霉素、头孢吡肟、甲硝唑、头孢曲松和美罗培南)及其所有可能的组合，再加上一种包含所有其他可能使用过的抗生素的组合。这就产生了32种可能的组合，每种组合都定义了五种最常用抗生素的不同作用。万古霉素是一种糖肽抗生素，可抑制革兰氏阳性细菌的细胞壁合成，但由于其肾毒性和耳毒性而避免使用。头孢吡肟和头孢噻松都是头孢菌素类抗生素，对革兰氏阴性和革兰氏阳性细菌都有活性，特别用于治疗中重度肺炎。头孢吡肟也被用于治疗多重耐药微生物菌株引起的感染。甲硝唑是一种硝基咪唑类抗生素，特别用于厌氧菌和一些原生动物。美罗培南是一种超广谱抗生素和β -内酰胺，可抑制细菌壁合成。 Combinations of all states with all possible actions comprise the state-action space for our sepsis model,图1(b，左侧)。

奖励

奖励/成本值由医生根据每个状态的严重程度提供经验。从好到坏分别是:健康(10万)，无SIRS(5万)，可能的败血症(PS, 5000)， SIRS(-50)，菌血症(-10,000)，菌血症可能的败血症(BPS， -12,500)，可能的脓毒症休克(PSS， -15,000)，败血症(-40,000)，脓毒症休克(-60,000)，死亡(-100,000)。中也描述了此信息图3，第一个面板。

‎ 查看此图

转换和观测概率的计算

转换概率计算为每个状态-动作组合中状态-动作-下一状态模式的频率。类似地，观察概率是根据在任何给定状态下观察重要值(以箱为单位)组合的频率来计算的。为了提取观察组合的概率，我们拟合最能描述每个重要数据和状态数据的分布，然后将其划分为五个不重叠、大小相等的容器。选择的bin数量使每个bin中有足够的数据(>10个样本)。对于每一种状态，五个生命值的分布在它们的最小-最大范围内被分为五个相等的部分(每个分配来自分布的概率)，血液测试用二进制变量(存在/不存在细菌)建模。这导致了6250种组合(2∙5⁵）.

POMDP配方

POMDP被定义为一个8元组(S, A, Z, T, O, R, b₀,γ),年代是有限状态的集合，一个是有限动作的集合，T: s × a × s→p (s)是状态转移函数，T (s, a, s ')表示概率P(s ' | s, a)从一个州到另一个州的行动一个，R: s × a→ℜ是奖励函数，P (s)表示执行动作的即时奖励一个在国家S， γ∈[0,1]是折现因子，Z是有限观测集，O: s × a→p (s)是观测函数，O(s, a, z)表示概率P (z |年代,)感知的观察z什么时候采取行动一个到达州年代，b₀是初始状态概率分布，b状态概率分布和b₀(年代)表示状态开始的概率年代．一项政策πPOMDP问题的定义为π(b)→它的价值是我们执行行动后将获得的累计预期折现奖励一个当我们有信念时b．使这个累积值最大化的策略称为最优政策．我们使用了一种基于蒙特卡罗近似的POMDP模型训练方法来解决采样信念空间上的值迭代方法，图1(b，右侧)。值迭代通过求解Bellman方程(图4）.

如果我们有信念b(s)处于状态s，执行行动一个我们观察到z这是对处于状态的最新信念b(年代)显示在图1(c)和图5．

‎ 查看此图

‎ 查看此图

统计评价

我们使用珀尔修斯［32]，一种基于点的随机值迭代算法，在默认设置下提取最优策略。我们使用5倍交叉验证来评估策略的泛化误差，图1(d).对于特定的过渡，如果该患者使用了保单中的一种或多种抗生素，则cdss衍生保单将被视为遵循该保单。比较与每种转换的cdss衍生策略一致的处理和不一致的处理(非cdss衍生策略)，测量在两种情况下导致更好/相同/更差状态的转换的百分比。在轨迹水平上，我们比较了有cdss衍生政策和没有cdss衍生政策的情况下，轨迹平均向更好状态移动的百分比。算法在减少数据的情况下执行的鲁棒性是通过将患者数据分为3部分来测试的，其中3部分中只有2部分用于训练。该算法在随机选择的2/3训练数据的子集上进行训练，这些子集对应于总训练集的期望百分比。性能总是在相同的测试集(即总数据集的1/3)中进行评估，整个过程重复10次以减少偏差，图1(d)。P值的计算使用多重假设修正的超几何分布(Benjamini-Hochberg)。

住院时间和死亡率推断

对于住院时间(LOS)预测，我们首先根据患者的LOS分布将患者分成大小相等的箱子，从而最大化熵并避免对训练数据的偏差。然后我们使用不同核函数的支持向量机[33，34］．在支持向量机分类中，训练特征向量被映射到高维空间，支持向量机在高维空间中确定一个线性分离的超平面，该超平面由最大边界[35］．为了在给定患者生命体征的情况下预测生存结果，考虑到每个患者的五个特征(温度、呼吸频率、WBC、MAP和乳酸水平)和死亡率状态，使用SVM分类方法进行二元和多类分类。对于后者，我们考虑组合成对方案和单一对所有方案[36]，我们观察到我们的结果没有显著差异。我们通过执行交叉验证(CV)和计算接收者-操作者-特征(ROC)曲线、置信区间(CI)和曲线下面积(AUC)来评估分类器的性能。

结果

基于数据驱动机器学习方法的最优政策预测

我们进行了5次交叉验证(CV)来评估我们方法的泛化误差，在所有折叠中都得到了相似的结果，图6(一)和表2而且3.．在每一个过渡阶段中，cdss衍生的最优政策比医生所遵循的治疗不符合cdss衍生政策时，更能导致更好的状态(遵循cdss衍生政策时，49%的人过渡到更好的状态，反之为37%;P= 1.3 e-13)。有趣的是，当使用非CDSS政策时，患者倾向于保持相同的状况(非CDSS政策为35%，CDSS政策为25%，P=5.1e-13)，而CDSS衍生政策和非CDSS政策之间的差异在向更坏的情况过渡时不具有统计学意义(非CDSS政策28% vs CDSS政策26%，P= 4.2 e 1)。然后，我们独立地分析了每个患者的轨迹，以估计在遵循或不遵循该政策的情况下，轨迹中导致更好状态的过渡次数。结果表明，当遵循最优策略预测(即使预期累积奖励最大化的策略，如方法部分所定义)时，存在一个显著的转向轨迹，其90%以上的转变导致更好的状态，图6(b).当实施该政策时，387名患者(25.9%)90%的状态转变为较好状态，503名患者(33.7%)90%的状态转变为较差状态(P=4.0e-06)，而在非政策病例中，这些数字分别为192例(12.9%)和764例(51.2%)(P分别为= 4.6 e - 117)。此外，遵循策略的情况下，轨迹内导致更好或更好/相同状态的转换百分比显著高于非策略情况。事实上，605名患者对344名患者(P=8.6e-25)在遵循cdss衍生政策和不遵循cdss衍生政策时，90%的人都过渡到更好的状态，图1(a).这一结果在5倍CV的所有5次运行中都观察到了，并且在完整数据集上也观察到了，因此它对不同的数据分布都成立。

接下来，我们评估了POMDP框架对减少训练数据集的鲁棒性。为了进行分析，我们迭代地缩减训练集，并在相同的测试数据集中进行评估(参见方法)。结果表明，该方法对数据量减少具有鲁棒性。图6(c)以及图3而且7，主要是由于每次组合提出的最优策略中，各种抗生素存在明显的重叠。为了通过减少训练集来更深入地了解政策是如何变化的，我们为每个状态构建了一个最优政策的综合地图，图6(d).由此产生的图谱提供了cdss衍生的药物组合，在每个州都带来了更有利的结果，表3．重要的是要注意，这些策略对应于一个明确的知识，即患者是那个特定的状态(信念/概率为1)，这几乎是不可能的，因为他/她以前的历史(以前的状态，临床信息等)在任何给定时间塑造了所有状态的信念分布。此外，所描述的药物组合总体上与更好的结果相关，并不是在任何情况下患者处于特定状态时的最佳组合，因为强效药物组合用于更严重的病例，这些病例更有可能过渡到更糟糕的状态。任何状态下的最佳决策最终都是所有观察结果(生命体征、血液结果等)的函数。它们之间的联系将取决于CDSS培训所用数据的结构。

‎ 查看此图

‎ 查看此图

死亡率的预测

使用支持向量机(Support Vector Machines，见方法)可以准确地对临床结果进行分类。为了预测患者的死亡率，我们使用了五个特征(温度、呼吸频率、WBC、MAP和乳酸水平)以及每个患者的最终结果。这导致在1492名患者中有745名患者的数据集，所有6个变量都可用。5个测量变量通过每个患者轨迹的平均值和标准偏差(STD)进行总结[37］．主成分分析(PCA)也用于评估在这种情况下是否可以实现特征空间的线性变换和降维[38］．采用滤波方法，将受试者工作特征(ROC)曲线下面积(Area-Under-the-Curve, AUC)作为排序准则[39］．采用径向基函数(RBF)核进行10倍交叉验证方案的支持向量机训练。死亡率预测的阳性/阴性类别分别定义为活着/死亡。745例患者的死亡分类AUC为0.70 (SD 0.04;95% CI)，准确度为0.72，图2(a).当测试集集中在170例脓毒症患者组时，AUC为0.61(SD为0.14)，准确度为0.71，图2(a).对于better-to-all转换比大于0.9的患者组(745例患者中有302例)，AUC较高，为0.74 (SD 0.07)，准确性为0.81，图2(b)，而对于better-to-all比率小于0.1的患者，AUC下降至0.58 (SD 0.10)。这些结果的比较表明，训练后的分类器在使用所提议的政策的情况下表现更好，更准确，当这些政策导致有利的结果时，其辨别能力更高。

住院时间预测

为了预测住院时间(LOS)，我们用两个额外的特征训练SVM分类器，这两个特征被发现是有信息的:阳性血液培养的发生和患者住院期间政策药物管理的次数。然后，我们根据住院时间将患者分为两类。这种歧视的阈值是由住院的中位时间(10.4天)决定的，因此我们选择了4、8和12天的阈值。采用10倍交叉验证方案对分类器进行评价。分类器的AUC为0.69 ~ 0.73,CI偏差较小(0.02 ~ 0.05)，准确度为0.69 ~ 0.82，图7．对多个停留时间(0- 3,3 - 6,6 - 12,12 +天)的多类别分类有相似的结果，尽管在预测两个中间类别(3-6和6-12)时AUC下降到0.53，图6．

讨论

在这项工作中，我们使用1492例患者的EHR构建了脓毒症患者的决策支持工具和预测分类器。尽管数据集在患者数量和可用功能方面都有限，但CDSS方法导致了数据驱动的政策，从而显著改善了患者的结果。同样，我们证明了有时间戳的EHR观察数据，如患者的生命体征和血液结果，可用于预测死亡率和住院间隔时间，具有更高的准确性和鉴别性能。

考虑到治疗和结果的巨大组合空间，开发统计决策支持工具的主要挑战之一是以临床相关和计算可行的方式定义状态和行动。为了创建一个平衡这些权衡的框架，我们使用专家知识和统计方法在POMDP框架内有效地表示临床病例，同时确保每个状态-动作组合都有足够的数据用于模型训练和测试。随着临床数据库规模的扩大，可以应用自动化状态和动作定义技术，这可能会导致对每种情况下的医学相关内容的有趣见解。我们的稳健性分析认为，即使对于小样本量，基于ppd的工具也相当稳健性，对于更大的综合数据集，更复杂的具有额外特征的状态-行动空间，以及复杂的临床病史，这种方法的泛化边界仍有待观察。与任何数据驱动的预测方法一样，结果的泛化误差和适用性取决于模型能够捕捉真实状态和行为空间的扩展，以及由于有限的样本量、数据质量和精度而产生的各种偏差。例如，患者群体的差异、病房的微生物耐药性模式、患者的抗感染前治疗、药物(如血管升压药)或治疗(如呼吸机支持)的应用，目前尚未被捕获，因为它们可以极大地改变拟议的政策和行动，因此限制了本研究的适用性。为了解决这些问题，本文提出的方法可以应用于更大的数据集，这些数据集可以支持更广泛的状态、动作和可观察对象建模，同时纠正不同属性之间可能的偏差。

这项初步研究为脓毒症治疗的预测性CDSS铺平了几个有趣的方向。除了SIRS标准和感染的指示外，考虑到可能的功能障碍器官是有用的，这是我们在这里使用的数据库中没有的一组信息。因此，我们可以为器官功能障碍定义九种状态:缺失、呼吸、凝血、肝脏、中枢神经系统、肾脏、代谢、心血管、多器官功能障碍(后者定义为两个或两个以上器官功能衰竭)。序贯器官衰竭评估(SOFA)准则及评分[40可以用于此目的。行动空间同样可以扩展到包括对脓毒症治疗很重要的其他几个行动，如静脉输液的管理和剂量、血管活性药物、机械通气的开始、氧治疗、血液透析、脓毒症顺序设置的使用以及其他入院和/或转移决定。为此，在特征和患者方面，更广泛的数据集是至关重要的，这样状态/动作组合空间将有足够的训练样本。此外，扩展复合特征的数量是很重要的，因为在本研究中，我们只考虑了七个特征。这样的延长可能会导致更准确的预测死亡率和病人的住院时间。从技术角度来看，重要的是要努力建立一个算法框架，可以从不同的轨迹中区分已经达到状态的患者，因为每种情况下的最佳治疗方法可能有本质上的不同。虽然这在一般情况下会违反马尔可夫性质，但人们可以研究可以容纳这种设置的有限内存模型。

最后，任何CDSS工具的一个重要方面是对患者状态、过去历史和决策空间的直观和交互式可视化。在这项工作中，我们开发了一个交互式图形用户界面(GUI)，它与POMDP解算器和数据库连接，可以显示生命特征、药物和状态历史、状态信念、所有可能的转换及其概率的状态图，以及给定患者状态的当前信念的最佳/近乎最佳操作。图3．用户还可以为每个状态定义奖励，并重新计算由pomdp派生的最优策略。此外，该患者的轨迹将与数据库中其他患者的轨迹进行实时比较，以便对潜在结果进行比较和可视化。新颖的可视化方法和交互式工具，如非突兀的头戴式显示器，是与所提出的CDSS配对的有前途的候选者，无论是作为显示和采集设备。最终目标应该是利用从现成的EMR数据中获得的实时学习和分析，警告临床医生患者“状态”的重要变化，以及需要采取新的“行动”来改善严重败血症患者的结局。因此，“大数据”分析与普适计算的整合有可能彻底改变我们所知道的急诊和重症监护医学。