这是一篇在知识共享署名许可(https://creativecommons.org/licenses/by/4.0/)下发布的开放获取文章,该许可允许在任何媒介上不受限制地使用、分发和复制,前提是原始作品首次发表在《医学互联网研究杂志》上,并适当引用。必须包括完整的书目信息,到//www.mybigtv.com/上原始出版物的链接,以及版权和许可信息。
有效的脑卒中管理的关键是及时诊断和分诊。为帮助检测中风而开发的机器学习(ML)方法专注于解释详细的临床数据,如临床记录和诊断成像结果。然而,在对患者进行初步分类时,这些信息可能并不容易获得,特别是在农村和服务不足的社区。
本研究旨在基于患者住院时广泛可用的数据开发ML卒中预测算法,并评估健康社会决定因素(SDoH)在卒中预测中的附加价值。
我们对2012年至2014年佛罗里达州所有急症护理医院的急诊科和住院记录进行了回顾性研究,并合并了美国社区调查的SDoH数据。采用病例对照设计构建卒中和卒中模拟队列。我们比较了基于3组预测因子的ML模型(即梯度增强机和随机森林)与逻辑回归模型的算法性能和特征重要性度量。为了深入了解预测并最终帮助护理提供者做出决策,我们使用TreeSHAP的基于树的ML模型来解释中风预测。
我们的分析包括了143,203例特殊患者的医院就诊,根据出院时的主要诊断,这些患者中有73% (n=104,662)发生了中风。本研究提出的方法灵敏度高,在减少危险中风变色龙的误诊(假阴性率<4%)方面特别有效。ML分类器在所有3种输入组合中始终优于基准逻辑回归。我们发现这些模型在解释其性能的特征上具有显著的一致性。最重要的特征是年龄、入院时慢性病的数量和主要付款人(如医疗保险或私人保险)。虽然个体和社区水平的SDoH特征都有助于提高模型的预测性能,但个体水平的SDoH特征的改善程度(接受者工作特征曲线下面积从0.694增加到0.823)远远大于社区水平的SDoH特征(接受者工作特征曲线下面积从0.823增加到0.829)。
利用患者住院时广泛可用的数据,我们开发了一种具有高灵敏度和合理特异性的脑卒中预测模型。预测算法使用由提供者和付款人定期收集的变量,对于资源不足、敏感诊断工具可用性有限或数据收集能力不完整的医院可能有用。
诊断错误已成为一个主要的公共卫生问题,造成可预防的患者伤害和过度的卫生支出。美国国家科学院最近发表的一份题为《提高医疗诊断水平》的报告指出,几乎每个人一生中至少都会受到一次医疗误诊的影响,有时还会带来灾难性的后果。
中风的诊断由于大量的中风模仿和中风变色龙而变得复杂。大约30%的有典型中风症状的住院患者最终出现了非中风症状(即中风模拟症状)[
机器学习(ML)是人工智能的一个重要分支,它有可能从大量数据中识别隐藏的见解,并通过从示例输入(即训练数据)中迭代学习,在未见过的数据(即测试数据)上生成预测。机器学习问题通常可以分为3种主要类型:分类和回归,称为监督学习,以及无监督学习,在机器学习应用的上下文中通常指聚类。在卒中研究的文献中,ML算法已被应用于不同的任务,例如识别与未来卒中风险相关的因素[
大多数疑似中风患者的第一次脑成像是非对比CT扫描,该扫描在患者到达急诊科的几分钟内完成。然而,非对比CT扫描不足以诊断急性中风,因为头部CT检查在大多数情况下不能显示超急性中风,并且它降低了对腔隙性中风的敏感性[
除了医疗风险因素外,健康的社会决定因素(SDoH)已被证明与中风和许多其他疾病的风险有关[
在这项研究中,我们的目的是开发一种基于患者住院时广泛可用的数据的ML卒中预测算法,并评估SDoH在卒中预测中的附加价值。由于预测模型不需要临床记录或诊断测试结果,因此在处理症状较轻和非典型的中风患者时,它可能特别有助于解决误诊挑战;在小容量或非中风中心的急诊科,急诊人员每天接触中风的机会有限。
本研究检查的二级医院出院数据来自医疗保健成本和利用项目国家特定数据库,医疗保健研究和质量机构。医疗保健成本和利用项目数据库符合有限数据集的定义,使用有限数据集不需要机构审查委员会的审查[
我们的数据来自两个主要来源。我们获得了纵向管理数据,其中包含来自佛罗里达州医院的住院和急诊科就诊的遭遇级信息。第二个数据来源是美国人口普查局进行的美国社区调查[
我们采用病例-对照设计,我们方法的初始阶段是为模型训练创建具有代表性的示例,并确保卒中病例和对照有明确的分离。我们回顾性地提取了2012年至2014年在佛罗里达州以急性脑血管病为主要诊断的127,114例住院记录,使用由卫生保健研究和质量机构开发的临床分类工具[
模型准确预测中风的关键是区分中风和类似中风的情况(“中风模拟”)。我们精心创建了一个中风模拟数据集,以模拟棘手的诊断决策,并区分实际的中风事件和类似中风的事件。使用所有涉及非卒中患者的记录来构建预测模型将导致包括完全不相关的病例,如分娩和髋关节置换术,并创建一个高度不平衡的数据集。因此,我们咨询了医生,了解哪些情况可能表现出与中风患者相似的初始症状。根据他们的建议,我们使用Epocrates(医疗保健提供者在护理点使用的临床参考信息的移动应用程序)获得了一份条件列表[
我们汇总了卒中和卒中模拟数据集,并仅保留了患者首次入院时收集的数据。在合并中风数据和中风模拟数据后,我们再次执行了重复数据删除,因为患者可能首次因中风入院,但再次入院时可能出现中风模拟症状,反之亦然。如果一个病人出现在两个数据集中,我们只保留第一次出现。由于患者可能多次返回医院,提供者可能已经获得了关于再次入院患者的更多信息。仅保留患者的索引相遇可确保我们的模型仅基于患者在医院初次就诊时可用的信息来预测中风。我们获得了2010年至2014年的数据,因此我们在2012年之前有2年的“缓冲期”。纳入分析的患者是那些在2010年或2011年没有记录的患者。“确诊中风”数据集包含所有出院记录证实患有中风的患者;因此,它不仅包括典型中风症状的患者,也包括轻度和非典型症状的患者。中风模拟数据集包括一般表现与实际中风患者相似的患者,包括出院诊断为癫痫、糖尿病、酒精和药物戒断的患者。
我们从ACS中提取的原始SDoH数据包含了大量的特征。我们采用了多种方法来降低噪声和维数,避免过拟合。首先,我们进行探索性数据分析,如主成分分析,了解特征分布,识别特征之间的模式和多重共线性。然后,我们结合领域知识和稀疏回归方法(最小绝对收缩和选择算子)来去除不相关的特征并合并高度稀疏的特征。
总的来说,从ACS数据中的431个变量的大集合中为佛罗里达州的983个邮政编码构建了4个类别。这些类别代表了文献中提到的与中风相关和心血管健康状况相关的社会、经济、住房、职业、健康保险和人口特征(
我们还执行了马尔可夫毯特征选择方法,以确定产生最佳分类性能的相关特征的最小子集[
根据患者的邮政编码信息,将患者级数据与社区级ACS数据合并,形成最终的分析数据集。
数据处理管道。美国社区调查;NA:不可用;SDoH:健康的社会决定因素;SID:国家住院病人数据库。
我们首先利用入院时患者水平的可用信息来预测二元结果,表明患者出院时的最终诊断是否为中风。我们运行了三种不同的模型,这些模型在文献中已经很好地建立了训练过程:(1)逻辑回归,(2)RF和(3)梯度增强机(GBM)。每个模型使用不同的预测变量组合来评估不同变量的附加预测价值。
逻辑回归是一种常用的方法,用于对一组预测变量和二元结果变量之间的关系进行建模,并用于基准测试[
我们首先对所有3个模型的超参数进行了调优,以便在整个数据集上使用网格搜索和5倍交叉验证来找到最佳配置。交叉验证的评价指标为受试者工作特征曲线下面积(AUC)。我们在数据集上使用80-20随机分割,因为这是ML模型中使用的标准分割方法,通常用于测试模型性能,为EDs中的提供者设计支持ML的诊断工具[
作为稳健性检验,我们采用了另一种数据分割方法,即使用2012年的历史数据预测2013年,同时使用2012年和2013年的数据预测2014年。
尽管ML模型可以产生准确的预测,但它们通常被视为缺乏可解释性的黑箱模型。这是一个重要的问题,特别是在医疗保健中,因为临床医生通常不愿意在没有明确潜在推理的情况下接受机器建议[
分析管道。美国社区调查;GBM:梯度增压机;LR:逻辑回归;RF:随机森林;SDoH:健康的社会决定因素;SID:国家住院病人数据库。
在最终的数据集中,有143,203名独特患者就诊,根据出院记录确认其中73% (n=104,662)的患者发生了中风。预测模型包括来自医院管理数据集的12个患者级特征,以及来自ACS数据集的16个社区级特征。我们将患者水平的预测因素归纳为3类:患者人口统计学、就诊水平特征和个体水平的SDoH;他们的统计摘要载于下表(
患者水平预测因子的描述性统计。
特性 | 总样本(n=143,203),均值(SD) | 卒中队列(n=104,662),平均(SD) | 卒中模拟队列(n=38,541),平均(SD) |
|
||
|
||||||
|
年龄(年) | 65.2843 (19.97) | 71.1259 (14.68) | 49.4207 (23.49) | <措施 | |
|
性别(女) | 0.5019 (0.50) | 0.5014 (0.50) | 0.5031 (0.50) | 03 | |
|
慢性疾病数量 | 6.5066 (3.21) | 7.1200 (3.00) | 4.8410 (3.17) | <措施 | |
|
|
|||||
|
|
白色 | 0.6594 (0.47) | 0.6736 (0.47) | 0.6209 (0.49) | <措施 |
|
|
黑色的 | 0.1802 (0.38) | 0.1706 (0.38) | 0.2064 (0.40) | <措施 |
|
|
拉美裔 | 0.1348 (0.34) | 0.1302 (0.34) | 0.1472 (0.35) | <措施 |
|
|
其他种族 | 0.0256 (0.16) | 0.0257 (0.16) | 0.0255 (0.16) | .04点 |
|
||||||
|
紧急入院 | 0.9030 (0.30) | 0.9094 (0.29) | 0.8859 (0.32) | <措施 | |
|
选择性入学 | 0.0403 (0.20) | 0.0214 (0.14) | 0.0914 (0.29) | <措施 | |
|
转换指示器 | 0.0913 (0.37) | 0.0929 (0.37) | 0.0869 (0.36) | <措施 | |
|
夜班一个 | 0.3409 (0.47) | 0.3257 (0.47) | 0.3821 (0.49) | <措施 | |
|
周末指示器 | 0.2558 (0.44) | 0.2581 (0.44) | 0.2496 (0.43) | <措施 | |
|
||||||
|
城市住宅 | 0.9529 (0.21) | 0.9515 (0.21) | 0.9567 (0.20) | <措施 | |
|
|
|||||
|
|
医疗保险 | 0.6239 (0.48) | 0.7027 (0.46) | 0.4099 (0.49) | <措施 |
|
|
医疗补助计划 | 0.1103 (0.31) | 0.0714 (0.26) | 0.2159 (0.41) | <措施 |
|
|
私人保险 | 0.1505 (0.36) | 0.1331 (0.34) | 0.1980 (0.40) | <措施 |
|
|
其他费用 | 0.1153 (0.32) | 0.0929 (0.29) | 0.1762 (0.38) | <措施 |
|
|
|||||
|
|
0-25th百分位 | 0.4025 (0.49) | 0.3984 (0.49) | 0.4134 (0.49) | <措施 |
|
|
26 th-50th百分位 | 0.3261 (0.47) | 0.3289 (0.47) | 0.3186 (0.47) | <措施 |
|
|
51圣-第75个百分位 | 0.1992 (0.40) | 0.1994 (0.40) | 0.1986 (0.40) | .04点 |
|
|
76 th -第100个百分位 | 0.0722 (0.26) | 0.0733 (0.26) | 0.0694 (0.25) | <措施 |
一个晚上7点至早上7点入场。
bSDoH:健康的社会决定因素。
我们根据实际护理环境中的绩效指标和临床需求来选择模型。请注意,误诊的代价是不对称的。对中风的误诊(将真正的中风贴上非中风的标签)可能比过度诊断(即假阳性的中风诊断)对病人和医生都有更严重的不良后果。因此,所选择的模型应具有较高的灵敏度,同时将特异性保持在合理的范围内。两种ML模型(RF和GBM)都正确检测出至少97%(101,522/104,662)的卒中患者,因此显著优于院前卒中预测量表(范围在0.38至0.62之间)[
脑卒中预测模型的性能。
输入组合和型号 | 分类器 | 精度 | AUC一个 | 灵敏度 | 特异性 |
|
|||||||
|
|||||||||||||
|
1 | 分对数 | 0.828 | 0.693 | 0.960 | 0.626 | 0.893 | ||||||
|
2 | 射频b | 0.804 | 0.680 | 0.928 |
|
0.877 | ||||||
|
3. | “绿带运动”d |
|
|
|
0.619 |
|
||||||
|
|||||||||||||
|
4 | 分对数 | 0.830 | 0.810 | 0.960 | 0.630 | 0.895 | ||||||
|
5 | 射频 | 0.794 | 0.724 | 0.899 |
|
0.868 | ||||||
|
6 | “绿带运动” |
|
|
|
0.631 |
|
||||||
|
|||||||||||||
|
7 | 分对数 | 0.822 | 0.810 | 0.967 | 0.629 | 0.891 | ||||||
|
8 | 射频 | 0.831 | 0.828 |
|
0.626 | 0.896 | ||||||
|
9 | “绿带运动” |
|
|
0.970 |
|
|
一个AUC:接收机工作特性曲线下的面积。
b随机森林。
c对于每个输入组合,3个分类器中性能最好的分类器已被斜体化。
dGBM:梯度增压机。
eSDoH:健康的社会决定因素。
我们发现这三种模型在解释其性能的最重要特征上是一致的(
值得注意的是,患者的入院类型(例如,是急诊还是选择性入院)和入院时间(例如,他们是否在夜班期间入院)有助于中风预测的准确性。已有研究调查了“周末效应”对死亡率的影响[
除年龄外,其他患者层面的人口统计和社会经济因素,包括性别、种族和主要付款人(即医疗费用是否由医疗保险、医疗补助、私人保险或其他付款人支付),也有助于模型的预测。这些发现补充了最近观察到的不同种族和性别群体中风风险模式的差异[
特征重要性比较:梯度增强机(GBM)的20个最重要特征;左上),随机森林(右上)和逻辑回归(底部)。美国社区调查;Qrtl:四分位数。
一些社区层面的SDoH变量(例如,单身妇女的百分比;从事与金融、零售和制造业密切相关职业的人口比例;平均上班时间)也在前20名之列。然而,它们对脑卒中预测的影响程度远小于患者水平的人口统计学和社会经济特征。这与文献[
消融研究通常用于为特征分配重要性分数[
为了深入了解预测并最终协助护理人员做出决策,我们试图使用TreeSHAP解释中风预测模型[
Shapley加法解释值,例如患者。美国社区调查。
这些例子表明,个体水平的中风预测因素可能因病例而异,可用于个性化诊断和护理点的治疗决策,而人群水平的分析提供了住院时中风重要预测因素的总体排名,可用于制定最佳实践指南和患者管理计划。
在这项研究中,我们开发了一种基于ml的方法,使用常规收集的行政数据来帮助减少中风误诊。我们的研究结果表明,在获得诊断成像或实验室检查结果之前,可以根据患者的人口统计数据和医院就诊时可用的SDoH信息来预测中风。该算法的AUC为83%,提供了准确的结果(高精度为84%),并且返回了所有阳性结果的绝大多数(101,522/104,662,97%)(高灵敏度)。
这项研究填补了目前支持中风分诊的一个关键空白,该分诊要么侧重于提高院前设置的特异性,要么需要详细的神经学评估和成像结果。一方面,先进的机器学习技术已被应用于协助自动解释临床记录和成像,但这是基于这些信息源的可用性。另一方面,由于紧急医疗服务人员缺乏必要的时间和培训来进行详细的神经学评估,因此开发了简短而简单的临床方法,即院前卒中量表,以支持现场的初始分诊,例如辛辛那提院前卒中量表,洛杉矶院前卒中量表和方便掌握的现场评估卒中分诊。这些量表在临床实践中表现出广泛的性能变化;然而,一般来说,它们具有可接受到良好的特异性,但灵敏度较低[
脑卒中预测决策支持。急诊科。
该模型可与其他基于急诊室电子病历的人工智能预测或决策支持系统集成,以进一步改善卒中分诊和诊断。尽管电子病历数据包含丰富而详细的临床信息,但某些也可能是重要风险因素的社会和行为决定因素(例如,种族)在电子病历中既没有得到充分的代表(包括“未知”类别),也没有得到充分的描述[
在比较研究中报告的各种形式的绩效指标时,考虑特定的临床需求和护理环境是很重要的。在中风的情况下,对中风的误诊(将真正的中风贴上非中风的标签)通常会导致比过度诊断更严重的患者不良后果。虽然假阳性中风模拟很少导致法律后果,但假阴性可能导致关键治疗的延误,并经常引起医疗失误的指控。此外,考虑到敏感性和特异性之间的内在权衡,院前卒中量表对特异性的关注(即减少过度诊断)可能导致大量卒中误诊,需要在患者的医院报告中加以解决。因此,最大限度地减少假阴性率或最大限度地提高灵敏度是至关重要的急性护理设置为病人和提供者。最近的几项研究比较了目前可用的临床评估工具,如野外卒中分诊量表、美国国立卫生研究院卒中量表、洛杉矶运动量表和快速动脉闭塞评估,其中包括皮层体征(如凝视偏差、失语和忽视)以及运动功能障碍。并发现这些工具在检测大血管闭塞患者方面的诊断准确性优于区分急性卒中和模拟卒中[
这项研究也是第一个大规模的研究,系统地评估SDoH信息在基于人群的风险预测设置中使用行政数据的附加价值。尽管许多研究表明,各种社会或行为因素与健康结果有关,但很少有研究明确地考察这些因素的知识是否能提高对临床事件或健康结果的预测。我们的结果与早期的研究结果一致,这些研究将SDoH数据与电子病历数据联系起来,以预测急诊科就诊[
本研究有进一步完善的空间,留待以后的研究。首先,这是一项回顾性研究,卒中病例的确认依赖于国际疾病分类代码。对病人复杂的医疗记录进行复核以确定中风的诊断是可取的;然而,这一过程是劳动密集型和昂贵的,特别是当这是一项涉及不同卫生系统数十万患者的大规模研究时。我们的结果需要进一步验证,但有可能改善中风的分类和诊断。
其次,我们提出的算法不应该被认为是中风诊断的金标准。相反,我们认为该算法补充了院前或急诊室设置中使用的现有中风评分系统,并且可以集成到基于ml的决策支持系统中,该系统结合了患者的病史、SDoH和临床数据。这样的决策系统将具有敏捷和迭代的优势,因为随着ED中收集的数据越来越多,可以定期重新评估模型结果,以及具有最有希望相关性的变量的集成。
第三,本研究的重点是仅根据患者在医院首次就诊时可获得的信息来预测中风。这是因为首次或新发中风患者占美国每年中风患者的绝大多数(77%)[
最后,我们的研究结果仅限于行政数据中可用的SDoH变量,这表明开发标准和工具的重要性,以常规收集和筛选个人层面的SDoH数据,并有效地将其整合到电子病历和结构化索赔数据中。我们目前的预测不需要任何额外的努力来收集额外的个人水平的SDoH。社区一级的ACS变量已被纳入最佳预训练模型的一部分。在我们的预测中使用的患者层面细节是:(1)基本人口统计数据,包括年龄、性别、种族和民族,以及主要付款人(即医疗保险、医疗补助、私人保险或其他);(2)到达信息(例如,是急诊还是择期入院,患者是在周末还是夜班期间入院);(三)病人居住在城市还是农村,以及他们的家庭收入中位数下降的四分位数(
中风是最常见和最危险的误诊疾病之一。黑人、西班牙人、妇女、享受医疗保险的老年人和农村地区的人在中风后被及时诊断出来接受治疗的可能性较小。及时发现是有效管理和改善患者预后的关键。
我们开发了一种高性能的基于ml的中风预测算法,其性能优于现有的预警评分系统。该算法基于常规收集的变量,并在患者住院时随时可用,可能为加强患者监测和卒中分诊以及改善健康结果提供机会。由于预测模型不需要临床记录或诊断测试结果,因此在资源不足的农村急诊科和服务不足的社区特别有用,这些社区的敏感诊断工具可用性有限,数据收集能力不完整。此外,该算法可以纳入自动化的人工智能决策支持系统,该系统结合了ED呈现时广泛可用的管理数据以及随后可用的临床记录和诊断测试结果,以进一步改善中风的诊断、分诊和管理。
分析样本中排名前20的主要诊断。
健康变量的社区一级社会决定因素。
机器学习模型中的调优超参数。
基于备选数据分割方法的脑卒中预测模型性能研究。
所用术语的术语表以及变量定义。
烧蚀分析结果。
美国社区调查
接收机工作特性曲线下的面积
计算机断层扫描
急诊科
电子健康记录
梯度增压机
机器学习
随机森林
健康的社会决定因素
沙普利加法解释
作者感谢卫生保健研究和质量局及其合作组织佛罗里达卫生保健管理局通过卫生保健成本和利用项目提供对国家住院病人数据库的访问。
他们感谢2019年运筹学与管理科学学会医疗会议、2020年信息技术与系统研讨会、医疗信息与管理系统学会2020年大数据研讨会和生产与运营管理学会第31届年会上三位匿名审稿人和与会者的评论和建议,这些会议介绍了本工作的早期版本。以及卡耐基梅隆大学亨氏学院的研究生,感谢他们在数据收集和初步分析方面的帮助。
MC和RP构思了这项研究的想法。MC, RP和XT设计了这项研究。MC和XT在RP的广泛投入和批判性建议下进行了分析并起草了手稿。所有作者对结果进行解读,修改稿件,阅读并批复定稿。
没有宣布。