这是一篇根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布的开放获取文章,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR Human Factors上的原创作品。必须包括完整的书目信息,https://humanfactors.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
基于人工智能的临床决策支持(AI-CDS)工具对重症监护病房(ICU)患者和医生有很大的潜力。这些工具的开发和实现之间存在差距。
我们的目的是在实施出院AI-CDS工具预测ICU出院后再入院和死亡风险之前,调查医生的观点和他们当前的决策行为。
我们在2021年7月至11月期间,对参与两家荷兰学术icu患者出院决策的医生进行了调查。问题被分为四个领域:(1)医生目前对ICU患者出院的决策行为,(2)对AI-CDS工具一般使用的看法,(3)将出院AI-CDS工具纳入日常临床实践的意愿,(4)在日常工作流程中使用出院AI-CDS工具的偏好。
64名受访者(93名接触者中,69%)中的大多数人熟悉AI(62/64, 97%),并对AI抱有积极的期望,64人中有55人(86%)认为AI可以支持他们作为医生的工作。受访者对患者出院的决定是否复杂存在分歧(23/64,36%同意,22/64,34%不同意);尽管如此,大多数(59/ 64,92%)同意出院AI-CDS工具可能有价值。来自两个学术地点的医生之间存在显著差异,这可能与参与出院AI-CDS工具开发的程度不同有关。
ICU医生对AI-CDS工具整合到ICU总体上表现出良好的态度,特别是对预测患者出院后7天内再入院和死亡风险的工具。这份调查问卷的结果将用于改进最终用户的实施过程和培训。
由于高质量临床数据的可用性不断增加,基于人工智能的临床决策支持(AI-CDS)工具的开发正在兴起,以增强个性化医疗。AI-CDS工具利用学习算法,包括机器学习,在特定情况下,当应用于与医疗保健相关的预测任务的大型数据集时,这些算法可能会优于经典统计模型[
为了安全有效地实施AI-CDS工具,有必要研究人为因素,因为高预测性能并不能确保这些技术被接受[
这项调查研究是Pacmed Critical项目实施前研究的一部分。
这项调查于2021年7月至12月在荷兰的莱顿大学医学中心(LUMC)和阿姆斯特丹大学医学中心(阿姆斯特丹UMC,自由大学医学中心所在地)进行。这两个中心都是学术性三级转诊医院。在阿姆斯特丹联合医疗中心,2名重症监护医师共同开发了Pacmed Critical,其他ICU临床医生参加了最终用户测试,作为该软件Conformité Européene (CE)认证过程的一部分。LUMC的医生没有参与该工具的开发,计划在调查完成后开始实施。
研究结果在阿姆斯特丹联合大学以匿名的形式收集在纸上,并在阿姆斯特丹联合大学通过网络调查的方式收集。所有在ICU工作的医生都有资格参与这项研究,包括住院医生、重症监护研究员和经委员会认证的重症监护医师。
本研究结果不包括任何敏感或可识别的数据。我们获得了LUMC医学伦理委员会(ID: N21.153)的伦理批准。
该调查仪器由两名ICU医生、人工智能和组织研究人员、一名数据科学家、一名用户体验研究人员和一名Pacmed Critical产品负责人共同开发。20个问题的调查包括13个陈述,5个多项选择题和2个开放式问题。受访者的回答采用李克特五分制,从1(非常不同意)到5(非常同意)[
该领域问题的目的是调查当前的决策,以及出院AI-CDS工具在出院决策的复杂性和预测结果方面是否有益。前3个陈述问题调查了ICU患者出院决定的复杂性,以及再入院风险和床位可用性对这一决定的影响。在做出出院决定后,患者不会再入院的平均确定性从1(完全不确定)到10(完全确定)进行排名。我们询问了那些出院决定被认为是最具挑战性的患者群体,以确定AI-CDS工具在哪里最有价值(这些问题是多项选择)。我们还询问了在患者出院过程中哪些因素被认为是最重要的(征求公开答案)。
五份陈述涵盖了ICU对AI-CDS工具的观点和态度,因为参与者没有或几乎没有使用这些工具的经验。这些包括对AI熟悉程度的陈述,AI是否被认为能够在未来取代医生,AI- cds在ICU的预期附加值和支持,以及AI- cds工具是否能够充分代表医生的工作。
在临床实践中纳入出院AI-CDS的意愿由5项陈述来评估,这些陈述包括出院决策支持的积极价值、洞察预测的促成因素的重要性、预测可能对出院决策产生的潜在影响、在做出出院决定之前咨询预测的意愿以及将预测纳入医生工作流程的可行性。此外,医生被要求指出预测再入院和死亡风险的阈值(在0到100的范围内),超过这个阈值他们就不会让病人出院,低于这个阈值他们就会让病人出院。这个问题的目的是研究某种预测的再入院机会和死亡率对医生行为的影响。
最后一个领域包括关于如何将ICU患者出院的AI-CDS工具集成到ICU当前的临床工作流程中的问题;这些答案旨在作为AI-CDS工具设计和实施过程中的输入,使其成为当前决策过程的一部分[
结果以类别问题受访者总数的百分比给出。数值问题的答案被总结为中位数(IQR)。由于这两个中心的医生参与工具开发的程度不同,我们分别为LUMC和阿姆斯特丹UMC对领域1(关于ICU患者出院的当前决策行为)、领域2(对AI-CDS的态度和观点)和领域3(将出院AI-CDS工具纳入日常临床实践的意愿)的问题进行了分析。作为额外的亚组分析,我们调查了重症监护医师和在ICU工作的其他医生(即ICU的住院医生和研究员)对领域2和3问题的回答差异。我们确定了李克特量表陈述问题与曼-惠特尼量表的显著相关性
该调查分发给了LUMC的40名临床医生和阿姆斯特丹UMC的53名临床医生。93名临床医生中有64名(69%)完成了调查,其中64名临床医生中有33名(52%)在LUMC, 64名临床医生中有31名(48%)在阿姆斯特丹联合医疗中心(
回复率、培训水平和受访者的医学专业。由于四舍五入,概率加起来可能不等于100%。
|
莱顿大学医学中心(n=33), n (%)一个 | 阿姆斯特丹大学医学中心(n=31), n (%)b | 合计(N=64), N (%) | ||||
|
|||||||
|
Intensivist | 16 (48) | 11 (36) | 27 (42) | |||
|
重症监护室研究员 | 5 (15) | 6 (19) | 11 (17) | |||
|
居民c | 12 (36) | 14 (45) | 26 (41) | |||
|
|||||||
|
内科医学 | 11 (33) | 7 (23) | 18 (28) | |||
|
麻醉学 | 11 (33) | 16 (52) | 27 (42) | |||
|
儿科医学 | 3 (9) | 0 (0) | 3 (5) | |||
|
急诊医学 | 1 (3) | 0 (0) | 1 (2) | |||
|
肺学 | 1 (3) | 2 (7) | 3 (5) | |||
|
手术 | 1 (3) | 0 (0) | 1 (2) | |||
|
神经外科 | 1 (3) | 0 (0) | 1 (2) | |||
|
神经学 | 1 (3) | 0 (0) | 1 (2) | |||
|
住院医师未接受培训c | 3 (9) | 6 (16) | 9 (14) |
一个该组的反应率为33 / 40(83%)。
b该组的应答率为31 / 53(58%)。
c包括医生助理。
对当前排放实践的响应可见于
对当前重症监护病房出院做法的回应。答案的条宽表示选择该选项的受访者的数量。问题一:“让病人转到较低护理病房的决定很复杂”;“患者的ICU再入院风险是我决定出院的一个重要因素”;Q3:“在决定让病人出院时,我会考虑是否有床位。”莱顿大学医学中心:莱顿大学医学中心;大学医学中心。*
对陈述的回应。
问题 | 总数,中位数(IQR) | 莱顿大学医学中心,中位数(IQR) | 阿姆斯特丹大学医学中心,中位数(IQR) |
|
|||||
|
|||||||||
|
Q1:“让病人转到较低护理病房的决定很复杂” | 3 (2 - 4) | 3 (2 - 3) | 4 (2 - 4) |
|
||||
|
Q2:“患者的ICU再入院风险是我决定出院的一个重要因素” | 4 (4 - 4) | 4 (4 - 4) | 4 (4 - 5) | .09点 | ||||
|
Q3:“我在决定让病人出院时,会考虑到床位的可用性” | 4 (3 - 4) | 4 (3 - 4) | 4 (3.5 - 4) | 点 | ||||
|
|||||||||
|
Q4:“我熟悉人工智能的概念” | 4 (4 - 4.25) | 4 (4 - 4) | 4 (4 - 5) |
|
||||
|
Q5:“我相信人工智能可以支持我作为医生的工作” | 4 (4 - 4) | 4 (4 - 4) | 4 (4 - 4.5) |
|
||||
|
Q6:“我相信人工智能在未来会取代我的工作” | 2 (2 - 3) | 2 (2 - 3) | 2 (2 - 2.5) | 口径。 | ||||
|
Q7:“我相信AI能够充分理解我的工作,从而支持我” | 3 (3 - 4) | 3 (3 - 4) | 3 (3 - 4) | 点 | ||||
|
Q8:“我相信ICU基于人工智能的决策支持的附加价值” | 4 (4 - 4) | 4 (4 - 4) | 4 (4 - 4) | .41点 | ||||
|
|||||||||
|
问题9:“基于人工智能的ICU再入院决策支持可能在患者出院决策中具有积极价值” | 4 (4 - 4) | 4 (4 - 4) | 4 (4 - 4) |
|
||||
|
Q10:“对我来说,了解预测再入院机会的影响因素是很重要的” | 4 (4 - 4.25) | 4 (4 - 5) | 4 (4 - 4) |
|
||||
|
问题18:“我假设再入院风险预测评分不会影响我的行为” | 2 (2 - 2) | 2 (2 - 2) | 2 (2 - 2) | 厚 | ||||
|
问题19:“在我决定让病人出院之前,我愿意咨询决策支持工具的预测” | 4 (4 - 4) | 4 (4 - 4) | 4 (4 - 4) | 票价 | ||||
|
问题20:“考虑到我所在部门目前的工作量,我有时间考虑决策支持工具提供的预测评分,并将其考虑到我的出院决定中” | 4 (4 - 4) | 4 (3 - 4) | 4 (4 - 4) | 厚 |
一个
bICU:重症监护室。
cAI:人工智能。
出院决定被认为是最具挑战性的患者群体(可以选择一个或多个选项)。
病人组 | 受访者,n (%) |
长时间入学 | 44 (69) |
现在重新 | 44 (69) |
上了年纪的 | 7 (11) |
新型冠状病毒肺炎 | 4 (6) |
其他 | 12 (19) |
受访者熟悉AI的概念(62/64,97%同意或强烈同意Q4),大多数人同意AI可以支持他们作为医生的工作(55/64,86%同意Q5;
关于重症监护室对使用基于人工智能的决策支持工具的态度的陈述。Q4:“我熟悉人工智能的概念”;Q5:“我相信人工智能可以支持我作为医生的工作”;Q6:“我相信人工智能在未来会接管我的工作”;Q7:“我相信AI能够充分理解我的工作,从而支持我”;Q8:“我相信ICU基于人工智能的决策支持的附加价值。”莱顿大学医学中心:莱顿大学医学中心;大学医学中心。*
受访者同意或强烈同意出院AI-CDS工具可能具有积极价值(59/ 64,92%;问题9),并且愿意花时间咨询AI-CDS,并在出院前考虑该工具的预测(44/ 64,69%;Q20和58/64,91%;问题19;
关于愿意在日常临床实践中纳入出院决策支持工具的声明。Q9:“基于人工智能的ICU再入院决策支持可能在患者出院决策中具有积极价值”;Q10:“对我来说,了解预测再入院机会的影响因素是很重要的”;Q18:“我假设再入院风险预测评分不会影响我的行为”;Q19:“在我决定让病人出院之前,我愿意咨询决策支持工具的预测”;问题20:“考虑到我所在部门目前的工作量,我有时间考虑决策支持工具提供的预测评分,并将其考虑到我的出院决定中。”莱顿大学医学中心:莱顿大学医学中心;大学医学中心。*
医生被要求指出预测再入院和死亡风险的阈值(范围从0到100),超过这个阈值他们就不会让病人出院,而低于这个阈值他们就会让病人出院(
预测再入院和死亡风险将影响医生出院或不让重症监护病房患者出院的行为。莱顿大学医学中心:莱顿大学医学中心;大学医学中心。
64名ICU医生中有40名(63%)倾向于将风险预测整合到电子病历中,而64名医生中有21名(33%)倾向于使用独立的仪表盘。受访者最常选择AI-CDS展示的时刻是上午交接(24/ 624,38%)、上午查房(21/ 624,33%)和大查房或床边多学科会诊(28/ 665,44%;
所期望的时刻显示预测工具,与近似时间。可以选择不止一个选项。
时刻 | 时间 | 受访者(N=64), N (%) |
早上交接 | 上午7时 | 24 (38) |
上午查房前 | 上午8:30 | 6 (9) |
早上发 | 8点45分我 | 21 (33) |
大查房或床边多学科会诊 | 11点半 | 28 (44) |
多学科会诊 | 下午2点 | 17 (27) |
晚上发 | 下午15点 | 6 (9) |
日常护理 | 整天 | 8 (13) |
工具被认为与之最相关的最终用户。可以选择不止一个选项。
最终用户 | 受访者(N=64), N (%) |
床协调员 | 33 (52) |
监督员,重症监护医生 | 62 (97) |
重症护理人员 | 57 (89) |
居民 | 44 (66) |
护士 | 34 (53) |
在调查结束时,医生可以留下公开的评论和建议。两名医生表示,需要深入了解预测基于哪些患者因素,才能认为该工具安全可靠。除了对模型可解释性的需求之外,还提到了在能够信任该工具之前对其进行进一步验证的需求。此外,联合结果预测(即,再入院或死亡率)被发现是有问题的,一位医生表示愿意接受高风险的再入院,但不愿意接受死亡率。另一项评论与这一发现有关,即床位的可用性在出院决定中很重要,因为多名医生提到,如果决定为肝脏移植患者腾出床位,他们将接受再入院的高风险。
本研究评估了AI- cds工具在4个领域的预实施:医生当前关于ICU出院的决策行为,他们对AI的看法,以及他们对AI- cds工具在临床实践中的实施和使用的偏好。我们发现,几乎所有的ICU医生都熟悉AI,并抱有积极的期望,64人中有55人(86%)认为AI可以支持他们作为医生的工作。并不是所有的医生都认为让病人出院的决定很复杂,但64人中有59人(92%)同意出院决策支持工具可能有价值。AI- cds工具开发部位的医生对AI的熟悉程度更高,总体上对AI的支持作用更有信心,但与非开发部位的医生相比,他们也更相信AI- cds工具专门用于出院决策支持。来自非发育部位的医生更重视了解哪些因素有助于预测。
其他研究也发现,医生对AI-CDS工具的使用持积极态度[
最近对AI-CDS工具开发指南的范围审查得出结论,需要更加关注实施策略,以便在临床环境中有效整合[
从开发和非开发站点对AI-CDS的熟悉程度和热情的差异可以看出,应该充分重视培训和告知医生在日常实践中使用AI-CDS工具[
这项研究对AI- cds工具设计过程的影响包括需要可解释的AI,因为大多数受访者表示需要深入了解导致“黑箱”预测的因素。我们想强调的是,解决可解释性并不是成功实施AI-CDS所需的唯一因素;相反,在整个开发、设计和实施过程中,应该考虑领域专业知识、社会技术背景和医生的观点[
目前研究的局限性是我们只在荷兰的2家学术性三级转诊医院进行了调查。这可能会降低我们发现的普遍性;例如,来自非学术医院的ICU医生可能不太熟悉人工智能。其次,受访者对AI的理解可能存在差异,为了保持问卷简洁,我们没有向最终用户提供清晰的AI定义。另一个限制是我们没有正式评估这个问卷的效度和信度。然而,我们确实与广泛的专家团队一起构建了问卷,并在LUMC进行了可行性研究,然后将问题概括为适用于阿姆斯特丹UMC。未来的研究可以为AI-CDS工具的预实施开发经过验证的问卷,这里提出的与当前决策、工作流和AI-CDS前景相关的4个领域可以作为蓝图。大流行造成的工作量增加可能影响了我们的反应率(64/93;69%)。然而,在我们的ICU临床医生样本中,在ICU工作的医生的培训水平和医学专业的多样性是不同的,并且在有经验的ICU医生和其他受访者之间观察到的差异很小(
总之,这项调查为当前的决策行为和AI-CDS工具的使用提供了有价值的见解,这些工具可用于实施过程和最终用户的培训。尽管并非所有受访者都认为让患者出院的决定很复杂,但总的来说,他们对AI-CDS的态度是积极的,特别是对AI-CDS工具的态度是积极的。两个研究地点在AI-CDS工具的开发中有不同程度的参与,观察到它们之间的差异,表明在AI-CDS经验很少的部门需要教育和培训。我们建议AI-CDS工具的开发人员在设计过程的早期让最终用户参与进来,并通过调查的方式进行预实施,以调查当地环境下的潜在接受度,改进系统的设计和临床工作流程设计,最终促进临床应用。
问卷中每个问题的基本原理。
最初的调查问卷。
陈述题:重症患者与其他参与者的对比。
开放式回答问题。
人工智能
基于人工智能的临床决策支持
电子健康记录
重症监护室
莱顿大学医学中心
大学医疗中心
作者要感谢Bas Becker、Maurits Dekker和Aletta de Beer对问卷开发的贡献。在这个项目中,莱顿大学医学中心和Pacmed的作者从顶级部门LSH获得了公私合作伙伴关系的资金。
SVDM、AAHDH、GC、PJT和MSA对概念和设计做出了贡献。SVDM、PJT和MSA有助于数据的获取。SVDM、AAHDH、MSA、GC、IMJK和EWS有助于数据的分析和解释。SVDM和MSA起草了手稿。SVDM、EWS、AAHDH、IMJK、GC、PJT和MSA对论文重要的智力内容进行了批判性修改,并批准了最终稿件。SVDM和MSA有助于统计学分析。MSA、EWS、GC和IMJK监督该项目。
GC在这项研究期间是Pacmed的员工。在这项研究期间,PJT从阿姆斯特丹大学医学中心获得了Pacmed的版税。SVDM是Healthplus的员工。一个i and discloses having received funding from The European Regional Development Fund. The publication of the results was not conditional on approval from Pacmed, Leiden University Medical Center, or Amsterdam University Medical Center. No other disclosures are reported.