JMIR人为因素 JMIR嗡嗡声因子 JMIR人为因素 2292 - 9495 卡塔尔世界杯8强波胆分析 加拿大多伦多 v10i1e39114 36602843 10.2196/39114 原始论文 原始论文 重症监护病房医生对基于人工智能的临床决策支持工具的看法:实施前调查研究 Kushniruk 安德烈 沃尔什 约瑟夫 乔杜里 Beenish 安徒生 塔里克 西陵 van der Meijden Siri L MSc 1
重症监护室 莱顿大学医学中心 Albinusdreef 2 莱顿,2333 ZA 荷兰 31 71 526 9111 S.L.van_der_meijden@lumc.nl
2 3. https://orcid.org/0000-0002-9343-0899
de本田 安妮A H MSc 2 4 https://orcid.org/0000-0002-3473-3398 Thoral 帕特里克J 医学博士 5 https://orcid.org/0000-0001-6140-7195 Steyerberg Ewout W 硕士,博士 4 https://orcid.org/0000-0002-7787-0122 康德 Ilse M J 硕士,博士 2 4 https://orcid.org/0000-0002-5273-5178 中国 乔凡尼 硕士,博士 6 7 8 https://orcid.org/0000-0002-3521-8208 Arbous M Sesmu 理学硕士,医学博士,博士 1 https://orcid.org/0000-0001-5242-3257
重症监护室 莱顿大学医学中心 莱顿 荷兰 临床人工智能实施与研究实验室 莱顿大学医学中心 莱顿 荷兰 Healthplus.ai 阿姆斯特丹 荷兰 生物医学数据科学系 莱顿大学医学中心 莱顿 荷兰 重症监护医学系,重症监护计算智能实验室,阿姆斯特丹医疗数据科学 阿姆斯特丹大学医学中心 阿姆斯特丹 荷兰 Pacmed 阿姆斯特丹 荷兰 逻辑、语言和计算研究所 阿姆斯特丹大学 阿姆斯特丹 荷兰 医学信息学系 阿姆斯特丹大学医学中心 阿姆斯特丹大学 阿姆斯特丹 荷兰 通讯作者:Siri L van der Meijden S.L.van_der_meijden@lumc.nl 2023 5 1 2023 10 e39114 29 4 2022 7 11 2022 21 11 2022 27 11 2022 ©Siri L van der Meijden, Anne A H de Hond, Patrick J Thoral, Ewout W Steyerberg, Ilse M J Kant, Giovanni Cinà, M Sesmu Arbous。最初发表于JMIR Human Factors (https://humanfactors.www.mybigtv.com), 2023年1月5日。 2023

这是一篇根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布的开放获取文章,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR Human Factors上的原创作品。必须包括完整的书目信息,https://humanfactors.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。

背景

基于人工智能的临床决策支持(AI-CDS)工具对重症监护病房(ICU)患者和医生有很大的潜力。这些工具的开发和实现之间存在差距。

客观的

我们的目的是在实施出院AI-CDS工具预测ICU出院后再入院和死亡风险之前,调查医生的观点和他们当前的决策行为。

方法

我们在2021年7月至11月期间,对参与两家荷兰学术icu患者出院决策的医生进行了调查。问题被分为四个领域:(1)医生目前对ICU患者出院的决策行为,(2)对AI-CDS工具一般使用的看法,(3)将出院AI-CDS工具纳入日常临床实践的意愿,(4)在日常工作流程中使用出院AI-CDS工具的偏好。

结果

64名受访者(93名接触者中,69%)中的大多数人熟悉AI(62/64, 97%),并对AI抱有积极的期望,64人中有55人(86%)认为AI可以支持他们作为医生的工作。受访者对患者出院的决定是否复杂存在分歧(23/64,36%同意,22/64,34%不同意);尽管如此,大多数(59/ 64,92%)同意出院AI-CDS工具可能有价值。来自两个学术地点的医生之间存在显著差异,这可能与参与出院AI-CDS工具开发的程度不同有关。

结论

ICU医生对AI-CDS工具整合到ICU总体上表现出良好的态度,特别是对预测患者出院后7天内再入院和死亡风险的工具。这份调查问卷的结果将用于改进最终用户的实施过程和培训。

重症监护室 医院 放电 人工智能 人工智能 临床决策支持 临床支持 验收 决策支持 决策 数字医疗 电子健康 调查 的角度来看 的态度 的意见 采用 预测 风险
简介

由于高质量临床数据的可用性不断增加,基于人工智能的临床决策支持(AI-CDS)工具的开发正在兴起,以增强个性化医疗。AI-CDS工具利用学习算法,包括机器学习,在特定情况下,当应用于与医疗保健相关的预测任务的大型数据集时,这些算法可能会优于经典统计模型[ 1- 3.].这些人工智能(AI)算法的复杂性及其对大量输入变量的使用可能会导致“黑盒”算法,这通常会让人不清楚为什么算法会输出特定的预测[ 4 5].在重症监护室(ICU),复杂和高风险的决策可能受益于数据驱动的决策支持[ 6].ICU由于高频监测,是医院中数据最丰富的环境,针对ICU决策支持的AI模型开发文献也有所增加[ 7].然而,最近的一项综述显示,由于在几个层面上存在困难,这些AI-CDS工具在临床ICU实践中缺乏实施[ 8].这些困难包括患者隐私、监管方面以及缺乏这些工具在复杂ICU环境中的临床价值的证明[ 8].为了提高日常工作流程中的临床吸收和集成,并根据医生的需求定制AI-CDS工具,我们需要广泛了解医生当前的决策实践以及他们对使用AI-CDS工具的看法[ 9- 11].

为了安全有效地实施AI-CDS工具,有必要研究人为因素,因为高预测性能并不能确保这些技术被接受[ 12 13].在精神病学领域的调查研究中,已经调查了医生对临床人工智能的看法[ 14]、消化内科[ 15]、诊断病理学[ 16],以及心脏病学[ 17],以及跨专业[ 18- 20.].总体而言,研究人员对AI-CDS的使用表现出了浓厚的兴趣和良好的态度,但没有一项研究仅关注AI-CDS工具在ICU中的应用,即在临床实践中使用这种工具的意愿以及它如何适应临床工作流程。由于ICU在决策的复杂性、必须做出决策的压力以及数据可用性方面的潜力方面是独一无二的,因此专注于这一临床领域的知识是高度相关的。为了了解AI-CDS工具在数据丰富的ICU环境中的潜力,并试图解决现实世界实现中面临的具有挑战性的“最后一英里”问题,我们需要收集更多关于临床医生在当地背景下对这一主题的态度和观点的见解[ 21 22].这些见解可能会加强在这种高风险决策环境下的成功实施,因为临床医生的输入在整个实施过程中都很重要,以加强成功实施并最终改善患者的结果[ 23].

这项调查研究是Pacmed Critical项目实施前研究的一部分。 24].Pacmed Critical是一款基于机器学习的AI-CDS工具,可预测患者在ICU出院7天内的再入院和死亡风险,以支持医生决定将患者出院到较低护理病房[ 25 26].Pacmed Critical软件旨在由合格的ICU医疗专业人员作为补充工具使用,并将在医院场所访问;它不会在移动设备上使用。我们的目标是调查(1)医生目前在ICU患者出院方面的决策行为,(2)医生对AI决策支持工具总体使用的看法,(3)医生在日常临床实践中纳入AI- cds工具的意愿,以及(4)医生在日常工作流程中使用AI- cds工具的偏好。由于目前ICU领域缺乏医生对AI-CDS工具实施的态度的了解,本调查的总体目的是调查ICU医生对AI-CDS工具的看法,以加强实施过程,并提高ICU医生对即将实施的AI-CDS工具的认识。

方法 研究样本

这项调查于2021年7月至12月在荷兰的莱顿大学医学中心(LUMC)和阿姆斯特丹大学医学中心(阿姆斯特丹UMC,自由大学医学中心所在地)进行。这两个中心都是学术性三级转诊医院。在阿姆斯特丹联合医疗中心,2名重症监护医师共同开发了Pacmed Critical,其他ICU临床医生参加了最终用户测试,作为该软件Conformité Européene (CE)认证过程的一部分。LUMC的医生没有参与该工具的开发,计划在调查完成后开始实施。

研究结果在阿姆斯特丹联合大学以匿名的形式收集在纸上,并在阿姆斯特丹联合大学通过网络调查的方式收集。所有在ICU工作的医生都有资格参与这项研究,包括住院医生、重症监护研究员和经委员会认证的重症监护医师。

伦理批准

本研究结果不包括任何敏感或可识别的数据。我们获得了LUMC医学伦理委员会(ID: N21.153)的伦理批准。

调查工具

该调查仪器由两名ICU医生、人工智能和组织研究人员、一名数据科学家、一名用户体验研究人员和一名Pacmed Critical产品负责人共同开发。20个问题的调查包括13个陈述,5个多项选择题和2个开放式问题。受访者的回答采用李克特五分制,从1(非常不同意)到5(非常同意)[ 27]. 多媒体附件1而且 2展示完整的问卷(分别用英文和荷兰文); 多媒体附件1还描述了每个调查问题的基本原理。参与者没有收到关于Pacmed Critical的其他背景信息,只知道它使用了基于电子健康记录(EHRs)中的患者数据的人工智能算法。调查分为4个领域。选择这4个领域和领域中的个别问题是为了获得知识,以优化进一步的开发和增强实施过程。

医生当前对ICU患者出院的决策行为(Q1-3, Q11-13)

该领域问题的目的是调查当前的决策,以及出院AI-CDS工具在出院决策的复杂性和预测结果方面是否有益。前3个陈述问题调查了ICU患者出院决定的复杂性,以及再入院风险和床位可用性对这一决定的影响。在做出出院决定后,患者不会再入院的平均确定性从1(完全不确定)到10(完全确定)进行排名。我们询问了那些出院决定被认为是最具挑战性的患者群体,以确定AI-CDS工具在哪里最有价值(这些问题是多项选择)。我们还询问了在患者出院过程中哪些因素被认为是最重要的(征求公开答案)。

AI-CDS工具的一般使用展望(第四至八季)

五份陈述涵盖了ICU对AI-CDS工具的观点和态度,因为参与者没有或几乎没有使用这些工具的经验。这些包括对AI熟悉程度的陈述,AI是否被认为能够在未来取代医生,AI- cds在ICU的预期附加值和支持,以及AI- cds工具是否能够充分代表医生的工作。

将出院AI-CDS工具纳入日常临床实践的意愿(q9,10,17 -20)

在临床实践中纳入出院AI-CDS的意愿由5项陈述来评估,这些陈述包括出院决策支持的积极价值、洞察预测的促成因素的重要性、预测可能对出院决策产生的潜在影响、在做出出院决定之前咨询预测的意愿以及将预测纳入医生工作流程的可行性。此外,医生被要求指出预测再入院和死亡风险的阈值(在0到100的范围内),超过这个阈值他们就不会让病人出院,低于这个阈值他们就会让病人出院。这个问题的目的是研究某种预测的再入院机会和死亡率对医生行为的影响。

在日常工作流程中使用放电AI-CDS工具的偏好(Q14-16)

最后一个领域包括关于如何将ICU患者出院的AI-CDS工具集成到ICU当前的临床工作流程中的问题;这些答案旨在作为AI-CDS工具设计和实施过程中的输入,使其成为当前决策过程的一部分[ 11].我们使用多项选择题来确定访问预测的首选方法(例如,在仪表板上或集成在电子病历中),访问预测的首选时刻,何时应该更新预测,以及最相关的最终用户。从这些问题中收集的信息用于了解用户界面的需求,并优化实现和日常使用。选择题可以选择一个或多个选项。最后,受访者可以公开评论和建议。

数据分析

结果以类别问题受访者总数的百分比给出。数值问题的答案被总结为中位数(IQR)。由于这两个中心的医生参与工具开发的程度不同,我们分别为LUMC和阿姆斯特丹UMC对领域1(关于ICU患者出院的当前决策行为)、领域2(对AI-CDS的态度和观点)和领域3(将出院AI-CDS工具纳入日常临床实践的意愿)的问题进行了分析。作为额外的亚组分析,我们调查了重症监护医师和在ICU工作的其他医生(即ICU的住院医生和研究员)对领域2和3问题的回答差异。我们确定了李克特量表陈述问题与曼-惠特尼量表的显著相关性 U测试。显著性水平被设定为 P< . 05。

结果 样本特征

该调查分发给了LUMC的40名临床医生和阿姆斯特丹UMC的53名临床医生。93名临床医生中有64名(69%)完成了调查,其中64名临床医生中有33名(52%)在LUMC, 64名临床医生中有31名(48%)在阿姆斯特丹联合医疗中心( 表1).全组患者ICU工作经验中位数为2.75年(IQR 1-10年);LUMC组为3年(IQR 1-10.5年),阿姆斯特丹UMC组为2年(IQR 1.5-10年)( P=总收入)。在荷兰,作为专科培训的一部分,来自许多专科的住院医生都被分配到重症监护室进行轮换,这从调查中所代表的各种医学专家( 表1).

回复率、培训水平和受访者的医学专业。由于四舍五入,概率加起来可能不等于100%。

莱顿大学医学中心(n=33), n (%)一个 阿姆斯特丹大学医学中心(n=31), n (%)b 合计(N=64), N (%)
培训水平
Intensivist 16 (48) 11 (36) 27 (42)
重症监护室研究员 5 (15) 6 (19) 11 (17)
居民c 12 (36) 14 (45) 26 (41)
医学专业
内科医学 11 (33) 7 (23) 18 (28)
麻醉学 11 (33) 16 (52) 27 (42)
儿科医学 3 (9) 0 (0) 3 (5)
急诊医学 1 (3) 0 (0) 1 (2)
肺学 1 (3) 2 (7) 3 (5)
手术 1 (3) 0 (0) 1 (2)
神经外科 1 (3) 0 (0) 1 (2)
神经学 1 (3) 0 (0) 1 (2)
住院医师未接受培训c 3 (9) 6 (16) 9 (14)

一个该组的反应率为33 / 40(83%)。

b该组的应答率为31 / 53(58%)。

c包括医生助理。

当前ICU患者出院的决策行为

对当前排放实践的响应可见于 图1.医生对ICU患者出院决定的复杂性持不同意见,64人中有23人(36%)同意或强烈同意Q1陈述,64人中有22人(34%)不同意或强烈反对( 表2).有经验的重症监护医师与其他医师之间无显著差异( 多媒体).对于问题2,64名医生中有61名(95%)同意或强烈同意再入院是决定患者出院的重要因素。除了患者的再入院风险外,医生表示床位可用性是他们决定出院的重要因素(47/ 64,73%,Q3)。此外,我们要求医生报告他们对患者出院后再入院风险估计的平均确定性。整个组的中位数确定性评分为7 (IQR 7-8),在两个地点之间没有观察到显著差异( P= .79)。出院决定被认为最具挑战性的患者群体包括ICU住院时间较长的患者(44/ 64,69%)和再入院患者(44/ 64,69%; 表3). 多媒体附件4显示有关患者群体和临床相关患者因素的开放式问题,以决定出院。最常见的复杂出院决定的原因是病例复杂性(9/ 64,14%)。最常提到的影响出院决定的因素(与患者的临床状态、过程相关因素和接收病房相关因素有关)是病房的护理和设施水平(23/ 624,36%),其次是患者的一般临床状态(17/ 624,27%)和患者的报警能力(10/ 624,16%)。

对当前重症监护病房出院做法的回应。答案的条宽表示选择该选项的受访者的数量。问题一:“让病人转到较低护理病房的决定很复杂”;“患者的ICU再入院风险是我决定出院的一个重要因素”;Q3:“在决定让病人出院时,我会考虑是否有床位。”莱顿大学医学中心:莱顿大学医学中心;大学医学中心。* P< . 05。

对陈述的回应。 P斜体表示有显著差异( P莱顿大学医学中心和阿姆斯特丹大学医学中心受访者之间的<.05)。调查结果采用李克特5分制,从1(非常不同意)到5(非常同意)。>3分表示对陈述的中位数同意,结果<3分表示不同意。

问题 总数,中位数(IQR) 莱顿大学医学中心,中位数(IQR) 阿姆斯特丹大学医学中心,中位数(IQR) P一个
领域1:医生当前关于ICU出院的决策行为b病人
Q1:“让病人转到较低护理病房的决定很复杂” 3 (2 - 4) 3 (2 - 3) 4 (2 - 4) .04点
Q2:“患者的ICU再入院风险是我决定出院的一个重要因素” 4 (4 - 4) 4 (4 - 4) 4 (4 - 5) .09点
Q3:“我在决定让病人出院时,会考虑到床位的可用性” 4 (3 - 4) 4 (3 - 4) 4 (3.5 - 4)
领域2:医生对人工智能(AI)使用的看法c)的临床决策支持工具
Q4:“我熟悉人工智能的概念” 4 (4 - 4.25) 4 (4 - 4) 4 (4 - 5) 04
Q5:“我相信人工智能可以支持我作为医生的工作” 4 (4 - 4) 4 (4 - 4) 4 (4 - 4.5) .006
Q6:“我相信人工智能在未来会取代我的工作” 2 (2 - 3) 2 (2 - 3) 2 (2 - 2.5) 口径。
Q7:“我相信AI能够充分理解我的工作,从而支持我” 3 (3 - 4) 3 (3 - 4) 3 (3 - 4)
Q8:“我相信ICU基于人工智能的决策支持的附加价值” 4 (4 - 4) 4 (4 - 4) 4 (4 - 4) .41点
领域3:医生将出院决策支持工具纳入日常临床实践的意愿
问题9:“基于人工智能的ICU再入院决策支持可能在患者出院决策中具有积极价值” 4 (4 - 4) 4 (4 - 4) 4 (4 - 4) 02
Q10:“对我来说,了解预测再入院机会的影响因素是很重要的” 4 (4 - 4.25) 4 (4 - 5) 4 (4 - 4) 03
问题18:“我假设再入院风险预测评分不会影响我的行为” 2 (2 - 2) 2 (2 - 2) 2 (2 - 2)
问题19:“在我决定让病人出院之前,我愿意咨询决策支持工具的预测” 4 (4 - 4) 4 (4 - 4) 4 (4 - 4) 票价
问题20:“考虑到我所在部门目前的工作量,我有时间考虑决策支持工具提供的预测评分,并将其考虑到我的出院决定中” 4 (4 - 4) 4 (3 - 4) 4 (4 - 4)

一个 P数值用曼-惠特尼计算 U测试。

bICU:重症监护室。

cAI:人工智能。

出院决定被认为是最具挑战性的患者群体(可以选择一个或多个选项)。

病人组 受访者,n (%)
长时间入学 44 (69)
现在重新 44 (69)
上了年纪的 7 (11)
新型冠状病毒肺炎 4 (6)
其他 12 (19)
ICU对AI-CDS工具的态度和观点

受访者熟悉AI的概念(62/64,97%同意或强烈同意Q4),大多数人同意AI可以支持他们作为医生的工作(55/64,86%同意Q5; 图2).来自开发站点(阿姆斯特丹UMC)的受访者更熟悉AI的概念( P=。004, Q4),更同意AI可以支持他们作为医生的工作( P=。006, Q5)比LUMC受访者。大多数人不相信AI将在未来接管他们的工作(46/64,72%的人不同意或强烈不同意Q6),受访者对AI是否充分理解他们的工作以支持他们犹豫不决(26/64,41%的人同意或强烈同意,12/64,19%的人不同意或强烈不同意Q7)。然而,64位受访者中有55位(86%)相信AI-CDS在ICU中的附加价值(Q8)。更有经验的重症医生对“我相信人工智能可以支持我作为一名医生的工作”( 多媒体附件4).这一发现与对Q7和Q8的回答一致,表明更有经验的受访者不太相信AI能够充分理解他们的工作,并且AI可以在ICU中发挥附加价值。

关于重症监护室对使用基于人工智能的决策支持工具的态度的陈述。Q4:“我熟悉人工智能的概念”;Q5:“我相信人工智能可以支持我作为医生的工作”;Q6:“我相信人工智能在未来会接管我的工作”;Q7:“我相信AI能够充分理解我的工作,从而支持我”;Q8:“我相信ICU基于人工智能的决策支持的附加价值。”莱顿大学医学中心:莱顿大学医学中心;大学医学中心。* P< . 05。

愿意将出院AI-CDS工具纳入日常临床实践

受访者同意或强烈同意出院AI-CDS工具可能具有积极价值(59/ 64,92%;问题9),并且愿意花时间咨询AI-CDS,并在出院前考虑该工具的预测(44/ 64,69%;Q20和58/64,91%;问题19; 图3).此外,受访者不同意或强烈不同意“我假设再入院风险预测评分不会影响我的行为”这一说法(53/ 64,83%,Q18)。阿姆斯特丹联合医疗中心的受访者比联合医疗中心的受访者更赞同“基于人工智能的ICU再入院决策支持可能对患者出院的决定具有积极价值”的说法( P= .02点;Q9),但差异很小。问题10强调医生需要可解释的预测工具(57/64,89%同意或强烈同意)。这种需求对LUMC医生( P= 03)。

关于愿意在日常临床实践中纳入出院决策支持工具的声明。Q9:“基于人工智能的ICU再入院决策支持可能在患者出院决策中具有积极价值”;Q10:“对我来说,了解预测再入院机会的影响因素是很重要的”;Q18:“我假设再入院风险预测评分不会影响我的行为”;Q19:“在我决定让病人出院之前,我愿意咨询决策支持工具的预测”;问题20:“考虑到我所在部门目前的工作量,我有时间考虑决策支持工具提供的预测评分,并将其考虑到我的出院决定中。”莱顿大学医学中心:莱顿大学医学中心;大学医学中心。* P< . 05。

医生被要求指出预测再入院和死亡风险的阈值(范围从0到100),超过这个阈值他们就不会让病人出院,而低于这个阈值他们就会让病人出院( 图4).结果差异很大。LUMC受访者报告称,中位数40% (IQR 20%-50%)的再入院和死亡风险或更高会导致他们推迟出院,而阿姆斯特丹UMC组的风险为20% (IQR 10%-30%)。LUMC组表明,患者出院的中位再入院和死亡风险为20% (IQR为10%-33%)或更低,而阿姆斯特丹UMC组为10% (IQR为7.5%-20%)。

预测再入院和死亡风险将影响医生出院或不让重症监护病房患者出院的行为。莱顿大学医学中心:莱顿大学医学中心;大学医学中心。

工具和最终用户所需的工作流

64名ICU医生中有40名(63%)倾向于将风险预测整合到电子病历中,而64名医生中有21名(33%)倾向于使用独立的仪表盘。受访者最常选择AI-CDS展示的时刻是上午交接(24/ 624,38%)、上午查房(21/ 624,33%)和大查房或床边多学科会诊(28/ 665,44%; 表4).受访者表示,如果AI-CDS预测不是连续的,那么应该在这些时刻之前更新,以便对最终用户有价值。该工具被认为最适用于督导人员(即,负责任的委员会认证的重症医师;重症监护医师(57/ 64,89%)和住院医师(42/ 64,66%; 表5).

所期望的时刻显示预测工具,与近似时间。可以选择不止一个选项。

时刻 时间 受访者(N=64), N (%)
早上交接 上午7时 24 (38)
上午查房前 上午8:30 6 (9)
早上发 8点45分我 21 (33)
大查房或床边多学科会诊 11点半 28 (44)
多学科会诊 下午2点 17 (27)
晚上发 下午15点 6 (9)
日常护理 整天 8 (13)

工具被认为与之最相关的最终用户。可以选择不止一个选项。

最终用户 受访者(N=64), N (%)
床协调员 33 (52)
监督员,重症监护医生 62 (97)
重症护理人员 57 (89)
居民 44 (66)
护士 34 (53)
开放的评论

在调查结束时,医生可以留下公开的评论和建议。两名医生表示,需要深入了解预测基于哪些患者因素,才能认为该工具安全可靠。除了对模型可解释性的需求之外,还提到了在能够信任该工具之前对其进行进一步验证的需求。此外,联合结果预测(即,再入院或死亡率)被发现是有问题的,一位医生表示愿意接受高风险的再入院,但不愿意接受死亡率。另一项评论与这一发现有关,即床位的可用性在出院决定中很重要,因为多名医生提到,如果决定为肝脏移植患者腾出床位,他们将接受再入院的高风险。

讨论

本研究评估了AI- cds工具在4个领域的预实施:医生当前关于ICU出院的决策行为,他们对AI的看法,以及他们对AI- cds工具在临床实践中的实施和使用的偏好。我们发现,几乎所有的ICU医生都熟悉AI,并抱有积极的期望,64人中有55人(86%)认为AI可以支持他们作为医生的工作。并不是所有的医生都认为让病人出院的决定很复杂,但64人中有59人(92%)同意出院决策支持工具可能有价值。AI- cds工具开发部位的医生对AI的熟悉程度更高,总体上对AI的支持作用更有信心,但与非开发部位的医生相比,他们也更相信AI- cds工具专门用于出院决策支持。来自非发育部位的医生更重视了解哪些因素有助于预测。

其他研究也发现,医生对AI-CDS工具的使用持积极态度[ 15 16 18 20.].有趣的是,我们研究中的大多数受访者都相信AI- cds工具的附加价值,而64人中只有26人(41%)同意或强烈同意AI充分理解他们的工作以支持他们。与以往调查结果相同[ 18 20.],这一不一致的发现可以解释为这些医生在进行研究时没有使用AI-CDS工具,因此他们不知道这些工具是否能够捕捉复杂的ICU环境[ 28].最后,文献证实了床位容量对医生出院决定的影响,这可能会限制AI-CDS工具在床位容量低的情况下的适用性[ 21].

最近对AI-CDS工具开发指南的范围审查得出结论,需要更加关注实施策略,以便在临床环境中有效整合[ 29].以定性访谈和问卷形式进行的人为因素研究可能会增强AI-CDS工具的使用,因为这种方法可能会改善系统的设计、培训过程和实施策略[ 12 17].我们建议重点关注每个实施前地点的重要当地和社会技术背景,以迎接实施“最后一英里”的挑战[ 11 21 22 30. 31].我们观察到的使用AI-CDS工具的积极态度和意愿是接受这项新技术的积极指标[ 32 33],但它们也支持这样一种观点,即期望应与拟采用的AI-CDS工具的预期用途相一致[ 17].此外,在实施AI-CDS工具用于ICU患者出院后,重复我们的问卷调查将是有价值的,因为之前已经观察到医生表现出较低的兴奋度( P<.01)关于AI-CDS实施后[ 34].

从开发和非开发站点对AI-CDS的熟悉程度和热情的差异可以看出,应该充分重视培训和告知医生在日常实践中使用AI-CDS工具[ 10].这种培训还应包括在医疗保健中使用AI-CDS的伦理和责任,因为医生保留治疗决定的最终责任[ 33].最后,需要培训医生解释死亡率或再入院风险预测,因为我们观察到一系列关于患者是否会出院到低护理病房的阈值的答案( 图3).由于再入院或未入院或出院后死亡的患者数量存在显著不平衡,风险预测在0%至100%的范围内倾斜,集中在5.3%的事件率附近[ 25];受访者没有被告知这一点。因此,在培训过程中应注意对这些校准风险预测的解释,因为对该结果的高风险和低风险的认识明显不同。

这项研究对AI- cds工具设计过程的影响包括需要可解释的AI,因为大多数受访者表示需要深入了解导致“黑箱”预测的因素。我们想强调的是,解决可解释性并不是成功实施AI-CDS所需的唯一因素;相反,在整个开发、设计和实施过程中,应该考虑领域专业知识、社会技术背景和医生的观点[ 31 35 36].我们建议AI-CDS开发人员在设计和开发的早期阶段执行用户和人为因素研究,以最大限度地发挥影响并顺利集成到当前的决策过程[ 11].

目前研究的局限性是我们只在荷兰的2家学术性三级转诊医院进行了调查。这可能会降低我们发现的普遍性;例如,来自非学术医院的ICU医生可能不太熟悉人工智能。其次,受访者对AI的理解可能存在差异,为了保持问卷简洁,我们没有向最终用户提供清晰的AI定义。另一个限制是我们没有正式评估这个问卷的效度和信度。然而,我们确实与广泛的专家团队一起构建了问卷,并在LUMC进行了可行性研究,然后将问题概括为适用于阿姆斯特丹UMC。未来的研究可以为AI-CDS工具的预实施开发经过验证的问卷,这里提出的与当前决策、工作流和AI-CDS前景相关的4个领域可以作为蓝图。大流行造成的工作量增加可能影响了我们的反应率(64/93;69%)。然而,在我们的ICU临床医生样本中,在ICU工作的医生的培训水平和医学专业的多样性是不同的,并且在有经验的ICU医生和其他受访者之间观察到的差异很小( 多媒体).然而,无应答偏差可能影响了我们的结果,因为填写问卷的临床医生可能比非应答者对AI-CDS有更高的兴趣。

总之,这项调查为当前的决策行为和AI-CDS工具的使用提供了有价值的见解,这些工具可用于实施过程和最终用户的培训。尽管并非所有受访者都认为让患者出院的决定很复杂,但总的来说,他们对AI-CDS的态度是积极的,特别是对AI-CDS工具的态度是积极的。两个研究地点在AI-CDS工具的开发中有不同程度的参与,观察到它们之间的差异,表明在AI-CDS经验很少的部门需要教育和培训。我们建议AI-CDS工具的开发人员在设计过程的早期让最终用户参与进来,并通过调查的方式进行预实施,以调查当地环境下的潜在接受度,改进系统的设计和临床工作流程设计,最终促进临床应用。

问卷中每个问题的基本原理。

最初的调查问卷。

陈述题:重症患者与其他参与者的对比。

开放式回答问题。

缩写 人工智能

人工智能

AI-CDS

基于人工智能的临床决策支持

电子健康档案

电子健康记录

加护病房

重症监护室

LUMC

莱顿大学医学中心

联华电子

大学医疗中心

作者要感谢Bas Becker、Maurits Dekker和Aletta de Beer对问卷开发的贡献。在这个项目中,莱顿大学医学中心和Pacmed的作者从顶级部门LSH获得了公私合作伙伴关系的资金。

SVDM、AAHDH、GC、PJT和MSA对概念和设计做出了贡献。SVDM、PJT和MSA有助于数据的获取。SVDM、AAHDH、MSA、GC、IMJK和EWS有助于数据的分析和解释。SVDM和MSA起草了手稿。SVDM、EWS、AAHDH、IMJK、GC、PJT和MSA对论文重要的智力内容进行了批判性修改,并批准了最终稿件。SVDM和MSA有助于统计学分析。MSA、EWS、GC和IMJK监督该项目。

GC在这项研究期间是Pacmed的员工。在这项研究期间,PJT从阿姆斯特丹大学医学中心获得了Pacmed的版税。SVDM是Healthplus的员工。一个i and discloses having received funding from The European Regional Development Fund. The publication of the results was not conditional on approval from Pacmed, Leiden University Medical Center, or Amsterdam University Medical Center. No other disclosures are reported.

Nistal-Nuno Beatriz 开发用于医疗重症监护病房死亡率预测的机器学习模型 计算方法程序生物医学 2022 04 216 106663 10.1016 / j.cmpb.2022.106663 35123348 s0169 - 2607 (22) 00048 - 7 X R J 败血症临床决策支持的人工智能 Front Med(洛桑) 2021 8 665464 10.3389 / fmed.2021.665464 34055839 PMC8155362 Christodoulou E J 柯林斯 GS Steyerberg 电子战 Verbakel 司法院 范Calster B 一项系统综述显示,在临床预测模型中,机器学习没有比逻辑回归的性能优势 临床流行病学 2019 06 110 12 22 10.1016 / j.jclinepi.2019.02.004 30763612 s0895 - 4356 (18) 31081 - 3 Solomonides AE 人类研究 E Atabaki SM 温伯格 年代 麦格瑞维 JD Kannry 莱托 彼得森 C 莱曼 定义AMIA的人工智能原则 美国医学信息协会 2022 03 15 29 4 585 591 10.1093 /地点/ ocac006 35190824 6534106 PMC8922174 阿曼 J Blasimme 一个 Vayena E 弗雷 D 6 Precise4Q财团 医疗保健领域人工智能的可解释性:多学科视角 BMC Med通知Decis Mak 2020 11 30. 20. 1 310 10.1186 / s12911 - 020 - 01332 - 6 33256715 10.1186 / s12911 - 020 - 01332 - 6 PMC7706019 Pirracchio R 科恩 乔丹 Malenica 科恩 J Chambaz 一个 Cannesson C Resche-Rigon 哈伯德 一个 ACTERREA研究集团 大数据和有针对性的机器学习在行动中协助ICU的医疗决策 麻醉急救疼痛医疗 2019 08 38 4 377 384 10.1016 / j.accpm.2018.09.008 30339893 s2352 - 5568 (18) 30216 - 9 Shillan D Sterne 江淮 Champneys 一个 Gibbison B 使用机器学习分析常规收集的重症监护病房数据:系统回顾 暴击治疗 2019 08 22 23 1 284 10.1186 / s13054 - 019 - 2564 - 9 31439010 10.1186 / s13054 - 019 - 2564 - 9 PMC6704673 范德桑德 D 范Genderen Smit JM Huiskens J 维瑟 JJ Veen r 范Unen E 英航 奥利弗hilger Gommers D 范博梅尔在 合资企业 开发、实施和管理医学领域的人工智能:一步一步防止人工智能寒冬的方法 《英国医学杂志》保健信息 2022 02 29 1 e100495 10.1136 / bmjhci - 2021 - 100495 35185012 bmjhci - 2021 - 100495 PMC8860016 凯利 CJ Karthikesalingam 一个 苏莱曼 柯拉 G D 利用人工智能实现临床影响的主要挑战 BMC医学 2019 10 29 17 1 195 10.1186 / s12916 - 019 - 1426 - 2 31665002 10.1186 / s12916 - 019 - 1426 - 2 PMC6821018 维西 巴普蒂斯特 Nagendran Myura 坎贝尔 布鲁斯 克利夫顿 大卫 柯林斯 加里年代 Denaxas 斯皮罗 丹尼斯顿 阿拉斯泰尔•K 西班牙 利维亚 基尔特• 巴特 易卜拉欣 Mudathir Xiaoxuan Mateen Bilal一 Mathur 总裁 McCradden 梅丽莎·D 摩根 劳伦 奥尔迪 约翰 罗杰斯 坎贝尔 Saria Suchi Daniel S W Watkinson 彼得 韦伯 埃姆 惠特斯通 彼得 麦卡洛克 彼得 DECIDE-AI专家组 人工智能驱动的决策支持系统早期临床评估报告指南:DECIDE-AI Nat地中海 2022 05 28 5 924 933 10.1038 / s41591 - 022 - 01772 - 9 35585198 10.1038 / s41591 - 022 - 01772 - 9 Steinfield 一个 齐默尔曼 J 不起眼的人工智能:将智能决策支持应用于关键的临床决策过程 2019年计算系统中的人为因素CHI会议记录 2019 计算机系统中的人为因素会议 2019年5月4日至9日 英国格拉斯哥 10.1145/3290605.3300468 Choudhury 一个 峨山 O Medow 临床医生对基于人工智能的血液利用计算器的看法:定性探索性研究 JMIR嗡嗡声因子 2022 10 31 9 4 e38411 10.2196/38411 36315238 v9i4e38411 PMC9664323 Beede E 贝勒 E Hersch F Iurchenko 一个 威尔科克斯 l Ruamviboonsuk P Vardoulakis l 以人为本的深度学习系统的评估部署在诊所检测糖尿病视网膜病变 CHI '20: 2020年计算系统中的人为因素CHI会议论文集 2020 2020年计算系统中的人为因素CHI会议 2020年4月25日至30日 火奴鲁鲁,嗨 1 12 10.1145/3313831.3376718 Doraiswamy C 。博得纳 K 人工智能和精神病学的未来:来自全球医生调查的见解 Artif Intell医院 2020 01 102 101753 10.1016 / j.artmed.2019.101753 31980092 s0933 - 3657 (19) 30650 - 5 Wadhwa V Alagappan 冈萨雷斯 一个 古普塔 K 棕色(的) JRG 科恩 J Pleskow D Berzin TM 医生对结肠镜检查实践中的人工智能(AI)的看法:美国胃肠病学家的调查 内窥镜内窥镜 2020 10 8 10 E1379 E1384 10.1055 / - 1223 - 1926 33015341 PMC7508643 萨瓦尔 年代 凹痕 一个 《浮士德》 K 更丰富的 Djuric U 范Ommeren R 比赛 P 医生对将人工智能集成到诊断病理学中的观点 NPJ数字医院 2019 2 28 10.1038 / s41746 - 019 - 0106 - 0 31304375 106 PMC6550202 Matthiesen 年代 Diederichsen 深圳 汉森 MKH Villumsen C 拉森 妇幼保健 雅各布森 PK Risum N 温克尔 BG Philbert 英国电信 斯文森主持 JH 安徒生 基于机器的心律失常预测决策支持工具的临床医师预实施展望 JMIR嗡嗡声因子 2021 11 26 8 4 e26964 10.2196/26964 34842528 v8i4e26964 PMC8665383 年代 JH 年代 沪江 在香港 J Kwon 上海 医生对人工智能的信心:一项在线移动调查 J医疗互联网服务 2019 03 25 21 3. e12422 10.2196/12422 30907742 v21i3e12422 PMC6452288 Maassen O 弗里奇 年代 棕榈 J Deffge 年代 Kunze J 马克思 G 里德尔 Schuppert 一个 Bickenbach J 德国大学医院医生未来医疗人工智能应用需求和期望:基于网络的调查 J医疗互联网服务 2021 03 05 23 3. e26646 10.2196/26646 33666563 v23i3e26646 PMC7980122 Scheetz J 罗斯柴尔德 P 麦吉尼斯 Hadoux X 索亚 惠普 简达 康登 JJ Oakden-Rayner l 帕尔默 LJ 龙骨 年代 范Wijngaarden P 对临床医生在眼科、皮肤科、放射学和放射肿瘤学中使用人工智能的调查 Sci代表 2021 03 04 11 1 5193 10.1038 / s41598 - 021 - 84698 - 5 33664367 10.1038 / s41598 - 021 - 84698 - 5 PMC7933437 克莱默 AA 希金斯 TL 齐默尔曼 这个病人能安全地从ICU出院吗? 重症监护医学 2016 04 42 4 580 582 10.1007 / s00134 - 015 - 4148 - 8 26602785 10.1007 / s00134 - 015 - 4148 - 8 Coiera E 最后一英里:人工智能与现实的相遇 J医疗互联网服务 2019 11 08 21 11 e16323 10.2196/16323 31702559 v21i11e16323 PMC7351266 麦科伊 一个 达斯 R 通过在急诊科、重症监护病房和医院楼层病房进行基于机器学习的败血症预测,降低患者死亡率、住院时间和再入院时间 BMJ公开资格考试 2017 6 2 e000158 10.1136 / bmjoq - 2017 - 000158 29450295 bmjoq - 2017 - 000158 PMC5699136 Pacmed至关重要 Pacmed 2022-12-20 https://pacmed.ai/product/ Thoral PJ Fornasa de熊先生 DP Tonutti Hovenkamp H Driessen RH Girbes ARJ 例如 Elbers 倍增 阿姆斯特丹umcdb上可解释的机器学习用于ICU出院决策支持:联合重症监护医师和数据科学家 危重护理探索 2021 09 3. 9 e0529 10.1097 / CCE.0000000000000529 34589713 PMC8437217 德沃斯 J 维瑟 德啤酒 AA Fornasa Thoral PJ Elbers 倍增 中国 乔凡尼 机器学习工具的潜在成本效益,可以防止重症监护病房不及时出院 健康的价值 2022 03 25 3. 359 367 10.1016 / j.jval.2021.06.018 35227446 s1098 - 3015 (21) 01742 - 3 沙利文 通用汽车 Artino 基于“增大化现实”技术 分析和解释李克特量表的数据 J研究生医学教育 2013 12 5 4 541 2 10.4300 / JGME-5-4-18 24454995 JGME-5-4-18 PMC3886444 林恩 急性护理医学中复杂决策的人工智能系统:综述 病人安全外科 2019 13 6 10.1186 / s13037 - 019 - 0188 - 2 30733829 188 PMC6357484 de本田 Leeuwenberg Hooft l 康德 IMJ Nijman SWJ 范操作系统 HJA Aardoom JJ r TPA Schuit E 范Smeden Reitsma 简森-巴顿 Steyerberg 电子战 通知 NH 卫星 KGM 医疗保健中基于人工智能的预测模型的指南和质量标准:范围综述 NPJ数字医院 2022 01 10 5 1 2 10.1038 / s41746 - 021 - 00549 - 7 35013569 10.1038 / s41746 - 021 - 00549 - 7 PMC8748878 Benda 数控 达斯 LT 艾布拉姆森 埃尔 布莱克本 K Thoman 一个 Kaushal R Y Ancker JS “你怎么知道这个号码的?”利益相关者需要实施预测分析:实施前定性研究 美国医学信息协会 2020 05 01 27 5 709 716 10.1093 /地点/ ocaa021 32159774 5803107 PMC7647269 森达克 国会议员 W Sarro D Alderton E Futoma J 尼克尔斯 再见 Yashar F 米勒 C 科斯特 K Sandhu 年代 科里 K Brajer N 棕褐色 C 一个 棕色(的) T Engelbosch 年代 Anstrom K 所知 MC 海勒 K Donohoe R 赛尔 J 胡桐 E Balu 年代 Bedoya 一个 O ' brien C 败血症深度学习技术融入常规临床护理的现实世界:实施研究 JMIR Med Inform 2020 07 15 8 7 e15182 10.2196/15182 32673244 v8i7e15182 PMC7391165 咀嚼 HSJ Achananuparp P 医疗保健中人工智能的认知和需求以增加采用:范围审查 J医疗互联网服务 2022 01 14 24 1 e32939 10.2196/32939 35029538 v24i1e32939 PMC8800095 Marangunić N Granić 一个 技术接受模型:1986 - 2013年的文献综述 Univ Access Inf Soc 2014 2 16 14 1 81 95 10.1007 / s10209 - 014 - 0348 - 1 Romero-Brufau 年代 怀亚特 KD Boyum P 米克尔森 摩尔 Cognetta-Rieke C 实施中的经验教训:对提供者使用基于人工智能的临床决策支持的经验进行前后研究 国际医学杂志 2020 05 137 104072 10.1016 / j.ijmedinf.2019.104072 32200295 s1386 - 5056 (19) 31012 - 3 Kocaballi AB Ijaz K Laranjo l 一个 JC Rezazadegan D 霍奇金淋巴瘤 Willcock 年代 Berkovsky 年代 Coiera E 展望未来初级保健咨询的人工智能文档助理:与全科医生的联合设计研究 美国医学信息协会 2020 11 01 27 11 1695 1704 10.1093 /地点/ ocaa131 32845984 5897463 PMC7671614 雅可布 J 普拉蒂 B 一个 麦科伊 T 玻璃市 R Doshi-Velez F Gajos K 在时间有限的医疗决策中为信任和协作设计人工智能:一个社会技术的视角 计算系统中的人为因素2021年CHI会议论文集 2021 CHI '21:计算系统中的人为因素CHI会议 2021年5月8日至13日 日本横滨 10.1145/3411764.3445385
Baidu
map