机器学习在儿科医学中的应用前景:混合方法研究

介绍

随着电子健康记录的广泛采用，机器学习在临床环境中越来越受欢迎[1-3.]，再加上不断增长的数据存储和计算能力[4]。在这种情况下，机器学习可以用于多种目的，包括(1)促进诊断，如病理学[5，6]和放射学[7];(2)对风险分层结果进行预测;(3)通过预测患者或服务量来提高资源利用率[8]。然而，尽管人们最初对医疗保健领域的机器学习充满热情，但领域专家们也表达了谨慎的态度。9，10]。类似的资讯科技解决方案通常未能实施或提供效用[11]。

影响效用的一个重要考虑因素是选择要实施机器学习模型的临床环境和问题[11]。机器学习模型的预测需要在不引入过多负担的情况下，以一种有意义和可操作的方式增强当前的方法。仔细规划机器学习模型的实现是很重要的，因为模型部署的成本是相当大的。这些成本可能包括开发和维护机器学习模型所需的资源，培训预期的模型用户如何访问和解释模型的预测，以及支持帮助用户将结果付诸实践[12，13]。

考虑到这些成本，确定哪些机器学习模型应该优先用于临床实践的系统方法可能是有价值的。在确定优先级时，让计划部署的机构中的关键利益相关者参与进来是很重要的。我们选择调查2个儿科中心，1个在美国，有一个更成熟的生物医学信息学项目，1个在加拿大，有一个不太成熟的生物医学信息学项目，以深入了解经验和专业知识是否会影响机器学习模型优先级的偏好。因此，主要目标是确定两家儿科机构的受访者在优先考虑机器学习模型实施时认为重要的医疗保健属性。第二个目标是用定性方法描述他们对机器学习模型实现的看法。

方法

研究设计与设置

这是一项包括定量和定性成分的混合方法研究。这些机构是加拿大安大略省多伦多的病童医院(SickKids)和美国加利福尼亚州帕洛阿尔托的露西尔·帕卡德儿童医院。

参与者

在调查分发时，我们包括了SickKids和Lucile Packard儿童医院的卫生系统领导、医生和数据科学家。我们排除了实习生。

程序

这项调查是由研究小组根据受访者可能认为重要的医疗保健属性的印象开发的;以机器学习为重点的问题呈现为多媒体附录1。通过组织电子邮件列表确定潜在的参与者。定量调查以电邮方式发放，受访者以REDCap [14]。调查要求受访者表明他们是卫生系统的领导者、医生还是数据科学家;受访者可以指出多个类别。人口统计学变量包括临床专科(如果适用)、完成培训后的工作年限和性别。

然后我们用李克特5分量表询问他们对人工智能的了解程度，从1分(完全不了解)到5分(了解很多)。我们要求他们对机器学习模型是如何构建和解释的，以及统计数据是如何进行和解释的理解进行评分，使用5点李克特量表，从1(不理解)到5(完全理解)。我们询问他们是否有决策能力在工作环境中实施人工智能计划，以及在过去5年里，他们的机构部署了多少机器学习模型。

下一部分要求受访者根据机器学习实施是否有用，对以下5个临床问题和实施后果属性进行排名:“正在解决的临床问题是常见的”，“临床问题导致大量发病率或死亡率”，“风险分层将导致不同的临床行动，可以合理地改善患者的预后”，“实施该模型可以减少医生的工作量”，“实施该模型可以节省资金”。重要属性被定义为被受访者评为最重要或第二重要的属性(排名1或2)。然后，调查问了两个开放式问题，重点是能够准确预测结果可能有用的临床领域，以及优先排序或重组候补名单可能有用的临床领域。最后，调查询问他们是否愿意参加定性访谈。

在定性方面，我们有目的地对受访者进行抽样，以最大限度地提高机构和对机器学习的自我评估理解的差异。半结构化访谈采用Zoom (Zoom Video Communications, Inc.)或微软团队进行，由一名在进行定性访谈方面具有专业知识的病童团队(EP)成员进行。受访者被要求列出3个场景，其中机器学习模型对风险分层可能是有用的，然后陈述哪个场景是最重要的，首先实施和选择的理由。然后，他们被问及他们如何看待使用机器学习模型进行风险分层，而不是他们目前的方法，并描述他们对使用机器学习模型指导患者护理的担忧。采访被逐字记录下来。

分析

来自SickKids和Lucile Packard儿童医院的定量调查数据使用Fisher精确测试进行比较。使用RStudio版本3.6.1在R (R Core Team)中进行分析[15，16]。

定性数据的分析是根据扎根理论方法论的原则进行的;数据收集和分析同时进行。两名独立审稿人(NA和EP)使用持续比较方法对定性成绩单进行了分析，以建立一个基于受访者个人经验和理解的机器学习观点的理论框架。继续采样直到达到饱和，这被定义为没有新的主题从数据中出现的点。

伦理批准

这项研究得到了病童研究伦理委员会的批准。Lucile Packard儿童医院放弃了机构审查委员会批准的需要，因为数据收集是由SickKids工作人员进行的。对于定量调查，完成调查被视为默认同意参与研究。对于定性部分，受访者口头同意参与。

结果

该定量调查于2021年11月1日至2022年1月6日在SickKids医院进行，于2022年3月15日至2022年4月12日在Lucile Packard儿童医院进行。在613名符合条件的受访者中，有275名(44.9%)做出了回应。图1显示参与者识别和选择流程图，包括在达到饱和时参与定性访谈的人数。

表1给出被调查者的人口学特征;内科专科(P<.001)和完成培训的年数(P=.006)，差异有统计学意义。大多数受访者是医生(165/195，在SickKids占84.6%，在Lucile Packard儿童医院占73/80，占91.3%)。在SickKids和Lucile Packard儿童医院，具有实施人工智能举措决策能力的受访者人数分别为99/195(50.8%)和41/80(51.3%)。大多数受访者不知道过去5年中他们所在机构部署的机器学习模型的数量(SickKids为137/195，占70.3%，Lucile Packard儿童医院为53/80，占66.3%)。

表2说明受访者对人工智能的自我认知知识以及对机器学习和统计学的理解。不同机构(人工智能知识、P= iseq指数;机器学习的发展和解释;P=标识;统计行为和解释;P= .19)。在SickKids医院，表示自己“适度”或“大量”掌握人工智能知识的受访者比例为17.9%(35/195)，在Lucile Packard儿童医院，这一比例为17.5%(14/80)。多媒体附录2比较了那些自认为自己的人工智能知识高(在5分李克特量表上得分为4或5分)和不高的受访者的特征。那些自认为自己知识水平高的人明显更多是男性(P=.02)和非医师(P= .006)。在SickKids和Lucile Packard儿童医院，表示自己“中等”或“完全”理解机器学习开发和解释的受访者比例分别为15.9%(31/195)和11.3%(9/80)。在这两所机构中，表示对机器学习“一无所知”或“知之甚少”的比例为146/275(53.1%)。相反，在SickKids医院，表示他们“中等”或“完全”理解统计行为和解释的受访者比例为54.4%(106/195)，在Lucile Packard儿童医院为42.5%(34/80)。在这两个机构中，表示对统计“一无所知”或“知之甚少”的百分比为30/275(10.9%)。

‎ 查看此图

表3揭示了将每个属性列为重要(在5个属性中排名第一或第二)以确定机器学习模型优先级的受访者比例。在5项指标中，各院校所占比例均无显著差异(表3）.在这两个地点中，最常见的重要属性是导致不同行动的风险分层(205/275,74.5%)和导致大量发病率或死亡率的临床问题(177/275,64.4%)。被认为最不重要的属性是“实施该模型可以减少医生的工作量”(40/275,14.5%)和“实施该模型可以节省资金”(13/275,4.7%)。这两个机构的重要性得分中位数也显示在表3(此处“低”更重要)。

表4显示定性访谈的主题和副主题。实现机器学习模型的好处包括促进复杂场景下的决策制定，支持经验不足的临床医生，减少认知负荷，减少认知偏见。还有人表示，机器学习模型可以通过标准化、更有效的分类和促进精准医疗来提高护理质量。最后，机器学习模型有可能减少医生的工作量。然而，人们认为机器学习模型实施的挑战包括可能存在算法偏差、缺乏透明度和信任，以及未能纳入临床专业知识。机器学习模型的实施也可能对护理质量产生不利影响，受访者谈到有必要评估机器学习模型实施的影响。对机器学习模型实施提出的实际问题包括将模型纳入临床工作流程的挑战，以及在机器学习模型导向的行动产生不良结果时的问责问题。最后，确定了医生角色的不确定性。当被要求优先考虑机器学习模型实施的1种临床场景时，选择实施哪种场景的基本原理始终与对患者结果的影响相关:“对儿童最有利”、“主要死亡原因”和“影响可能非常严重”。

多媒体附录3举例说明了从定量调查中确定的机器学习计划可以优先考虑的临床领域。

讨论

在这项混合方法研究中，我们发现最常被列为机器学习模型实现重要的属性是风险分层，导致不同的行动，可以合理地改善患者的结果，以及导致大量发病率或死亡率的临床问题。很少有受访者认为减少医生工作量和节省资金是重要的。我们还发现，尽管两家机构的生物医学信息学专业建设水平不同，医疗保健体系不同，但重要属性相似。

机器学习模型实施的广泛推荐领域强调了考虑到开发、部署和监控机器学习模型的能力可能有限，甚至在拥有成熟生物信息学项目的大型机构中，也需要确定优先级。这项研究很重要，因为它提供了一个框架，通过这个框架，机构领导者可以决定优先实施哪些机器学习模型。虽然我们发现改善患者预后的风险分层是最常见的重要属性，但其他考虑因素包括由高风险和低风险标签引起的行动，不同行动将改善预后的证据，以及确定风险分类的理想阈值。即使部署了模型，对模型性能的持续监测以及模型部署对患者护理和临床工作流程的影响也是实施后需要考虑的额外事项。

当我们评估不同类型受访者的属性重要性时，Wears和Berg [11]之前讨论了决策者、机器学习解决方案的受益者和承担实施负担的人之间的复杂关系。他们指出，这些个体之间的不匹配可能导致失败。更具体地说，管理者往往是决策者和受益者，而临床医生往往承担实施的负担[11]。在利益相关者类型之间的优先排序过程中，需要预测和承认相互冲突的观点。

我们还发现，在这两个机构中，受访者对自己对统计学的理解更有信心，而对机器学习的理解信心相对较低。尽管这两个机构的生物医学信息学项目的建立水平不同，但这些观点在这两个机构之间没有差异。我们的研究结果表明，在整个儿科医学中，在培训和继续教育期间需要更多关注机器学习的教育。

我们的结果补充了其他人的工作，他们强调了临床决策支持的要求，包括基于机器学习的要求。除确保相关性、尊重性和科学有效性外，需要考虑的重要事项包括避免黑箱、过多的时间要求和复杂性[17-19]。与此同时，也有研究表明，采用人工智能的障碍不仅限于临床医生，还包括父母[20.，21]。将我们的发现与儿科医学以外的研究进行比较也可能是有用的。我们发现，实施机器学习的主要预期好处是促进决策、提高护理质量和减少医生工作量。与我们的研究结果相比，人工智能在眼科、皮肤病学、放射学、验光学和外科方面的益处和挑战相似[22，23]。然而，我们的研究是独特的，因为考虑了如何优先考虑实施的问题，这是制定临床计划的务实考虑。此外，对儿科的关注可能很重要，因为临床问题的性质、观点和利益相关者可能在儿科和成人患者群体中有所不同。

本研究的优势在于其混合方法设计和按国家纳入2个不同的儿科机构，并建立其生物医学信息项目。然而，我们的结果应该根据其局限性来解释。我们的回复率相对较低;受访者可能更倾向于对机器学习感兴趣。因此，非受访者可能对机器学习的熟悉程度较低，并且可能对被认为对机器学习优先级重要的属性没有那么强烈的意见。我们的医生比例也高于系统领导者或数据科学家;这些组可能有不同的优先级或实现关注点。

总之，受访者优先考虑机器学习模型的实施，因为风险分层会导致不同的行动和临床问题，导致大量的发病率和死亡率。优先考虑改善患者预后的实施方案。这些结果可以帮助为机器学习模型实现的优先级提供一个框架。