医生和学生是否愿意接受人工智能:基于问卷的研究

介绍

背景

公共新闻和科学文章都普遍认为，人工智能最终将颠覆医学，以及未来医生和医疗专业人员的执业方式。1，2]。有一些有影响力的研究证明了人工智能在医学(AIM)中的潜力，例如，对x射线等图像进行分类[3.]。人工智能不仅被用于图像处理和分析，还被用于预后评估[4-6]，治疗[7-9]，以及病人监察[10，11]以及其他用途。此外，人工智能算法也已应用于许多消费健康产品，如可穿戴设备和移动设备[12]。从医学的角度来看，这意味着基于人工智能的算法已经在为患者和医生提供建议，并代表他们做出决定。因此，医生了解这种方法是如何工作的以及软件供应商和医院确定医生需要什么来促进其实施是至关重要的。到目前为止，证据还不太令人放心。当被问到“你对人工智能有多熟悉?”“(在669名参与者的样本中)在首尔接受培训的医生和医生中，只有6%的人回答是肯定的[13]。在最近的另一项研究中，法国医学专家报告称，人工智能是一个“模糊的概念”[2]。为了评估收集到的关于医生(MDs)和医学生(MSs)对AIM的理解水平的经验证据的数量，我们进行了系统的文献研究。从Scopus收集的96篇文章中，我们只确定了9篇(9%)研究(多媒体附件1(2，11，13-19)，调查了医疗专业人员，其他的要么超出范围，要么是文献综述。从现有的实证研究中，我们发现了以下几点。首先，大多数研究调查了来自一所大学或一个国家的医学专业人员。其次，三分之一的研究集中在人工智能在放射学中的应用。第三，现有的研究没有一个旨在评估对AIM的理解水平。

目标

由于该课题的重要性，在本研究中，我们打算通过调查来自世界各地的医学博士和硕士在当前文献中讨论最多的AIM课题来缩小这一差距。在文献检索的基础上，我们的问卷包括以下部分:(1)对AIM的熟悉程度，(2)与AIM相关的教育和培训，(3)在临床环境中实施人工智能相关的挑战和障碍，以及(4)与AIM相关的风险。

方法

数据通过基于网络的问卷收集，问卷是根据Burgess [20.]，以及Fowler的七步法[21]。

步骤1:明确你的研究目标

在现有文献的基础上，我们确定了有限的经验数据，包括医生和医生对AIM的理解水平、他们对AIM教育的参与程度、AIM实施相关的挑战和障碍，以及临床环境中AIM民主化相关的潜在风险。

步骤2:确定总体和样本

我们特别感兴趣的是比较随着技术发展而成长的MSs和有临床经验但可能较少接触技术的执业医生(例如，30-60岁)。考虑到学习和就业的地点与一个人获得的知识和专业知识有直接联系，我们将6大洲作为调查对象，以广泛代表人口。参与者是通过作者(TB、FAN和HR)的LinkedIn和Twitter资料源中的个人电子邮件和帖子招募的。使用这种技术是为了避免让来自同一所医学院或医院的参与者接受相同的教育或培训，从而在数据中产生偏差。为了检测潜在的偏见，我们使用毕业年份和大学名称来识别来自同一队列的参与者。当我们找到来自同一所学校和毕业年份的参与者时，我们随机选择了其中5人。基于本研究的目标，即调查两个独立人群(MDs和MSs)之间的差异，我们的数据样本不应小于176。这个数字是根据中等效应量(Cohend)为0.5，指现有的经验证据有限[22]。功率设置为0.95，分配比为1。

步骤3 -决定如何收集回复

通过基于网络的问卷调查(微软表格)收集数据后，数据集中在大学的平台上。

4 .设计问卷

从我们对以前工作的回顾中，我们发现现有的问卷都不是按照系统的方法构建的。在大多数研究中，AIM因素的选择是基于研究动机。为了系统地涵盖最相关的AIM因素，我们按照PRISMA(系统评价和元分析首选报告项目)指南进行了系统的文献检索[23]。为此，我们使用关键字在Scopus数据库上执行标题和关键字搜索“人工智能”和医学或“机器学习”和医学还有“人工智能”和医疗保健或“机器学习”和医疗保健。我们没有进行抽象搜索，因为有大量不相关的文章。搜索结果是837篇论文。经2名独立研究人员进行一致性审查后，9.3%(78/837)的研究被保留用于我们的定性分析;在78项研究中，只有9项(12%)使用了问卷调查。共提取244个断面和405个亚断面。后者由两名独立的研究人员根据它们的相似性聚类。从11个组中，我们创建了4个不同的组:(1)概念和定义，(2)培训和教育，(3)实施，(4)风险。大多数问题采用李克特5分制，需要明确回答的问题采用下拉菜单。更具体地说，概念和定义因素中的问题显示了以下量表:(1)我从未听说过它，(2)我听说过它几次，(3)我理解它，(4)我有可能解释它，(5)我可以自信地解释它。 We defined the AIM’s level of familiarity by calculating the mean across the different factors (questions 1.1-1.10 of表1）.培训教育因素中的问题表现出以下量表:(1)非常不同意，(2)不同意，(3)一般，(4)同意，(5)非常同意。实施和风险因素中的问题与培训和教育因素中的问题表现出类似的量表，但增加了选项(0)，我不知道。最后，每个年龄组的临床经验(仅MDs)如下:20 ~ 29岁=1,30 ~ 39岁=2,40 ~ 49岁=3,50 ~ 59岁=4,60 ~ 69岁=5。问卷可以通过多媒体附件2。

5 .进行先导调查

问卷由来自6个不同地区(亚洲、大洋洲、北美、中东、欧洲和东欧)的15名ms和17名医生完成。内部信度的Cronbach α系数值达到0.85，高于公认的0.70阈值[24]。拆开包装后，概念与定义、培训与教育、实施、风险四个量化部分的内部信度系数分别达到:(1).91、(2).94、(3).81、(4).81。我们采用主成分分析来检验问卷的因素结构。Kaiser-Meyer-Olkin (KMO)因子充分性在四个因素(概念和定义、培训和教育、实施和风险)之间没有相关性。但是，我们确实发现了以下相关性:(1)KMO=0.72， (2) KMO=0.75， (3) KMO=0.58， (4) KMO=0.62。跟随Kaiser和Rice [25]，超过0.5的数值是可以接受的。

步骤6主勘测

参与者使用LinkedIn和Twitter帖子中显示的链接打开问卷。登录页显示了同意书，内容包括研究的目的和性质、风险和收益、补偿和成本、机密性、参与(包括退出的权利)、联系方式和说明。只有在选择“我接受”后，参与者才被重新导向问卷。招募和问卷调查于2020年8月至12月开放。

7 .数据分析

我们使用描述性统计来描述和比较人口统计数据，以及在四个不同因素(概念和定义、培训和教育、实施和风险)中MDs和MSs的分布情况。然后，我们使用未配对的2尾检验了MDs和MSs之间的显著差异的描述性统计t试验(95%可信区间)。我们还建立了一个线性回归模型来探索AIM带来的风险相关因素(风险因素)。P<。05被认为有统计学意义。所介绍的方法是按照有关的指导方针和规定进行的。我们依赖于要求我们的调查工具的功能，以确保参与者没有遗漏任何问题。因此，没有观察到缺失的数据。

伦理批准

本研究由穆罕默德拉希德医学与健康科学大学的机构审查委员会根据MBRU-IRB-2020-024批准，并获得所有参与者的知情同意。分布式调查的cherry(互联网电子调查结果报告核对表)包括在多媒体(26]。

结果

人口统计资料

共收到207份完整问卷。207份问卷中，具有医学学位的执业医师105份(50.7%)，硕士102份(49.3%)。男女之间的重新划分在某种程度上是均衡的，如图所示表2。虽然大多数参与者来自中东(100/207,48.3%)，但其中只有24.3%(51/207)在中东接受过培训或正在接受医学教育(机构名单可在多媒体附件4）.欧洲和亚洲紧随其后，24.8%(52/207)的受访者曾在欧洲接受或正在接受教育，15.8%(33/207)的受访者在亚洲接受教育，17.4%(36/207)的受访者在欧洲接受教育，18.8%(39/207)的受访者在亚洲接受教育。参与者的分布可以在多媒体附件4。完成问卷的平均时间为12分钟。

主要的结果

如表1，人工智能(1.1)是大多数参与者理解的唯一概念，MSs的平均值为3.27 (SD 1)， MDs的平均值为3.11 (SD 1)。其次是机器学习(1.2)、神经网络(1.6)和深度学习(1.5)。有监督机器学习和无监督机器学习(1.3和1.4)是医学中广泛使用的两个概念，得分不高。

人工智能核心原理之一的过拟合和欠拟合概念(1.9)得分最低。除问题1.7、1.8和1.9外，MSs的理解水平高于MDs图1。然而，在两个群体之间的统计比较显示，在人工智能概念上没有显著差异，如图所示表1。

我们问:“你上次参加AIM课程是什么时候?”(2.1)，大部分医学博士和硕士从未参加过AIM课程，而今年(即2020年)或去年(图2）.统计显著性检验显示2个群体之间的差异，如表1。

‎ 查看此图

‎ 查看此图

对于博士和硕士来说，首要任务是进一步探索人工智能在各自领域和整体领域所提供的机会，并更好地理解人工智能的主要概念。尽管医学博士具有临床专业知识，因此对潜在机会有更好的了解，但与医学博士没有显著差异。然而，医学博士更渴望学习如何创建自己的人工智能算法或应用，这一事实可能证实了他们比医学博士看到了更多的临床潜力，如图所示图3。

从医学博士的角度来看，与数据隐私和机密性相关的挑战是最大的挑战，其次是高质量数据样本的可用性和人工智能的自主水平，如图所示图4。从MS的角度来看，医学领域的复杂性是最大的挑战，这可以解释为他们有限的专业知识和临床经验。其次是与人工智能实施相关的成本，以及人工智能的自主水平以及与数据隐私和机密性相关的挑战。“黑盒综合症”引发的挑战受到的关注最少。在不同的挑战中，MDs和MSs之间没有统计学差异。

除了与AIM实施相关的挑战之外，我们还在文献中确定了一些可以阻止AIM实施的障碍，如图5。从MD和MS的角度来看，人工智能的安全使用是最重要的，其次是法规和立法的可用性，以及人与人工智能之间必须建立的信任。只有最高管理层的理解水平被MDs的评价高于ms。对于这些因素，我们也没有发现MDs和MSs之间有显著差异。

在与临床环境中使用人工智能相关的风险中，MDs和MSs认为医生技能的潜在降低最高，如图所示图6。MDs评分为3.29分，MSs评分为3.62分，统计学差异检验为显著阳性。第二高的得分是与医疗保健非人性化相关的风险，md为3.27分，ms为3.52分。MSs也比md更担心医生可能会变得多余，人工智能最终会伤害患者，并且两组之间都显示出统计差异(P=。008年和P<措施，respectively).

问卷以以下问题结束:你能想象作为同事与人工智能算法一起工作吗?如图所示，大多数参与者回答“是”图7。

我们很想知道更多这一选择背后的潜在原因，因此要求参与者给出答案。文本框1介绍收集到的反应的摘录。

我们感兴趣的是调查对AIM的熟悉程度、临床经验和风险感知之间的关系。如表3，对AIM的熟悉程度与医疗保健非人性化的风险、医生技能的降低以及医生可能成为冗余的风险之间存在显著的负相关关系。换句话说，md和MSs对AIM了解得越多，他们就越不认为这些因素是风险。对AIM的熟悉程度和最终伤害患者的风险之间没有显著差异。同样，临床经验与人工智能最终伤害患者以及医生变得多余的风险之间存在显著的负相关关系。在人工智能将使医疗保健非人化或降低医生技能的风险方面，没有发现显著差异。

‎ 查看此图

‎ 查看此图

‎ 查看此图

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

本研究以网络问卷的方式，评估医学博士和硕士对AIM的了解程度。它的目的是补充有限的实证研究这一关键主题。当被问及人工智能的基本原理时，参与者提供了不一致的答案。如果大多数md和MSs将人工智能作为一个概念来理解，那么不清楚为什么他们只听说过几次过拟合和欠拟合，尽管这两个概念是理解人工智能算法的结果及其影响的关键[27]。同样，有监督和无监督算法的概念对于MDs或MSs都没有达到很高的熟悉程度，而深度学习和神经网络，这两种在监督环境中使用最多的算法类型，得到了更高的分数。

令人欣慰的是，深度学习(1.5)和过拟合或欠拟合(1.9)之间以及神经网络(1.6)和过拟合或欠拟合之间都存在很强的正相关。这意味着那些对深度学习和自然网络有很好的理解的人，也对过拟合或欠拟合有很好的理解。当在聚合水平上进行分析时(问题1.1-1.10)，我们的结果没有显示出MDs和MSs之间有任何显著差异，这是出乎意料的，因为年轻人群在谈到技术和创新时具有很高的好奇心。在全球范围内，这种对人工智能的低熟悉程度并不令人惊讶，因为博士或硕士参加过人工智能课程的人数很少(图2）.我们的分析还表明，参加过人工智能课程的参与者对人工智能的熟悉程度在统计上具有显著性(P<措施)。根据最近的一项研究，绝大多数教师认为人工智能应该成为医学培训的一部分[17]，尽管很少有医学院提供这样的课程[28]。

当涉及到与AIM实施相关的挑战时，我们没有预料到两组之间有统计学上的显著差异。我们期望临床经验和对临床组织的理解将在评估潜在挑战中发挥作用。这也可以解释为对人工智能的熟悉程度较低，这可能会限制md理解AIM可以在哪里带来新的机会。也没有预料到黑盒不会被认为是一个更大的挑战(MDs=2.82;海量存储系统(MSs)中= 2.92)。这种透明度的缺乏正是医学界所不希望看到的，也被许多学者和从业者认定为高风险[29-33]。这些结果也与md和MSs对在人工智能和人类之间建立信任的高度重视相矛盾，由于算法缺乏透明度，这是非常具有挑战性的。医学博士和医学硕士还对人工智能的安全使用以及现有的法规和立法表示担忧。一些努力正在进行，例如，作为医疗设备的基于人工智能/机器学习的软件修改的拟议监管框架。美国食品和药物管理局(fda)发布了这份文件的草案，征求专家的反馈意见[34]。发现MSs确实比md更厌恶风险也是非常有趣的。他们担心人工智能可能会降低医生的技能，最终伤害病人，让医生变得多余。这些结果可以部分地用风险和多年经验之间的相关性来解释。如表3在美国，花在诊所的时间越多，人工智能带来的感知风险就越低。在分析为什么医学博士和医学硕士愿意与人工智能作为同事合作时，似乎人工智能提供的改善患者护理和减少人为错误的机会是最普遍的。相反，那些表示自己无法使用人工智能算法的参与者并不一定不同意使用人工智能，而是赞成将人工智能视为同事，因为他们认为，技术既不能拥有与人类相同的情感，也不能拥有与人类相同的思维和互动方式。

限制

我们的研究，特别是数据样本的一些局限性应该被考虑。首先，我们的招募技术限制了问卷调查的范围，参与者是作者网络的一部分。因此，世界上一些区域的代表人数不足。此外，它不允许我们系统地计算响应率。其次，虽然样本量在统计上足以满足我们的研究目标，但它不允许我们进一步调查不同变量之间的差异，如地区、年龄组、教育程度(例如，本科课程vs研究生课程)或医学专业。

与以往工作的比较

本研究与现有研究不同[8，17，35]通过其方法和数据样本的多样性。通过基于文献搜索构建我们的问卷，我们确保了最常见的AIM主题包含在我们的问卷中。这种方法在基于未知标准选择AIM范围的类似研究中是独一无二的。因此，与现有的研究相比，我们的问卷也更加具体。例如，在他们的研究中，Oh等人[13问，“你同意你对人工智能很熟悉吗?”(非常)同意，中立，(非常)不同意。”相反，我们用10个特定的子主题将同一个问题从机器学习解耦到深度学习。除了更薄的抽象层之外，它还允许我们在一些答案中识别出一些不一致的地方，一些参与者应该能够自信地解释机器学习，但他们从未听说过无监督算法，这是非常不可能的。此外，与现有的大多数工作不同，我们将定量数据与定性数据相结合，这使我们能够了解为什么。就我们的数据样本而言，它的特征也是独一无二的。更具体地说，我们的数据样本比现有研究的数据样本更加多样化，参与者在6大洲的128所不同大学学习过(或正在学习)。相反，在Santos等人的一项研究中[17]， 263个答案仅来自3所大学。参与者接受相同教育的可能性相当高，这给数据带来了潜在的偏差。基于这些原因，我们认为我们的数据样本和这项研究提供了人口的相关代表。

实际意义

尽管越来越多的医疗应用程序嵌入了基于人工智能的算法或代理，但软件开发人员必须考虑到医生对人工智能的熟悉程度不高。例如，当一位放射科医生询问一位同事对病人x光片的看法时，不管他们来自哪里，他们都被认为都上过医学院，都是医生，都接受过特定的放射学培训。然而，当同事是人工智能算法时，情况就会发生巨大变化。为了让医生充分利用基于人工智能的应用程序，我们认为软件开发人员应该考虑以下因素:

• 提供关于如何构建基于人工智能的算法或软件的一般信息。一些主题将包括有关流程的信息，以及在培训和测试阶段使用的数据类型和数据量。它将使医生获得理解和信任。
• 根据对人工智能的熟悉程度，将不同的用户(医生)档案与动态水平的指导结合起来。熟悉程度较低的医生将需要更多关于软件处理数据的过程的信息。相比之下，一个熟悉这个话题的医生只需要置信度等关键信息。
• 描述导致每个结果或决定的路径以及信心水平。这将使医生了解推理和结果在多大程度上可以支持他或她的决定。
• 让医生做最后的决定，尽管软件从医学角度提供了这个决定的影响。然后，决策的文档将用于提高算法的准确性。

结论

基于目前利用人工智能进行的临床试验的数量[36]，问题不在于人工智能是否会在临床环境中实施，而在于它何时会成为医疗优化的标准。在不久的将来，执业医生将需要具备适当的知识和技能，以确定基于人工智能的建议诊断或治疗是否合适。因此，医生很好地理解人工智能背后的关键概念是至关重要的。我们认为，改变首先应该来自医学院，他们应该将AIM整合到他们的课程中，既解释AIM的起源和基础，又将AIM研究整合到从病理学到外科、内科、急诊医学和精神病学等临床主题中。通过检查AIM的各个组成部分，我们的研究为现有的研究提供了信息，这些研究强调需要定义在本科医学教育中应该教授什么AIM内容[37]。这反过来又要求大学教师对他们的教材进行培训，使其适应这种动态的范式。通过教育未来的医生，他们将成为未来职业变革的驱动力。

与此同时，医院和诊所必须强调辅助医疗的重要性，通过持续医学教育或持续专业发展的方式，为医务人员提供强制性培训。为了规范和鼓励医学院和医院培训(未来的)医生，政府也可以通过提供明确的法规、指导方针和资源发挥关键作用。一些国家，如阿拉伯联合酋长国，已经实施了国家计划[38帮助各行各业整合和监管人工智能。因此，我们预见未来的研究将侧重于评估现有干预措施(如讲座、模块和培训计划)的结果，以支持医学院、医院和政府实施教育计划，使医疗专业人员具备相关的人工智能技能。