为在临床环境中使用人工智能建立生态有效的概念框架:在保护技术和临床医生方面需要系统思考、问责制、决策、信任和患者安全考虑

简介

随着多学科合作保健的发展[1]，临床医生比以往任何时候都有更多的信息和专业知识来指导临床决策[2］．然而，当面对的信息和知识(1)并不总是在临床医生的主要或重点专业知识的范围内，并且(2)数量如此之多，以至于临床医生难以可靠、有效和及时地处理时，临床医生往往会求助于有限的理性，在某些情况下，是不正确的诊断、治疗和其他临床决策[3.］．对临床医生有限的吸收和认知能力的相关问题的回应是将人工智能(AI)集成到医疗保健决策中[4-6］．然而，在多学科、复杂和协作决策中，对有限的吸收和认知能力问题的技术解决方案可能会引入新的情况[7］．例如,团队科学在临床环境中，可能会出现相互竞争的诊断和治疗和健康处方[8，9］．此外，当新技术用于决策时从上面(例如，通过管理，而不是有机地)或从下面(例如，在临床医生层面，临床医生可能并不总是信任或打算使用这些技术)[10］．

关于人工智能的信任和人工智能系统在临床决策中的使用的问题说明了理性决策模型和描述性决策模型之间的经典区别。对临床决策的研究表明，在临床决策中引入综合技术(包括但不限于人工智能)的理性模式并不总是得到数据的支持。换句话说，临床决策的理性模型[6，11，12]和决策，一般来说在生态上是无效的;他们假设完美的信息，理想的吸收和认知能力，最佳的信任，以及无限的资源来做出充分和正确的决策。描述性实证研究表明，由于最终用户(护理提供者)的认知能力有限、信息过载或数据缺乏以及对技术的次优信任，临床环境中技术辅助决策的混合影响[7，13，14］．

与大多数技术类似，人工智能在医疗保健生态系统中可能是福也可能是祸。随着医疗保健领域自主活动的增加，关于人工智能和人为因素的挑战可能在个人层面(例如，意识和信任)、宏观层面(例如，法规和政策)和技术层面(例如，可用性和可靠性)明显表现出来，因为许多医疗保健人工智能应用程序设计不佳，没有得到彻底评估[15］．因此，在医疗人工智能系统中考虑人的因素和人机工程学(HFE)已成为必要。如果在开发人工智能系统时加以利用，HFE原则和方法可以在不影响患者安全或临床协议的情况下增加其使用和采用。在人工智能在医疗保健领域可能造成的所有HFE挑战中，次优临床医生-人工智能交互非常重要。在医疗保健中集成设计不佳的人工智能可能会使临床医生和计算机(智能)系统之间的关系复杂化。与其他医疗保健技术不同，人工智能的复杂性更高，因为它可以(通过聊天机器人、自动推荐系统、健康应用程序等)根据从临床医生和患者那里收到的输入(反馈)与他们互动。人工智能的输出(人工智能产生的结果)很大程度上取决于输入的信息，例如某些类型的人工智能，强化学习[16]，根据用户输入进行学习和调整，以优化结果。因此，临床医生与人工智能的互动可能会影响人工智能的表现，进而影响临床医生对人工智能的看法。最佳和成功的临床医生-人工智能交互取决于几个因素，包括情景意识、认知工作量、工作环境和情感资源(例如，当前的精神状态、使用人工智能的意愿、以前使用人工智能技术的经验、对技术的信任等)。大多数关于医疗保健AI的研究都忽略了(1)生态有效性和(2)人类认知，这可能会在与临床医生和临床环境的界面上带来挑战。此外，针对改善人为因素的研究不足，主要表现在:(1)如何确保临床医生是否正确实施;(2)在压力环境中工作的临床医生的认知工作量;(3)对临床医生的情况意识、临床决策和患者安全结局的影响。尽管关于人工智能的研究已经报告了其在医学上的巨大性能和潜力[17-19]，研究突破(研究环境中的人工智能表现)并不一定会转化为可用于高风险环境的技术[20.，比如医疗保健。此外，大多数在研究和文献中具有突出能力的AI在临床环境中无法执行[21，22］．根据技术准备水平(TRL)，大多数人工智能系统，至少在儿科和新生儿重症监护中，如果不是全部的话，都没有资格实施[17］．

TRL是一个衡量系统，用以评估某项技术的成熟程度[23］．它包括9个类别(准备程度)，其中trl1分是最低的，trl9分是最高的(文本框1)．

例如，在临床环境中，护士和医生已经表现出对人工智能缺乏信任，包括机器学习分析和决策工具[7];为提高决策效率和效力而设计的许多其他信息技术，如药物管理系统[13]、事件报告系统[14]，以及电子医疗纪录系统[24];以及基因治疗等临床生物技术[25］．有证据显示不正确使用临床技术，例如对自动化护理工具的毫无根据的信任和依赖，导致了不良的健康后果，包括但不限于可避免的死亡[11]及不适当使用医疗仪器对病人造成伤害[12，26］．重要的是要理解人工智能的影响，特别是在医疗保健领域，不仅是其潜在数学过程的准确性的函数，而且是人类认知因素的函数，包括信任、感知、可用性和安全性。因此，为了最大限度地减少医疗保健AI造成的错误(如其他医疗信息技术文献，如电子医疗记录)，必须采用整体方法，将医疗保健视为一个动态的社会技术系统，其中的子元素相互作用。

客观的

本研究旨在从认知人为因素和决策文献中提出一个描述性的概念框架。请注意，这个框架不是一个理性模型。然后，未来的研究可以利用这一框架，并为最终开发最佳人工智能临床医生交互的规范性框架提供信息。提出的框架可以最好地用于混合方法研究。换句话说，描述性概念框架将有助于捕捉临床医生和人工智能之间的交互。规范框架(由实验研究结果指导)将有助于开发更好的人工智能-临床医生互动。

本研究中提出的描述框架的新颖之处在于，它使用系统思维，并结合多种描述性(与理性)人为因素方法来理解决策中的临床医生-人工智能交互作用。尽管临床决策中的人为因素考虑可以增强人工智能等综合决策技术预期的积极影响，但到目前为止，关于临床医生如何以及在多大程度上使用人工智能进行诊断和医疗决策的研究很少。此外，临床环境中AI的实证研究的优势集中在AI驱动的诊断和护理决策的技术方面，即AI所需要的过多的机器学习算法和高维数据[27］．少数关于人工智能在决策中使用人为因素的研究并不关注临床样本和背景，而是关注其他行业和经济部门的非临床应用，包括但不限于军事[28];交通运输(29];组织设计，一般来说[30.］．

框架开发

医疗保健管理和医生文献缺乏一个概念框架，以从系统的角度捕捉人工智能的影响，同时理解生态上有效的临床医生与人工智能的相互作用，特别是关注这种相互作用如何根据预期、信任、与吸收能力和有限理性相关的认知变量以及对患者安全的担忧等人为因素而变化。为了得出概念框架，本研究利用了(1)关于医疗实践中的系统思维和人工智能的文献，(2)人类决策中的信息使用，(3)信任和人工智能决策的通知，以及(4)患者安全和人工智能决策的通知。

医疗实践中的系统思维与人工智能

概述

技术进步和创新的扩散正在支持生活的各个方面的结构和制度的迅速转变，医疗实践也不例外。技术现在可以促进人类曾经认为不可能的活动的完成，并对卫生保健领域的重大社会和公共政策变化负责。例如，Widmer等人[31]讨论了美国医疗保健政策改革与技术进步和社会转变的融合，作为在医疗保健实践中大量使用人工智能的支持。他们认为，这些都是变革的力量，影响着为医学问题制定复杂解决方案的能力。这些解决方案的技术形式往往依赖人工智能来支持决策。卡德里等[32]调查了新医疗保健技术的现状，揭示了人工智能和依赖人工智能的工具在医学中的无处不在。例如，医疗保健物联网对医疗保健信息技术的影响是巨大的[32，随着系统变得越来越智能和广泛，技术创新的巨大规模无情地向前推进。随着这些系统成为卫生保健的一个组成部分，系统思维将变得越来越重要，因为卫生保健所需的任务技术匹配的复杂性。

医疗保健行业在技术和临床工作流程方面都出现了一些设计错误。集成未经过适当设计和测试的HITs极有可能导致新类型的技术诱导错误，通常是医疗保健领域的新错误。这种错误通常表现在实际临床使用过程中，卫生保健提供者与HIT之间的复杂互动中。例如，在最近，手术机器人造成144名患者死亡，1391名患者受伤[33］．一旦整合，这些技术还可以改变现有的临床工作流程。例如，将AI集成到临床工作流程中，而不考虑其对临床医生、患者、医院费用、工作流程速度、保险索赔流程(先前的授权)和其他方面的影响，可能会扰乱整个护理流程。例如，考虑到人工智能对数据的依赖，我们可以假设，即使是最好的人工智能系统有时也会出错，导致患者安全受损。虽然临床错误和未遂事故在医疗保健中很常见，但人工智能错误可能是非常独特的。首先，人工智能系统产生的错误可能会在临床医生没有发现的情况下变得广泛，导致整个系统的错误，而不是由于任何提供者的错误而造成有限数量的患者受伤。其次，跟踪AI错误也可能变得非常具有挑战性，主要是在深度学习算法的支持下。如此复杂的系统(AI)由于其固有的不透明性质，可能会使根本原因分析非常令人生畏，几乎不可能。人工智能系统的性能在很大程度上取决于它们所训练的数据。由于现有的数据存储库存在偏见，在不解决数据质量问题的情况下，人工智能集成可能会加剧医疗保健偏见。

卫生保健当局必须考虑几个外部因素，如临床医生在临床实践中使用人工智能的意愿，获得不同专业知识的临床医生所需的人工智能培训的持续时间和频率，以及为个别临床医生和患者个性化人工智能的可行性。此外，作为医院AI的潜在用户，医生和护士也可能由于缺乏AI素养或AI的可用性不佳而滥用系统。因此，系统思维方法对于人工智能的安全集成至关重要。

此外，基于人工智能的技术可能不适用于罕见疾病患者，因为他们的数据并不充分。卫生保健当局还必须确保，随着时间的推移，临床专家不会因为人工智能的实施而丧失技能或被永久取代。换句话说，安全和可持续的人工智能集成需要一种系统方法，其中考虑到不同卫生保健利益相关者之间的所有互动。

与任何复杂系统类似，医疗保健和人工智能的子系统可以在三个主要层面上受到几个因素的影响:(1)治理——政策、法规和协议;(2)组织性[34]——问责制、恢复力、生态有效性和可行性;(3)个人对人工智能和安全实践的信任(图1)．

‎ 查看此图

治理水平

在这项研究中，AI治理被定义为在大型医疗保健生态系统中调节和控制AI的一组系统。它指导组织目标和风险监控，以实现优化的性能。换句话说，人工智能治理是一个系统中的系统这需要一种全面的方法，将战略规划纳入所有组织层面。现有研究将医疗保健人工智能治理限制在组织结构和临床决策过程的边界内，不利用专有权利的透明度，技术的公平性和问责制[35］．

然而，许多关键因素没有被考虑。弹性;生态效度;使用人工智能的安全操作协议;参与;利益相关者，包括保险公司的责任;人为因素也应作为医疗人工智能治理的重要组成部分。系统思考可以帮助监管机构和组织将人工智能和医疗保健的整合视为两个复杂系统的合并。换句话说，系统方法将使我们能够捕捉和理解各种因素之间的动态关系，如政策和协议，如何影响将人工智能纳入医疗保健生态系统的弹性和可行性。明确定义的政策和协议以及所有利益相关者的参与也将有助于解决当前对人工智能问责制的担忧——谁应该为有缺陷的人工智能系统或不正确的人工智能输出负责?从人为因素的角度来看，系统方法可以倡导人工智能的生态有效性，确保该技术是针对给定的不受控制的环境进行适当的设计和开发的。解决这些问题可以增加临床医生对人工智能技术的初始信任，从而增加他们接受人工智能的可能性。

组织层面

的子组件进一步展开图1医疗保健中的人工智能治理应考虑(1)弹性思维方法，(2)问责制，(3)人工智能的生态有效性。弹性思维是一种全面的方式，研究在不确定性或系统性错误期间，临床医生和临床环境(包括人工智能技术)的交互系统如何得到最佳管理。

这项研究定义了AI问责在这个过程中，医疗保健从业者有潜在的责任来证明他们的临床操作对患者(或家属)，并对任何即将对患者健康产生的积极或消极影响负责。在使用基于人工智能的决策支持系统时，只有临床医生在决定遵循人工智能时才会被问责，从而导致患者受到伤害。如果临床医生偏离了标准方案，他们也要承担责任[36］．这可能令人担忧，因为在这种情况下，临床医生只会在人工智能符合他们的判断并符合标准方案的情况下才会使用人工智能，这使得人工智能没有得到充分利用。根据我们最近的调查(机构审查委员会2022-007由美国史蒂文斯理工学院批准的)由265名积极在美国执业的临床医生组成，缺乏人工智能问责制是医疗保健领域采用人工智能的重大障碍。临床医生犹豫并拒绝使用AI，因为他们不想为错误的AI承担责任。我们调查的参与者主张与患者签订合同协议，制定政策，保护他们免受人工智能错误和相关患者安全问题的影响。文本框2显示了临床医生提供的一些反应。

作为一个复杂的系统，卫生保健机构的子系统受到若干内部和外部因素的影响。医疗保健系统的这种复杂性可以通过使用人为因素方法来很好地解释，例如患者安全安全工程倡议(SEIPS)框架[37］．由Carayon等人开发[37]， SEIPS框架部分基于Donabedian著名的卫生保健质量结构-过程-结果模型[38］．可以说，它是医疗保健中最受认可和发表的基于系统的人为因素框架之一。SEIPS框架说明了人(患者和临床医生)、技术(此处为人工智能)、任务(支持患者安全和健康的临床活动)和环境(临床和组织设置)之间的动态交互。然而，还没有研究使用SEIPS框架从系统的角度来理解人工智能对医疗保健的影响。

个人层面

当医疗从业人员考虑在病人护理中应用新技术时，仔细审查是必不可少的。人工智能在医疗实践中的好处也有局限性。在进行创新决策时，特别是当人类生命处于危险之中时，如果不承认它们，可能会导致系统事故。研究[39讨论了人工智能在医学上应用的局限性，重点讨论了其在肿瘤学中的应用。他们指出，机器学习在肿瘤实践中发挥着重要作用。机器学习是人工智能的一个子集，涉及计算机通过数据输入自主学习的能力[39］．在肿瘤学领域，机器学习的好处包括应用于风险建模、参与诊断和分期调查、预后预测和治疗反应预测。在使用AI时仍然存在局限性，例如成本、对数据质量的过度依赖、黑箱效应、获得对机器学习技术的信任和接受[39］．门德尔松(40]呼应了Khan等人讨论的一些局限性[39，他指出，医生在对乳房成像检查的结果做出决定时，不能只依赖人工智能。门德尔松(40]将人工智能的首选角色描述为支持诊断和患者管理。

尽管医生和研究人员描述了由于人工智能的分析能力和偏见而在接受人工智能方面的一些限制，但其他人为因素往往被忽视。虽然人工智能用于决策的方法和程序不断改进，但必须进一步探索利用人为因素原则。保护人工智能和患者的解决方案是接受医疗保健的系统思维方法，在这种方法中，医生将人工智能纳入一个角色，如Mendelson [40注意的，支持性质的。正如Khan等人所描述的[39]，由于黑盒效应，人工智能的信任问题似乎是有根据的，在黑盒效应中，人工智能提供了解决方案的结果;然而，无法描述该解决方案的基本原理。桥本等[41他指出，尽管黑盒效应存在，但人们正在努力设计解决方案，以减轻医疗实践中的黑盒效应。神经网络方法得到的黑盒结果可以得到正确的响应[41］．然而，在做出对患者生死攸关的决定时，医生不能只依赖人工智能的结果。这个体系无法自我解释。尽管医生可以更多地了解人工智能，以更好地理解结果[40]，人类对人工智能的信任问题仍然具有挑战性，因为人工智能的设计不支持透明度[40］．因此,人工智能的局限性并不仅仅是基于人工智能本身，而是基于人工智能及其用户对技术缺乏理解之间的关系．并非所有依赖人工智能所需的信任都能来自更好的设计功能。有些肯定来自于技术的广泛接受，系统思维的跨学科性质可以在改善人类和AI在医学上的关系方面发挥作用．然而，必须记住信任的动态性质，用户需要对技术有先验的信任才能第一次使用它。展望未来，他们对它的信任可以成为他们对技术及其有效性的经验的功能。

除了医疗服务中断可能对患者造成伤害外，系统如何组合在一起的复杂性也可能导致系统事故。Kappagoda [42]讨论了航空系统事故的问题，以说明当存在设计缺陷、不良维护实践和监管失误时可能出现的问题。同样，在医疗保健领域，糟糕的人工智能设计也会导致患者受到伤害，临床医生可能会误解人工智能信息，或者在人工智能显示器上点击错误的选项。不充分的维护，即不使用新的患者数据重新训练AI，可能会影响其预测的准确性，从而阻碍患者的安全[43］．此外，有时床边护理提供者做出的临床决策不一定符合标准指南(针对特定患者类型)或跳过规定的临床步骤(在工作量过大的情况下)，以迅速完成特定的临床目标[44］．因此，人工智能开发人员在设计他们的产品时应该考虑到这种人类行为，这样人工智能就可以作为一种支持，而不是日常临床工作流程中的障碍。

美国有一些与医疗设备有关的保证。其中包括国际标准化组织13485医疗器械质量标准[45联邦法规第820.3(l)号第21条[46］．尽管这些认证和法规的存在是为了保护患者，但当系统事故伤害到患者时，医务人员仍然可以负责处理。因此，尽管人工智能可以对患者有很大的好处，并成为支持工作人员决策的有用工具，但医疗专业人员在评估护理策略时必须进行系统思考。

人类决策中的信息使用

在决策中使用或不使用某些信息的动机是复杂的，一些理论视角，如情境意识和期望理论，可以支持对这种动机的理解。索尔塔尼和法哈普尔[47]调查了用户使用信息服务的动机。他们的研究框架是期望理论。他们发现，用户使用信息服务的动机受到对结果价值的认识和对可访问性的看法的显著影响[47］．虽然期望理论似乎在描述为什么使用或不使用人工智能方面发挥了作用，但其他人为因素可以支持预测用户行为．O ' reilly [48]审查了信息源使用方面的变化，以了解信息质量和可获得性作为影响其使用的因素的影响。O ' reilly [48]发现使用频率是最重要的使用影响因素。

吸收能力与使用信息的能力的关联是决策心理学的另一个重要方面。廖等人的研究结果[49]表明吸收能力对创新有影响，但以创新为目标的信息使用是复杂的[50］．施密特(50发现吸收能力的决定因素是不同的，这取决于所吸收知识的类型。因此，吸收能力是路径依赖于它如何导致信息使用。这种复杂性限制了决策。在决策研究中，信息的感知相关性和信息的获取是理解信息使用的关键。Streufert是最早了解复杂环境中信息相关性对决策影响的研究之一。51］．她的研究框架是复杂性理论。她指出，信息相关性是影响复杂决策反应的一个因素，但同一因素(信息相关性)未能影响简单决策反应[51］．这些发现对于理解信息在决策研究中的重要性至关重要，因为它们支持决策研究的本质环境意识在决策者中。她的结论是，复杂决策受相关性影响，简单决策受信息负荷影响，这是一个关键的发现，对复杂性理论提出了一些限制。雪铁龙(52]探讨了信息在组织高管战略决策中的作用。该方法要求管理人员在一个结构化的过程中收集和使用信息，以支持消除决策过程中的不确定性。Streufert的研究结果[51]和雪铁龙[52]支持情境意识作为影响决策者使用信息的一个因素的作用。

决策中的信息接受是决策研究中的另一个关键因素。根据一个被称为技术接受模型的成熟模型，接受度与决策中的易用性和有用性有关[53］．在决策过程中纳入资料似乎很重要。然而，它的纳入和决策支持系统等工具仍然是决策者面临的挑战。Todd和Benbasat [54研究了信息在决策中的使用。他们的研究对于假设掌握更多信息的管理者会做出更好的决策是至关重要的。他们发现努力的节约当经理们得到更多的信息时。决策支持系统等工具并没有很大可能将信息用于决策[54］．这些发现可能会对人工智能形成的人类决策的研究产生重大影响，因为人工智能通常涉及聚合几堆数据，以构建对所调查现象的全面理解。然而，如果Todd和Benbasat [54]所提出的观点与决策者目前的信息处理方法是一致的，聚合数据创建优雅的模型来理解一种现象将是徒劳的。关于个人为什么选择依赖信息系统来做决策的研究已经存在。斯尼德和哈勒尔[55]研究了管理层使用期望理论的决策支持系统的决策。研究结果表明，期望力模型可以确定使用决策支持系统的管理行为意图[55］．行为理论对这些研究是有帮助的，因为它可以支持基于意图和动机的评估，为什么人们使用以前没有使用过的系统。

吸收能力与人工智能的使用有关，人工智能的研究结果至关重要。吸收能力在与创新相关的决策中也是必不可少的，它取决于用户如何优化信息系统功能。此外，吸收能力也会在行业创新方面影响AI。人工智能使用的一个限制是用户缺乏对工具的理解或对发现的实质性解释．史等[56发现人工智能的使用在局限性方面带来了挑战，比如有限的知识转移。员工在使用人工智能工具和解释其发现方面接受的培训程度有限。因此，在使用人工智能的商业环境中，吸收能力受到工人能力的限制。

在支持决策时，人工智能的知识和相关性也是必不可少的考虑因素。普雷维代罗等人[57调查了人工智能在医疗环境中应用的挑战。他们指出，在临床环境中，期望和人工智能应用之间存在差异，人工智能在放射学等任务中的作用将纯粹从技术角度迅速发展，而不会从人为因素的角度解决所有用户需求。普雷维代罗等人[57他指出，人工智能应该成为开发临床相关结果的一部分，人工智能应该在未来的决策中发挥作用。然而，这也是Prevedello等人的预测[57发现之前的研究没有实现。庄园(58讨论了人工智能和人类决策的问题。他将人工智能与其他类型的定量分析程序共享几种关系，因为每种方法都对诊断有用。他还指出，人工智能的一个关键限制是缺乏前瞻性推理的能力，不确定性和偏好是需要考虑的关键因素。58］．

在决策中接受人工智能是一个关键的技术概念，其中检验和确定人工智能的易用性和有用性。由于缺乏对该技术或其潜在能力的了解，人工智能在决策中的使用和益处受到了实质性的挑战．陈及Zary [59讨论了人工智能在医学教育中的应用和挑战。限制AI在医学界使用的主要因素之一是，医学院的课程未能培养未来的医疗专业人员来理解AI算法[59］．知识和开发的缺乏导致了工具的有限使用。未来使用人工智能的一个关键限制似乎不是由技术的限制或复杂性引起的，而是由人类使用该技术的决定引起的。59］．孙及权[60]研究了几种技术接受理论，以了解哪种框架最适合接受人工智能。他们的研究包括技术接受模型、计划行为理论、技术接受与使用统一理论和基于价值的采用模型。研究结果支持基于价值的采用模型作为确定用户接受人工智能的最佳模型。具体来说，有最显著影响的因素是享受而且主观规范［60］．这些发现提供了证据，证明使用AI的动机更多地是由对技术的兴趣驱动，而不是AI的功利方面。

用人工智能信任和告知决策

在一些情况下，对技术的信任具有影响力，包括在使用计算机为媒介的沟通进行团队沟通的情况下[61]，支援客户或从事电子渠道、电子商务的客户[62]，以及航空活动[63］．对技术的信任和对人类的信任在很多方面都有区别[64，65，即对人的信任与人际关系质量有关。相比之下，对技术的信任与可靠性和性能有关。尽管如此，信任仍然是人类技术体验的一个重要方面[65］．

对技术的信任似乎与预期失验理论等理论一致。这一理论与个体对经验的满意度有关，这些经验与他们的信念是否在经历中得到证实有关，以及期望和感知表现如何影响他们的初始信念[66］．对技术的信任是复杂的，原因有很多。对技术的信任之所以复杂，原因之一是技术存在风险和不确定性。李等[67调查了在工作环境中人们对新技术的信任度。他们发现，最初信任的形成取决于几个因素，包括信任基础、信念、态度、组织的主观规范和信任意图。其他涉及技术的研究假设，对技术的信任可以通过组织中的治理来形成。温菲尔德和吉罗特卡[34讨论了道德治理框架的开发，涉及组织中的机器人和人工智能系统。考虑的因素包括伦理、标准、监管、负责任的研究、创新和公众参与。这些因素被认为是在技术和公众之间建立信任的关键因素。这种方法的问题在于，它没有考虑用户对技术的感知、与之相关的风险的感知以及它对用户认知工作量和情境意识的影响等人为因素。

与这项研究最相关的是对医疗技术的信任问题。蒙塔古等[68]研究了对医疗技术的信任，并试图将医疗技术描述为与对一般技术的信任不同的结构。在他们的研究中包括了关于技术信任的文献综述。他们的文献讨论包括断言，先前的研究结果支持信任人类和信任技术之间缺乏区别。然而，McKnight等人[64]及兰顿等人[65的调查结果和讨论表明，对人类的信任和对技术的信任之间存在着实质性的差异。研究结果的差异支持进一步的调查。除了对一般技术的信任之外，不应在后续研究中考虑是否存在一个单独的结构来确定是否存在一个单独的结构，以描述或衡量对医疗技术的信任。然而，这超出了本研究的范围。

具体来说，对人工智能的信任仍然是一个重要问题，随着人工智能越来越多地融入我们日常生活中使用的产品，信任将随着时间的推移而显著增长。关于人工智能应该如何被信任，人工智能继续给研究人员带来一些困难。人工智能使用大量数据来支持基于强大可预测性而获得关注和考虑的决策，同时不模仿人类的思维过程。赫尔伯特(69)讨论了人工智能作为一种不断扩大其影响范围的技术，人们在日常生活中越来越依赖人工智能的使用。问题在于，人们往往缺乏对人工智能是否有能力完成被选择来执行的工作的考虑。

此外，人工智能的漏洞仍然存在。赫尔伯特(69他指出，人工智能只能在一定程度上被信任。然而，选择AI来完成任务的考虑和信任行为更适合于个人评估AI工具，而不是任务本身。

我们也主张对人工智能所做的决定持一定程度的怀疑态度。做出最准确的临床决策所需的怀疑程度取决于临床医生和人工智能系统的能力。假设我们了解了人工智能工具的好处和限制。在这种情况下，关于是否使用工具的决策需要放置信任(本质上是二进制的)，而不是考虑具有预定义规范的工具在多大程度上可以被信任。在涉及信任的人工智能文献中，作者将对人工智能的信任与对人类的信任进行类比的努力是值得注意的。例如，在Hengstler等人的研究中[70]，对自动驾驶汽车和医疗辅助设备等工具中使用的人工智能的信任度进行了调查[70］．他们试图将应用在汽车上的人工智能与人类社会互动进行类比。70］．他们的重点是理解人类和自动化之间的关系，理解信任是如何建立的。他们得出的结论是，对人工智能的信任与个人对创造人工智能的公司的信任密不可分。这项研究的哲学方法与研究人员对一般技术信任的研究方法非常不同[64，65］．研究人员的重点是建立对技术的信任和对人类的信任是完全不同的概念。因此，人工智能作为一种类似于人类智能的智能形式，其本质可能会影响人们对人工智能的看法，甚至在学术研究中也是如此。

人们对人工智能的信任在自动化(非人工智能技术)和人际信任(对人类的信任)之间具有共同点。格里克森和伍利[71]讨论了之前关于人类对人工智能信任的研究。他们指出，人工智能和其他技术之间存在着关键的差异，这影响了信任的形成和运作方式，类似于人类和技术的信任。对人工智能的认知和情感信任与人工智能的表现形式(无论是机器人的、基于网络的还是嵌入式的)和人工智能系统的智能水平有关。这些因素对于建立人们对人工智能的认知和情感信任是不可或缺的。在人工智能在医疗保健中的应用范围内，将人工智能概念化为具有一些拟人化的品质变得越来越明显。Kerasidou [72研究了人工智能在医疗保健中的应用，重点关注移情、同情和信任等问题。她指出，这些都是人们不应该重视人工智能的特征。然而，人工智能在医疗中扮演的角色是人工智能完成传统上由人类完成的几项任务。该技术必须以任务为导向，并通过执行更多与患者治疗的情感和舒适方面相关的活动来支持人类的医疗保健。总之，这些发现为人工智能提供了进一步的支持，该工具可以发挥支持作用，并使人类能够获得信任，从而有利于他们的医疗服务。

患者安全与人工智能决策

医疗护理最基本的方面是医生不伤害(患者安全)的承诺。希波克拉底誓言是卫生保健专业人员在与患者合作时必须遵守的标准。因此，了解人工智能如何影响患者安全对这项研究至关重要。

医疗保健人工智能研究对药物开发、个性化医疗和患者护理监测做出了积极贡献[73-76］．人工智能也已被纳入电子健康记录，以识别、评估和减轻对患者安全的威胁[77］．最近的研究和综述主要集中在人工智能在诊断层面的表现，如疾病识别[78-83]，以及手术和疾病管理中的人工智能机器人[84-87］．其他研究也在临床层面实施了人工智能技术，包括评估跌倒风险[88]和用药错误[89，90］．然而，这些研究中的许多(如果不是全部的话)尚未在临床环境中实施人工智能，或已被临床医生用于常规临床活动。因此，我们注意到缺乏证据可以证实人工智能对现实生活中患者安全结果的积极影响。

人工智能对患者安全的影响在很大程度上取决于临床医生如何正确理解人工智能输出(信息和建议)，并据此做出临床决策。换句话说，对人工智能输出的误读可能会误导临床医生，并鼓励他们做出错误的临床决策，从而将患者的安全置于危险之中。随着人工智能的融合，技术的角色从单纯的传递信息来信息识别而且决策因此，阐明了临床医生-人工智能交互和协作决策的重要性。医疗保健背景下的大多数决策文献都集中在共同决策(临床医生-患者)及其对患者安全的影响。然而，没有研究考虑人工智能在临床决策(临床医生-人工智能)和患者安全方面可以发挥的重要作用。伍尔夫等人[91]认为明智的选择应该以人际关系的方式进行。Légaré等[92]还讨论了增加共享决策的重要性。

然而，医疗保健决策文献的关键发现也可能适用于基于人工智能的决策。例如，Edwards等人[93研究发现，在患者和临床医生共同决策的过程中，患者的健康素养程度决定了他们理解治疗的能力(在临床医生和患者之间建立了共享的心理模型)。同样，临床医生的人工智能素养将评估他们理解人工智能结果的能力，并做出明智的临床决策，从而确保治疗的依从性和安全性。

一般来说，信息解释和分析的重要性已在文献中得到充分承认[94］．例如，Tuffaha等[95]讨论了在医疗保健中使用信息分析的价值作为支持医疗保健决策方法的模型。信息分析方法的价值支持决策不确定性的测量和证据的充分性评估，以支持技术实施。宾德尔斯等[94]支持在卫生保健决策中使用信息分析的价值。尽管信息分析的价值是决策的一种实用方法，但目前缺乏人工智能的实施，也缺乏分析其对临床决策和患者安全影响的研究。这些发现提供了证据，证明安全问题必须以实证研究的形式得到进一步的关注，以为患者安全和关于人工智能的知情决策提供信息。目前的研究包括大量关于在任务和决策支持角色中使用人工智能的研究，在这些任务和决策支持角色中，用户或依赖人工智能使用的人可能面临人工智能技术可能造成伤害的风险。

建议架构

基于之前讨论的文献，本研究提出以下概念框架(图2)．该框架强调了临床医生对人工智能的认知功能和看法，涉及他们对技术的信任以及对患者安全(风险)的看法。此外，框架强调了认知功能情况意识、工作量、期望(表现和努力)、信任、患者安全、临床医生对人工智能的看法，以及对人工智能问责制的看法．

‎ 查看此图

为了探索描述临床决策中临床医生-人工智能相互作用的概念框架，每个自变量在认知人为因素和行为经济学文献中都有操作先例。情境意识的测量方法有很多，包括但不限于Endsley的3层模型、知觉周期模型[96]，活动理论模型[97］．同样的,工作负载有许多基于专业或职业的适度竞争性操作，包括但不限于科学和临床工作和职业[98，99］．关于对人工智能的认知，在操作上的先例相对较少[One hundred.，101］．与临床医生-人工智能交互描述模型中的自变量类似，的因变量信任在人工智能而且对患者安全的认知在计算机科学和医疗保健文献中有大量的操作化[102，103］．

因此，该框架构成了一种社会认知方法，扩展了分布式认知理论，从而解释了人工智能的生态有效性。该模型利用了前几节中回顾的研究所暗示的(通常是明确陈述的)措施，必须包括这些措施，以理解决策中任何人类-人工智能交互模型的生态有效性。这些经过验证和完善的量表包括修改后的美国国家航空航天局的任务负荷指数[104]，技术接受与使用模型的扩展统一理论[105]、多项目和先前验证的信任量表[106]及任务意识评定量表[107]用于态势感知[108］．从本质上讲，认知工作量和情境意识是有限理性的操作化[109]，期望和感知分别是动机和风险的操作化[110］．

现实生活中的决策过程偏离了新古典主义或理性的决策模型，该模型假设完美的信息和无限的吸收能力、时间、精力和其他资源——正如框架所暗示的那样。该模型的基本理论是动机的期望值理论，该理论假定，以特定方式行事的特定决策(即临床医生的人工智能派生决策)的概率取决于决策者相信特定行为将引发预期结果(即患者安全)的程度。该模型可以根据未来研究者的定量建模进行不同的说明。该框架强调了可能影响临床医生使用人工智能系统意愿的形成因素。该框架捕捉了影响临床医生在其临床工作流程中使用人工智能的意图的因素。换句话说，未来的研究人员可以利用这个框架来探索影响临床医生使用人工智能系统的认知功能的因素，并依次影响患者对安全性或风险的感知、对人工智能的信任以及使用该技术的意图。随后，该框架还使我们能够了解人工智能是否以及如何影响临床决策。