医学人工智能成本效益分析的临床、技术和财务方面的评估:范围审查和分析框架

简介

人工智能(AI)最广泛的定义是:“它是制造智能机器，特别是智能计算机程序的科学和工程。”这与使用计算机了解人类智能的类似任务有关，但人工智能不必局限于生物学上可观察到的方法。1］．在医疗保健领域，人工智能经常被引用[2，3.作为工具[4]以改善诊断[5]，方便筛选[6]，并优化手术预约[7]，以及其他用例。要理解这些有希望的结果，就需要考虑到人工智能研究和开发(R&D)在技术上有很高的要求，需要长期持续的经济支持。人工智能的一些独特特性，如其高技术复杂性和潜在用例的多功能性，使用标准成本效益分析研究人工智能解决方案复杂化，这在医疗保健部门的药物干预中很常见。这反过来又使决策者判断其整体价值变得复杂。8-10］．

目前，定义人工智能研发资金决策的方面，如这些企业的成功率和激励这些投资的货币化策略，仍未得到充分研究。我们认为，这个问题在一定程度上是由于缺乏框架来明确说明人工智能分析的这些排他维度，从而使解决方案的报告具有可比性、可重复性和实用性[11］．

因此，我们提出了以下理论:

1. 如果没有临床相关性(医疗保健利益相关者的明确价值主张)，具有有效技术组件(数据的可用性和注释、软件组件、监管组件等)和可行的货币化策略(适当的支付机制或模型)的人工智能解决方案可能仍然与医疗保健系统无关。
2. 如果不满足技术要求，具有明确和有前景的财务潜力的临床相关人工智能工具在技术上可能仍然是不可实现的。
3. 如果没有足够的货币化来证明任何开发和恢复任何投资，临床和技术上可行的(甚至是可取的)AI解决方案在经济上是不可行的。

以前的系统文献综述分析了现有的大量证据，并得出结论，很少有研究以足够严谨的方法评估人工智能的经济影响[12］．重要的是，到目前为止，还没有一篇综述通过一个与经济投资有关的全面框架来看待人工智能的发展[13]，临床影响，以及技术的技术发展，考虑到投资人工智能项目的机会成本，这是制药行业的标准[14］．为了提高我们对人工智能解决方案的理解，并评估通过整合这些解决方案给患者带来的价值，我们必须考虑这些因素。15，16］．

我们进行了系统的范围综述，从临床、技术和经济角度评估现有文献。根据我们上面讨论的理论，我们采取了范围界定的方法来总结我们综述中包含的文章，并构建了一个框架，便于从这三个角度进行人工智能研发的比较。

范围审查具有可复制性和系统性，特别适合评估现有证据，并最终为研究和政策优先事项提供信息[17-19］．通常，他们允许一个探索性的研究问题在现有的证据体系中提出，以暴露研究差距[19］．为了总结我们的范围审查，我们制定了一个卫生政策框架，根据现有的卫生政策分析最佳实践指南，将现有框架合并和调整到这种新技术[20.］．其中包括探索一种新的综合方法，并使我们的假设明确、合理、相互关联，并对实证测试开放，同时专注于与现有的分析人工智能技术的方法进行协同。

方法

综合和报告

使用我们的分析框架，根据与人工智能解决方案相关的临床、技术和经济维度对纳入我们范围审查的文章进行了分析[21］．我们认为人工智能解决方案是任何能够分类、推荐、分析或建议改进临床或组织流程的算法，而无需之前接触所分析的数据。我们包括为特定目的开发的人工智能解决方案，作为软件即服务使用的第三方人工智能解决方案，以及在所提供的服务中包含人工智能算法的软件解决方案。

然后，我们设计了一个框架来确定范围并分析我们的范围综述中包含的文献。这是通过根据我们提出的理论组合不同的现有框架并从中推断而实现的[20.］．然后，我们继续调整和量化适用于本研究的类别。然后，我们将其应用到我们的研究方法中进行验证，并继续评估其饱和度。目的是评估其可用性，以及确定哪些组件更频繁地部署在现场。

是次检讨遵循Levac修订的原则[18，22］．报告遵循PRISMA(系统评价和元分析首选报告项目)[多媒体附件1] 2020年声明[23］．该综述无法在PROSPERO数据库中注册，因为从2019年10月起不包括范围综述。协议条目可根据要求从作者处获得。

合格标准

我们包括所有形式的经济评估、成本效益报告，以及任何与医疗保健相关的参与者使用的人工智能解决方案或人工智能算法的经济影响报告。我们的人群包括病人、卫生保健提供者、保险公司、制药行业和卫生保健用品供应商。干预措施需要通过编程语言直接使用人工智能，该语言允许使用现有的开源平台或数据分析库分析特定的数据库，以及定制软件中的集成人工智能解决方案。我们更喜欢将人工智能与至少一个比较对象(理想的护理标准，即对照)进行比较的研究，但我们也评估了那些没有对照组的研究，因为新的治疗路径或分析可能没有明确的比较对象，例如从保险角度进行欺诈检测。在我们的回顾中包括的结果进行了效用、效益、有效性或成本评估的比较。没有设定出版日期的时间限制。我们的搜索仅限于英语和德语(我们团队的主要语言)。

信息源、搜索和研究选择

检索了MEDLINE(通过PubMed)和Embase(通过Ovid)截至2021年4月发表的研究。搜索策略适用于每个数据库。PubMed使用了以下搜索策略:(((((((经济分析[标题/摘要])OR(经济评估[标题/摘要])OR(成本效益[标题/摘要])OR(货币化[标题/摘要]))AND(人工智能[标题/摘要])OR(卷积神经网络[标题/摘要])OR(机器学习[标题/摘要]))OR(深度学习[标题/摘要])

两名审稿人(JGR和BF)独立筛选了已确定的研究的资格。评估了潜在符合条件的研究(JGR和BF)，并与第三位审稿人(FS)协商一致决定纳入。我们创建了一个引用源列表，然后继续手动检索源，并全面评估文章的收录。当第二个来源导致第三个来源，并且第三个来源符合纳入标准时，该来源也被纳入并归类为“引文研究”。为了扩大我们的范围，我们在网上进行了手工搜索，以寻找所包括的研究中提到的监管AI数据库的科学参考文献，这些研究包括在“网站”中确定的研究中。详情见图1．在搜索策略中不包括特定医学学科的决定是经过深思熟虑的，目的是实现广泛纳入为医学数据库量身定制的文章。

‎ 查看此图

包含/排除标准

人工智能研究的入选标准如下:(1)使用人工智能或其包含的任何技术(机器学习、深度学习等)开发的解决方案;(2)应用于任何直接向病人提供服务的医疗领域/医疗设施，以及(3)对该技术的成本效益分析提出的任何索赔，而不论所采用的方法。

排除标准为灰色文献，以适应范围综述中缺乏偏倚评估的风险。

数据收集过程和收集项

数据提取由两名审稿人(JG和BF)在试运行的电子表格中独立执行。符合条件的研究收集在一个电子表格中进行筛选，由每个审稿人独立执行。符合纳入标准的研究由每个审稿人标记，并在与其他审稿人的结果进行比较后接受。分歧通过基于共识的讨论来解决，如果无效，则通过咨询第三个审稿人(FS)来解决。

收集了以下数据:进行研究的年份和国家，测量了什么结果和如何测量，假设支付人的观点，考虑了比较国(如果适用)，测量了什么好处，以及使用了什么分析来比较与基线病例的效果差异。在适用的情况下，收集以下数据:谁注释了用于训练算法的数据，数据集是如何组成的，用于训练算法的图像类型或信息类型，假设用例，使用AI算法，考虑诊断准确性(敏感性/特异性)。

数据综合与框架构建

我们的政策框架是根据Walt等人[20.]和赫特里克等人[24]以综合我们收录的文章。根据我们的理论，综合框架考虑了以下3个维度:临床方面、技术方面和货币化/经济方面。为了分析这些维度，2位作者(JGR和BF)继续生成3个独立的列表(每个维度1个)，包括在分析中，并根据文章的完整性、正确性和逻辑一致性对AI分析进行排名。然后对选定的框架进行调整，并将其提交给第三审稿人(FS)，后者通过对差异进行最终投票并在证据不易获得的情况下提出替代方案，协助在我们的研究理论范围内保持工具的开发。

我们不再使用工具来评估偏倚风险或评估方法学质量，因为范围审查的目的不是对特定问题产生批判性评估和综合的结果/答案。它们的目的是提供一个证据的概述或地图。因此，通常不会对范围审查中包含的证据的方法局限性或偏倚风险进行评估[17］．使用PRISMA检查表进行系统范围审查。

生成的框架可以在多媒体附件2．

人工智能研发的临床思考

首先，人工智能解决方案根据美国医学院协会(Association of American medical Colleges)制定的分类方法，按照它们应该设计的医学学科进行分类(第1a部分)。25，并修改为包括牙科。我们这样做是为了更广泛地覆盖这个框架中包含的所有医学学科，因为牙科可能不在医学院的管辖范围内，而是属于牙科学院，尽管它属于卫生保健领域。这些类别包括过敏和免疫学、麻醉学、皮肤学、放射诊断学、急诊医学、公共卫生学、内科、医学遗传学、神经学、核医学、妇产科、眼科、病理学、儿科、物理医学和康复学、精神病学、放射肿瘤学、外科、泌尿学和牙科。

其次，我们考虑了用户的观点(1b)，定义为那些使用或受益于使用人工智能解决方案的人。在卫生保健方面，使用服务的人(在此分类中反映)和支付服务的人(在此框架的经济考虑中分析)之间存在差异;3 b)。这种分类的类型学是从Sneha等人的工作中提取出来的[26他对电子健康的价值主张进行了分类。这些类别如下:患者、医疗保健专业人员、保险公司、制药公司和供应商。

第三，分析了价值主张(1c)，即使用AI解决方案带来的好处。我们的分类源自Gorski等人发布的软件和移动健康框架[27]和瓦尔特等[28他定义了软件的价值主张，并将其修改为包括人工智能在内。这些类别如下:改善用户或专业人员的体验，改善数据收集/管理，将筛查外包给另一个提供者，改善融资，优化直接资源利用(优化流程所利用的医疗资源:资本或劳动力)、优化的间接资源(等待时间、检测可能取消的预约等)、品牌、欺诈检测/质量控制、风险评估、改进的供应商/产品推荐、社区建设和透明度、会计效益、节约能源、更换旧的基础设施(流程外包)、改进的数据安全性、改进的移动性、改进的可用性、改进的易用性、改进帮助台质量(跟进案例和聊天机器人)，促进创新，改进服务或产品的实施，以及战略灵活性(降低沉没成本)。

作为“AI价值主张”，我们增加了优化，我们将优化定义为用相同的资源提高产出或降低成本产生相同的产出。我们承认，随着人工智能为用户揭示新的价值，这种分类可能需要随着时间的推移进行修订。

最后，人工智能解决方案根据2017年起的“欧盟软件作为医疗设备法规(MDR)”进行分组(1d) [29]，使用二元分类来评估上市前批准的需求。由于风险的确切确定通常由监管机构独立评估，因此这种分类是有意通用的，以区分可能成为医疗设备一部分并影响护理路径的人工智能解决方案与不需要监管机构市场预先批准的用例。类别为“否”或“I/II/III类”(需上市前批准)。

人工智能研发的技术层面

在医疗保健领域开发人工智能解决方案的要求可能特别高，因为在某些情况下，监管机构要求在授予市场批准之前对这些产品进行广泛的测试。因此，人工智能投资者可能会预期进入市场的成本较高，成功率较低。预计人工智能投资者将从制药公司的角度出发，并期望从一个成功的数字产品中获得的好处可以弥补其他项目的高失败率[30.-34］．这是制药领域的普遍做法。35］．因此，该框架评估了每个成功进入市场的人工智能解决方案的直接研发成本(2a)和未进入市场的共同开发产品的研发成本(2b)。

生成的每个AI解决方案的直接成本(2a)分为劳动力和资本2类。我们认为以下是人工智能开发的“固定”直接成本(一次性支付):数据生成/获取、数据标记、数据科学、软件工程服务、管理费用(营销、管理和硬件)和监管成本。

从投资者的角度来看，制药行业的研发成本(2b)包括投资开发人工智能解决方案的成本，并根据失败的风险进行调整。在这个行业中，先前的研究已经估算了每年每种治疗产品的直接和间接(人员和管理费用)研发成本，并使用美国消费者价格指数[根据通货膨胀率调整为美元]对每个新产品推向市场的成本。36］．其他研究通过评估制药公司管理的所有项目，包括那些失败的项目，回顾性地评估了投资制药产品的机会成本，并将总研发成本除以成功项目的成本，得出这些企业的“资金成本”，因为历史上实际资金成本率每年为10.5% [14］．这使投资者在考虑其他投资机会时，可以估计所需的无风险回报率，以每年的溢价支付[37，38］．我们的框架中包含的人工智能的研发成本很可能会导致严重低估，因为到目前为止，关于医疗保健领域人工智能投资回报的信息还不够。

“可变”成本或每件商品的销售成本随着产出而增长(2c)。它们是基于牙科领域的真实人工智能解决方案估算的[39) (多媒体)，专门考虑云基础设施和客户支持。尽管这一假设可能低估了其他运行成本，例如算法的改进、市场营销和监控等，但它试图明确指出，AI的一些商业用例需要一个专门的上市后发布团队，该团队稍后可以添加到我们框架的“其他”部分。

我们评估的类别仅包括“云基础设施”、“客户支持和质量管理”、“第三方产品”和“其他成本”。

AI的盈利

这个维度明确地分析了AI解决方案的支付机制(3a)和支付模式(3b)。值得注意的是，人工智能解决方案的潜在受益者和用户比分析标准药理产品的临床结果时所采取的狭隘的患者视角更加多样化。付款机制源自Deighton等人对数据价值的分析[40］．为了进行可能的跨国比较，以及不同用例之间的比较，我们只关注支付方式，而不考虑我们正在评估的国家的立法。由于不同产品在进入市场方面存在许多重大差异，因此应谨慎解读结果。依赖于盈利场景的特定业务模式在某种情况下可能具有很高的影响力、成本效益和利润，但在另一种情况下则完全无关、不太符合成本效益或完全非法。正因为如此，这一类别只专注于命名文献中发现的盈利选项，同时保持对未来盈利场景的开放态度。我们承认，对于人工智能开发者来说，如何以及在哪里进入市场的决定将取决于对迅速变化的法律环境的全面评估，而这一评估没有考虑在内。

分析的付费机制类别包括:授权或白色标签、一次性购买、免费和付费、SaaS(假设提供的每项服务都有固定费用)、宣传、绩效付费、利润分成、共享储蓄、捆绑支付和排他合同。

适当的支付模式是数字健康领域健全商业模式的必要条件[41］．如前所述，这个类别有助于明确地评估谁应该为解决方案付费，以及以何种合同方式支付，而不是谁从AI解决方案中受益。这一类别区分了专注于向其他公司提供服务的人工智能解决方案公司(称为“企业对企业”或“B2B”)和专注于向个人消费者提供相同人工智能服务的公司(“企业对消费者”或“B2C”)。

偏误风险

所有的分类都由评审团队(JGR、FS和BF)仔细评估，分歧通过讨论解决。由于数据异质性高，进一步的元偏倚定量综合或评估是不可行的。本综述未包括偏倚风险或方法学质量评估，因为范围综述的目的不是对特定问题产生批判性评价和综合的结果/答案，如前所述[17］．

结果

包括研究和数据描述

已确定的研究的映射在图2．研究根据人工智能的临床、技术和经济方面进行分组。每篇文章在我们的框架中根据从文献中提取的预先建立的类别进行分类。当无法获得分类所需的信息时，相应的人工智能解决方案被归类为“未指定”。AI解决方案只能包含在1个级别。

‎ 查看此图

通过数据库筛选，我们初步确定了4820篇符合审查条件的文章。筛选后，检索并全面评估了16项研究，其中6项纳入了本综述(图1)．此外，通过网络搜索和引用搜索确定了其他7项研究。被排除的研究不符合考虑他们分析的人工智能解决方案的成本效益维度的标准。三篇系统的文献综述符合我们提出的纳入标准。其中两项研究是由一个政府机构进行的，旨在寻找具有成本效益的诊断筛查疗法。

多媒体附件4符合纳入标准的文章摘要[39，42-53］．所包括的研究表明，人工智能解决方案用于生成推理的数据和所使用的算法类型存在广泛的可变性，并经常将其结果与护理标准进行比较。纳入的13项研究中，5项(39%)发生在美国，2项(16%)发生在德国，2项(16%)发生在加拿大，新加坡、土耳其、赞比亚和英国各1项(7%)研究。

大多数研究包括(13项中的9项)评估AI解决方案，这些解决方案可能需要某种形式的上市前授权。内科和急诊仍然是最常被学习的专业。在5个案例中研究了针对患者和医疗保健提供者的人工智能解决方案。优化直接资源使用仍然是最常见的价值主张(7/ 13,54%)。

所分析的技术方面在很大程度上仍未得到解决。除了3项(23%)研究外，大多数分析人工智能解决方案成本效益的文章都忽略了可变成本。只有一项研究估计了研发的固定成本，忽略了任何从投资者角度报告的机会成本。没有一项研究考虑到数据获取或企业失败的成本。

所分析的经济方面在很大程度上仍然被低估。此外，即使在那些假设了支付模式的研究中(6/ 13,46%)，也无法在分析的用例中确定支付机制。少数分析人工智能成本效益的文章明确陈述了假定的支付机制(5/ 13,38%)，大多数(8/ 13,62%)没有充分报道该机制。

讨论

主要研究结果

人工智能是一种新颖但极具前景的多功能技术，具有在医疗领域高精度承担不同任务的能力，与标准药品不同，它可以在各种不同的用例中帮助卫生保健系统的不同参与者。然而，与其他领域相比，标准的成本效益评估可能需要调整，这就是为什么本研究开发了一个通用的评估框架，并促进开发者、患者、医生和决策者之间的沟通。

我们的框架的使用促进了对AI不同维度的全面评估，并对AI研发做出了明确的假设，这在以前的研究中经常被监督。我们认为，考虑到这些因素，可以通过考虑适当的预算来帮助优化研究解决方案，使其产生最大的影响。重要的是，这个框架可以通过明确说明开发成本，为决策者和开发者协商支付方式提供共同基础。

使用我们的框架对我们的结果进行的分析表明，我们研究中包括的大多数经济评估报告了人工智能的临床或组织效益，但没有适当的披露和证明这些主张的技术和财务方面的理由。因此，很可能没有充分反映相关的信息和方面，可能导致这些研究得出有偏见的结论。这似乎是相关的，因为它可能要求改进人工智能研发的报告，特别是在围绕技术和货币化方面的成本领域，以促进认识到人工智能开发将为社会带来最大利益的利基市场。

我们的研究结果还要求进一步考虑分析的设置，因为监管和市场准入可能会有很大差异，并决定人工智能解决方案的经济可行性。更透明地披露临床、技术和经济方面的信息，不仅可以产生共同点，将有前景的项目与技术过于复杂或临床无关的项目区分开来，还可以简化人工智能开发人员、投资者、临床医生、患者和监管机构之间的合作。

优势与局限

首先，在本综述中，我们没有全面评估纳入研究的定性方面，如其偏倚风险。根据我们最初计划的范围，这一限制似乎是可以接受的，我们最初计划的范围是开发一个分析框架，以衡量现有研究的全面性和完整性。其次，尽管我们的框架可能需要进一步的分析类别和未来的调整，但我们相信它已经成功地明确了现有文献中当前的研究差距。第三，我们承认缺乏其他全面的分析框架，支持我们分析的证据也有限，这就是为什么本文应该被视为人工智能在医疗保健领域成本效益科学分析的开始。我们承认，在一个继续快速发展的领域，我们的结论是初步的，我们的结果应该谨慎解释，因为未来的分析方法必须与新的人工智能解决方案联合开发。

未来的研究可能会验证或推翻这个框架的完整性，并可能随着人工智能技术随着时间的推移继续扩展其功能，继续改革其部分组件。此外，未来的范围综述可以帮助获得该技术随时间发展的概述，并有助于确定涉及人工智能的子领域之间的适当比较，这可以极大地促进生成侧重于临床有效性的系统文献综述，如荟萃分析和正式的成本-效益比较。

结论

我们研究中回顾的文献很少，似乎不够全面，不足以对人工智能促进高性价比医疗保健的潜力进行结论性分析。虽然一些研究已经显示了人工智能采用的积极影响，但未来的研究应该改进人工智能开发技术方面的报告。这对于更好地比较这种新颖且高度通用的技术的类似用例似乎很重要。我们相信，采用本研究中讨论的框架可以促进对这项技术的潜力进行更有力的科学分析和更明智的结论。