医务人员和住院医师对使用深度学习进行眼病筛查的偏好:离散选择实验gydF4y2Ba

介绍gydF4y2Ba

视力丧失，定义为视力损害或失明，正在成为公共卫生的一个重要方面[gydF4y2Ba1gydF4y2Ba]，影响经济、教育和就业机会，降低生活质量，增加死亡风险[gydF4y2Ba1gydF4y2Ba]．因此，根据世界卫生组织最近的眼保健能力框架，应强调各级卫生系统的眼保健连续性，特别是初级卫生保健，以支持全民健康覆盖[gydF4y2Ba2gydF4y2Ba]．gydF4y2Ba

高质量的眼病预防保健，如有效的筛查，可帮助消除近57%的失明病例[gydF4y2Ba3.gydF4y2Ba]．如今，人工智能(AI)逐渐应用于眼病筛查，可能有助于解决筛查能力、人员成本和诊断专业知识等有限和难以维持的资源[gydF4y2Ba4gydF4y2Ba]．人工智能模型的准确性极大地影响了眼病筛查的成本效益[gydF4y2Ba5gydF4y2Ba]．不幸的是，尽管美国食品和药物管理局(FDA)设定了强制性的准确性水平，灵敏度超过85%，特异性超过82.5% [gydF4y2Ba6gydF4y2Ba]，人工智能辅助眼病筛查系统在现实世界中的准确性远远低于模型开发阶段的报告[gydF4y2Ba7gydF4y2Ba]．因此，在现实社区眼病筛查中，明确医护人员和住院医师对AI模型准确性的要求是十分必要的。但是，目前还没有相关的研究。gydF4y2Ba

为了填补这一证据空白，我们于2021年8月至2022年1月对中国上海的卫生保健提供者和居民进行了离散选择实验(dce)。我们旨在揭示医务人员和居民对在社区眼病筛查中使用人工智能技术的偏好，特别是他们对准确性的偏好。DCE技术起源于数学心理学，已被引入健康经济学，以引出人们对健康和医疗保健的偏好[gydF4y2Ba8gydF4y2Ba]．此外，DCE技术可以预测选择，模仿现实世界中的医疗保健决策(正确预测>93%的选择)[gydF4y2Ba9gydF4y2Ba]．gydF4y2Ba

方法gydF4y2Ba

研究背景gydF4y2Ba

2019年，上海拥有2400万人口，是中国的经济、科技创新中心。它也是世界上第一批采用深度学习(DL)模型建立可负担和可持续的社区眼病筛查系统的城市之一。2015年起，上海建立了覆盖所有社区卫生服务中心的远程眼科眼病筛查体系。居民每年可在社区卫生服务中心由训练有素的全科医生免费拍摄眼底照片一次。眼底照片然后通过专用信息系统发送到指定的眼病诊断中心。诊断中心的眼科医生阅读眼底照片并进行诊断后，将筛查结果反馈给社区卫生服务中心。全科医生可能会告知居民筛查结果并提供医疗建议。gydF4y2Ba

2020年，利用云服务器上的DL模型代替诊断中心的眼科医生进行筛查诊断，建立了人工智能辅助眼病筛查系统(gydF4y2Ba图1gydF4y2Ba) [gydF4y2Ba10gydF4y2Ba-gydF4y2Ba12gydF4y2Ba]．DL模型用于社区眼病筛查的准确性已被广泛报道[gydF4y2Ba6gydF4y2Ba，gydF4y2Ba11gydF4y2Ba，gydF4y2Ba13gydF4y2Ba，gydF4y2Ba14gydF4y2Ba]．到目前为止，已有56个社区卫生服务中心转向人工智能辅助眼病筛查系统。2021年，这些社区卫生服务中心利用DL模型对4万多名居民进行了筛查，发现了7000多名疑似眼病的居民。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

离散选择实验与参与者包容gydF4y2Ba

我们进行了2次dce，以评估医务人员(实验1)和居民(实验2)在社区眼病筛查中使用DL模型的偏好。使用DCE的主要原因是，简单地要求受访者对筛选策略属性进行评级或从量表中选择他们喜欢的项目，通常不会比他们想要所有收益而不想要间接或直接成本这一事实获得更多的信息[gydF4y2Ba15gydF4y2Ba]．就像在现实生活中一样，在可能增加效用(例如，提高诊断准确性)和减少效用(例如，每位居民的筛查费用为40元人民币[6.15美元]，而不是免费)的选项之间进行选择，迫使他们做出权衡和选择。gydF4y2Ba

根据先前发表的文献[gydF4y2Ba4gydF4y2Ba-gydF4y2Ba7gydF4y2Ba，gydF4y2Ba16gydF4y2Ba-gydF4y2Ba18gydF4y2Ba]，初步确定了4个属性来描述社区眼病筛查的轮廓，包括准确性、筛查结果反馈效率、眼科医生参与程度和成本。值得一提的是，“筛选结果反馈效率”被包含在属性中，因为近乎即时的反馈可能会增加依从性[gydF4y2Ba18gydF4y2Ba];此外，“眼科医生参与程度”也包括在内，因为可能存在算法厌恶[gydF4y2Ba19gydF4y2Ba]．为了评估这些潜在属性及其水平的适宜性，在上海眼病控制和治疗中心对5位眼科保健专家进行了面对面访谈。基于这些访谈，属性gydF4y2Ba精度gydF4y2Ba由于“漏诊率”和“过度诊断率”可能对眼病筛查的可接受性有不同的影响，将其分为以下2个属性:“漏诊率”和“过度诊断率”。此外，还增加了“组织形式”和“筛选结果反馈表”两个新属性，因为采用DL模型有可能改革筛选程序。因此，用7个属性来描述社区眼病筛查的轮廓，每个属性分为3-6个层次(gydF4y2Ba表1gydF4y2Ba）.三种SAS (SAS Institute Inc .)程序——“%mktruns”、“%mktex”和“%choiceff”用于编制问卷[gydF4y2Ba20.gydF4y2Ba]．问卷由以下两部分组成:被调查者的基本信息，如性别和年龄，以及几个选择集，每个选择集包含2个不同筛选属性水平的选项(gydF4y2Ba图2gydF4y2Ba）.被调查者被要求在每个选项集中选择更有利的选项，他们不允许在一组中同时选择或不选择[gydF4y2Ba21gydF4y2Ba]．gydF4y2Ba

实验1选取上海市1个市级、16个区级眼病控制中心和250多个社区卫生服务中心。为了接受理性而非虚构的选择，我们设置了以下两个严格的入选标准:(1)他们有5年以上基于远程眼科的眼病筛查经验;(2)他们有1年以上dl辅助眼病筛查经验。符合标准的机构共有34家，其中市级眼病控制中心1家(3%)，区级眼病控制中心16家(47%)，社区卫生服务中心17家(50%)。gydF4y2Ba图3gydF4y2Ba）.这34家机构的40名社区眼病筛查主要负责人均被邀请并同意参与实验。由于被调查者的数量有限，我们不得不让每个人回答相对较多的问题。根据经验法则，正如Johnson和Orme提出的[gydF4y2Ba22gydF4y2Ba]，我们将备选筛选策略分为30个选择组，每组2个选项，以确保40人的样本量符合统计要求。实验以自我管理问卷的形式进行，有一位训练有素的调查员随时准备解释问卷。一名受访者因临时工作安排而辞职。因此，最终可获得39名医务人员的数据。gydF4y2Ba

在实验2中，我们从参与实验1的17个社区卫生服务中心中随机抽取2个，在开展人工智能辅助社区眼病筛查时进行居民调查。所有参加筛选的居民都被邀请参加实验。由于居民人数较多，我们将备选筛选策略分为10个选择组，每组2个选项，以减轻每个被调查者的回答负担。根据经验法则，正如Johnson和Orme提出的[gydF4y2Ba22gydF4y2Ba]，所需样本量的最小值为125。调查了318名居民(gydF4y2Ba图3gydF4y2Ba）.为了帮助居民理解问卷，实验采用面对面的提问方式，由训练有素的调查员进行。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

统计分析gydF4y2Ba

计算定量变量的均值、中位数和标准差。对于分类变量，特定类别中的数量以百分比计算。名义变量的Pearson卡方检验和Mann-Whitney检验gydF4y2BaUgydF4y2Ba采用连续变量检验进行统计分析。采用逐步选择法的条件logit模型，以选择反应作为二元因变量，以每个属性的水平差异作为自变量，探索每个属性级别的显著偏好[gydF4y2Ba21gydF4y2Ba]．使用两个模型分别估计医务人员和居民的偏好，以比值比(ORs)表示每个属性水平。采用SAS 9.4 (SAS Institute Inc .)软件进行统计分析。显著性水平设为gydF4y2BaPgydF4y2Ba< . 05。gydF4y2Ba

伦理批准gydF4y2Ba

所有的参与者都是成年人。在入组前获得所有参与者的书面知情同意。这项研究遵循《赫尔辛基伦理宣言》的原则。本研究已获得上海市总医院伦理委员会批准(2022SQ272)。gydF4y2Ba

结果gydF4y2Ba

医务人员平均年龄为39.67岁(SD 6.98)，负责眼病筛查的平均年龄为6.73年(SD 5.76)。居民平均年龄68.62岁(SD 6.96);318名参与者中，男性120人(37.74%)，女性198人(62.26%)。显示了受访者的详细特征gydF4y2Ba表2gydF4y2Ba。gydF4y2Ba

表3gydF4y2Ba给出了条件logit模型的结果，评价了被测属性水平对医务人员和住院医生偏好的影响。在39名医务人员中，所选择的属性对偏好的影响在7个属性中有4个具有统计学意义。总体而言，医务人员更倾向于采用AI技术的属性层次，过度诊断率更低，筛查成本更低，筛查结果反馈效率更高。属性“组织形式”、“漏诊率”和“筛选结果反馈形式”的结果是不确定的——属性水平与统计上显著的效用差异无关。gydF4y2Ba

此外，我们关注的是诊断的准确性。对于漏诊率，医务人员对漏诊率的偏好在0%和20%之间无显著差异。但对于过度诊断率，与无过度诊断率相比，医护人员对10%过度诊断率的偏好度显著降低(OR=0.61;gydF4y2BaPgydF4y2Ba<措施)。gydF4y2Ba

在318名居民中，所选择的属性对偏好的影响在7个属性中有3个具有统计学意义。总体而言，居民不赞成全自动DL模型的属性水平(OR=0.24;gydF4y2BaPgydF4y2Ba<.001)，但他们更倾向于低筛查成本和GP口头解释的属性水平。“组织形式”、“漏诊率”、“过度诊断率”、“筛查结果反馈效率”等属性的结果尚无定论。所有属性水平都与统计上显著的效用差异无关。gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

据我们所知，本研究首次定量评估了现实世界中医务人员和居民在社区眼病筛查中使用DL的偏好。由于在数字世界中实现全民健康覆盖的最重要问题之一是数字技术是否有助于提高卫生保健服务的可接受性[gydF4y2Ba23gydF4y2Ba，gydF4y2Ba24gydF4y2Ba，我们的研究对于这项新技术的转化、应用和推广具有重要意义。基于34家医疗机构的人工智能辅助眼病筛查的多中心实践，被调查的医务人员和居民都有真实的人工智能服务体验。我们发现，与完全人工诊断相比，人工智能技术更受医务人员的青睐，即使在调整了诊断准确性、成本和效率的影响之后也是如此。然而，居民们不赞成没有医生监督的人工智能技术。此外，为了满足医务人员的偏好，人工智能辅助眼病筛查技术的准确性应该远远高于FDA的标准。相反，准确性并不是居民们优先考虑的问题。他们更喜欢让医生参与筛查过程，把准确性的选择留给他们的全科医生。gydF4y2Ba

采用DL模型进行社区眼病筛查是必要的。在DL模型发展之前，无论是进行传统的面对面筛查还是远程医疗系统，筛查都严重依赖眼科医生[gydF4y2Ba25gydF4y2Ba]．在这个阶段，大多数国家都负担不起持续的眼病筛查[gydF4y2Ba6gydF4y2Ba有两个原因。一方面，眼科医生有限的人力资源导致筛查成本极高[gydF4y2Ba5gydF4y2Ba]．另一方面，筛查的组织具有挑战性，需要眼科医生、社区卫生中心和居民同时进行协调[gydF4y2Ba25gydF4y2Ba]．因此，在上海，在采用DL模式之前，每个社区每年只能为大约300名居民提供筛查服务。相反，采用DL模式后，由于眼科医生资源不再是瓶颈，筛查使用量大幅增加到每个社区每年800人。gydF4y2Ba

在采用深度学习模型时，精度被认为是最重要的考虑因素之一。在筛查具有重大疾病的人群时，实现高灵敏度和高特异性对于最大限度地减少假阳性和假阴性结果至关重要[gydF4y2Ba26gydF4y2Ba]．既往研究表明，满足FDA推荐的灵敏度大于85%、特异性大于82.5%的法定准确度水平作为主要终点是可行的[gydF4y2Ba6gydF4y2Ba，gydF4y2Ba22gydF4y2Ba，gydF4y2Ba27gydF4y2Ba，gydF4y2Ba28gydF4y2Ba]．然而，当深度学习模型应用于现实世界时，其精度大大降低[gydF4y2Ba7gydF4y2Ba]．那么问题来了，“在现实世界中，医护人员和住院医生对AI模型的精度要求是什么?”gydF4y2Ba

我们的研究试图从医务人员和居民在现实世界中以社区为基础的眼病筛查中的偏好来回答这个问题。虽然理想状态是100%的准确率，但在现有的技术条件下，医疗服务提供者必须在更高的灵敏度和特异性之间做出权衡。这两种结果都很重要——阳性病例应该被识别出来，但这不应该以过度敏感的筛查系统为代价[gydF4y2Ba29gydF4y2Ba]．gydF4y2Ba

我们发现，当过度诊断率超过10%时，医务人员的偏好显著下降。因此，DL模型的特异性应控制在90%以上的准确率。这并不是说敏感性不重要，而是说FDA的敏感性标准就足够了。一方面，敏感性是一项患者安全标准，因为眼病筛查的首要目标是识别可能患有眼病的人群，并需要眼科医生进一步评估[gydF4y2Ba22gydF4y2Ba]．在我们的研究中，一位全科医生声称“漏诊可能会损害居民对眼病筛查的信任，降低他们对筛查的热情”，而信任在医疗保健中是一个关键因素[gydF4y2Ba30.gydF4y2Ba]．另一方面，过度诊断率影响了接受不必要转诊的住院医师人数[gydF4y2Ba22gydF4y2Ba]．较高的过度诊断率意味着更多不必要的专科就诊，这可能给疑似患者带来不必要的心理压力，并进一步增加转诊费用[gydF4y2Ba31gydF4y2Ba]．因此，我们的研究结果表明，过度诊断会引起决策和执行机构的不满。gydF4y2Ba

然而，尽管准确性对医务人员来说至关重要，但结果显示，住院医生并没有把它放在首位。他们更关注的是医生是否处于医疗决策的中心。gydF4y2Ba32gydF4y2Ba]．人类在理解可能性和评估风险方面的能力是出了名的差，尤其是当它涉及到自己或亲人的健康时。gydF4y2Ba33gydF4y2Ba]．在人工智能时代，虽然医学知识(这是决策的基础)对病人来说将像医生一样容易获得，但大多数病人需要医生了解风险并将其传达给他们。gydF4y2Ba33gydF4y2Ba]．病人在拿不准自己的医疗决定时，会向医生寻求建议。gydF4y2Ba34gydF4y2Ba]．一项关于患者对人工智能使用态度的研究表明，患者认为他们的医生应该对他们的治疗计划有最终决定权，以避免遭受医疗人工智能错误可能造成的潜在伤害[gydF4y2Ba32gydF4y2Ba]．因此，人工智能工具应该被用作人类诊断医生的决策支持工具，而不是取代他们[gydF4y2Ba35gydF4y2Ba]．gydF4y2Ba

在其他属性方面，成本更低、反馈效率更高的AI技术在逻辑上更可取。成本是人工智能辅助眼病诊断技术应用的一个重要问题。因此，有必要进行卫生经济学评价[gydF4y2Ba36gydF4y2Ba]．幸运的是，有证据表明，使用人工智能技术可以节省筛查成本，这主要是由于在不牺牲筛查性能的情况下，大大减少了人工评估时间和人力[gydF4y2Ba5gydF4y2Ba]．gydF4y2Ba

传统的眼科诊断在很大程度上依赖于图像的解释，这往往是主观的和定性的[gydF4y2Ba37gydF4y2Ba]．由训练有素的人员阅读这些图像既不可持续，也无法有效利用专业知识，而人工智能技术对于促进照片的捕获、存储和解释至关重要[gydF4y2Ba17gydF4y2Ba]．从卫生系统的角度来看，眼底摄影中加入DL模型为大规模检测和监测视网膜疾病的平台提供了改进的机会，并取得了令人满意的结果[gydF4y2Ba13gydF4y2Ba]．此外，人工智能算法可能会弥补临床空白[gydF4y2Ba4gydF4y2Ba]．DL方法用于眼科的鉴别任务，例如诊断糖尿病视网膜病变或年龄相关性黄斑变性，可以增强现有的常见和罕见眼病数据集，而无需担心个人识别信息[gydF4y2Ba38gydF4y2Ba]．除了有助解决有限的筛检能力外，深度诊疗模式亦可减低人力成本及减轻远程眼科医护人员的负担[gydF4y2Ba4gydF4y2Ba，gydF4y2Ba39gydF4y2Ba]．卫生资源的不足和巨大的医疗负担可能是医务人员迅速接受DL方法的重要原因。gydF4y2Ba

关于反馈效率，最近的研究表明，近乎即时的反馈可能会提高患者的依从性[gydF4y2Ba5gydF4y2Ba，gydF4y2Ba18gydF4y2Ba]．人工智能辅助诊断技术应用最明显的背景是在初级眼科保健领域，需要分析的数据复杂，结果简单且定义明确，需要处理的人数很多[gydF4y2Ba18gydF4y2Ba]．在这种情况下，人工诊断需要大量的时间和精力，而人工智能可以不知疲倦地快速工作。gydF4y2Ba

限制gydF4y2Ba

本研究最明显的局限性是DCE仅在上海进行。然而，如前所述，上海是眼科数字化转型的先驱之一。因此，我们的研究对世界其他地区有一定的借鉴价值。第二个限制是我们实验中的居民主要是老年人。然而，这与参加上海社区眼科筛查的人群一致，因为年轻人大多在工作场所参加体检。gydF4y2Ba

结论gydF4y2Ba

综上所述，为满足医务人员和居民在社区眼病筛查中使用AI的实际偏好，强烈推荐医生监督下的DL模型，模型的特异性应高于FDA标准90%以上。此外，数字化转型应有助于医务人员摆脱繁重和重复的工作;然而，这不应该减少他们对保健服务的参与。相反，医务人员应该花更多的时间与居民沟通。gydF4y2Ba