用于婴儿的人工智能疼痛评估工具的临床适用性:可行性和可用性评估研究

简介

医疗程序，如免疫接种和其他注射、脚跟穿刺、静脉穿刺和包皮环切术，是幼儿疼痛的最常见原因之一[1，2］．与这些手术相关的疼痛被称为手术疼痛。全球每年接种80亿至120亿次疫苗[1］．入院时，儿童平均每天要接受4次手术，但实际数字可能更高[1，2］．不幸的是，程序性疼痛往往得不到充分治疗，这是一个问题，因为即使与针头有关的疼痛可能被认为是短暂的，其后果可能是长期的。在短期内，处理不当的与针头手术相关的疼痛可能导致手术时间增加，使用克制，增加疼痛和恐惧，头晕和昏厥，以及潜在的伤害[1］．此外，根据手术过程的不同，相关的疼痛也可能在接下来的几天成为一个问题，Wood等人证明了这一点[3.]他们在4天的随访中表现出疫苗接种后疼痛的持续性。男性包皮环切术是最常见的外科手术之一，也与随后需要治疗的持续疼痛有关，正如父母报告他们的孩子手术后的不适所建议的那样[4］．从长远来看，处理不当的手术疼痛可能与负面记忆有关，导致疼痛增加和对未来手术的恐惧，需要额外的止痛剂来达到同样的效果，以及推迟或避免手术(例如，疫苗犹豫)[1］．此外，有证据表明，急性疼痛暴露的程度与随后的认知、行为和体感结果之间存在联系，包括在面对后续手术时更强烈的疼痛反应[2，5］．

埃克莱斯顿等人强调了让疼痛可见的必要性。2]强调评估儿童疼痛的重要性，包括那些还没有获得自我报告能力的儿童，他们应该使用行为量表。在这方面，儿童面部表情的评估通常用于现有的各种观察性疼痛评估工具，是评估疼痛的有效手段[6］．然而，在临床实践中对这些面部表情的评价是通过直接观察来完成的，这一过程受到人类解码的挑战以及固有的主体性问题的限制[7，8］．例如，de Cassia等人[8]描述了暗示疼痛的面部表情如何经常不被人类识别，这取决于评估者是否是卫生专业人员，以及他们的知识和教育水平。这些挑战可能会导致婴儿疼痛的次优识别和治疗。不出所料，通过直接观察来探索克服与婴儿面部表情评估相关的局限性的自动化解决方案一直是一个感兴趣的领域，正如许多专注于通过自动识别疼痛面部表情来解决问题的研究所描述的那样[9］．然而，目前还没有在临床实践中使用的解决方案或在护理点自动化的过程。为了改善目前的状况，开发了PainChek Infant应用程序，这是一款支持即时护理智能设备技术的应用程序，使用自动面部分析来识别6个特定的面部动作单元(au)，以评估1个月至12个月婴儿的程序性疼痛的存在和强度[10］．该应用程序旨在提高评估婴儿程序性疼痛的客观性和准确性，并改善这一弱势群体的疼痛管理。PainChek Infant App已获澳洲医疗用品管理局(Therapeutic Goods Administration)批准为I类医疗设备，并在欧洲获得CE标志，"用于由医护专业人员和外行评估和监测1个月至12个月婴儿的程序性疼痛" [11］．与新生儿面部编码系统修订版(NFCS-R)和观察者管理的视觉模拟量表(ObsVAS)相比，PainChek Infant表现出高水平的内部一致性和良好到优秀的评分者间可靠性[10］．

这项研究的动机是，虽然建立新的疼痛评估工具的有效性和可靠性是必不可少的，但这些特征并不能保证它们被应用到临床实践中。因此，在本研究中，我们使用受试者操作特征(ROC)分析评估了PainChek婴儿工具的准确性和精密度，以及不同截止分数的敏感性和特异性。临床医生可理解性评估采用标准化问卷。基于与目前可用的用于婴儿程序性疼痛的观察性疼痛评估工具的比较，评估了其他可行性方面。我们探索了PainChek Infant的可行性和临床效用方面，因为它们也是评估新的疼痛评估工具的重要标准，因为它们决定了该工具在临床环境中的有用性和适用性[12，13］．这一点很重要，因为文献数据表明，在评估移动健康(mHealth)工具(包括疼痛评估工具)时，这些经常被忽视[14，15］．

方法

伦理批准

本研究获得了科廷大学人类研究伦理委员会(批准号:HRE2020-0315)和普里什蒂纳大学医学院(批准号:3812/17)的批准。

研究设计、设置和纳入标准

用于评估PainChek婴儿心理测量特性的方法的完整细节已在以前发表[10］．总之，与nfc - r和ObsVAS相比，对PainChek Infant准确检测和量化接受常规疫苗接种的婴儿疼痛的能力进行了评估。在2017年4月至2018年7月期间，从一个专门组装的410名儿童(其中329名婴儿)的数字图书馆中使用了40名婴儿的预录制视频。这40名婴儿是用电子随机发生器从329名婴儿中挑选出来的。从每个随机选择的婴儿中，提取四个10秒的片段:段0-基线(在婴儿为手术做任何准备之前[即仍在父母怀里]);片段1:准备(准备婴儿手臂并擦洗);第二段:接种疫苗后立即(手术过程中疼痛的部分[即，针头插入后10秒内]);和第三段恢复(疼痛过程后[即，插针后10 - 40秒])[10］．

疼痛评估由4名评估员独立完成，每人分配120个视频片段(即30个婴儿的视频片段)，从2个测试会话数据集中的一个进行评估。每个测试环节包括1名临床经验丰富(即儿科护士)和1名临床naïve评估员(即没有儿科临床经验的护理学生)。每位评估者使用3种疼痛评估工具(即PainChek Infant、nfc - r和ObsVAS)完成评估。有关研究设计和设置的细节已在下面的流程图中说明(图1)．

‎

我们测试了两种PainChek婴幼儿分析模式:自适应(预定的最小有效图像数量，在本例中为1张图像)和标准(预定的视频分析持续时间，即3秒)。评估人员完成了两轮评估，间隔4周。他们对其他评估人员的结果一无所知。每次使用单一疼痛评估工具完成疼痛评估，以尽量减少回忆偏差。此外，为了避免回忆偏差，视频片段的顺序由电子数据管理系统自动随机分配。每个测试会话数据集分配2名评估员;1名临床经验丰富，1名临床经验丰富naïve。

Clinimetric评价

使用NCSS统计软件(版本21;摘要,LLC)。疼痛情况根据疼痛评分类别确定，即无疼痛(0段:基线)和疼痛(2段:接种后立即)，预接种段和恢复段不包括在分析中。曲线下面积(AUC)是用零假设确定的，采用经验估计的上侧AUC为0.5。测试截断值被指定为敏感性等于特异性的点[16］．对于每一个分值，报告敏感性(真阳性率)(95% CI上下)、特异性(真阴性率)(95% CI)、精密度(阳性预测值)和准确性。

可行性与效用问卷

使用可行性和临床效用问卷来记录评估人员对每个量表使用的容易程度和执行情况的评估(表1)．效用量表由de Jong及其同事开发[17]，根据Harris和Warren定义的标准[18]，并包括8个陈述，使用5点李克特量表来评估评估者对陈述的同意程度。在评估人员完成2轮疼痛评估后，该评估以数字方式完成。调查结果以平均分和标准差表示。

可行性方面

根据“为包含在核心结果集中的结果选择结果测量工具的指南”，对PainChek Infant进行了可行性方面的评估文本框1．这样做是为了回答这个问题，“在给定时间、金钱和可解释性的限制下，度量是否可以轻松地应用于其预期的设置?”“(16］．

结果

参与者

研究共纳入40名年龄2.2-6.9个月(中位数3.4个月，IQR 2.3-4.5个月)、接受常规免疫接种的白人婴儿(24/ 40,60%为女性)[10］．4名训练有素的评估人员包括2名经验丰富的儿科护士(分别为13年和16年)和2名最后一年的护理硕士(研究生入学)学生，他们尚未完成任何儿科临床实习。3名评估人员为女性(2名护士和1名学生)。评估者年龄33-37岁(平均35.5岁，标准差2.3岁)。

Clinimetric评价

为了评估工具228和227的诊断准确性，分别使用PainChek适应性和PainChek标准评估来比较基线(无疼痛刺激)和干预(疼痛刺激)。对每种PainChek方法(自适应和标准)的AUC评分进行了总结表2．PainChek婴幼儿标准和自适应模式均表现出较高的准确性，AUC均超过0.9 (图2)．

每种模式的每个截止分数的敏感性(Se)和特异性(Sp)值总结在表3．确定测试截止值的常用标准之一是Se=Sp [19］．因此，根据这些标准确定了≥2/6的临界值。在此截止点，敏感性(标准0.904，自适应0.912)和特异性(标准0.911;自适应0.895)对于PainChek Adaptive和Standard都是相等的，如图所示表3．详细的准确性和精度的PainChek婴儿在一个潜在的截止值范围内提供表4．在临界值≥2时，标准模式的准确度和精密度分别为0.908和0.912，自适应模式的准确度和精密度分别为0.912和0.897。

‎

可行性评估

病人可理解性

这不适用于PainChek Infant，因为该工具由临床医生和护理提供者(包括父母)使用，而不是由患者使用。

易于管理

PainChek Infant要求用户在进入4位密码保护的屏幕后打开应用程序，选择要评估的婴儿(步骤1)，然后将设备指向婴儿，同时按下“评估疼痛”按钮(步骤2)。该应用程序会自动为用户打开设备的摄像头。当屏幕激活时，用户按下“开始分析”按钮(步骤3)，应用程序自动完成对婴儿面部的分析，并记录6个与疼痛相关的au的存在或不存在。分析后，用户会看到当前疼痛的总结和总分为6分的疼痛评分。然后，用户可按“放弃”或“保存”键(步骤4)保存评估结果(图3)．

‎

Hammal等[20.他说，“手动FACS(面部动作编码系统)和BabyFACS的一个主要挑战是培训专家编码员和视频逐帧注释(或编码)所花费的大量时间。”FACS是劳动密集型的。按照FACS认证测试的标准进行培训可能需要几个月的时间，编码一分钟的视频可能需要一个小时或更长时间。21］．用于研究或临床应用的实时编码是不可能的。考虑到这些因素，人们对开发自动识别FACS au的方法非常感兴趣[22］．为了解决上述挑战，开发了PainChek Infant。使用人工智能(AI)，智能设备应用程序只需3秒就能实时检测出6个表示疼痛的面部u的存在或不存在。在移动设备上使用该软件的决定允许更大的灵活性，可以使用工具的设置以及用户对设备摄像头的定位，避免可能的面部阻塞，从而优化面部检测和分析。这克服了使用固定摄像机系统时的许多问题。此外，软件改进已被纳入，以最大限度地减少由于过度头部运动而导致的分析失败，如果确实发生这种情况，则可使用“重试”功能。临床医生和护理人员接受了有关婴儿疼痛的教育，并接受了设备使用方面的培训，以确保他们在最佳条件下使用它(例如，光线、婴儿距离、婴儿状态)，并且他们可以解释结果。照明和头部移动的问题被认为是限制因素[9，20.，22]到在临床实践中使用自动面部分析，因此这些措施已经到位。

可解释性

可解释性是基于用户反馈、影响可解释性的临床特性以及供用户审查的结果呈现进行评估的，详情如下。

用户反馈

参与研究的评估人员评估了PainChek Infant、nfc - r和ObsVAS的可行性和实用性。从…可以看出图4下面，与感知可解释性相关的回答是积极的，PainChek Infant的表现普遍优于nfc - r。

‎

Clinimetric属性

如前所述，ROC分析表明该工具具有较高水平的准确性和精密度。此外，PainChek婴儿评分为2分或以上表明疼痛的存在具有较高的特异性和敏感性。

疼痛评估结果的陈述

向用户提供分数的解释，即0分或1分表示没有疼痛，2分或以上表示疼痛。为了进一步帮助用户解释结果，疼痛评估在婴儿档案中以倒序的时间顺序呈现(图5A)和随时间变化的图形(图5B)审查。

‎

结局测量仪长度(OMI)

PainChek婴儿疼痛评估仪器在单个领域包含6个项目，检测是完全自动化的。这与NFCS-R相当，后者包含5个项目(从构成该工具原始版本的10个项目中减少)[23，24］．面部动作总结评分(FASS)是另一个一维观察性疼痛评估工具，也包括5个面部项目[25］．脸、腿、手臂、哭泣和安慰(FLACC)是用于评估程序性疼痛的多维工具，有5个领域;然而，它使用了一个顺序评分系统，这样用户就需要在每个领域中寻找各种可能的行为，以确定缺席或存在以及强度[26］．例如，对于面部，疼痛评分为0表示没有特定的表情或微笑;1分表示偶尔做鬼脸或皱眉，性格孤僻或不感兴趣;2分表示经常或持续抖动下巴和紧咬下巴[26］．修正行为疼痛量表(MBPS)是另一种用于评估程序性疼痛的多维疼痛评估工具，它只有3个领域(面部表情、哭泣和动作)，该量表由10个项目组成，再次按顺序评分(例如，面部表情0=明确的积极表情[微笑]，1=中性表情，2=轻微的消极表情[鬼脸]，3=明确的消极表情[皱起眉头，紧紧闭上眼睛])[27］．

完成时间

自动面部分析只需3秒即可完成。关于完成NFCS所需时间的信息，包括床边的nfc - r评估，是缺乏的。当对视频记录进行评估时，这通常是在10秒的视频片段上进行的，编码员对不同的epoch进行评分，然后根据完成的评估数量计算最终分数。这些评估可以以真实速度、慢动作或逐帧完成，这取决于编码器的选择，因此完成的时间可能相差很大。在Hoti等人的研究中[10]，采用了一种实用的方法来使用NFCS-R，其中要求编码员在一次观看每个10秒的视频片段后完成评估，在多次观看同一片段后，结果没有显示出任何统计上的显著差异。在与PainChek Infant进行比较的背景下，该方法还模拟了真实世界的临床实践设置。对于FLACC工具，建议对清醒的患者进行2-5分钟的观察，对睡眠至少5分钟或更长时间的患者进行观察，然后完成评分[28］．

患者心理能力水平

像nfc - r一样，PainChek Infant由临床医生或护理提供者管理，因此它的使用不依赖于患者的心理能力。据报道，在婴儿中，与疼痛相关的面部表情在生命的第一年基本保持稳定，尽管疼痛特定表情的强度可能会发生变化。29］．默瑟和格伦[30.]在免疫接种期间，使用最大判别面部运动编码系统评估发育障碍(DDs)婴儿(n=8)和典型发育(TD)婴儿(n=30)的面部表情反应。他们报告说，与TD婴儿相比，DD婴儿表现出的疼痛更不明显，时间更短。在PainChek Infant开发数据库的婴儿招募中，没有应用DD的排除标准;因此，它的算法很可能是在TD婴儿和DD婴儿的图像上训练的。然而，需要具体的临床研究来验证PainChek Infant在评估DD婴儿疼痛方面的可行性。

易于标准化

PainChek婴儿评估是标准化的。自动面部评估只需3秒即可完成，并且仅限于检测6个与疼痛相关的面部AUs。评估不像nfc - r那样依赖于用户对儿童面部表情的解释，因此确保了客观性。此外，评估的面部表情代表了解剖相关的明确的肌肉收缩或松弛，不像许多多维观察性疼痛评估工具中包含的面部项目，这些工具的描述是模糊的(如FLACC, MBPS)，可能无法反映疼痛体验[31，32］．

临床医生的可理解性

从…可以看出图4，有关可理解性的回答是积极的。文献支持围绕NFCS和ObsVAS的发现，虽然NFCS- r和PainChek Infant在结构上相似，但需要更多的数据来了解它们的可理解性，涉及更大的临床医生队列。

OMI的类型

PainChek Infant是一种单一的、观察性的疼痛评估工具，它使用自动面部识别和分析来识别6种与疼痛相关的面部au的存在。它与nfc - r和FASS有相似的结构，两者都依赖于用户对面部表情的评估来评估疼痛的存在和强度[23-25］．

OMI的成本

目前没有关于PainChek Infant成本的信息。

必需的设备

PainChek Infant可在任何能够运行iOS 14.0版本的iOS智能设备(手机或平板电脑)上运行(苹果公司)[33］．要下载该软件，必须访问互联网;但是，该设备可以在没有互联网连接的护理点使用。

行政管理类型

PainChek Infant是一款软件应用程序，通过配备摄像头和处理器的智能设备在护理点进行管理。

不同设置下的可用性

PainChek Infant由于使用智能设备进行管理，因此有潜力在各种可能发生程序性疼痛的环境中使用，从医院或日间手术中心到门诊护理诊所、全科诊所、牙科诊所和家庭护理环境[34］．

患者体能

由于PainChek Infant会评估婴儿面部是否存在疼痛的面部表情，因此建议在出生时患有颅面出生缺陷和神经肌肉疾病的婴儿慎用PainChek Infant，包括但不限于以下情况，因为每种情况都会有不同程度的临床表现:唇腭裂、面瘫、血管胎记和血管瘤、毛发痣[33］．

版权

PainChek Infant工具的版权归PainChek Ltd所有。

监管机构的批准要求

PainChek Infant已获得监管许可，包括治疗用品管理局、CE Mark和英国MHRA，允许其在澳大利亚、欧洲、英国、加拿大、新加坡和新西兰临床使用[4］．在美国，根据2019年9月27日发布的“工业和食品药品监督管理局工作人员临床决策支持软件指南草案”(“CDS指南草案”)，PainChek Infant由医疗保健专业人员使用时不是医疗设备，将作为临床决策支持设备销售[35］．

轻松计算分数

完成自动面部分析后，PainChek Infant提供检测到的面部au的摘要，并自动计算疼痛评分(图3，步骤4)。

讨论

主要研究结果

在本研究中，我们描述了PainChek Infant的临床评价，并确定其准确性、精密度、特异性和敏感性。我们进一步扩展到评估其使用的可行性方面。在这样做的过程中，我们试图解决以下问题:“在给定时间、金钱和可解释性的限制下，度量是否可以轻松地应用于其预期的设置?“(16］．在尝试在临床实践中广泛实施该工具之前，对这个问题的积极回答是很重要的，文献表明，在其他工具的开发中，这一点经常被忽视[14，15］．在这里，我们提供了与上述相关的进一步证据，为医疗保健专业人员和外行提供了必要的证据，以评估该工具在临床实践中的实施。

根据国际标准化组织ISO 9241-11对PainChek Infant的可用性进行了评估。根据这些标准，可用性被定义为“系统、产品或服务在特定的使用环境下，能够被特定的用户有效、高效和满意地用于实现特定目标的程度”[36]，其中有效性指的是用户实现特定目标的准确性和完整性，在这种情况下，是对程序痛苦的评估。

虽然面部表情的增加被用作一维和多维观察性疼痛评估工具强度的标志，但与疼痛相关的面部动作和其他情绪之间存在重叠。因此，定义临界值可以为用户提供更多的确定性，即观察到的面部表情与疼痛相关，从而指导缓解疼痛。这进一步得到了高水平的准确性和精密度的支持。值得一提的是，本研究中确定的截止阈值与使用FLACC作为术后疼痛比较器的FASS的报道相似[25］．FASS和nfc - r是单一维度的工具，由5个面部项目组成。基于实现最高特异性和敏感性的结合，Bringuier等[25]上报的阈值≥2/5。在Médecins Sans Frontières临床指南中，NFCS评分≥2表示严重疼痛[37］．

PainChek Infant是一种监管机构批准的医疗设备，在所有可评估的可行性方面都表现良好，包括可解释性(定义了截止分数)、管理的便捷性(基于评估人员的反馈)、OMI的长度(6个项目)、完成时间(3秒)、标准化的便捷性(通过人工智能面部分析确保)、临床医生的可理解性(清楚和容易理解，截止分数可用性)、OMI的类型(护理点，程序性疼痛的数字评估工具)，所需设备(智能设备)，管理类型(即时护理，自动化)，不同设置的可用性(在任何可以使用移动设备的地方使用)，以及分数计算的便利性(自动化)。该工具旨在供卫生保健专业人员和护理人员使用;因此，与“患者的心理能力水平”和“患者的身体能力”相关的可行性方面被评估为影响面部分析的潜力，并被认为是有限的，而其有用性不依赖于“患者的可理解性”。

完成疼痛评估所需的时间可作为效率的衡量标准[38，在PainChek Infant的情况下是3秒。相比之下，其他通常报道用于评估婴儿程序性疼痛的工具需要更长的时间(例如，FLACC: 2 - 5分钟;舒适:建立基线心率和平均动脉压后2分钟;MBPS:处理前5秒及处理后15秒)[27，39］．此外，它不依赖于用户的观察，因此消除了潜在的用户相关偏差的问题。

满意度是指使用工具时用户的身体、认知和情感反应满足用户需求和期望的程度，可以通过多种方式进行评估，包括访谈、焦点小组、量表和问卷[17］．在本病例中，我们使用了可行性和临床效用问卷，虽然承认样本量小的局限性，但显示了积极的结果。

重要的是要承认原始研究中涉及的小队列评估人员的局限性，因此，需要在更大的用户群体中重复可行性和临床效用问卷。另一个局限性是，对PainChek Infant的评估是使用正在接受标准免疫的婴儿的视频记录进行的，而不是在现实环境中进行的。然而，这种验证儿科疼痛评估工具的方法是常见的，允许更多的评估人员参与验证过程，并允许多次观察，这也被认为是一种优势[14，27，40］．此外，应该强调的是，疼痛和非疼痛相关的痛苦之间可能存在重叠，这可能是由各种情况引起的，包括饥饿和克制。这也得到了其他关于该人群疼痛评估工具验证的研究报告的承认[10，26，27］．正如先前报道的那样，与本研究中使用的比较工具类似，PainChek Infant工具在疫苗接种过程的所有阶段(从基线到恢复)都表现出明显的面部表情变化[10］．此外，值得注意的是，Kohut等人[41之前已经成功地在针入后一分钟内区分面部表情和非疼痛相关的痛苦。尽管如此，为了缓解这一问题，人们应该承认，当疼痛的来源被怀疑或已知时，PainChek Infant和NFCS-R都具有临床效用。

总之，移动健康解决方案为医疗保健专业人员提供了许多好处，包括获得医疗点，这已被证明可以支持更好的临床决策和改善患者的结果[42］．然而，卫生保健专业人员仍然不愿意在临床实践中使用它们。为了解决这一问题，需要制定更好的移动医疗应用标准和验证实践，以确保其正确使用并融入医疗实践[42］．因此，这项研究提供了进一步的证据，支持使用世界上第一个通过人工智能支持的面部表情分析来评估婴儿程序性疼痛的医疗点移动医疗解决方案。同时，认识到需要进一步研究其在临床实践中的实施。

结论

对数字健康解决方案进行仔细评估是其广泛临床实施之前的关键一步。这项研究提供了进一步的证据，支持PainChek Infant作为评估婴儿程序性疼痛的监管工具的准确性、精确性、可行性和可用性，因此为其临床实践实施提供了坚实的基础。