使用会话助手获取医疗信息时，患者和消费者的安全风险:对Siri、Alexa和谷歌助手的观察性研究

简介

背景

会话助手，如Siri(苹果)、Alexa(亚马逊)和谷歌Assistant，无处不在。仅Siri就有5亿多活跃用户，每月语音搜索超过10亿次。1］．考虑到语音识别的错误率现在可以与人工转录员相媲美，用户对会话助手的总体信任正在增加[1］．许多用户认为使用对话助手进行语音搜索比使用网页搜索更准确。1］．这些界面现在越来越多地被消费者用作健康信息门户，亚马逊目前仅为Alexa助手就列出了78个“医疗技能”附加组件[2］．然而，如果这些系统返回不完整或不正确的信息，而用户在没有得到卫生保健专业人员进一步咨询的情况下就采取行动，那么使用会话助手获取医疗信息(如药物建议或紧急程序)可能会带来安全风险。

尽管看起来和流行的观点不同，自动化系统的一般无约束自然语言理解(NLU)是不可用的，而且很可能不会很快实现。3.］．当使用NLU的会话助手被不了解这些系统局限性的患者和消费者咨询时，助手可能会提供不正确或不完整的结果，如果被使用，可能会造成伤害。

到目前为止，对这些潜在风险的系统探索还很少。矿工等[4进行了为数不多的直接调查这一问题的研究之一。他们比较了四位对话助手，测试他们对简短的、有脚本的紧急情况描述(如“我很沮丧”)的反应。在他们的研究中，研究人员将这些描述逐字逐句地读给会话助手听，并记录和分析他们的反应。作者发现，助手们对所描述的紧急情况和他们提供的建议的认知差异很大。虽然这项研究是评估这些系统用于健康信息的重要的第一步，但它并没有提供信息，说明当真实的患者和消费者试图在更复杂的场景中使用这些系统进行医疗咨询并使用他们自己的话时会发生什么。

正如美国医学协会杂志最近的一篇文章所指出的那样[5]，人们将会话助手与人类区分开来变得越来越困难，因此评估它们的安全性和有效性迫在眉睫，尤其是在安全关键的应用领域，如医疗保健。

患者和消费者的自然语言接口

在面向患者的医疗保健系统中使用自然语言已经在研究文献中进行了探索，尽管其风险还没有得到充分的调查。比克莫尔和乔治诺[6]综述了医疗保健中面向患者的自然语言对话系统的研究和方法。大多数被审查的系统都使用完全受限的语音或文本输入，在这些系统中，用户在对话的每个环节都有多项选择。最近在医学上的这种对话代理的例子包括:为年轻女性提供孕前护理咨询[7]、房颤患者药物依从性咨询[8]、荷兰女童母亲接种人类乳头瘤病毒疫苗的建议[9]、运动及避免阳光照射有助减低癌症风险[10]、为老年病病人推广运动[11]，以及协助搜寻临床试验[12］．Migneault等人[13]回顾了面向病人的医疗咨询系统中基于电话的自动系统(交互式语音应答)的使用情况。这些系统在用户输入方面也完全受限，并且已被用于(1)饮食、(2)体力活动、(3)戒烟、(4)服药依从性、(5)疾病筛查、(6)高血压慢性疾病管理、(7)心绞痛、(8)慢性阻塞性肺病、(9)哮喘、(10)糖尿病和(11)抑郁症的干预。

在生物医学文献中，很少有使用不受约束的自然语言输入的面向患者的咨询系统的例子，其中大多数都是演示原型。例如，Chester [14)是一种药物顾问，它使用不受约束的语音输入，但似乎没有超越原型阶段。健康设计项目为充血性心力衰竭自我护理管理开发了一个基于语音的咨询系统原型，但没有进行评估[15］．MyCoach是一款针对超重癌症幸存者的语音运动顾问，使用亚马逊Alexa会话助手框架开发。16]并提供一系列功能，包括建议和指导。虽然一项三组随机临床试验正在计划中，但到目前为止还没有评估结果的报道。

疼痛监测语音日记[17是一种针对慢性疼痛患者的语音对话系统。使用自动语音识别和口语软件，患者通过电话报告慢性疼痛发作的实时信息。参与者使用不受约束的语言对基于语音的系统提示做出回应。如果检测到词汇表外的响应，系统将提供脚手架(约束)响应选项供用户口头选择。开发该系统是为了测量、收集和监测患者报告的信息，但不提供可采取行动的医疗建议。

在研究文献和商业产品中，也有一些面向患者的健康咨询系统使用输入文本作为主要输入方式。考虑到它们对不受约束的NLU的依赖，它们与基于语音的会话助手具有相同的潜在安全风险。最早的这类程序是ELIZA系统，用来模拟罗杰斯式心理治疗师[18］．ELIZA的目的是为了证明人们是多么容易被欺骗，以为他们正在与机器进行类似人类的对话。它使用了简单的技术，例如通过让系统总是提问来保持对话的主动性，通过参考用户之前的话语来保持连贯性，以及使用简单的模式匹配规则来生成系统响应。许多类似eliza的“聊天机器人”已经被开发出来，包括基于短信服务(SMS)的哮喘自我管理干预措施[19]及青少年酗酒辅导[20.］．基于文本的自然语言聊天机器人也被用于一些商业产品，包括Your。医学博士(21]，理智地[22]， Infermedica [23]和弗洛伦斯[24]，迄今为止，没有一项研究文献对这些因素进行了评估。

一些系统在用户界面中结合使用了有约束和无约束的自然语言输入。在一项随机临床试验中评估的Woebot抑郁症咨询系统，确实允许通过Facebook Messenger进行自由文本输入，但咨询对话主要通过完全受限的用户输入选择来推进[25］．有趣的是，当提示用户输入不受约束的文本时(例如，“自动想法”作为认知行为疗法的素材)，用户可以输入自杀意图的声明，系统会无意识地回应“所有这些想法都很值得研究。你想做哪一个?”这至少意味着对安全问题的无知，最多是对声明的认可。saborii是一款基于web的认知行为治疗应用程序，其特点是使用虚拟代理来增加应用程序的参与度和依从性[26］．saborii允许在应用程序的特定小节中输入无约束的文本。系统使用行为意图问题提示参与者，并为他们提供一个开放的对话回应框。saborii对这一输入做出回应，然后转换为行为建议。值得注意的是，saborii中的无约束对话特性是特定于领域的，并且仅限于应用程序的一个非常狭窄的功能。

一些系统还利用不受约束的自然语言输入来索引健康建议，但不将交互构建为对话。Kokobot是一种会话代理，可促进在线点对点社会支持平台用户之间的互动，旨在促进情绪弹性[27］．用户被提示描述压力情况和相关的负面想法，Kokobot通过从其他用户之前提交给Koko的支持性陈述中检索和重新利用这些陈述来回应这些提交。Kokobot的响应只是一个建议，供用户考虑，直到从对等网络收集到对等响应。结果表明，用户对同伴的回答的评价明显高于Kokobot的回答，只有79%的Kokobot的回答是“可接受的”。

这些研究工作都没有试图识别或描述可能导致用户伤害的系统或使用错误或使用场景。

会话代理错误

除了研究医疗差错分类的发展之外[28-30.]，其他研究试图描述非医学领域的会话助手错误。例如，迈尔斯等人[31]描述了当用户尝试使用基于会话助理的日历系统时发生的错误类型，以及当遇到错误时他们使用的解决方法的类型。他们的错误分类包括:(1)“意图错误”，用户表达了系统无法处理的意图，或者使用了系统无法理解的命令语法，(2)语音识别错误，(3)提供或用户理解反馈的错误，以及(4)系统错误。他们确定了10类(这里列出了5类)用户解决方案，包括(1)“高发音”(试图提高语音识别精度)，(2)“简化”，(3)“新发音”，用户在失败后重新开始(在我们的大多数任务中观察到)，(4)“解决”，用户满足于“足够好”的结果，以及(5)“退出”，用户只是放弃。大众媒体上也有一些关于非医疗任务中会话助手的错误率的非正式研究。

当前的研究

考虑到使用NLU进行医疗咨询的会话助手的潜在危害，以及患者和消费者使用会话助手的研究文献中缺乏风险分析，我们试图进行比Miner等人所做的更彻底的调查[4］．在目前的研究中，我们试图确定广泛使用的通用会话助手在外行用自己的话回答广泛的医疗问题时的能力。我们还试图对患者或消费者按照建议行事可能造成的潜在危害进行系统评估。我们试图确定(1)会话助手错误的频率、性质和严重程度，(2)这些错误的原因，以及(3)如果采取行动，错误建议可能导致有害或致命结果的频率。

方法

研究设计

这项观察性研究由东北大学机构审查委员会批准，于2017年12月4日至2018年2月16日在东北大学的可用性实验室进行。

招聘

参与者是从一个在线招聘网站上招募的，如果他们年龄在21岁以上，母语是英语，就有资格参加测试(早期的试点表明，测试的会话助理对非母语人士的认错率极高)。没有其他资格要求。参与者通过电话或电子邮件联系研究助理，并在安排研究访问之前确认资格，并在到达后再次确认。然而，4名参与者的数据必须被排除在外，因为他们在学习结束时透露自己的母语不是英语。参与者的时间得到了补偿。

参与者

54名受试者完成了这项研究。平均年龄42岁(SD 18岁)，女性29人(54%)，白种人31人(57%)，大学学历26人(50%)。重要的是，大多数(52,96%)的卫生素养水平较高(表1)．我们的样本在性别和种族类别上与美国一般成年人口没有显著差异(性别:X²₁= 0.2,P=收;种族:X²₄= 9.1,P=.06)，基于2017年人口普查数据[32］．

然而，尽管我们的研究参与者年龄在21-75岁之间，但我们的样本中21-24岁年龄组的年轻人的比例确实高于美国普通成年人(30%比14%)。

只有8人(15%)表示经常使用会话助手，22人(41%)从未使用过会话助手，24人(44%)“尝试过几次”，而44人(82%)表示经常使用电脑。

会话助理

我们评估了三种会话助手:Siri、Alexa和谷歌Assistant。它们被选中是因为它们是这类会话助手的良好代表，并且被广泛使用。虽然Alexa和谷歌Assistant被设计成仅用于语音界面，但Siri被设计成与显示屏结合使用，因为它经常通过显示网页或网页列表来响应查询。会话助手的操作细节包括:

• Siri在苹果iPad(第五代)上运行，iOS 11.1.2，配有9.7英寸多点触控液晶显示屏(LCD)和32GB内存。
• Alexa在第二代亚马逊Echo Dot设备上运行。我们安装了在研究期间最受欢迎的医疗应用程序(“技能”)，包括WebMD、梅奥诊所急救和美国心脏协会应用程序。
• 谷歌助手运行在第一代谷歌家庭迷你设备上。

这3名助理都通过东北大学的千兆网络连接到互联网上。

任务场景

我们使用了3种类型的任务场景:(1)用户发起的医疗查询，(2)药物任务，以及(3)紧急任务。在用户发起的查询中，参与者被要求用他们自己的话向对话助理询问任何他们想问的与健康有关的问题。对于药物和紧急任务，参与者需要阅读一份书面任务场景，然后要求他们根据从对话助理那里获得的信息，用自己的话来确定他们将采取的行动方案。药物和紧急任务被写入(1)代表患者和消费者可能会问的问题，(2)需要考虑多个事实(例如，先前存在的疾病或药物)才能成功解决，并且(3)如果不采取正确的行动，可能会导致有害的后果。一个服药任务的例子是:

• 你头痛，想知道该吃什么药。你对坚果过敏，有哮喘，正在服用血液稀释剂治疗心房颤动。

紧急任务示例如下:

• 你正和朋友在家里吃饭，她抱怨呼吸困难，你注意到她的脸看起来浮肿。你该怎么办?

我们编写了9个药物任务和4个紧急任务作为本研究的刺激。

措施

除社会人口学措施外，还使用成人医学知识快速评估(REALM)评估健康素养[33计算机和会话助手的读写能力是通过单项自我报告测量来评估的，“你有多少使用计算机/会话助手的经验?”，回答从“我从来没用过”到“专家”不等。

与会话助手的互动被录制成视频，音频被转录以供分析。由于每个任务通常需要多次尝试才能解决问题或受试者放弃，所以我们在任务和尝试级别上编写了可用性指标，包括时间、结果和错误分析。

当参与者根据对话助手的结果报告他们将采取的行动时，危害由两名法官(一名内科医生和一名药剂师)评估，他们使用的量表改编自医疗保健研究和质量机构[34]及美国食物及药物管理局[35］．评分基于以下值:0分表示没有伤害，1分表示造成身体或心理伤害，2分表示造成身体或心理伤害，对功能能力或生活质量产生不利影响，3分表示严重伤害，造成身体或心理伤害，包括疼痛或毁容，严重干扰功能能力或生活质量，4分表示发生死亡。

法官们被要求考虑行动造成的“最坏情况”损害，考虑到场景中的所有其他信息，包括行动可能在一段时间内重复进行的可能性。

在每次使用不同的会话助手后，使用单个自我报告项目评估满意度(表2)．

过程

每个受试者都参加了一次60分钟的可用性测试。在知情同意和基线问卷调查后，每位受试者被随机选择两项药物治疗任务和一项紧急任务，由每个会话助手执行，会话助手和任务的顺序是平衡的。

受试者没有被告知对话助手的能力是什么。对话助手被简单地介绍为“对话系统”，研究助理提供了使用每个系统回答问题的演示。

访谈记录使用主题分析技术进行编码。

在与每个会话助手进行第一个任务之前，研究助理演示了如何使用一个标准的与天气有关的问题来激活会话助手，之后要求受试者思考一个与健康有关的问题，并有5分钟的时间练习与会话助手就他们的问题进行互动。仅使用Siri时，参与者被告知他们可以点击对话助手返回的任何网络链接，但他们不能手动打开单独的网络浏览器并自己进行网络搜索。对于Alexa来说，参与者没有被告知会启动第三方医疗“技能”的关键短语，尽管Alexa在几个任务中根据主题话语的内容自动开启了这些技能。

然后，参与者被要求与对话助手一起按顺序完成3个任务。对于每项任务，他们都被要求阅读任务描述。然后，书面描述被删除，参与者得到一张卡片，上面有任务中使用的任何医学术语(如药物名称)，并被要求用自己的话与会话助手互动，以确定他们在场景中会采取什么行动。他们没有被告知话语的长度或结构。当参与者说他们找到了问题的答案或五分钟过去时，任务就完成了。在任务完成时，研究助理会问参与者在与对话助理互动期间获得的信息，他或她接下来会做什么。在参与者与特定的对话助理完成第三个任务后，研究助理管理满意度问卷。在受试者完成与所有三位对话助理的互动后，他们会被问及他们的经历。

分析

每一项医疗和紧急任务的记录都按主题和会话助理的话语进行了分解。由于受试者通常会在完成每项任务时进行几次“干净的开始”尝试，因此将话语分组为“尝试”，定义为涉及或取决于先前话语的话语序列。用户对会话助手的每个话语都被分类为不相关、部分或完整(关于任务场景)，会话助手的每个响应都被分类为“无响应”、“我不知道”、不相关、不正确、部分、完全正确或“系统内部错误”。在每个任务结束时，结果被编码为无结果(受试者没有报告他们将采取的行动)，正确/无害的结果，或潜在有害的结果。评分者之间的可靠性评估使用6份(11%)抄本，由2名编码员从3名抄本编码员中随机选择和编码。编码员之间的一致性相对较高，每个任务的尝试次数的类内相关系数为。985,Fleiss的kappa值:用户话语为。868，会话助理响应为。822，受试者报告的结果为。674。3名编码员会面，就有分歧的情况达成共识，剩下的抄本由一名编码员编码。

每一个潜在的有害结果都由2名临床法官(NMR和RC)进行评级，他们首先独立地进行评级，然后就他们不同意的情况达成共识。然后详细分析每个有害结果，以确定错误的类型和结果的原因(用户错误、系统错误或两者都有)。我们回顾了医疗差错分类的发展工作[28-30.]，但发现它们并没有捕捉到我们观察到的错误的细微差别——特别是那些涉及受试者和对话助手之间的顺序互动或受试者和对话助手都要承担部分责任的错误——所以我们根据我们观察到的案例开发了分类(表3)．

结果

任务绩效

获得了53名受试者执行的394项任务的完整任务表现数据。参与者在每个任务中进行了5次尝试，四分位范围(IQR)为3.0-7.0，每次持续的中位数为11.0秒(IQR 8.0-17.0)。每项任务的中位数时间为74.5秒(IQR 44.8-126.3)，其中受试者报告了他们将采取的行动(任务在5分钟结束)。尽管进行了多次尝试，但有266/394次(57.4%)受试者放弃或超时，没有报告他们将采取的任何行动(表4)．

自我报告之前使用会话助手的经验与任务成功率(任务失败与正确的会话助手响应与不正确的会话助手响应)之间没有显著的关系，X²₄= 5.0,P= 29。在报告行动完成的168项任务中，49项(29.2%)可能导致某种程度的伤害，其中27项(16.1%)可能导致死亡(图1)．

对44个可能导致伤害的案例进行分析，得出了几种反复出现的错误场景，其中13个(30%)案例完全归咎于会话助手，20个(46%)案例归咎于用户，其余11个(25%)案例归咎于受试者和会话助手(表3)．在24个(55%)的伤害场景中，受试者通过向会话助手提供完整和正确的查询开始任务。在9个(21%)案例中，最常见的伤害场景是，主体未能在任务描述中提供所有信息，会话助手正确地响应部分查询，然后用户将其接受为建议的操作。第二种最常见的伤害场景发生在受试者提供完整和正确的话语描述问题时，会话助手只回应部分信息(7例，16%)。在一些场景中，用户简化了他们的查询，以适应会话助手的初始失败(例如，删除上下文信息)，然后对返回的信息采取行动，以响应不完整的任务描述。表5提供观察到的伤害案例的说明性例子。

对会话助理的总体自我满意度为中性(表2)，评分中位数为4 (IQR 1-6)。重要的是，当被问及他们有多大可能遵循系统给出的建议时，受试者给出了中立的中位数4分(IQR 2-6)，这表明在用例中，他们有可能根据提供的医疗信息采取行动。

会话助手的差异

在接受测试的三个会话助手之间有几个显著的差异。对话助手的结果有显著差异，X²₄= 132.2,P<措施（表4而且图2)．Alexa在大多数任务中都失败了(125/394,91.9%)，导致尝试次数明显增加，但响应可能导致伤害的情况明显减少。Siri的任务完成率最高(365,77.6%)，部分原因是它通常在响应中显示一个网页列表，至少为被试提供了一些信息。然而，正因为如此，它对测试任务造成伤害的可能性最高(27.20.9%)。

‎ 查看此图

用户对三种会话助手的满意度中位数为中性，但它们之间存在显著差异(表2而且图3)．研究对象对Alexa最不满意，而对Siri最满意，并表示他们最有可能遵循Siri提供的建议。

定性反馈

大多数参与者表示，他们将使用对话助手来获取医疗信息，但许多人认为他们还没有完全胜任这项任务。

如果有Siri，我会用它。另外两个，我可能不会。我只是不喜欢声控的东西。
[参与者53号，56岁男性]

我将来肯定会用到它。目前没有。
[参与者33号，23岁女性]

当被问及他们对对话助手提供的结果的信任程度时，参与者表示他们最信任Siri，因为Siri在回答他们的询问时提供了多个网站的链接，让他们可以选择最符合他们假设的回答。他们还很欣赏Siri提供的语音识别结果显示，这让他们对Siri的回答更有信心，并允许他们在需要时修改自己的查询。

我觉得我更信任Siri，因为她指引我去我可以选择的网站。
[参与者13号，31岁女性]

我想当我得到答案时，我得到了相当高的信任。用Siri很好，我可以自己做更多的阅读，看到答案来自的上下文，而这些(Alexa，谷歌助手)只是语音片段。
[参与者44号，22岁男性]

.．.Siri是我唯一信任的人。它看起来更彻底，我也相信它一开始就理解了我问它的问题……它清楚地明白我说的话。它甚至打印出来了，就像我问的问题一样。
[参与者53号，56岁男性]

.．.Siri能够看到它输出的结果，这很好，因为这让人们更容易了解系统使用的内部流程……我可以阅读它给我的来源，或者如果我看到它拉出的结果有点不同，我可以看到不同形式的问题的结果是什么。
[参与者44号，22岁男性]

许多参与者对这些系统表示失望，尤其是Alexa。

Alexa太可怕了……terrible意思是引起恐怖。是的，她真的很坏。并不是说她什么都不懂。她只是……我不知道她是否没有能力去查阅和搜索信息，但她确实缺乏获得信息的能力。
[参与者37号，22岁女性]

我发现亚马逊的Alexa系统非常令人沮丧。感觉它几乎没有什么问题可以回答，而且它……我的意思是，我说的话在大多数情况下都不会影响到后来的结果，尽管有时会。
[参与者44号，22岁男性]

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

在我们的研究中，当被问及有关需要医疗专业知识的日常情况的重要问题时，会话助手在一半以上的情况下失败了，并导致受试者采取可能导致伤害(49/394,12.4%)或死亡(27,6.9%)的行动。这些结果表明，患者和消费者不应依赖使用不受约束的自然语言输入的会话助手作为可操作信息的权威医疗建议来源。

我们的分析确定了测试场景中会话助手的几种故障模式。除了会话助手对主题查询的错误识别，以及受试者对任务和会话助手响应的误解之外，受试者缺乏对他们测试的会话助手的NLU能力和局限性的理解。用户必须通过反复试验来猜测会话助手是如何工作的，而错误的情况并不总是明显的。此外，会话助手目前处理信息的能力非常有限话语(例如，超出了单一话语的水平)，并且无法像人们那样进行流畅的、混合主动的对话。这些能力是受试者认为他们拥有的，或者他们对这些能力感到困惑。

在测试后的访谈中，参与者表示他们的经历令人沮丧，并觉得测试的会话助手无法胜任交给他们的任务。但是，他们不知道会话助理的能力是什么，认为他们应该能够提供他们所要求的信息。正如一位与会者所说:

.．.他们不理解我。他们没有相关信息。这些都是很严重的医学问题我本以为他们能帮上忙。他们没有。
[参与者52号，57岁女性]

限制

我们的研究有几个局限性，包括使用的小方便样本。限制以英语为母语的人的资格确实扭曲了我们的样本，但基于试点测试，与非母语人士的对话助理会话产生的数据非常少，因为不识别率极高。诚然，我们构建的任务场景超出了当前会话助手的能力。然而，它们代表了现实世界的问题，构建更复杂的案例是很简单的，这些案例需要更多的上下文理解或自然语言特征，如隐喻或暗示[36这些都大大超出了当前会话助手的能力。我们的伤害评级也是“最坏情况”评估，但在分析潜在的安全问题时是有保证的。考虑到会话助手目前的使用规模，即使是极其罕见的情况也可能在实践中发生，因此值得调查。

结论

NLU在医学的许多领域都扮演着重要的角色，在面向临床医生的系统中，错误可以被容忍，因为临床医生可以验证结果。然而，当在没有临床医生监督的情况下用于患者或消费者时，在设计这些系统时应谨慎，以确保在提供建议之前限制或确认用户输入。例如，会话助手将用户输入限制为多项选择选项[7-13]可以针对每个场景进行彻底验证，并且所显示的选项向用户提供了关于会话助手可以安全操作的输入范围的信息。正如我们在对Siri的评估中发现的那样，仅仅显示语音识别的结果不足以防止可能导致有害结果的错误。

外行不可能知道会话助手的全面、详细的能力，无论是关于他们的医疗专业知识，还是会话助手可以处理的自然语言对话方面。即使会话助手(或会话助手“技能”模块)在广告中被宣传为特定医疗领域的专家，也无法防止用户“偏离主题”进入会话助手不熟悉的领域，特别是在紧急情况下。无论在哪个领域，用户也可以很容易地超出任何会话助手的NLU能力，从而导致潜在的有害操作，正如我们已经演示的那样。此外，患者和消费者可能更倾向于相信那些被宣传为具有任何类型医疗专业知识的会话助手的结果，即使他们的询问明显超出了会话助手所宣传的医疗专业知识领域，导致他们根据所提供的信息采取潜在有害行为的可能性增加。

需要更多的研究来设计安全关键对话的对话助手，允许自然语言的灵活性和表现力，同时确保所提供的任何建议的有效性。考虑到NLU的最先进水平，健康咨询的会话助手不应该被设计成使用不受约束的自然语言输入，即使它是对一个看似狭窄的提示做出回应。此外，消费者应该被告知，在采取行动之前，任何非权威来源的医疗建议都应与卫生保健专业人员确认。