评估应急通信翻译技术的有用性:基于场景的研究

简介

美国的语言多种多样，有350多种口语[1］．2016年，大约有6320万美国居民说英语以外的语言。2]，其中约40%(2540万人)被认为英语水平有限[3.］．LEP被定义为主要语言非英语，且英语读、说、写或理解能力有限[4］．

随着在美国出生的外国人口的增长，LEP个体的数量也在增长[5］．从1990年到2010年，美国的LEP人数增加了80%，这意味着在2010年，约有2520万或占美国5岁以上人口的9%被认为是LEP [5］．

该国许多地区的医疗保健提供者可能会经常遇到语言翻译的挑战。在医院环境中，语言障碍造成了LEP患者护理方面的差异，包括住院时间更长、医院获得性感染的风险更大以及出院后再入院的可能性更大[6］．在最坏的情况下，LEP患者会被误诊，并因治疗不当或延误而遭受严重后果[7］．在紧急反应环境中，LEP人员与紧急医疗服务(EMS)人员之间缺乏明确的沟通，可能会影响迅速和准确地派遣援助[8］．语言障碍被列为明尼苏达州EMS服务提供者护理延误的第二大常见原因[9］．虽然建议在涉及LEP人员的紧急情况下使用口译员和电话语言线路，但在与口译员联系方面的时间限制和明显的延误对使用口译员构成了障碍。

随着新技术的出现，与LEP个人交流的选择正在扩大。各种自动翻译工具已经开发出来，以协助语言不一致的个人之间的翻译和口译。在一项研究中，EMS人员报告说，他们使用个人移动设备上的数字应用程序，如谷歌Translate(一种免费的基于web的用于一般翻译用途的系统)，试图与患者沟通[10］．许多消防部门也在现场使用电子工具，如平板电脑[11］．该领域的平板电脑为使用其他翻译软件打开了大门。例如，一些EMS部门正在考虑使用“QuickSpeak”，这是一款基于平板电脑的翻译应用程序，也是少数专为应急响应设计的翻译工具之一。

虽然数字通信设备可能很有前途，但这些工具还没有被EMS系统地评估用于现场，而且几乎没有证据表明这些新策略在促进LEP个人和EMS提供者之间的通信方面的有用性。我们之前的工作和对文献的回顾表明，在临床或公共卫生环境中，大多数自动翻译系统不够准确，无法安全使用[12-19］．

这项研究在华盛顿的金县进行，在最近的一项调查中，78%(96/123)的911调度员报告说，与LEP患者的沟通困难影响了这些呼叫者得到的医疗护理[20.］．在华盛顿，西班牙语和汉语(普通话)是两种最常用的非英语语言。在美国的非英语使用者中，说汉语和西班牙语的人也是英语水平最可能有限的人群。21］．金县地区的许多EMS机构正在考虑使用自动化语言工具来改善与LEP人员的沟通，但担心这些工具在现场的安全性。本研究的目的是收集有关QuickSpeak和谷歌Translate(均被考虑用于King County的EMS人员)在紧急情况下如何执行的证据，在这种情况下，清晰的沟通对于快速识别、治疗和运送患者至关重要。具体来说，我们测试了QuickSpeak和谷歌Translate在模拟紧急响应设置中如何执行，这些设置要求快速EMS响应并将英语翻译为西班牙语和中文(普通话)。

方法

参与者

在我们的研究中，我们重点研究了金县地区LEP人群最常用的两种语言:西班牙语和汉语(普通话)。我们从华盛顿金县的当地社区组织招募了母语不是英语、说西班牙语和汉语的个体，并自认为是LEP(以下简称LEP参与者)。双语研究团队成员与来自金县LEP个人服务项目的社区组织工作人员合作，招募参与者。此外，我们采用便利抽样，通过研究团队成员的个人联系来加强招聘。LEP参与者必须年满18岁，至少会说一些英语，但认为自己有英语沟通困难，更愿意用母语(西班牙语或中文)接受医疗护理，才有资格参加这项研究[22］．考虑到招募和与LEP人员合作的挑战，我们试图将参与者筛选程序的负担降至最低，并且没有在筛选中添加定量语言评估工具。华盛顿大学机构审查委员会批准了所有研究方案和材料。

我们通过方便抽样，从金县当地消防部门招募了EMS人员，包括值班消防员和急救医疗技术人员。研究组与LEP居民较多的地区附近的消防厅长进行了联系，要求在该地区招募消防队员，并进行模拟演习。我们根据何时达到数据饱和和没有其他回应来计算会话数[23］．

工具

金郡弱势人口策略计划[24团队确定了两种翻译工具，QuickSpeak和谷歌Translate, EMS人员正在试用(QuickSpeak)或在极少数情况下使用(谷歌Translate)。我们通过涉及紧急情况的模拟会议，调查了这些工具在改善EMS和LEP人员之间沟通方面的潜在用途。

QuickSpeak

QuickSpeak是一款EMS领域特定的翻译软件，可为EMS人员提供对第一反应人员提出的一组标准英语问题进行内部验证的口头翻译。QuickSpeak是为数不多的专为应急响应设计的翻译工具之一。EMS人员可以使用触摸屏选择书面问题，软件提供所需语言的录音翻译。所有问题都以“是”或“否”的回答形式提出。问题和答案不会被记录或存档。在这项研究中，QuickSpeak可以用7种语言进行应答:西班牙语、意大利语、法语、德语、芬兰语、汉语(普通话)和越南语。图1和2QuickSpeak的截图。

‎

‎

谷歌翻译

谷歌Translate是一款免费的、基于网络和应用程序的翻译软件，允许用户用一种语言编写免费文本，并将其转换为另一种语言的书面或口语文本。谷歌Translate利用基于统计的翻译(统计机器翻译)方法，根据正确的概率生成翻译[25］．目前谷歌Translate可以翻译超过100种语言。谷歌Translate已被用于许多机器翻译研究中进行比较[26，27］．图3谷歌翻译的截图。

‎

研究设计

由于对新的翻译工具进行实地评估会带来后勤和伦理问题，我们借鉴了基于场景的设计来指导这项研究。基于场景的设计是在“可控”但现实的条件下测试和比较新技术有效性的关键方法[28，29］．在基于场景的设计中，潜在的技术用户通过参与现实的、脚本化的场景来评估技术的价值。脚本情景或场景是基于实际事件的知识开发的，通过访谈、焦点小组或对潜在技术用户的观察来揭示。

在我们的研究中，两名研究团队成员(儿科医生AT和急诊医生MT)根据他们的经验和先前对涉及LEP的现实紧急呼叫记录的回顾，创建了三对场景。

制定场景以说明EMS响应过程中发生的常见情况，并描述EMS响应人员需要从LEP个人获得的信息。每个场景都描述了紧急情况、“病人”和“支持人员”(家人或朋友)、突发事件、“病人”的药物和过敏，以及基本的“病人”人口统计数据，如年龄和职业。我们创建了一对相似但不完全相同的场景来测试和比较这两种翻译工具。

当地消防部门的一名营长审查了这些场景，以确保它们反映了现实情况。作为对审查的回应，我们做了一些小的修改。双语研究团队成员将完成的场景翻译成繁体中文和西班牙语。多媒体附件1介绍为本研究创建的场景对。

为了测试QuickSpeak和谷歌翻译的可行性和可用性，我们在参与者方便的地点与说西班牙语和说中文(普通话)的LEP参与者和EMS人员举行了分组模拟会议。有2名适合语言的双语主持人负责招募参与者并组织会议。表1提供会话的摘要。

在每次会议开始时，双语主持人获得LEP参与者的知情同意;收集人口统计数据，包括年龄、教育水平、在美国的年限，以及自我认定的英语口语和书面熟练程度;并阐述了评价的总体目标和语言技术。

在会议之前，我们评估了场景的LEP参与者及其角色。参与者两人一组，其中一名LEP参与者扮演“病人”的角色，在QuickSpeak或谷歌Translate的帮助下回答EMS提供商的问题;另一个LEP参与者扮演朋友或亲戚“支持人”的角色。我们向EMS参与者提供了类似于他们从911调度员那里得到的信息，比如“病人”的地址、年龄、主诉和主要语言。我们没有向EMS人员提供有关LEP“病人”所表现出的潜在健康问题的信息。

每个LEP参与者在涉及这两种技术的场景中扮演“患者”或“支持人员”的角色。EMS人员寻求关键问题的答案，如主诉、症状和药物。

措施

在会议结束时，EMS人员和LEP参与者填写了会后问卷，提供了对翻译技术的反馈(见多媒体附件2)．EMS人员问卷包括定性反馈问题，用他们自己的话收集他们对翻译技术的印象和经验。例如，它要求他们比较两种技术(谷歌Translate和QuickSpeak)，找出他们遇到的问题，并提出改进建议。它还收集了关于他们以前在紧急情况下使用翻译技术的经验的信息。

LEP问卷由母语为双语的研究人员翻译成西班牙语和中文。LEP问卷询问了类似的定性问题，包括参与者使用翻译技术的经历、遇到的问题，以及他们在医疗紧急情况下是否需要翻译。

EMS参与者亦被要求使用系统可用性量表(SUS)工具评估技术的可用性[30.］．SUS通过10个李克特式5分问题对可用性进行量化测量，参与者在这些问题中提供他们同意或不同意的程度。卫生保健系统被广泛用于评估包括移动应用程序和医疗保健监测设备在内的技术的可用性[30.-33]，并在众多研究中证明了有效性、可靠性和敏感性[34-36］．由于SUS衡量可用性，因此仅对EMS参与者进行管理，因为他们是操作翻译工具的主要用户组，而LEP参与者不处理翻译技术并推动交互。

LEP参与者因参与我们的研究而获得25美元的酬金，但EMS参与者作为有偿专业人员，不能接受酬金。

数据分析

我们使用专题分析来检查对会后问卷中开放式问题的定性答复。自动语言翻译工具是否可以在紧急情况下促进LEP通信这一实际研究问题推动了我们的专题分析。研究人员(YKC, KD, SW, DS)对问卷回答进行独立编码，然后会面讨论确定的代码和主题。通过几轮讨论，我们调和了分歧，将相似的代码进行了分组，形成了有意义的主题类别[37］．

我们使用R软件(R Foundation for statistical Computing)对定量数据进行描述性统计分析[38］．我们还使用Mann-Whitney U检验来调查SUS得分与所评估的两种技术工具之间的关系。

结果

参与者

我们举办了5次小组模拟会议(3次中文及2次西班牙文)，参加者包括12名中文LEP参与者、14名西班牙语LEP参与者及17名医疗服务管理人员。每个环节持续大约1.5-2.5小时，具体时间取决于小组人数。表2总结参与者的特点。本研究中EMS人员的平均年龄为44.2岁，平均工作经验为17.8年。

说中文的LEP参与者的平均年龄为46岁，在美国的平均生活时间为7.3年。说西班牙语的LEP参与者平均年龄为44.7岁，在美国的平均生活时间为13.9年。超过一半说中文的参与者和三分之二说西班牙语的参与者认为自己的英语水平在口语和写作上都处于中等水平。

QuickSpeak和谷歌翻译的比较

Postsession问卷

在17个EMS受访者中，53% (n=9)表示他们更喜欢QuickSpeak而不是谷歌Translate。一些EMS人员(3/ 17,18%)表示，他们想要一种结合了这两种技术特性的工具。有1名EMS参与者表示不会使用任何一个系统。在具体的后续问题中(总结在表3)， 76%(13/17)的EMS参与者表示QuickSpeak帮助他们在模拟过程中获得所需的信息。较少的参与者(10/ 17,59%)报告谷歌Translate提供了所需的信息。除1名EMS参与者外，所有EMS参与者都表示QuickSpeak帮助他们与LEP参与者沟通。相比之下，只有大约三分之二的受访者提到谷歌翻译有助于他们的沟通。

表4总结了对LEP参与者进行的会后问卷调查的结果。与EMS类似，说中文和西班牙语的LEP参与者都明显偏爱QuickSpeak。当被问及这些工具的整体用处时，所有12名说中文的LEP参与者和14名说西班牙语的LEP参与者中的11人都认为QuickSpeak很有用。有1位与会者认为有必要使用这一工具。

是的，它在当时很有用。在没有翻译的情况下，这是必要的。
(中文,P3)

相对较少的LEP参与者认为谷歌翻译有用(5/ 12,42%说中文，2/14,14%说西班牙语)。一些参与者解释说，EMS人员使用谷歌翻译的时间太长，他们对翻译的质量没有信心。

翻译既没用也不愉快……我无法表达我所拥有或需要的东西。他们问问题的时间太长了，感觉不安全，也不觉得自己被理解了。
(西班牙语,P2)

同样，与EMS参与者的回答相似，大多数说中文和西班牙语的LEP参与者(分别为11/12,92%和12/14,86%)认为QuickSpeak帮助他们理解EMS人员的问题。另一方面，只有25%(3/12)中文和29%(4/14)西班牙语的LEP参与者认为谷歌翻译有帮助。

在描述他们使用谷歌翻译的经历时，许多LEP参与者提到，由于翻译质量差、含义模糊和措辞不当，他们很难理解正在说的话。

更基本的问题(问题)是可以的，但其他的则不是。语言、词语或语法都不合适。这些词翻译不正确。
(西班牙语,P4)

此外，一些参与者提到，他们必须做大量的猜测，才能在翻译不好的单词之间建立联系。

基本上我能理解这些问题，但只是我的猜测和理解。
(中文,P6)

使用不当的词语也被提到与QuickSpeak有关。特别是说西班牙语的LEP参与者提到了词语选择的模糊性，如“喝酒”(饮料或酒精)或“毒品”。

是的，但我相信当它问"你喝酒了吗? "“太笼统了。不同的人可以用不同的方式来使用“毒品”这个词。它可以指:毒品(非法的)、药物、药品或补救措施。
(西班牙语,P2)

LEP参与者还评论了这些工具是否有助于他们回应或与EMS人员交谈。12名说中文的参与者中有9人，14名说西班牙语的参与者中有11人提到QuickSpeak帮助他们与EMS人员交谈。然而，12名说中文的参与者中只有3人认为谷歌翻译对他们有帮助，14名说西班牙语的参与者中只有6人认为谷歌翻译对他们有帮助。许多参与者在使用这两种技术进行详细回答时遇到了困难。

当我们的回答不仅仅是“是”或“不是”时，他们看着我们的表情是“什么?”，脸上带着问号。
(中文,P8)

在会议期间，研究人员注意到，当EMS使用谷歌翻译工具时，他们首先输入开放式问题。然而，因为他们无法理解给出的回答，他们就会问更多“是”或“否”的问题，类似于QuickSpeak。EMS参与者在谷歌Translate中输入问题时，也经常忘记添加问号，影响翻译的理解。文本框1提供LEP参与者对模拟体验中遇到的问题的反馈摘要。

作为工具的主要用户，EMS参与者被要求提供可用性反馈和改进每个工具的建议。对于谷歌翻译，一些EMS人员提到，有一个预先定义的问题列表(像QuickSpeak一样)会很有帮助。具体来说，他们建议在主屏幕上放置4-5个基本问题。一些EMS人员建议增加扬声器按钮的大小，当点击该按钮时，会播放翻译后的音频，以提高可用性。有一位EMS参与者提到，更好的翻译口音有助于理解。另一位建议谷歌翻译创建一个特定于医疗领域的翻译服务。

对于QuickSpeak工具，许多EMS人员建议添加键入和口头表达自己问题的能力，类似于谷歌Translate的自由文本功能。一些人建议，预先确定的问题清单应遵循更合乎逻辑的正常提问流程。具体建议包括:使用决策树辅助选择合适的问题，在屏幕上显示全身图像，允许EMS人员单击身体部位并查看相关问题，一旦被问到的问题从列表中删除，允许EMS人员添加或修改加载在QuickSpeak中的现有问题，以及扩展翻译的语言数量。

一些建议适用于这两种技术。EMS人员建议两种服务都支持语音操作、双向翻译或交流。他们还建议将与LEP患者的实际互动录音，以便记录、教育和问责。中提供了EMS反馈的摘要文本框2．

系统可用性量表评分评估

表5显示了SUS的QuickSpeak和谷歌翻译的结果。SUS仅管理给EMS参与者，因为他们是操作翻译工具的主要用户组。QuickSpeak的平均SUS得分高于谷歌翻译的得分。两种翻译工具之间的差异具有统计学意义(Mann-Whitney U检验，z=−2.1;P= .04点)。中国和西班牙的模拟实验结果相似。然而，参加中文课程的EMS人员对谷歌翻译的评分高于参加西班牙语课程的EMS人员。

讨论

主要研究结果

我们对两种翻译工具进行的基于场景的评估证实，在医疗紧急情况下，需要更好的工具来协助LEP人员和EMS人员之间的沟通。这与先前的研究结果一致，即EMS人员经常对电话语言翻译感到沮丧，并求助于与旁观者交谈或使用他们碰巧知道的肢体语言和关键词[39］．研究表明，拥有临时口译员(旁观者或家庭成员)的LEP患者比拥有受过医学培训的口译员的LEP患者更不满意，而且更有可能出现可能影响临床护理的错误[40］．改善翻译方案是克服沟通障碍和提高LEP个人急诊护理质量的关键。

尽管这两种翻译工具都不适合在现场使用，但在我们的场景中，LEP和EMS参与者显然更喜欢QuickSpeak的固定问题翻译，而不是谷歌翻译的自由文本翻译。LEP和EMS参与者都认为理想的翻译工具应该具有带前缀问题的准确性和清晰度，但同时具有自由文本工具的灵活性和潜在的双向交流。谷歌翻译目前允许双向通信，但翻译中的不准确性经常与现有系统相结合。使用谷歌Translate和QuickSpeak后EMS和LEP个体之间的沟通略有改善;然而，不准确性和潜在的沟通错误是很大的，而且这两种工具都没有被认为可以在现场使用，任何沟通错误或延迟的风险都很高。我们之前的研究调查了免费的基于网络的翻译系统的潜在用途，如谷歌翻译和微软翻译，表明在健康领域，这些工具需要专业翻译人员仔细编辑以提高准确性[18，41］．显然，这种后期编辑在现场是不可能实现的。然而，机器翻译技术在不断改进。谷歌最近更新了他们的翻译系统，利用复杂的人工智能产生更准确的语言翻译[42］．随着自动化语言翻译技术的发展，需要进一步评估这些工具在卫生环境中的使用情况。

除了提高翻译精度外，未来的应急响应翻译技术还应特别注意LEP人员和EMS人员的需求和设计建议。EMS人员对在快节奏的现实紧急情况下操作设备和使用翻译技术表示担忧。免提，准确的语音识别技术，可以促进双向通信将是理想的。EMS参与者还表示，希望将翻译回答记录下来，以便记录遭遇。然而，将与个人健康信息相关的答案存档需要仔细考虑1996年《健康保险可携带和责任法案》的政策和规则。

目前，双语员工、口译员和语言线能够提供实时、准确的翻译是临床环境中笔译和口译的黄金标准。先前的研究表明，LEP患者对电话口译员的满意度高于对家人、临时或没有口译员的满意度[40］．然而，在与EMS人员的非正式访谈中，由于担心语言线花费太长时间，以及电话口译员可能无法准确评估手头的情况，他们对使用语言线犹豫不决。尽管存在这些障碍，但在没有现场口译员的情况下，语言线仍然是确保快速准确翻译的最佳方法。随着自动语言翻译技术的不断发展，将需要进一步的评估，以评估这些技术是否能够在应急领域为英语使用者和非英语使用者提供安全、有效的交流。

限制

模拟会议的数量有限，而且都发生在华盛顿的金县，这可能会限制我们结果的泛化性。我们评估了西班牙语和汉语普通话，这是我们地区最常见的两种非英语语言。总体而言，谷歌Translate在西班牙语上的表现优于中文或其他较少使用的语言[18，41，43)，所以如果我们测试不同的语言，结果可能会有所不同。此外，我们的研究是在一个时间点上进行的，使用统计机器翻译的翻译工具也在不断发展。我们对翻译工具的评估是基于EMS和LEP参与者之间的模拟会议。尽管我们使用了基于实际EMS响应的场景，但这些会话发生在受控环境中，并不能准确反映这些工具在现场的性能。

文学的新贡献

在美国LEP人口不断增长的背景下，由于语言障碍导致的医疗保健差异，改进翻译技术至关重要。在最近的一篇综述中，Tate(2015)得出结论，“在理解语言障碍和院前护理之间的相互作用方面存在巨大差距”[44］．我们的研究揭示了在院前、急诊护理环境中使用新翻译技术的挑战。虽然在这些环境下，我们非常需要翻译工具来协助翻译，但我们需要继续评估自动翻译技术的发展，以确定它们在可接受性、准确性和效率方面与更传统的电话口译服务相比如何。