评估葡萄牙语语音助手对COVID-19疫苗接种的反应:质量评估

简介

背景

语音助手(VAs)是对人类声音做出反应的设备，可以被命令执行各种任务，例如作为信息、家庭或媒体控制的界面，并管理议程、待办事项和邮件[1］．谷歌Assistant和Bixby是虚拟助手被集成到手机、笔记本电脑和其他设备中的例子，创建了一个由经常使用虚拟助手获取一系列主题信息的人组成的庞大网络。2］．2020年，27%的网络搜索使用谷歌Assistant [3.]，预计到2021年在美国的支出将达到35亿美元[4］．

文献中的一些研究已经开始评估VA可用性作为研究重点。例如，López等[5]和Berdasco等人[6)对最流行的虚拟助手(Alexa、Cortana、谷歌Assistant和Siri)进行了可用性对比测试。他们表明，即使在音乐、议程和新闻等常见服务中使用虚拟助手，也有改进的空间，因为获得错误答案的情况并不少见。

随着虚拟助理功能的不断扩展，许多人开始使用这些设备来获取健康信息，这已经成为研究人员在问题理解和响应质量方面的一个关键分析点。

最近的研究开始解决关于健康问题的VAs质量问题。Kocaballi等[7在回答一般用途的健康和生活方式提示时，他们给出了VA结果，他们得出的结论是，大约40%的回答是合适的。杨等[8]研究了退伍军人对特定产后抑郁症问题的反应，包括准确性、口头反应和所给出的临床适当建议。所有4个被评估的VA在准确识别查询方面表现良好，但没有一个VA在提供临床适当信息方面达到甚至30%的阈值。

最近，新冠肺炎大流行已经并仍在严重影响着全球人民。特别是与COVID-19大流行相关的一些研究表明，人们通常从新闻甚至社交网络获取在线信息，这些信息如何影响人们的生活是一个值得关注的问题[9］．关于VAs, Sezgin等人[10]研究了此类设备支持COVID-19大流行等健康危机的准备情况，他们认为退伍军人事务部系统与官方卫生实体脱节。高等人[11]提出了一项关于一般信息、预防、传播、筛查、诊断和治疗6类问题的VA一般研究。他们从世界卫生组织(WHO)和美国疾病控制与预防中心(CDC)等官方和政府网站上收集了问题。

由于对COVID-19 VA反应的研究处于早期阶段，他们没有考虑有关疫苗或疫苗接种过程的具体问题。然而，一些工作指出了这一特殊主题的重要性。阿拉迦和赫尔宾[12]评估了VAs对消费者关于疫苗的健康问题(如副作用、风险或官方免疫计划所涵盖的疾病)的回答质量。他们从美国疾病控制与预防中心的常见问题解答页面和有机网络搜索查询中收集了关于疫苗的常见问题。费朗等[2]研究了VAs关于乳头瘤病毒疫苗接种的反应质量，结果显示只有一半以上的反应是准确的。具体而言，这些关于疫苗接种的研究表明了分析所获得的反应的准确性和有用性的重要性，因为它们远远不够合适(准确度低于50%)。此外，这样的研究可以警告人们，他们必须非常小心获得的反应。

我们的工作有助于将VA分析扩展到关于COVID-19大流行的特定疫苗主题。所有参考的工作都显示了助理对英语查询和信息的回答的质量。然而，我们预计所有这些工具和内部模型都没有针对外语进行优化。因此，我们还通过使用葡萄牙语开展这项研究，这是受到COVID-19大流行严重影响的巴西所使用的语言，也是全球约2.9亿人使用的几个国家的官方语言[13］．

目标

鉴于这种情况，这项工作旨在对不同VAs对COVID-19疫苗这一实际和重要主题的反应进行质量分析，据我们所知，任何已找到的参考文献都未适当涵盖这一主题。我们把重点放在这一重要问题上，因为现在已经有了疫苗，社会敦促人们迅速接种疫苗。

拟议的研究基于从世卫组织官方网站[14］．这些问题被提交给5个主要的VAs (Alexa, Bixby, Cortana，谷歌Assistant和Siri)，并根据基于文献的标题对回答进行评估[11，12］．由于之前的研究主要集中在英语语言上，我们将这项研究集中在葡萄牙语上作为额外的贡献。6，12我们认为虚拟助理不容易适应外语。

方法

评估血管

评估的VAs是Alexa(亚马逊)、Bixby(三星)、Cortana(微软)、谷歌Assistant和Siri(苹果)。Alexa是通过Echo Dot访问的。Bixby和谷歌Assistant是通过三星Galaxy S10手机访问的。小娜是通过一台Windows笔记本电脑访问的。最后，在iPhone 12上访问了Siri。这5个VAs的选择基于2个方面:它们是市场上最受欢迎的VAs，它们也在之前的工作中被用作评估设备[5，6］．

评价

2名评估者(RG, 23岁，女性;TM, 45岁，男)，母语都是巴西葡萄牙语，毕业于计算机科学相关领域，他们使用相同的设备评估VAs，并在每次使用前后重置搜索历史。所有设备的语言都被设置为巴西葡萄牙语，定位功能也被关闭。对于每个选定的问题，评估人员根据以下描述的评估标准对VA的回答进行评分。如果VA提供了多个答案，则只考虑第一个答案，因为VA认为第一个答案更重要。对于每个评估者，从每个回答得分中计算出总分，并将得分转换为总可能得分的百分比。此外，所有问题的平均百分比被作为评估员对VA的评分。该过程对所有VA重复。

关于COVID-19的问题

为了有效评估VAs的回答以确保准确性，我们收集了一套来自世卫组织的COVID-19疫苗常见问题[14)的网站。我们之所以选择关注与COVID-19疫苗有关的问题，是因为之前发现了围绕这一主题的准确性和错误信息问题。共收集了15个英语问题(于2021年7月7日访问)，并人工翻译成巴西葡萄牙语。英语问题及其翻译为巴西葡萄牙语的问题列在表1．

评价标准

我们的研究中使用的标题改编自最近对医疗保健中的VAs的研究[11，12］．该标准评估了5个参数:准确性、理解性、相关性、可靠性和用户友好性。

通过将VAs的回答与我们汇编的答案列表进行比较来评估准确性。我们考虑了以下问题:“提供的VA回复是否与答题纸上的答案准确匹配?”完全错误的回答分别为0分，部分正确或完全正确的回答分别为1分和2分。

理解力是通过VAs识别问题并提供回答的能力来评估的。我们为评估者考虑了两个问题。第一个问题是:“你需要试多少次，VA才能识别出这个问题?”如果VA在3次尝试后仍不能提供响应，则评估将以0分结束。通过以下标准进一步评估响应是否成功:1次3分;2分2次;1分3次。第二个问题是:“有多少单词缺失或转录错误?”我们采用了如下的分数分配:0个漏字得2分;漏词1 - 2个扣1分; 0 points for more than 2 missed words.

相关性是根据VAs回答问题的程度来评估的。我们为评估者考虑了两个问题。第一个问题是:“退伍军人事务部能找到答案吗?”如果VA无法找到响应，则评估将以0分结束。答对成功的记1分。第二个问题是:“退伍军人事务部提供的答复是否与所问问题相关?”我们对这个问题采用了以下评分标准:直接相关的回答得2分;没有直接回答问题但包含同一主题信息的回答得1分;完全不相关的答案得0分。

信度是根据新鲜度和可信度等不同角度进行评估的。我们考虑了4个问题。第一个问题是:“与官方答案相比，VA提供的回复是否最新?”根据3个评分类别进行评估:反应时间比实验时间(2021年4月21日)晚2分;1点，回复时间不超过该日期;0分，日期没有说明或不确定。在最后一个标准中，我们选择通过考虑可靠性缺陷来惩罚没有此重要数据信息的VAs。多媒体附件1还显示150人中只有6人得了0分。第二个问题是:“参考文献的可信度有多高?”它根据4个等级进行评估:3分，回应来自一个公认的权威机构的声誉良好的网站;2分，当回应来自一个有一定专业知识的网站;1分，回答来自一个主要不是以提供真实健康信息而闻名的网站;0分时，没有一个地点。第三个问题是:“在提供的VA回复中是否有引用?”有参考文献引用的回复记1分，没有参考文献引用的回复记0分。最后，第四个问题是:“va提供的回复中是否有广告?”没有广告的回答得1分，而有任何广告的回答得0分。

用户友好度是根据巴西葡萄牙语母语使用者对回复的理解程度进行评估的。我们为评估者考虑了3个问题。第一个问题是:“答复是用葡萄牙语提出的吗?”如果VA不是用葡萄牙语写的，那么评价将以0分结束。巴西葡萄牙语的成功回复得分2分，其他国家的葡萄牙语回复得分1分。第二个问题是:“回复是通过文字和语音两种方式呈现的吗?”根据4个评分类别进行评估:通过语音和文字回答2分;只有语音应答时1分;只有文字回应时得1分;0分，如果没有。 Finally, the third question was: “Is the content in the VA response provided in a way that it can be easily understood by a lay person?” Responses whose content was easily understood were awarded 1 point, while responses that were difficult to understand received 0 points. The summary of our proposed rubric is shown in表2．

结果

摘要统计信息

作者结合评估者(RG和TM)的分数来计算每个VA的总体平均分。对于每个问题(表1)，分数范围从0(表示VA不理解问题或没有提供答案)到22(表示VA根据官方答案回答了问题)(表2)．因此，每个VA可以达到330分(15 × 22)的最高分数。

为了研究和比较评价者之间的信度和评价者回答的一致性，我们计算了克里ppendorff alpha [15)的值。虽然存在测量观察者间可靠性的指标，如Cohen kappa或Fleiss kappa，但Krippendorff alpha作为许多可靠性指标的泛化，因此被认为是最可靠的[16］．Krippendorff alpha也允许任何测量水平(名义和间隔)和任何数量的类别，尺度值，或措施。接近1的Alpha值表示可靠性提高，而接近0的Alpha值表示可靠性降低。值得注意的是，评估准则是基于客观的反应，因此，在获得的结果上的一些分歧与VA的理解能力的差异非常相关，而不是在评估者对反应的解释上。Krippendorff alpha值表明，只有Bixby和谷歌Assistant在评估者之间具有中度到极好的一致性(0.6或更好)。这一结果表明，Alexa、Cortana和Siri根据男性或女性声音的类型有不同的反应。表3显示其他分析。

精度

通过将VAs的回答与我们的官方答案列表进行比较来评估准确性。谷歌Assistant得分最高(76.7%)，其次是Siri (26.7%)， Alexa和Bixby均为23.3%，以及Cortana(6.7%)。

理解

理解力是通过VAs识别问题并提供回答的能力来评估的。首先，我们评估评估人员需要重复问题的次数，以便VA能够识别问题。Bixby是唯一一个能够识别每个问题而无需重复问题的VA。其次是Cortana(93.3%)、谷歌Assistant(91.1%)、Siri(80%)和Alexa(66.7%)。其次，我们检查了有多少单词缺失或VAs转录错误。Bixby和谷歌Assistant的得分最高(96.7%)，其次是Alexa(93.3%)和Cortana和Siri(86.7%)。

相关性

相关性是根据VAs回答问题的程度来评估的。在相关性方面，Bixby和谷歌Assistant能够找到所有问题的答案，而Alexa和Cortana只能找到60%的问题的答案。Siri找到问题答案的比例最低(33%)。助理是提供最相关答案的VA(80%)。有趣的是，尽管Bixby总是能够找到问题的答案，但只有20%的答案被认为是相关的。Cortana的成功回答比例最低(33.3%)，她经常回答“对不起，我不知道这个答案”(“Desculpe, não sei essa resposta”)。图1显示了VAs回答的相关性分数的摘要。

‎ 查看此图

可靠性

可靠性基于新鲜度、可信度和偏倚等不同角度进行评估。在新鲜度方面，谷歌Assistant得分最高(63.3%)，其次是Cortana(16.7%)、Siri(10%)、Bixby(6%)。Alexa没有提供她的回答日期，因此，在这个标准中获得了等于0的分数。在可信度方面，谷歌Assistant的得分最高(73.3%)，其次是Siri(64.4%)、Bixby(17.8%)、Alexa(11.1%)、Cortana(6.7%)。我们通过VAs提供的回复中是否存在商业利益来评估偏倚(即，我们评估了回复中是否存在商业广告)。在我们的分析中，没有VA在他们的回复中展示广告。

用户友好性

用户友好度是根据来自巴西的葡萄牙语母语人士对回答的容易理解程度进行评估的。首先，我们评估VAs提供的回答是否用葡萄牙语。Bixby, Cortana和谷歌Assistant用巴西葡萄牙语回答了所有问题，在这一标准上达到了100%。只有Alexa(93.3%)和Siri(86.7%)未能提供部分回答，因此无法对部分问题进行评估。我们注意到他们在回答较长的问题时都有困难，比如表1．

其次，我们评估VAs的回答是否使用语音和文本呈现。Bixby是唯一一个在所有的回答中都使用文本和语音的公司。紧随Bixby之后的是谷歌Assistant(83.3%)、Cortana和Siri(均为80%)以及Alexa(60%)。最后，我们评估了这些回答是否能被外行轻易理解。谷歌Assistant得分最高(93.3%)，其次是Siri (80%)， Alexa和Cortana(60%)，以及Bixby(26.7%)。

讨论

总结

图2(见多媒体附件2(所有回复的内容)列出了每个虚拟助理的评估分数摘要。所有虚拟助理在理解性和用户友好性方面表现良好。这一结果表明，科技公司在与用户互动方面的担忧，尤其是巴西葡萄牙语使用者。在本研究评估的其他参数中，谷歌Assistant在所有VAs中表现最好。相关性、可靠性和准确性参数高度依赖于网络上可用的响应。我们明白，出于这个原因，谷歌Assistant比其他VAs有优势，因为它使用谷歌本身作为搜索引擎。

‎ 查看此图

结论

本研究评估了5名受欢迎的VAs对葡萄牙语COVID-19疫苗接种的反应。在COVID-19疫苗接种的紧急背景下，这项工作有助于了解必须如何改进VAs以使其对社会更有用，以及人们在考虑将VAs作为卫生信息来源时必须如何谨慎。

所有VAs在理解和用户友好性方面表现良好，得分均在75%以上，这表明这些设备很好地适应了巴西葡萄牙语。这是由谷歌Assistant和三星Bixby主导的。但在相关性、可靠性和准确性方面，只有谷歌Assistant取得了满意的结果(得分在75%以上)。其他虚拟助理的得分低于50%，这表明虚拟助理在嵌入式技术方面似乎已经足够好了，但它们确实需要更好地连接相关内容，才能对健康应用有用。

作为未来的工作，我们计划调查用英语提交的问题是否会比用葡萄牙语提交的问题获得更好的结果。此外，我们计划扩展我们的研究，以考虑有关大流行危机的其他相关问题。最后，我们希望在开发特定的定制应用程序(如Bixby胶囊或Alexa技能)时，将VAs与健康问题的准确性进行比较。