荷兰COVID-19通知应用程序:从最终用户和接触者追踪员工的混合方法评估中吸取的教训

介绍

背景

许多国家为减缓SARS-CoV-2传播而采取的措施之一是使用接触者追踪应用程序[1]，定义为“可以安装在用户个人设备(如智能手机)上的软件，当用户与SARS-CoV-2感染者接触时通知用户”[2]。研究揭示了流行病学影响;这种数字接触者追踪将避免大量COVID-19感染病例[3.主要是通过可能提高接触者追踪过程的速度。然而，估计显示，超过一半的人口必须同时使用该应用程序才能发挥作用。4]。

荷兰CoronaMelder应用程序

荷兰政府开发了一种CTA，名为CoronaMelder (CM)，该CTA基于苹果公司和谷歌[5]。该应用程序于2020年10月实施并向公众开放。荷兰CM应用程序旨在(1)减轻市卫生局(MHS)追踪接触者的工作，(2)比MHS手动追踪接触者更早、更快地识别和追踪高风险接触者，以及(3)告知曾接近受感染应用程序用户的用户强烈建议采取的措施(例如，进行聚合酶链反应测试、隔离、不让访客在家和保持社交距离)[6以避免病毒(进一步)潜在的传播。该应用程序的基本机制是将一个应用程序用户与另一个COVID-19检测呈阳性的应用程序用户长时间(至少15分钟)接近归类为高风险接触者。然后，该应用程序将匿名向第一个用户发送通知，提醒他们在应用程序中有高风险接触。该通知建议用户在MHS接受检测并隔离，直到收到检测结果。如果用户收到阳性测试结果，该应用程序为用户提供通知其他应用程序用户的能力，而他们又与谁有过联系。在荷兰的情况下，在大多数情况下，MHS是一个链接针，也就是说，在检测呈阳性的情况下，用户在MHS的系统中被标记为受感染，并被联系以启动(手动)接触者追踪过程。MHS官员(卫生官员)随后要求最终用户读取应用程序生成的代码，然后卫生官员将其添加到他们的系统中，以验证感染个体的代码。接下来，终端用户可以选择通过app发送通知来警告他人[7]。或者，自2021年10月起，用户可以通过一个两步验证保护的MHS网站自行验证代码，该网站为他们提供积极的测试结果[8]。

cta现状与研究

这项研究是对荷兰CM应用程序的第二次定性研究，也是评估该应用程序在COVID-19大流行期间作为工具的有效性的更大努力的一部分。早期的研究[9在最初发布时，我们专注于应用的可用性和以用户为中心。由于这第一项研究，应用程序进行了更改。其他国家也采用了共同贸易协定。尽管在一些国家(包括荷兰)对算法进行了改进以提高cta的准确性，但大多数国家都依赖于谷歌Apple Exposure Notification参考框架。在检测呈阳性后与当局联系的可能性因国家而异，采用率也因国家而异。在SARS-CoV-2的组粒变体传播之前，英国的流行病学研究发现，公众采用cta是有效的[3.]。一项德国研究[10发现教育水平越高，流行病应用的使用率就越高。在比利时，一项调查发现，大多数非用户拒绝使用这款应用的主要原因是出于隐私问题和对应用实用性的矛盾心理。11]。在希腊，一项深入的接触者追踪培训研究发现，以系统和协调的方式进行接触者追踪工作效果最好，对接触者追踪工作人员进行系统和有组织的培训可以大大提高其有效性[12]。因此，重要的是不仅要考虑应用程序，还要考虑隐私问题和嵌入公共卫生基础设施。

荷兰CM应用程序和接触者追踪过程随着时间的推移

荷兰卫生、福利和体育部一直在监测和评估这款荷兰应用程序的采用情况和有效性。研究显示，大约三分之一的荷兰人在该应用发布一年后下载了它。13]。受教育程度较低、月收入较低以及年龄在80岁至80岁之间的人群中，接受度最低[6]。事实证明，与mss相比，CM应用程序追踪和提醒的联系人数量要多得多;在收到应用程序通知的人中，有77%的人没有得到卫生部的联系[14在他们的人工接触者追踪过程中。在行为结果方面，比如遵守应用程序提供的防止病毒传播的措施，结果就不那么积极了。只有45%的用户在通知后留在家里，只有41%的用户申请了聚合酶链反应测试。人们对导致行为结果的原因知之甚少。例如，在这一点上，我们还没有获得关于应用的用户友好性和可理解性的见解[9]。在Bente等人对CM应用进行初步可用性研究后，情况发生了变化[8]。同样，应用程序提供的行为措施(以推荐的形式呈现给用户，如自我隔离)在多大程度上被认为是清晰而明确的，以及应用程序的通知可能在多大程度上引发潜在的意外和不希望的效果(如愤怒或恐慌)。最后，我们也不知道为什么用户会选择不遵循这些措施，以及应用程序与MHS工作流程的整合可能会如何影响应用程序的有效性。然而，这些见解对于确定应用是否以及为什么被正确使用以及是否执行建议的行为措施至关重要。最终，这些信息对于改进CTA及其与卫生部接触者追踪过程的整合至关重要，并最终支持其可持续性和可扩展性。后者仍将是至关重要的，因为COVID-19大流行已被证明是持续存在的，感染水平和社会控制措施定期波动。数字接触者追踪仍然是抑制SARS-CoV-2传播战略的重要组成部分。

隐私设计带来的挑战

因为这个应用程序是按照设计隐私原则上，通过应用程序定量收集上述信息是复杂的。此外，确实存在的数据收集选项仅限于数字，例如在一段时间内发送的通知数量，这并不能揭示行为的潜在动机或原因，例如遵守或缺乏行为措施。本研究建立在CM应用程序评估结果的基础上，并对其进行后续研究，是CM CTA持续评估的一部分[8，13]。此外，本文还将探讨如何将CM应用程序集成到MHS的接触者追踪中。因此，本研究考虑了两个观点:终端用户的观点和参与接触者追踪过程的荷兰卫生部员工的观点。此外，该研究对参与应用程序创建和实施的开发和沟通团队采用了镜像方法，以深入了解研究结果的背景和实施建议改进的可行性。研究问题如下:(1)是什么阻碍、阻止或激励最终用户(公民)采用应用程序并遵守应用程序的说明和建议(行为措施)?(2)该应用程序在荷兰卫生部接触者追踪团队的工作流程中是如何实施的?(3)使用CTA如何影响遵守隔离检疫措施?

方法

概述

为了获得对第一个和第三个研究问题(应用程序的使用，CM应用程序用户的依从性和用户友好性)的必要见解，采用了3种方法。首先,主题分析(n = 56)首先了解在使用应用程序时遇到的难点进行了使用电子邮件发送的用户的应用。其次,一个简短的网络调查(n = 1802)进行获得洞察的采用应用程序和应用程序的通知接收和发送,收集使用的积极进行个人联系信息应用和谁将被邀请参与深度访谈。第三，进行了半结构化访谈(n=48)，以深入了解对行为措施的依从性和对应用程序的看法。第二个研究问题是通过对MHS接触追踪员工的半结构化访谈来研究的。然后与荷兰卫生、福利和体育部的团队以及负责构建和维护应用程序并就应用程序进行沟通的MHS进行讨论。本研究的设计和程序由负责任的伦理委员会(多媒体附录1特温特大学(University of Twente)的BMS教员。

应用用户发送邮件的话题分析

该主题分析基于56名参与者，他们通过电子邮件回应了一家地区报纸的电话(2020年11月11日，Twentsche Courant Tubantia) [14]，并要求他们将使用CM应用程序的经验作为科学研究的一部分。在63封邮件中，有56封(89%)符合纳入标准。如果参与者安装并激活了CM应用程序，收到通知，并可能与MHS员工共享其应用程序的(MHS)密钥以警告其他CM应用程序用户，则将其包括在内。被选中的56名参与者组成了来自荷兰各地的不同样本。他们邮件中的情绪是用手工编码分析的。这意味着两个程序员将独立阅读每封电子邮件，并确定电子邮件的情绪是积极的，消极的还是中立的。类似地，在第一轮分析中确定了可能的主题列表，然后在最终分析中由2个独立的编码员进行编码。对编码人员的相互矛盾的评估通过第三方审稿人的评估或有问题的电子邮件来解决。

网络调查

一项基于网络的调查是在2020年12月1日至2020年12月21日期间通过荷兰名为“Panelclix”的小组服务发送的。这项调查的主要目的是招募潜在的参与者进行访谈。选择标准为年龄(0 ~ 18岁)和教育程度;其目的是建立一个样本组，其中70%的参与者受教育程度为中低水平。参与者被问及9个关于CM应用程序使用的问题，他们是否收到了通知，或者在冠状病毒感染的情况下，他们是否与MHS共享了他们的CM应用程序MHS认证密钥。收到通知的小组成员被要求参加面谈(在网上或通过电话)。调查中所有的问题都包含在多媒体附录2是用荷兰语写的。

面试

与CM应用程序用户的访谈

在2020年12月1日至2021年1月21日期间，共进行了48次基于网络的访谈，参与者使用CM应用程序，收到通知(38/48,79%)或COVID-19感染检测呈阳性，之后他们与MHS共享或未共享MHS密钥(8/48,16%)。一些参与者(3/ 48,6 %)同时满足两个标准。目标样本由普通人群中的个人组成，重点关注难以接触到的群体，如教育水平低、阅读或数字技能有限、移民背景和65岁以上的成年人。我们使用了多种招聘渠道，如媒体(通过报纸进行宣传)、CM应用程序帮助台、学校、公司、图书馆、足球俱乐部、卫生保健组织，以及支持识字水平低的个人的组织，如“Pharos”和“Stichting ABC”。参与者被问及影响他们对covid -19相关行为措施的依从性行为的因素，他们依从性(或缺乏依从性)的潜在动机，以及他们在使用CM应用程序期间遇到的限制或促进因素。此外，如果被访谈的个人被MHS接触者追踪员工联系，我们会问他们对MHS工作流程的体验。在主题分析和调查中确定的重要因素(例如，技术问题)被用于设计与接触追踪员工面谈的问题。完整的面试问题和主题列表可以在多媒体附录3和4都是荷兰语。

对接触者追踪员工的采访

为了探索CM应用程序在MHS接触者追踪过程中的嵌入，我们对荷兰MHS的接触者追踪员工进行了11次半结构化的网络访谈。访谈时间为2021年1月28日至2021年2月10日。参与者是通过研究人员网络招募的，并在卫生部的2个地点发布了公开邀请。参与者被问及接触者追踪的过程、他们与索引(COVID-19检测呈阳性的人)沟通的方式、CM应用程序在这一过程中的嵌入程度、他们在工作中遇到的限制和困难，以及如何减少这些限制和困难。此外，话题分析和CM app用户访谈的结果作为MHS员工访谈问题的基础。用户在MHS过程中发现的问题和MHS实践的不确定性被整合到访谈问题中。

所有的面试参与者，包括应用程序用户和MHS员工，在面试结束后都收到了一张礼品卡，作为他们投入时间的回报。CM应用程序的设计师和创建者以及负责CM应用程序宣传活动的荷兰卫生、福利和体育部宣传团队对总体结果进行了沟通和反映，以获得更多的见解，并为应用程序的进一步开发和实施活动提供帮助。由于这种镜像，应用程序和MHS员工的工作流程和培训进行了调整(见讨论)。

两个访谈系列分析

半结构式访谈按照主题和问题列表进行。访谈由两名独立编码员逐字记录、转录和编码。参加者所提及的题目及就问题所作的陈述，以及名单上的题目，均予编码，然后加入编码方案的适当编码内，或作为新编码加入。由于这种方法，一个代码组(主题)下的单个代码的频率总和并不总是对应于参与者的总数。这一发现有两个原因。首先，频率表示参与者所作陈述中的代码计数。并不是所有参与者的陈述都符合每个代码组的代码，导致频率总和低于参与者的总数。第二，一些与会者可能发表了适用于同一代码组的多个代码的声明，从而导致更高的频率总和。编码方案由事先根据应用程序的特征(主题编码)、接触者追踪小组的程序、应用程序中提供的信息和依从性建议以及来自两个主题分析的输入创建的一组有限代码组成，并辅以分析访谈时确定的代码。编码员返回到先前分析的转录本，以验证新创建的代码将应用的语句没有被遗漏。 Conflicts between coders were resolved through discussion and a third coder that could weigh in.

持份者的反馈

这三个子研究的结果被提交给负责实现和实施应用程序的团队(MHS，设计团队和沟通团队)并与他们进行讨论。总共举行了两次会议，时间约为一个小时，由荷兰卫生、福利和体育部发展小组的两名代表和宣传小组的两名代表参加。这使他们能够将研究结果应用于重新设计CM，并在MHS的工作流程中实施CM，并量身定制沟通活动。此外，它为本研究提供了机会，从政策、技术和沟通的角度来整合CM应用程序及其流程的实现、实施和使用所面临的挑战。因此，本研究纳入了来自不同利益相关者的见解。

道德的考虑

所有三个子研究的参与者事先都被告知他们的参与情况，并且可以在任何时候退出参与。在主题分析的情况下，这是通过明确提到发送给研究人员的电子邮件将被分析和经验提炼和匿名用于科学研究来完成的。在调查和访谈的情况下，遵循知情同意程序，如向特温特大学伦理审查委员会(批准号201323)提交的行为科学(多媒体附录1)。本次评估的目的是独立评估和解决有关研究或其是否符合适用法律的(潜在)伦理问题。

结果

首先是主题分析的结果，然后是对CM应用程序用户的访谈和对接触追踪员工的访谈结果。从参与者中挑选的语录被逐字翻译，并用于说明结果。原始的未翻译的报价提供在多媒体附录5。

主题分析

概述

总共有56人在电话(外展)发布后发送了可用的电子邮件，分享他们在CM应用程序上的经历。在56名参与者中，22名(39%)是男性，30名(54%)是女性，其余4名(7%)参与者的性别无法从他们的电子邮件内容中确定。参与者年龄在20 - 80岁之间(平均55岁，标准差15.0388)。年龄≥65岁的患者相对较多(10/ 56,18 %)。电子邮件的内容是未经提示的，因此反映了参与者最关注的经历。

除一名参与者外，所有参与者(55/ 56,98%)都表示，他们收到了CM应用程序的通知，警告他们与COVID-19感染检测呈阳性的个体有高风险接触。对这一通知的最初反应大多是情绪激动和强烈消极的，表现为愤怒、恐惧和怀疑。电子邮件中的一个共同主题是参与者对触发通知的联系人以及通知的意义和含义(例如，风险有多高?具体是什么时候联系的?现在该怎么办?)此外，在应用程序使用的早期阶段，手机的操作系统会定期发送通知，让参与者感到困惑。这些通知会告诉用户，他们已经有一个星期没有接触过任何高风险的人。这些通知经常被误认为是警告过去高风险接触的通知，并引起不满和愤怒:

8月31日星期一，我在我的CoronaMelder上看到，我和一个据报道被感染的人接近了15分钟以上。这是一个很大的打击!在我看来，那是不可能的!但是，不管怎样，我打了他们提供的电话号码。我得到的建议是去隔离，如果出现症状就打电话给我的全科医生或卫生部。我打电话给我的朋友和家人!之后的周一，我又收到了CM应用程序的通知。根据应用程序，我没有与任何被感染的人联系过。我根本不明白这一点!
(MAIL0116)

关于高风险接触者的通知往往被认为来得太晚。最常见的是(17/ 56,30 %)，参与者表示他们在高风险接触后5天内收到了通知。然而，有显著的群体在高危接触后5 - 10天(11/ 56,20%)或10天以上收到通知:

在阅读了你在报纸上的文章后，我想让你知道，我已经从我的手机中删除了应用程序[CM]，原因如下:11月2日，我收到一条消息，说我与一个患有冠状病毒的人联系了超过15分钟，我必须在室内待到10月30日。
(MAIL0072)

对通知的回应

参与者(7/56,13%%)对他们收到的通知的有效性表示严重怀疑。例如，参与者知道他们在所谓的高风险接触当天没有离开过房子。另一些人则能认出通知的来源是他们没有亲眼见过的邻居。然后他们推断，蓝牙信号一定穿过了他们家的墙壁。由7名(13%)参与者组成的另一个分组表示，由于怀疑，他们在收到通知后的第一个行动方针是核实其有效性。与会者表示，这些事件削弱了他们对通知和CM应用程序有效性的信心，从而导致在是否应该对他们进行隔离或隔离方面的决策过程更加复杂:

我的经验是，邻居和我的电话一直在联系. ...人们可能会收到(来自CM的)不正确的通知，但这比相反的方式要好。
(MAIL0074)

例如，为了减轻因收到通知而产生的焦虑和疑虑，参与者选择与卫生部或他们的全科医生联系。其目的是消除一些不确定性，并深入了解通知和将要采取的行动的意义和影响:

在又一个不眠之夜之后，我得出结论，我仍然没有任何症状。为了摆脱所有的沉思，我预约了(一家商业测试提供商)在亨格洛(市)的分支机构。
(MAIL0209)

当参与者能够获得COVID-19检测并获得阳性检测结果时，MHS必须与他们联系，开始接触者追踪过程。然而，参与者表示，这种联系时刻并没有发生，其他人表示，当这种情况发生时，MHS没有询问他们的使用情况，因此没有通过CM应用程序发送通知的可能性。

整体情绪

在分析的电子邮件中，34封被编码为包含对CM应用程序的主要负面情绪。相比之下，12封电子邮件被编码为中性情绪，10封被编码为积极情绪。

网络调查

7489名荷兰人被邀请填写网络调查，他们是根据年龄(bb - 18岁)和教育水平(主要针对中等或较低教育水平的人)选择的。共有1802人(24.06%)参与调查(表1)。共有54.61%(984/1802)的参与者在那个时间点(2020年秋季)从未安装CM应用程序。有692名(38.40%)参与者在当时安装了该应用程序，还有126名(6.99%)参与者表示他们曾安装过该应用程序，但后来删除了它。从现在开始，从未安装过该应用程序的参与者被排除在分析之外。在某个时刻安装了应用程序的参与者中(n=818)，大多数参与者(728/ 818,89%)没有收到来自应用程序的关于高风险接触的通知，而55(6.7%)参与者收到了一个通知，26(3.2%)收到了多个通知。一小群参与者(37/818,4.5%)在完成调查之前的某个时间点检测呈阳性。在调查时，大多数参与者(755/818,92.2%)未检测出COVID-19阳性。一些参与者(5/818,0.6%)不希望透露这些信息或没有提供答案(9/818,1.1%)。在37名测试呈阳性的参与者中，22人(59%)决定与MHS共享应用程序的密钥，以匿名通知他们的联系人，而15人(41%)没有。在决定与MHS共享密钥的22名参与者中，3名(14%)决定不通过CM应用程序警告他们的联系人。在某个时候安装了该应用程序的参与者，收到通知或检测呈阳性(86/ 818,11%)被要求提供人口统计数据并参加后续访谈。 Of the 86 participants, most were male (45/86, 52%). The participants had a mean age of 44.8 (SD 17.2) years. A total of 40.7% (35/86) of the participants had a low education level, 38.3% (33/86) had a medium education level, and 20.9% (18/86) had a high education level.

CM应用程序用户访谈结果

应用程序用户访谈的结果被分组并呈现给每个主题。每个主题都有简短的介绍，在每个部分的末尾可以找到一个结果表。

样本特征

总共采访了48名CM应用程序用户。他们是用各种方法招募的。通过各种组织的外展努力招募了一大群人，例如当地报纸(33/48,69%)，低文化支持组织(2/48,4%)和当地职业足球俱乐部支持者(4/48,8%)。此外，基于网络的小组(2/ 48,4%，来自上述调查)，荷兰CM应用程序帮助台(2/ 48,4%)，当地贸易学校(1/ 48,2%)和其他方式(5/ 48,10%)提供了剩余的参与者。在接受采访的参与者中，略多于一半的人被确定为女性(27/ 48,56%)，其余的人被确定为男性(21/ 48,44%)。参与者年龄在21 - 80岁之间，平均年龄51岁(标准差16.2)。参与者的教育水平并不代表荷兰人口，并且倾向于高教育水平(34/ 48,71%)，而不是中等(7/ 48,15%)或低(7/ 48,15%)。3个(6%)访谈录音由于技术问题无法使用。因此，这些参与者被排除在分析之外，留下45个访谈进行分析。

App安装

表2显示整个示例中安装日期的划分。在接受采访的CM应用程序用户中，有3个主要的时间点可以安装应用程序。首先，当应用处于本地试点测试阶段时(22/49,46%)。第二，当它于2020年9月首次向公众开放时(22/45,49%)。第三，在2020年12月1日之后(1/ 45,2%)，此时发布了应用程序和相关MHS流程的重大更新[13]。主要更新包括CM与其他欧洲国家的cta交换代码的能力，应用程序中的文本更改以及MHS程序的更新，如果人们表示没有任何与COVID-19相关的症状，则允许他们安排进行COVID-19测试。一小部分人(5/45,11%)决定在游戏最初发行到采访期间卸载该应用，而更大一部分人(7/45,16%)则预测他们将在不久的将来卸载该应用。

我儿媳在[市]开了一家发廊，现在也关门了。她有5个人为她工作，并有CoronaMelder。她把它取了下来。她表示，这款应用让她抓狂。
[CME008，男，71岁，高学历]

接收通知

如果应用程序确定用户感染SARS-CoV-2的风险增加或很高，荷兰CM应用程序的用户会收到通知。这是在荷兰官方检测中心检测出新冠病毒感染呈阳性的用户与另一名用户的距离(1.5米以上)较长时间(约15分钟)的情况下进行的记录。通知将在用户手机的通知栏和CM应用程序的主菜单中显示(图1)。关于这个主题的结果见表3。大多数参与者(30/ 45,67%)收到一次通知，一些(8/ 45,18%)收到多次通知，较小的一组(7/ 45,16%)没有收到通知。

‎ 查看此图

在收到通知的人中(n=38)，收到通知最常见的最初反应是震惊(23/ 38,61%)和愤怒和愤怒(4/ 38,11%)。后一种反应主要是由于参与者认为通知到达得很晚(9/38,24%)。这是在参与者已经通过其他渠道获得高风险接触的消息或认为他们已经危及他人的几天之后:

那天早上，我已经从和我一起锻炼的人那里收到了一条WhatsApp信息，说他们是阳性的。因此，我已经知道我必须采取行动。我喉咙痛，但我有点怀疑。然后，首席部长的通知来了，感觉更严重了。
[CME0146，女，58岁，高学历]

我吓得要死。您收到通知，告知您在10月17日与感染冠状病毒的人有过接触。这让我思考:那个周六我在哪里?我在做什么?我不去市场或商店。我开始思考，认真思考。它让我彻夜难眠，我从来没有想过我去过哪里，和谁联系过。
[CME0017，男，65岁，中等教育程度]

参与者报告了在接收通知的过程中遇到的问题，比如在深夜收到会把他们吵醒或吓到他们的通知。其他人试图联系卫生保健，但由于占线或联系信息被误解而无法联系。大多数参与者(26/38,68%)怀疑通知是否准确或合理，而只有12(32%)参与者确信其正确性:

我知道我应该在10月29日有一个联系人，然后我在周日(11月8日)收到通知。就在我的隔离期结束的那一刻，我收到了通知。
[CME0109，女，45岁，中等教育程度]

因为同一天我也打电话给MHS，但没能接通。第二天我又打了一次电话。
[CME0104，男，59岁，高学历]

参与者在收到通知后采取了各种(通常是多个)行动，并且经常提到多个行动。这些操作包括尝试验证通知的正确性(29/ 38,76%)，联系卫生服务分支机构或全科医生(19/ 38,50%)，联系朋友和家人(18/ 38,47%)，联系工作(4/ 38,11%)，注意症状(4/ 38,11%)和卸载应用程序(3/ 38,8%)。总的来说，参与者表示他们不确定或完全不知道该怎么做:

但与此同时我给所有人都打了电话。那些人也不害怕，他们很高兴我打电话给他们，就是这样。
[CME0008，男，71岁，高学历]

你要做什么:你要想想那天我去了哪里，做了什么。你不能很好地理解它，因此你变得烦躁。
[CME0125，女，67岁，文化程度低]

对隔离和检疫建议的理解和遵守

荷兰的CM应用程序提供了在收到通知后是否应该进行隔离，或者在收到新冠病毒检测结果呈阳性时是否应该进行自我隔离的信息。该建议向研究中的所有参与者(n=45)展示。大多数给出的建议是理解的，参与者表示他们一般都遵守了这些建议(23/ 45,51 %)。表4提供每个通知的值。然而，嘉宾表示他们不明白与同居者保持距离的建议;深入的访谈问题显示，他们误解了建议(7/45,16%)。参与者没有遵循这个建议(15/ 45,33 %):

是的，但是我丈夫和我就两个人住，所以不适用. ...我丈夫和我躺在一张床上，所以这是行不通的。
[CME0006，女，62岁，高学历]

我儿子被感染的时候是我女儿的生日。然后我女儿和几个朋友坐在楼下，我儿子在楼上。在那个时候，我们没有说:任何人都不允许进入房子。
[CME0031，女性，50岁，高学历]

获取COVID-19测试和测试结果

荷兰CM应用程序背后的一个关键机制是，在收到通知后获得正式的COVID-19测试。共有24人要求进行测试(表5)，其中13人(54%)在荷兰MHS的分支机构进行了治疗，其中4人(31%)在全科医生经营的地点进行了治疗。其他9名(69%)参与者在另一种类型的地点进行了COVID-19测试，这些地点要么是商业场所，要么是雇主开办的。大多数参与者(8/11,73%)没有去荷兰卫生保健服务机构经营的检测地点，他们指出，造成这种情况的原因是，他们认为荷兰卫生服务机构在安排检测和通报结果方面没有可用性，而且速度很慢。大多数参与者在测试后24至48小时(7/24,29%)或24小时内(6/24,25%)收到测试结果。有关接收测试结果的结果见表6。一些参与者(5/ 24,21%)在48小时后收到测试结果。大多数参与者(13/24,54%)通过受保护的政府网站获得他们的结果，这表明这是最简单的方法。检测呈阳性的参与者(13/24,54%)均由卫生服务部门召集，这是接触者追踪过程的开始。共有14名参与者报告说，在检测呈阳性后的一段时间里，他们被隔离了，其中11人(79%)报告说，他们在去测试前收到了应用程序的通知:

在MHS，当时的问题是他们的能力对于他们收到的请求数量来说太有限了。当时大家都知道是这样的。这是一个很大的麻烦和刺激。然而，它很容易安排在一个商业考试中心，所以这是一个很好的经验。
[CME0227，男，35岁，高学历]

然后我做了检查，但我的症状还不够严重。我也不能马上得到检查。电话里那个女孩就是这么说的"你没有症状"然而，我随后告诉她，我曾接触过被感染的人，我想接受检测以确定。我说我的喉咙可能有轻微的症状，但我认为在正常情况下，我不会去检查自己是否有这些症状。我这么做是为了让情况更严重，这样我就可以去做检查了。
[中小企业0042，女，62岁，高学历]

他在周二晚上接受了检测，周四下午被告知检测结果为阴性。与此同时，我们已经得出结论，他的测试结果将是阴性的，但这同时给他带来了很大的压力。特别是因为他知道测试结果是可用的。但他们等了1.5天才给他打电话，这让人很沮丧。
[CME0028，女，36岁，中等教育程度]

在测试结果为阳性后发送通知

荷兰的CM应用程序提供了一个选项，即在用户自己的COVID-19感染检测结果呈阳性后，警告与其亲密接触的其他人。看到表7参与者在分享结果和发送通知方面所采取的操作。总共有13名参与者的测试结果呈阳性。参与者在收到阳性测试结果后采取的行动方面分为两派。一些参与者删除了应用程序(4/13,31%);向保健服务机构或全科医生寻求帮助(3/13,23%);或者立即开始联系亲戚、朋友和同事(1/ 13.7%)。参与者可以向他们的联系人发送通知。首先，他们必须在手机上与卫生服务部门分享他们的应用程序密钥(“MHS密钥”)，11名(85%)参与者这样做了。然后他们必须通过应用程序发送通知(图2)。总共11名参与者中有5名(46%)成功地做到了这一点，从而完成了通知发送过程。在一些情况下(5/11,45%)，发送通知的选项要么没有提供，要么不可用。总体而言，13名参与者中有2名(15%)表示在发送通知方面有积极体验:

正因为如此，你也开始怀疑其他东西的有效性，比如CM应用程序。我本以为医院会分享阳性检测结果. ...但就我的情况而言，医院并没有将阳性检测结果告知卫生部。
[CME0426，男，69岁，教育程度不详]

那是第二天，19号星期一，我接到一个人的电话，询问追踪接触者的事。他们问我是否与人接触过。我告诉他们我没有和很多人联系过，我一直在和物理治疗师联系。他们问我能否亲自通知他们，并想挂断电话。然后我说我有CM应用程序，并问我是否可以用它做些什么。他们经常让我提供代码，这样他们就可以报告了。我做到了。然而，如果我没有告诉他们……然后他们只会让我通知其他人，别无其他。
[CME0179，男，70岁，高学历]

不，因为我以为卫生部会这么做. ...因为卫生部问我要钥匙，我不清楚我必须完成剩下的程序。
[CME0179，男，70岁，高学历]

屏幕截图图2已翻译为如下:(1)标题:“发送通知”。(2)描述:“您是否接受过检测，是否感染了COVID-19 ?”然后国安局的员工会给你打电话。该员工将帮助你警告在你附近的其他人。为此，您将需要MHS密钥。(3)蓝色超链接文本:“这是如何工作的?”发送和阅读通知所需的三步计划:把这张MHS钥匙交给员工:A56-34F。2.等待MHS员工进行下一步操作。 3. Warn others by sending an anonymous notification.” (4) A button saying “Continue,” which allows users to continue the process and afterward confirm the sharing of their anonymously gathered codes through a pop-up from the operating system.

‎ 查看此图

对App的总体态度以及App的改进和优势

大多数参与者(37/45,82%)，如表8，对这款应用的总体评价是积极的:

但如果你收到通知，呆在家里，你就不会感染其他人，也不会传播得那么多。是的，绝对是这样。
[CME0006，女，62岁，高学历]

然而，一个重要的群体(13/ 45,29 %)对其有效性持怀疑态度(也包括那些积极看待应用程序的人)，或者对CM应用程序持明显的负面倾向(3/ 45,7 %)。参与者在收到通知的情况下经历了很多不确定性，并表示(5/ 45,11 %)他们希望澄清何时和为什么发送通知，以及确定高风险联系人的确定性程度:

例如，我的姐夫也收到了通知，但后来发现他没有被感染。你必须和某人近距离接触15分钟，但他说他没有。这让你有点怀疑，这是不是好事。它(CM应用程序)是否100%正常运行?
[CME0006，女，62岁，高学历]

其他人(4/ 45,9%)指出，他们收到通知的联系人与实际收到通知的时间间隔太长(例如，有时超过4天)。受访者表示，这削弱了他们对CM应用程序功效的信心。通知发送过程本身在某种程度上是不明确的(4/ 45,9 %)。有些人想要更多的功能或功能(5/45,11%)，以及更好、更面向图形的内容(5/45,11%)。最后，一些人表示，CM应用的使用(5/ 45,11%)或在通知后遵守应用提供的建议(2/ 45,4%)需要在公众中进行沟通和刺激。参与者将应用程序的易用性(18/ 45,40 %)和用户友好性以及应用程序提供的建议归类为其优势。

对接触者追踪员工的访谈结果

总共对荷兰MHS的员工进行了14次访谈。在这些参与者中，13人(93%)担任接触者追踪员工，负责联系COVID-19检测结果呈阳性的个人，并找到他们的感染源和他们可能感染的人。一名与会者担任荷兰卫生部政策部门的医疗顾问，并参与编写和制定了追踪接触者雇员的协议和程序。由于参与人数相对较少，因此不需要使用表格，因此结果以文本形式呈现，没有表格。大多数积极参与接触者追踪的参与者在他们的角色中工作了3到6个月(9/13,69%)。其他人作为接触者追踪员工工作时间<3个月(2/ 13.15%)。大多数参与者(8/13,61%)表示曾在一个地区的卫生服务机构工作，而一名参与者表示曾在一个以上地区工作。所有积极参与接触者追踪的参与者都表示，他们接受过某种形式的接触者追踪培训。大多数参与者(10/13,77%)表示，他们的培训涉及使用荷兰CM应用程序的某种形式的培训。其中，7人(70%)表示，他们在主要接触者追踪过程和使用荷兰CM应用程序方面都接受了充分的培训。对于那些报告接受培训不足的人(n=6)，最常被引用的原因是他们缺乏实际的例子和处理方法(4/6，67%)，他们希望在对话(2/ 6,33 %)或CM应用程序的部分内容(4/ 6,67 %)方面接受更多培训:

从理论上讲，训练是非常好的，你认为这就是它的发展方向。然后你开始工作，你注意到它不像说明书上说的那样。所以你确实学到了有用的技能，但最终这些对话是不同的。主要是因为它们不那么可怕。这个指令看起来好像每个人都在不断地生气，并会威胁到你的生命，但我从未经历过这种情况。
[CME 1008，男，26岁，高学历]

我们所缺少的，正如我们昨天指出的，是我们需要更多的深度。这一切仍然有点肤浅。
[CME1007，女，28岁，高学历]

总体而言，14名受访者中有9人(64%)对荷兰的CM应用程序持普遍好感态度，4人(28%)持中立或负面态度。只有一半的参与者(7/ 1450%)是应用程序用户。

大多数参与者(11/14,79%)表示，该应用程序仅在某些情况下有帮助，从来没有帮助，或者他们不确定该应用程序的有效性。最常被提及的原因(4/11,36%)是参与者体验到只有一小部分的接触者追踪指标使用该应用程序:

我自己不使用[CM]应用程序，因为我认为它使用得太少，无法真正发挥作用。我认为，如果我被感染了，我不会通过应用程序得到警告。
[CME1008，男，26岁，高学历]

CM应用程序在接触跟踪员工的工作

程序和工作量

根据大多数接触者追踪员工(7/ 13,54 %)的说法，一旦与他们的接触者追踪对象(“索引”)通话，参与接触者追踪的参与者(n=13)必须完成大量的检查清单和程序，平均每个对象需要花费50 - 20小时。只有3名(23%)追踪接触者的员工报告在每个指数上平均花费的时间小于2小时;

最近，我有一个小时的谈话，管理时间也至少需要一个小时。有时甚至更长，这取决于某人去过哪里。因此，我很难估计它(每个指标花费的时间)。通常，它需要比预期更长的时间。
[CME1009，女，25岁，高学历]

参与者表示，他们经常(6/ 13,46%)能够在阳性检测结果后24至48小时内联系他们的指标。此外，2名(15%)参与者报告说，他们经常在得知阳性检测结果后48小时后才接触指数。对于大多数索引来说，这是他们第一次了解测试结果的机会。

大多数参与者(5/13,38%)报告说，他们按照国家卫生服务办公室提供的程序工作，或者按照这些程序的地方变体工作(2/13,15%)。共有3名(13%)参与者报告说，他们发现程序和他们的状态不清楚。只有2名(15%)参与者表示有一套明确的使用CM应用程序的说明。大多数参与者(10/13,77%)报告说，他们曾询问过CM应用程序是否通过他们联系的联系人追踪索引安装。然而，询问的范围有限，因为只有4(30%)的参与者报告询问接触者追踪索引是否收到了应用程序本身的通知。此外，据报道，关于该应用程序的这些数据的注册也是有限的。只有2名(15%)参与者表示，他们询问了症状出现的第一天，只有8名(62%)参与者询问了接触者追踪者目前是否在使用该应用程序。

我追踪联系人的方式，我不会明确要求它(使用CM应用程序)。也许可以添加一个链接，如果你预约是因为CM应用程序，它会自动添加到系统中。当我们得到测试结果时，它会显示“这个人被应用程序警告。”这将是一种明确的方式。目前有几种方法可以进入考试中心。您可以因为遇到症状而拨打电话，也可以因为收到CM应用程序的警告或被隔离5天而拨打电话。我们目前没有在系统中看到这方面的信息。
[CME1000，男，29岁，高学历]

从事接触者追踪工作的参与者报告说，他们必须在无数不同的系统中注册有关CM应用程序的数据，但最常见的是在以下系统之一中注册，称为“HP区”(10/ 13,77%)，“CoronIT”(7/ 13,54%)或特殊清单(4/ 13,31%)。他们报告说，他们经常不得不在多个系统中登记相同的数据，因此，报告的计数重叠。当被要求使用CM应用程序估计其接触者追踪指数的百分比时，大多数报告<15%(5/ 13,38%)或在15%至30%(4/ 13,31%)之间。此外，根据4名(31%)参与者的说法，在CM实施期间的某个时刻，卫生服务部门的数据泄露降低了人们分享发送通知所需代码的意愿。

只有4名(31%)接受采访的MHS接触者追踪员工报告说，他们使用CM应用程序没有任何困难。参与者报告说，他们只在有限程度上向接触者追踪指数提供有关CM应用程序的信息。共有8名(62%)参与者报告说，他们强调了主题共享MHS密钥的重要性，其中2名(25%)参与者报告解释了其背后的过程。只有5名(38%)参与者表示，他们曾单独提到过按下CM应用程序中的按钮发送实际通知的重要性。参与者(3/ 13,23%)报告说，在向他们解释了流程后，这些指数会改变他们分享CM应用程序密钥的意愿。共有8位参与者报告在密钥共享和通知发送过程中遇到了问题。最常见的(3/8,38%)是由于(暂时的)服务中断;其他时候(2/ 8,25 %)，受试者属于当时没有被要求分享钥匙的人口统计(例如高中生)，2名(25%)参与者报告自己在完成过程中遇到了困难:

他们不分享密钥的原因是因为他们不知道他们必须提供信息。我不知道他们为什么不知道。
[CME1006，男，44岁，高学历]

接触跟踪过程和CM应用程序的改进

参与者(n=14)被要求描述这个系统的弱点和一些改进。共有6名(43%)参与者报告说这个过程太慢了。其中一些参与者(3/ 6,50 %)认为有关CM应用程序的部分过程或工作流程可以缩短。他们建议允许应用程序的用户自己分享他们的钥匙，并通知他们的联系人，而无需与MHS联系。此外，5名(36%)参与者希望更多地关注接触者追踪协议中的CM应用程序。他们表示，通过更深入地询问CM应用的使用情况，他们看到了接触者追踪工作的潜在线索;例如，关于指数是否因为收到通知而决定进行自我检测。此外，有5名(36%)参与者喜欢看到该应用在公众中推广使用。

反映方法的结果

在与负责开发和实施应用程序的团队以及负责CM应用程序(大众媒体)传播的团队的两次会议中，讨论了组合研究方法的结果。结果按时间顺序进行了讨论，并导致了CM应用程序的以下更改。

首先，终端用户和接触者追踪员工都指出，MHS需要在手机上使用索引，以便通过CM应用程序发送通知，这是应用程序机制的一个限制。在感染数量非常高的时期，MHS链中引入了延迟。因此，初始感染和通知发送之间的延迟会增加到一定程度，从而妨碍CM应用程序及时发送警告的能力。2021年12月的更新使受感染的个人可以通过一个网站将他们的MHS代码发送给MHS，他们可以在该网站上看到他们的检测结果，以加快通知速度。

其次，在采访的早期，很明显，进行自己的COVID-19检测的医院没有以这样一种方式与MHS分享结果，即CM应用程序通知可以发送给患者的联系人。在2021年1月之前参与CM应用程序通知发送过程是医院协议的一部分。

第三，与建设和沟通团队的镜像会议显示，人们对第一代和第二代潜在感染者进入隔离的总时间的重要性缺乏认识。换句话说，从个体A被感染到被通知到与A有过接触的个体B收到个体A关于自己潜在感染的通知之间的时间是一个关键的时间窗口。利益相关者，如构建和沟通团队，通常对该窗口使用较窄的定义，这排除了个人B将被通知和隔离的部分。这导致了对时间窗口的低估，以及可能缩小时间窗口的更改的延迟或优先级。沟通和构建团队都接受了这个更广泛的定义，并且采取了措施来减少过程中每一步的延迟。

第四，在夜间发送的通知被认为是烦人和可怕的。参与者会从中醒来，并且无法再入睡。这款应用现在会考虑一天中的时间，不会在晚上发送通知。

第五，在各种信息渠道上解决了CM应用程序用户中普遍存在的恐惧、误解和担忧。更新了CM应用程序的应用内信息，澄清了流程，并修改了荷兰官方(政府)渠道提供的信息。

讨论

概述

本研究采用混合方法调查了荷兰CM应用程序的实施、采用和使用情况。该应用程序提供了一组功能，理论上可以大大增强进行接触者追踪以控制传染病传播的能力，例如，对该应用程序的研究[8，13]及国际等价物[15已经表明。然而，应用程序的采用和遵守建议(行为措施)是应用程序有效性的关键因素。这项研究发现了应用程序中破坏遵守(使用)和实施(采用)的问题。本章回答了主要的研究问题，与早期的工作进行了比较，讨论了研究的优缺点，并给出了结论。

主要研究结果

使用引言中提出的3个研究问题来讨论研究结果。

影响终端用户依从性和应用采用的因素

首先，应用程序的元素，如通知的结构方式，通知出现的时间，以及大多数参与者报告的似乎很高的通知错误率，引起了困扰和不满，破坏了用户的信任。

其次，由于用户和MHS人员对应用程序背后的机制缺乏了解，用户报告没有启动或终止密钥共享和通知发送过程。此外，MHS人员没有得到充分的培训和激励，无法始终如一地解释和鼓励使用密钥共享和通知发送功能。

第三，个人接受检测，收到阳性结果，发出通知，他们的联系人收到通知和隔离之间的间隔是建立和保持对应用程序有效性信心的关键。参与者报告的间隔时间比预期的要长。已建议采取各种技术和行政行动来缩短这一间隔，并已付诸实施。这说明了关注应用所处的大系统和环境的重要性。参与者表示，结果他们(部分)失去了对行为措施的坚持。

最后，CM应用程序的范围仅限于可以警告潜在受感染联系人的应用程序。用户期望并表示他们想要更多的应用。Blasimme等人的一项研究[16表明添加新功能可能“被视为向应用用户提供更多个人效用的一种方式，从而激励用户参与。”例如，一个单独的应用程序“CoronaCheck”非但没有增加功能，反而促进了社会的重新开放，而且完全没有满足人们对隔离心理方面的需求[17]。因此，错过了改进CM应用程序的机会，例如德国的“CoronaWarn”就使用了CM应用程序。

MHS工作流程的实施

CM应用程序旨在作为更广泛的接触追踪过程中的工具，其目的是加快该过程的某些部分，允许早期预警，并减少MHS的负荷。然而，这项研究发现它没有得到充分利用。这在感染率高、人工接触者追踪过程效率较低的时期尤为重要。因此，与MHS系统和流程的集成对于其有效运作至关重要。然而，CM应用程序在MHS中受到的重视太少;在使用和理解应用程序价值方面的培训被认为是不足的，应用程序提供的数据很少被使用，MHS员工使用CM应用程序的动机和对应用程序有效性的信任缺乏。此外，员工认为整个MHS流程是分散和繁琐的，这进一步对MHS员工纳入和使用CM应用程序的动机产生了负面影响。因此，CM并不始终是MHS流程的一部分，而且它在允许更快、更早追踪接触者方面的潜在优势没有充分发挥出来。在这里，像CM这样的应用程序提供了一个未被使用的独特值。

CTA的使用和遵守隔离和隔离

新冠肺炎大流行是荷兰首次将CM应用程序等技术用作全社会干预措施，以提高对行为措施的依从性。因此，本研究揭示了不同组织的不同干预和传播活动之间整合的错误和重要性。首先，CM应用程序本身提供了关于行为测量的连贯一致的信息，并且它的用户被激励去遵循这一点。其次，CM应用程序的有效性部分取决于通过传播活动和卫生政策将其纳入更广泛的叙述集。相互冲突或不断变化的叙述以及不断变化和不透明的政策导致对CM应用程序作为工具的信任度降低，并降低了对其建议的依从性。此外，在研究过程中观察到相反的情况，CM应用程序的表现影响了对这些叙述和政策的总体看法。第三，本研究中使用的镜像和行动研究方法是实现快速变化的有效方法，并帮助应用中的利益相关者提高他们对应用用户的日常使用和现实情况的理解，以及他们自己是利益相关者的更广泛背景。在2019冠状病毒病大流行期间等不确定性高且变化迅速的情况下，此类变化有助于提高依从性。CM应用程序在鼓励依从性行为方面的有效性有限，但其潜力巨大。

与以往工作和优势的比较

这种混合方法的研究提供了广泛而深入的洞察CM应用程序的功能，行动的依从性和MHS的接触者追踪过程。据我们所知，这项研究是第一次提供如此广泛而深刻的观点。其他研究则集中在单个方面，如可用性[9]，其流行病学影响[14]，以及促成采用类似应用程序的因素[9，16]。这项研究为应用程序及其存在的环境提供了深入而广泛的视角。

这项研究的一个优势是“镜像方法”。研究结果已转化为具体建议，用于优化面向设计人员的CM应用程序以及MHS护理下的国家接触者追踪系统。这些团队内部和团队之间讨论了建议，并产生了影响用户依从性的可行和可操作的更改。例如，共享密钥已更改，即用户无需联系MHS即可上传密钥。这些发现也被用来建立一个新的宣传活动，以提高CM的采用。因此，本研究已被证明是一个有价值的贡献，以更好地利用CM和优化接触者追踪过程。据我们所知，这是首次在全球卫生危机背景下尝试这种方法的研究。

限制

这项研究有几个局限性。第一个限制是，对CM用户的采访和整个主题分析的主要部分涉及到2020年12月1日之前的时期;在此日期之后，测试政策和应用程序的变化的影响无法正确确定。第二个限制是本研究的代表性。移民背景、中低教育水平和70岁以下的人口比例偏低。这是相关的，因为这些群体不太可能在家工作[18由于疫苗接种率或年龄较低，患更严重疾病的风险更高[19]。另一个与普遍性相关的问题是，关键的CM用户可能参与了研究。后者与我们的入学程序有关。与样本相关的第三个限制是，所有受访者都具有合理到良好的数字技能。对于数字技能有限的人、低教育水平、轻度智力残疾或移民背景的人来说，该应用程序发现的问题可能会更大，或者可能会有所不同。虽然这里提到的问题会对泛化产生负面影响，但第一项CM评估研究的结果[9]及定量研究[6显示了类似于第二个定性研究的图片。最后，接触者追踪研究仅针对25个地理分布的mhs中的3个进行，这也可能限制了普遍性。

结论

最终用户、设计师和MHS对CM应用程序的评估为CM CTA提供了有用的建议。吸取的经验教训可用于将cta定位为下一次全球卫生危机的数字解决方案，并为制定和实施一般数字解决方案提供见解。

CM应用程序是一个易于使用和支持直观使用的CTA。然而，由于对应用程序工作机制的误解、最终用户的心理逻辑设计、2020年通知的准确性问题、测试政策以及接收通知的不确定性等原因，对规定操作(例如，在被感染的情况下共享“钥匙”以提醒其他用户)的依从性很低。本可以(至少部分地)通过技术或通信领域的干预预见并主动解决的问题。此外，Blasimme等[16]表明，(国家)政府和卫生部门负责cta的基础设施和教育，这对最终用户的采用和使用有很大影响。例如，在应用程序的构建过程中做出的选择允许收集的数据最小化，并通过足够水平的基础设施提供流畅的用户体验，从而降低使用障碍。此外，在通讯领域所作的选择导致对技术交流评价的教育程度，从而影响用户对这种技术的熟悉和信任[20.]。在这些领域，这项研究显示了(国家)政府方法的不足之处，以及未来电子健康计划可以改进的地方。

与传统的接触者追踪相比，CM应用程序的附加价值在于更早地追踪风险，从而增加了打破感染链的机会。为了实现这一点，CM应该补充或减轻传统的接触追踪。然而，由于受感染个体与MHS之间的交互存在问题且速度缓慢，CM应用程序在MHS过程中的嵌入受到严重限制，因此没有实现这一潜力。

CM应用的采用率很低。特别是，老年人和年轻人使用该应用程序的比例很低[6]。CM应用程序的原型是由数字读写能力较低的人开发的。然而，这些宣传活动并没有激励年轻人使用这款应用。21]。下载这款应用的动机是基于团结和保护他人的脆弱性，比如老年人，这在年轻人中似乎不那么有效。

缺乏领导和治理(荷兰卫生、福利和体育部、MHS和地方政府之间)的分裂导致了对COVID-19测量的不信任。此外，荷兰卫生、福利和体育部在新闻发布会上没有注意到CM应用程序的附加价值，例如，当人们越来越多地与他人接触时，使用该应用程序作为促进重新开放社会的工具(van’t Klooster等人)[17])。

总的来说，这项研究证明了在设计、实施和嵌入电子卫生应用程序(特别是数字cta)过程中，连贯的战略和流程如何有助于大流行防范。为此，多媒体附录6［14，16，19，22，23]包含一项建议，说明这项研究的经验教训如何有助于制定一项加强大流行防范的战略。此外，本研究中使用的镜像和行动方法以及对程序和应用程序进行可操作改进的重点为一种机制提供了模板，通过这种机制，即使在危机期间，未来的电子健康应用程序也可以快速评估和改进。