探索2020年加拿大背景下COVID-19仪表板可操作性的变化:描述性评估和专家评估研究

简介

在大流行期间公开报告数据是政府保护人口健康和安全的一项核心职能[1-3.］．这对于促进问责制、确保透明度和支持个人做出知情决定也至关重要[4-6］．与以往的大流行不同，COVID-19在全球范围内进行了实时监测，开展了前所未有的收集、分析和传播工作。

公共基于web的COVID-19仪表盘，作为一种动态方式，直观地显示信息[7，已成为分享大流行相关信息的流行方法。仪表盘是强大的沟通工具;约翰霍普金斯大学冠状病毒资源中心仪表板[世界杯时间比赛时间8]报告称，截至2020年4月，每天的互动次数超过10亿次[9］．然而，如果没有仔细的指标选择和数据收集、分析和可视化，仪表板就有可能误导、误导和煽动恐慌。10，11]，或直接被忽略[12］．

在2020年上半年，我们的欧洲和加拿大医疗绩效情报专业人员的国际研究网络[13]发起了一项关于COVID-19仪表盘的全球研究。它在2020年7月评估了来自53个国家的158个仪表盘。它还探讨了是什么造就了仪表板可操作的，其中可操作性是指仪表盘为目标用户提供决策信息的潜力[14］．更具体地说，为了具有可操作性，信息应该是两者兼备的符合目的(满足特定的信息需求)和适合使用(在正确的时间，以可理解的方式，将正确的信息交给正确的人)[14］．在2020年中期的研究中，只有12.7%(20/158)的仪表盘被发现具有高度可操作性。其中确定了七个可操作的特征[15］．

由于仪表板首次推出的速度太快，传统的技术和组织方面的开发周期被缩短了。16］．虽然报告的紧迫性在早期阶段就有先例，但仪表板被设计为灵活且持续迭代的。研究还强调了频繁审查的重要性，以确保仪表板的持续相关性和使用[16，17］．由于我们最初的研究只是大流行早期阶段的一个快照，COVID-19仪表盘在较长时期内的演变程度超出了我们的范围。

加拿大为进一步调查COVID-19仪表板的演变提供了相关背景，原因有几个。首先，公共卫生是联邦、省或地区(PT)和地方卫生当局的职权范围[18]，该组织与PT各部一起参与大流行监测和报告。加拿大2018年(流感)多行为体大流行防范计划已经反映了这一点[19］．除了这些不同的公共行为体外，独立倡议和媒体也利用开放数据源，以生成面向公众的COVID-19仪表板。组织类型的范围及其不同的报告目标地理位置导致了多样化的加拿大仪表板景观。

其次，加拿大在2019冠状病毒病方面的经验在2020年期间有所加强，第一次高峰出现在5月初(约2500例每日病例)，第二次高峰出现在11月(约8000例每日病例)[20.］．病例传播到加拿大以前未受该病毒影响的地区[21］．因此，对提供有效沟通和支持数据驱动决策的仪表板的需求在全年都在增长。

第三，加拿大的仪表盘很早就因可能存在的信息盲点而受到批评，包括未能报告基于种族的数据和其他社会决定因素[22，23]，以及在PT层面提供高度聚合的数据[10，24，25］．这种限制持续到2020年下半年的程度尚有待评估。

本研究探讨了(1)加拿大背景下基于公共网络的COVID-19仪表盘在2020年是如何演变的，以及(2)仪表盘的可操作性是否随着时间的推移而增加。

方法

研究设计

我们的研究遵循定性研究报告标准[26］．我们采用定性方法，包括(1)应用现有工具进行描述性评估[15]以便系统和比较地描述COVID-19仪表盘;以及(2)采用名义分组技术的专家评估[27，28来对仪表板的可操作性进行评分。伊万科维奇等人研究了全球158个仪表盘的样本[15]，现在将重点限制在报告加拿大情况下COVID-19的仪表板上(N=26)。重要的是，我们通过在第二个时间点收集数据来扩展该样本的数据收集，以分析2020年7月(初次评估)至2020年11月(第二次评估)之间的变化。随后，我们评估了ivankoviic等人在研究中确定的可操作性特征的存在[15]在两个时间点的样本上。

记分员小组

数据收集由8位评分者(EB, DI, SW, KJG, MP, CW, NL和VB)组成的小组进行。评估组(四女四男)与伊凡科维奇等人召集的计分员站在同一条线上[15]以确保各项评估的一致性。评分者来自现有的加拿大、欧洲、拉丁美洲和亚洲研究人员的国际研究网络，每个人都在进行医疗保健绩效情报方面的博士研究。13］．所有评分者在处理卫生保健绩效数据以及在管理和治理中使用此类数据方面都具有共同的专业知识和培训，并且此前曾接受过该研究评估工具的培训和经验。该小组的组成还包括法语能力(CW)以及在加拿大背景下的专业政策和研究经验(EB, DI, SW, KJG, MP和VB)。

评估工具

ivankoviic等人开发、试用和验证的评估工具[15]被应用。该工具从目的和用户(“为什么”)、内容和数据(“什么”)以及分析和显示(“如何”)方面评估COVID-19仪表板。表1总结评估的考虑因素。这些源自通讯科学(1948年的拉斯韦尔模型[29])、卫生保健绩效情报学科[14]，关于卫生绩效数据公开报告和卫生领域仪表板提供的早期研究[30.-34]，以及世界卫生组织(世卫组织)关于公共卫生危机期间的报告指南[1］．该工具还与衡量互联网卫生信息质量的现有工具保持一致[35，36］．

正如ivankoviic等人在研究中所指出的那样，我们通过借鉴具有高度可操作性的COVID-19仪表盘的七个特征，对仪表盘的可操作性进行了评估[15)(见表1)．一个评分工具被开发出来(见多媒体附件1)以3分制对每个特征进行评估，分为“存在”、“有点存在”或“不存在”。

研究样本

样本纳入的COVID-19仪表板是根据以下三个标准确定的:(1)报告与COVID-19相关的关键绩效指标;(2)使用某种形式的可视化;以及(3)在线网络格式的可用性。这意味着公共部门内部使用的受密码保护的COVID-19仪表盘被排除在这项研究之外。对于仪表板的主要报告级别(如国家、地区和地方)或负责其开发的组织类型(如政府、学术界、新闻或媒体、行业和私人倡议)，没有施加任何限制。采样于2020年5月19日至6月30日进行，包括对COVID-19政策监测平台的搜索(例如，北美COVID-19政策响应监测[37])和研究报告(例如，2020年6月的泛加拿大政府COVID-19仪表盘目录[38)，以及积极参与COVID-19应对工作的研究人员的专家建议，我们通过电子邮件联系了他们。总共确定了31个报告加拿大环境的仪表板，其中5个是重复的，被排除在进一步分析之外。ivankoviic等人在研究中提到了关于抽样的进一步细节[15］．

最后的样本(N=26)包括国家层面(N= 6)、PT层面(N= 16)(包括加拿大13个省和地区中每个省至少一个)和市政层面(N= 4)的仪表盘报告，捕获来自首都(渥太华)和三个最大城市(蒙特利尔、多伦多和温哥华)的报告。图1映射了泛加拿大的分布以及负责开发仪表板的组织类型的变化。其中包括联邦政府或PT政府(14/ 26,54%)、公共卫生当局(6/ 26,23%)和其他机构(6/ 26,23%)，包括独立倡议(如# howsmy平坦化和COVID-19加拿大开放数据工作组)、行业(如Esri和德勤)和媒体(加拿大广播公司)。看到多媒体附件2有关仪表板的完整列表。

‎ 查看此图

描述性的评估

每个仪表盘都用英语或法语进行评估。评估仅限于仪表板的主页和一次交互(单击)即可访问的内容。设计这种方法是为了增加所评估内容的一致性，它使我们能够衡量仪表板的优先级和内容层次结构。生成档案以创建每个仪表板在审查日期的记录(参见多媒体附件2)．如ivankoviic等人的研究所述，仪表盘分布在计分者之间[15］．这种分布(平均每个计分者三个仪表盘)在时间点之间保持一致，如下所示:相同的计分者在2020年7月和11月评估了相同的仪表盘。此外，所有评估都由第一作者(EB和DI)审查，以验证完整性和一致性。

专家鉴定

为了评估高度可操作的COVID-19仪表板的七个确定特征的存在，我们于2020年12月组织了一系列三人小组，每个仪表板的原始计分员和其他两名专家(第一作者或其他小组成员)参加。在每个小组开始评估之前，组织了一个与计分员一起的研讨会，以校准评分方法。

评分依据两次描述性评估(2020年7月和11月)中产生的原始数据记录和档案。重要的是，对这七个可操作特性中的每一个都进行了评估，并考虑了仪表板所陈述或推断的目的和用户。它指的是国家、PT或城市一般公众受众对仪表板的预期用途进行区分的每个功能的评估，除非另有说明。按照名义群技术方法[27，28]，三位小组成员首先使用上面描述的评分工具对仪表板上的每个功能进行独立评分。计算了每个仪表盘相同评分的比例，并在相关的三个评分者之间召开了虚拟小组讨论[39，40］．

在这些讨论之前，83.5%(304/364)的得分项目达成了部分或完全一致(两方或三方一致)，50.0%(182/364)的得分项目达成了完全一致(见多媒体)．在小组讨论中，所有没有完全达成一致意见的项目都进行了辩论。所有小组通过讨论或重新审查数据记录或档案达成最后协议。

数据分析

我们采用描述性统计方法对两个时间点的数据进行分析。我们首先确定了仪表板的数量和百分比，其中描述性评估的每个项目(即每个考虑因素)都记录在7月或11月的评估中或同时记录在7月或11月的评估中。每个项目的净变化是根据仪表板总数的变化和时间点之间变化的方向计算出来的。为了分析可操作性特征的得分变化，我们计算了7月和11月的特征总数，采用3点顺序量表(不存在、有点存在和存在)。使用同样的方法来分析描述性评估中随时间的变化，我们计算了每个特性的净变化作为积极得分的仪表板总数的变化，并注意到变化的方向。

对于描述性评估工具中的自由文本字段，我们使用演绎和归纳主题分析来确定主题[41，42］．这适用于对仪表板的使用目的和受众、指标标题以及将“其他”作为回答类别的考虑等因素的回答。在评估工具中探索的主题被用来指导演绎主题分析。在分析仪表板报告的指标标题时，我们采用了世卫组织现有的大流行相关信息类型分类。指标按以下信息类型进行分析:公共卫生和流行病学、卫生系统管理、社会和经济影响以及行为见解[1］．鉴于观察到的指标标题措辞的可变性，第一批作者将关键绩效指标按主题分组。出现的新主题是使用归纳方法确定的。

伦理批准

这项研究涉及对公开提供的COVID-19仪表板的分析。不需要伦理批准。

结果

采样仪表板

在2020年7月7日至7月20日和11月23日至12月2日的时间框架内，对26个加拿大COVID-19仪表盘进行了评估，评估间隔时间平均为135天(132-140天)。所有的仪表板都保持活跃，定期，通常每天更新，除了一个(温哥华市)，仍然可以访问，但最后一次更新是在2020年8月。正如预期的那样，鉴于加拿大各省和地区的人口规模和密度存在巨大差异，各地理区域仪表板报告的COVID-19病例累计数量从努纳武特的0例到7月份魁北克的55,000例以上，从西北地区的15例到11月份魁北克的140,000例以上。在评估日期报告的COVID-19病例和死亡累计数量为多媒体附件2．

仪表板随时间的变化

表2报告仪表板如何根据描述性评估随时间变化。这些变化可以总结如下。

目的和受众

仪表盘在报告目的的程度上没有变化，7月和11月都有超过三分之一(10/ 2638%)的人这样做。如前所述，仪表板最常见的具体目标是以“易于消化、可操作的方式”提供简化的信息[43]以及“帮助预防战略惠及受影响最严重的人群”[44］．明确提到目标受众的频率甚至更低，11月份只有四个仪表板(4/26,15%)，比7月份(3/26,12%)略有增加。目标受众指的是“普通公众”、“企业”或“公共卫生领导人”。随着时间的推移，安大略的# howsmyflating [43]，并推出“个人”和“极客”两种仪表盘观看模式，以满足不同观众的资讯需求。

指标的主题

在整个仪表板上，公共卫生和流行病学指标是两个时间点报告次数最多的指标，其次是卫生系统管理指标。行为和社会经济指标很少。11月份每个仪表盘平均报告了7个指标主题(范围2-17)，7月份为6个(范围2-15)。在11月，一些指标变得更加普遍，包括病毒繁殖率、测试率、测试周转时间和综合分数。6个仪表板(6/ 26,23%)减少了报告的指标主题的数量，最常见的是删除活动案例中的指标。在某些情况下，指示器已经从仪表板移动到新的标签或页面，例如在渥太华[45，将行为洞察的指标重新定位到新的选项卡，不再在评估的主仪表板页面直接访问范围内。关于血清学测试、加倍率和测试存量的指标，这些指标以前曾在国际评估的仪表盘上出现[15]，在采样仪表板上的任何一个时间点都没有报告。

数据源和元数据

三分之一(8/ 26,31%)的仪表盘，都是政府开发的，在7月或11月没有明确报告数据来源。仪表板通常从特定司法管辖区的卫生服务和公共卫生当局、医院数据库以及约翰霍普金斯大学冠状病毒资源中心仪表板中提取数据，以便与其他国家进行比较。世界杯时间比赛时间到11月，报告元数据(指标计算的补充细节)的仪表板增加到50%以上(14/ 265,54%)(7月为11/ 262,42%)。值得注意的是，加拿大COVID-19仪表板发布了关于COVID-19加拿大开放数据工作组倡议生成的数据集的详细技术报告[46，47］．

分析类型

在7月至11月期间，报告时间趋势数据的仪表板数量略有增加(从21/26的81%增加到23/26的88%)。可定制时间刻度的可用性也得到了改进，允许用户放大感兴趣的特定时间框架(从4/26,15%到10/26,38%)。

对报告分区域地理数据进行了修改，11月有一半以上(15/ 2658%)的仪表板包括按卫生区域分列的数据，7月为10个(10/ 2638%)。11月，年龄和性别仍然是最常见的人口细分(17/26,65%，7月为15/26,58%)，其次是传播方式(6/26,23%)和长期护理设施(5/26,19%)。11月，学校成为了一种新的分类类型，尽管只有五分之一(5/ 2619,19)的仪表板上有。

演讲

在7月到11月之间，大多数仪表板都略微改进了图表类型的数量和种类、简化技术以及可用的交互功能。这主要是通过引入地图或额外的表格和图标，以及对显示的信息进行用户导向的修改来实现的。11月出现的新功能包括订阅电子邮件更新提醒(例如，# howsmyflating [43]及渥太华[45])。两个仪表盘(魁北克[48]及安大略[49])介绍了用户反馈调查。

11月份，超过三分之二(18/26,69%)的仪表板上出现了提供数据质量细节的文本，而7月份只有一半(13/26,50%)。例如，Esri的仪表板包括对值的通俗语言解释，如“为什么有时会看到负数?报告的一些值(如病例总数)是累积的。它们总是上升的。其他数值(如住院次数)每天都在波动，可能会上升或下降" [50］．11月，只有不到一半(11/ 262,42%)的仪表板提供了解释统计数据和趋势意义的叙述。对趋势及其含义的解释包括加拿大COVID-19仪表板提供的以下描述:“图表以对数尺度显示每日病例和死亡人数随时间的趋势。向上倾斜意味着每天报告的病例/死亡人数仍在增长。一条平线表示每天报告的病例/死亡人数保持不变。斜率下降意味着每天报告的病例/死亡人数正在下降" [20.］．

随时间变化的可操作性特征

在评估的26个仪表盘中，无论是在7月还是11月，都没有发现完全呈现所有7个定义的可操作性特征。总体而言，7月份有8%(2/26)的仪表盘被评估为具有5个或更多的可操作功能，11月份则翻了一倍，达到15%(4/26)。四分之三(77%，20/26)的仪表盘在7月份完全存在两个或更少的功能，65%(17/26)的仪表盘在11月份完全存在两个或更少的功能。七个仪表板增加了完全呈现功能的得分。尽管11月份有两个仪表盘的得分较低，但下降的主要原因是主仪表盘页面上报告的信息类型发生了变化，因为指标被转移到其他专用页面。

7月和11月在仪表板上最广泛出现的可操作性特征是数据源和方法的清晰度，而使用讲故事和视觉线索是最常见的特征(图2）．在可操作性的七个定义特征中，除了一个(了解受众及其信息需求)之外，其他所有方面都有改进，在任何一个时间点上，只有不到四分之一的仪表板出现了改进。从7月到11月，地理分值的改善最为明显，平均分数提高了近四分之一。除了这些改进之外，还有时间趋势使用方面的改进，尽管数据和政策决定与感染控制措施之间的明确联系仍然很少。

‎ 查看此图

讨论

主要研究结果

在这项研究中，我们探讨了加拿大在2020年期间对基于web的公共COVID-19仪表板所做的改变，并评估了其可操作性，以供决策使用。尽管我们采样的仪表板在特定的地理重点上有所不同，但随着COVID-19大流行在全国范围内的严重程度加剧，它们在支持各自受众的数据驱动决策方面的相关性都越来越大。从广义上讲，从我们应用的医疗保健绩效情报的角度来看，我们观察到在2020年7月至11月期间，仪表板有了细微的改进。改进最明显的是仪表板技术解决方案(更好的可定制时间趋势，以及新的图表和图形)和数据提供(新的指标，更透明的元数据，以及更大的地理粒度)。在评估期间，进一步发展交际要素的修改不那么明显，甚至没有。这些结果反映在可操作性特征的评分上。

全球的COVID-19仪表板由一些常见的软件服务提供商(如ArcGIS、Tableau和Power BI)提供支持。我们认为，在我们的样本中观察到的一些改进可以归功于这些提供商在2020年推出的新技术功能。例如，到去年11月，超过三分之一的仪表板都引入了可调节时间趋势的功能，这显然是底层软件中增加的一个元素。然而，虽然行业可能被认为是仪表板技术发展的先锋，但目前的实践从技术角度衡量可操作性通过用户点击［51暴露了一些局限性。举个例子，在仪表板上使用的更具交互性的时间趋势背后，技术的复杂性得到了增强，但在将策略限制的制定纳入时间趋势图以可视化这些限制的后续影响方面并没有得到改进。尽管这样的可视化有其优点[15]事实上，这种技术已经在澳大利亚等国家的仪表盘上得到应用[52]和斯洛文尼亚[53］．在我们的样本中，我们确实观察到仪表板在可操作性方面表现出色，成功地利用了技术、数据、公共卫生和通信方面专家的技能[43，54］．这一发现与之前的研究结果一致，这些研究表明，多样化的利益相关者参与对于实现可操作的绩效测量、数据报告和仪表板使用的重要性[55-57］．在未来的研究中，我们打算进一步探索仪表板开发人员的视角，包括他们的团队概况。

改进的地理粒度和方法的透明度可能会得到诸如COVID-19加拿大开放数据工作组等倡议的支持[20.］．现有数据的整体微妙变化及其特异性可能是潜在系统障碍的症状，特别是在收集和报告分类数据方面[58］．加拿大的研究人员已提请注意由于不协调的隐私法、公共/私人数据保管以及研究数据重用的障碍而引起的数据管理问题[59］．在加拿大，基于种族的数据收集是分散的[60]，直到2020年7月才提出了一个泛加拿大标准[61］．在数据缺失可能掩盖大流行病造成的不公平负担的情况下，有责任采取行动[62，63］．在多伦多会议上，以亚群体为基础的数据分析和使用方法对促进公平的潜在影响已得到强调[64］．报告基于种族和民族的COVID-19数据的国家，如新西兰[65]及美国[66]，可以深入了解必要的数据治理标准、隐私保护和数据基础设施。

我们的研究结果还揭示了对大流行不断演变的性质的响应，多个仪表板将学校病例或疫情作为数据分解选项，并将病毒检测的周转时间作为指标。在我们第二次评估后不久，许多仪表板也开始报告疫苗接种情况。在2020年春季受大流行影响不太严重的地区，随着COVID-19传播得越来越广，不太先进的仪表盘在下半年取得了相当大的进展。虽然这些变化证实了仪表板随着时间的推移而不断发展，但其预期目标和受众的清晰度仍然是一个不发达的属性，尽管广泛认识到由明确的目的和信息需求驱动的数据的根本重要性[14，67-70］．这可能是数据治理限制的症状，或者更具体地说，是授权给开发人员的责任和任务不明确的症状，多个公共行为体(例如PT政府和PT公共卫生当局)在报告相同的地理位置时几乎相同的内容就证明了这一点。尽管COVID-19仪表板最初是一种基于需求的监测和交流大流行的短期工具，但这一功能随着时间的推移而发展。仪表板现在必须面临双轨制卫生系统监测的中期挑战，即同时报告大流行和非covid卫生保健[71]，以及纳入标准卫生系统绩效衡量的长期挑战。重新考虑由明确任务管理的仪表板的开发，对于确保将相关的高质量信息透明地交付给定义良好的受众至关重要。

优势与局限

据我们所知，这是第一项从医疗保健绩效情报角度对COVID-19仪表板随时间变化进行比较探索和批判性反思的研究。专家小组的专业知识丰富了这项研究，该小组的成员此前在国际上评估COVID-19仪表板方面有经验，并拥有共同的反射镜来衡量仪表板的技术和沟通方面。此外，鉴于COVID-19仪表板的持续相关性，我们的研究结果与COVID-19仪表板的短期改善及其在应对未来公共卫生危机方面的长期效用相关。

我们承认有几个限制。首先，在我们的样本中，大流行的阶段及其严重程度差异很大，这可能导致可用数据和仪表盘开发的优先次序存在差异。尽管如此，我们发现变化的总体方向是共同的，在我们的评估时间点之间，各地COVID-19病例平均增加了三倍(见多媒体附件2)．其次，我们采用的基于专家的可操作性评估并不能保证反映仪表板在实践中的使用情况。仪表盘用户的第一手经验值得进一步研究，以获得实际的现实世界见解，可以补充本文所探讨的概念。第三，我们对仪表板的存档仅限于其主页。因此，有多个选项卡的仪表盘不能完全用于评分目的。为了最大限度地减少潜在的信息损失，所有的仪表板都在7月和11月由同一个计分员进行评估和评估。最后，为了允许随着时间的推移进行比较，我们的样本仅限于2020年5月搜索中确定的仪表板。随后出现的任何新仪表盘都将被错过。详尽的样本超出了这项研究的目的;然而，我们实现了地域代表性，以及在级别(国家、司法管辖区和城市)和提供组织类型上的合理多样性。

结论

需要可操作的仪表板来实现跨受众的有效决策。在COVID-19大流行期间，仪表板仍然是重要工具，但要保持其可操作性，就必须对大流行的各个阶段作出反应。2020年7月至11月，加拿大COVID-19仪表板的改进似乎主要是由某些技术和数据改进推动的。在这两个时间点上，有效地利用通信功能仍然不发达。COVID-19仪表盘开发人员需要更好地利用公共卫生和传播专家的专业知识，以确保数据真正成为易于获取并与公众受众相关的信息。需要改进战略系统，优先考虑数据标准，例如基于亚群体的数据标准，以便在可行动性方面取得更大的进展。随着大流行的继续演变，需要将注意力转向将仪表板从最初的临时监测和通信工具转变为整合到日常卫生系统绩效监测中的工具。要做到这一点，还需要改进治理安排，明确角色和责任。从短期来看，迫切需要继续改进已确定的所有七个可行动特征，以使COVID-19仪表板更适合其目的和使用。