众包对人类行为的看法改善美国国家COVID-19事件情况下的计算预测:调查研究

介绍

预测传染性病原体的传播可以通过公共卫生官员支持决策和关键决策者(1,2]。过去预测季节性流感,埃博拉病毒、登革热、基孔肯雅热,Zika帮助官员采取短期措施阻碍传播疾病负担和政策决定(草案3- - - - - -8]。COVID-19大流行,进一步强调了公共卫生的重要性,预测在支持态势感知(9- - - - - -11]。

大多数的预测传染病是由计算模型;然而,过去的研究表明,人类的判断也能准确的预测数量不同的现象(12,13),包括传染性病原体(14- - - - - -17]。

工作在人类的判断预测可以分为直接和间接的预测。直接收集的预测要求人类估计未来事件的概率。研究人员利用各种方法征求一躺,直接预测专家,或混合人群通过改变人类使用的格式提交预测和训练不同的算法结合个人预测(18- - - - - -21]。结构化引出正式预测应该如何收集最小化潜在的偏见或过度的影响,和研究人员可以使用几种不同的协议严格收集的预测(19,20.,22]。

过去的工作时发现中等性能要求那些专业技能直接预测(23,24]。与专家预测的性能由外行人毁誉参半,和预测性能的变化可能是由于环境中的线索相关的感兴趣的事件(25),以及人民依赖试探法与小信息做出快速决定(26- - - - - -29日]。人类是受几个认知偏见产生负面影响我们的能力做出正确的决断30.,31日]。说,有很多例子,预测基于心理启发式表现计算模型(32]。

聚合直接人工判断预测工作都集中在调整个人之间的关联预测,评估个人的数量预测结合,并适当地决定如何重个体基于过去的预测性能(18,21]。直接利用人类的预测能力建立一个预测可用的结构化数据和信息通常不可用计算模型,如主观信息,直觉,和专业知识33]。

间接的预测未来事件是人类判断(1)提取收集的数据从一个被动源等社交媒体(34- - - - - -37),(2)积极询问一群不可能与感兴趣的目标,或(3)要求一群在预测市场采取行动,可以映射到概率预测(38,39]。间接的预测提供了一个机会来训练一个统计模型在客观数据与主观数据来衡量。

过去的工作,整合社交媒体数据在模型中通常将行为映射到一组随机变量和包括这些随机变量的统计模型34- - - - - -37,40]。大多数研究把这些人类和社会媒体被动信号可以开采导致更准确的预测。例如,最近的一项研究杠杆移动数据收集从Twitter来提高预测事件COVID-19病例在多个地理水平(41]。数字互动和参与数据超出社交媒体可能是有用的预测信号,最近的一项研究发现,谷歌搜索趋势COVID-19相关症状改善短时预报和预测COVID-19事件的病例和死亡(42]。区划的模型也被建议考虑人类行为评估个体之间的联系网络,和生殖和恢复率或疾病状态之间建立一个更复杂的函数,考虑人类行为(43]。预测市场是另一个人类判断方法聚合,问一个参与者的押注未来事件的潜在激励每个参与者来优化他们的总收益(38,39]。创建一个预测市场的目标不是感兴趣的链接行为的结果,而是利用一个人的能力来提取替代不访问数据源计算模型和应对市场的聚集行为。模型,包括间接预测报告改进的性能相比,不包括间接预测模型;然而,性能不同的传染病和类型的数据收集。人类行为和感知也可以用来预测社交媒体参与和社区行为可能受益政策制定者和社区领导人的决策。例如,过去的工作看这类型的消息从组织共享在Twitter上培养最强的公众参与(44),以及与健康有关的信息来源可能会寻求基于人口统计数据,以及这些因素如何影响坚持社会距离准则(45]。

在这项工作中,我们研究如何众包问题相关的药物干预(npi)的社区可以导致一种改进的预测COVID-19事件的情况下在国家层面。我们提出了21个问题与npi代表性样本来自美国的36周。这些众包数据被用来估计坚持npi的认知之间的联系和事故情况下在美国国家层面提前1 - 4周。此外,我们预测模型,表明添加众包数据感知事件的依从性提高了预测精度情况下相比,不包括感知数据的控制。

当前的文学,我们贡献社区规模感知信息的一种新颖的数据流(46]显示(1)与事故情况下1 - 4周之前在国家层面上,(2)提高预测准确性的样本外预测前1 - 3周时包含在一个计算模型。

方法

道德的考虑

我们从利哈伊大学获得追溯间隙的机构审查委员会(IRB)发布的数据(# 1808500 - 1)。IRB决定获得知情同意并不是必要的,因为数据被记录在这样一种方式,人类受试者的身份不能容易确定直接或通过标识符相关的主题。已经公开的数据也同样鉴定(46]。参与者完成了调查志愿者的基础上(1)或(2),以换取报酬。补偿参与者获得学分从调查平台,可以兑换礼品卡或捐赠给慈善机构。

调查物流

参与者和招聘

有10个,852年调查的反应在36周开始8月30日,2020年,截至2021年4月28日,(平均每周281响应的SD 119)。参与者最初招募通过支付调查猴子平台(4405/10,852年,40。2020年5%)于9月23日,到2021年2月15日。调查猴子是一个全球平台的调查访问了超过1.4亿名参与者。每个服务平台需要一笔费用,保证支付参与者将具有代表性地区的利益。调查可以发送到一组参与者(称为目标受众)满足特定标准,如原产地、年龄、社会经济因素(收入、婚姻状况和就业),等。参与调查的女性被要求住在美国,至少18岁。调查设计、分配和数据收集是通过调查猴子管理软件。

2021年2月16日,4月27日,2021年,参与者被招募的Pollfish调查平台(3295/10,852年,30。4%)。这种变化是由于调查猴子每周交付高度可变数量的反应,在几个星期,未能交付响应命令的数量。Pollfish是另一个费用/响应调查平台,允许研究者指定目标受众和担保数量代表的反应。的目标和服务调查猴子与Pollfish相似,尽管Pollfish软件对被调查者收集高分辨率空间数据。Pollfish平台收集了参与者的反应符合同一标准的调查猴子。

补偿受访者调查猴子和Pollfish占大约70%(7700/10,852,71.0%)的反应,最后大约30% (3152/10,852年29.0%)的参与者招募志愿者和参加通过调查猴子平台从8月30日,2020年,2021年4月28日。这些志愿者们大多是通过口碑营销和社交媒体招募。

我们从分析如果删除参与者的反应(1)一半以上的问题(即11的21个问题)是留空或有回应的“不知道”(4。7% (511/10,852)的反应)或(2)一个参与者给每个问题(2相同的反应。3% (331/10,852)的反应)。所有的空白和“不知道”回答被排除在分析(9。7% (20,569年/214年,[200]总问题的反应即N_参与者×21])。

调查时间

36周被派去调查参与者开始9月6日,2020年,截至2021年4月30日和。调查被分发到独特的参与者每个星期一,星期三,星期五,星期日和调查被关闭。调查没有发送到相同的参与者不止一次一个星期。

赔偿调查猴子调查参与者开放的第4周调查期间(2020年9月)调查的连续21周(2021年2月),和调查猴子调查志愿者在整个36-week调查是开放的时期。Pollfish调查21周的调查参与者开放的时期(2021年2月),直到数据收集的连续36周(结束调查阶段;2021年4月)。

2020年7月和8月,调查被送到参与者(1)和(2)征求反馈填写调查是否措辞的问题调查清楚。先从这些反馈2试点调查被用来更新和完成调查2020年9月至2021年4月。

调查内容和问题

调查2020年9月至2021年4月要求参与者回答同一组21(见“核心”问题文本框1核心问题的列表)。核心问题要求参与者对他们的社区成员的看法坚持npi,比如面具戴上,他们坚持公共卫生指南相关测试、检疫、和大型集会。参与者给反应在李克特量表调查问题有以下选项:“没有/没有采用,”“几/ 20%,”“一些/ 40%”,“许多/ 80%”,“所有/ 100%,”和“不知道”。

除了21核心问题,包括几周局部问题询问参与者的认知行为在特定事件(例如,节日聚会的大小)。因为这些问题是在这项研究的时间不一致,我们选择不包括他们的分析。的调查中,参与者也被要求可选的想法和反馈如何COVID-19正在解决他们的社区,今后如何改进调查(总结报告的实时数据组成,看到以前的报告(47])。

问题提出了随机的顺序在所有21个问题Pollfish调查,调查猴子问题随机5个类别内询问参与者个人NPI行为,遵守指导方针与社区相关企业、检测检疫,意识,限制或教育机构(见相关政策多媒体附录1)。

数据采集和可用性

调查数据从一组回顾性获得精算师(丹尼尔·英格拉姆和大卫·英格拉姆)对人类行为的研究感兴趣,众包,以及如何感知可能预测SARS-CoV-2的传播。有几个局限性调查收集:(1)参与者标识符没有收集纵向所以我们不能跟踪调查的个人贡献,和(2)的措辞调查说明是整个调查猴子和Pollfish平台略有不同,这可能偏见的反应。

被个人数据的所有21个问题以前的报告中所有可用36周(46]。宽格式的数据,每一行代表一个单独的调查反应,和列存在调查完成日期和21个调查问题的答案。

我们得到批准利哈伊大学的IRB发布这些数据在一个开源平台。

流行病学数据

事件每流行病学情况下星期(流行)在国家层面收集来自约翰霍普金斯大学CSSE GitHub库(48]。这个存储库存储每天累积病例从1月22日,2020年,到现在对所有50个州和一组5个地区。计算入射情况下的一天D,我们在天减去累计病例D从累积的情况下的一天D+ 1。我们计算入射情况下的一天D在国家层面上,总结事故5例所有50个州和领地。日常事件情况下在国家层面上总结每流行星期到达事件的情况下,在流行病周周六周日开始和结束。

评估人群是否代表的美国人

我们评估图形样本是否代表所有州(美国人口的策划年代)两人(r_年代e_年代),r_年代国家观察参与者的总数吗年代和e_年代估计预期的响应状态年代。

我们的估算e_年代假设r_年代是来自一个随机变量R_年代∼本(N,θ_年代),N在所有调查和参与者的总数吗θ_年代的概率是随机选择一个公民在国家注册年代。我们估计θ_年代,,如人口普查估计状态年代除以人口普查估计所有国家的总和。的值e_年代是。

我们估计包括观察和预期数量的参与者之间相关系数样本在所有国家。对于每一个国家,我们也比较了观察到的和预期之间的相对差别比例的参与者(多媒体附录2)。

统计的设置

我们假设一个调查回应的问题问从参与者我在时间t,x_{t i, q}产生一个随机变量X_{t i, q}已支持增刊(X_{t i, q})= {0,1,2,3,4}对应5个不同级别的依从性。0的值对应于任何依从性和依从性不采用社区,和4的值对应于完整的依从性(响应“所有/ 100%”调查)。随机变量在时间t的问题问两个参与者之间是独立的。

的意思是认为坚持(MEPA)被定义为一个特定的问题问在一个特定的时间t的平均x_{t i, q}在参与者,或

在哪里N问题是反应的数量吗问在时间t。MEPA_{q t}旨在衡量一个特定类型的NPI聚合的坚持。虽然个人响应离散,MEPA_{q t}是一个持续的价值。如果我们定义随机变量MEPA_{q t}的平均N独立随机变量方差有限,那么我们期待MEPA_{q t}有一个钟形分布,类似于正态分布局限于闭区间从0到4。

事件美国国家COVID-19病例流行病学周t,(c_t),被认为是产生一个相应的随机变量C_t这次,我们没有额外的假设。

估计MEPA与事件之间的关联情况

对于每一个调查问题,我们估计在流行病学周MEPA之间的相关系数t在流行病学和美国国家事故情况下星期t,t+ 1,t+ 2,t+ 3,t+ 4。线列表的相关系数估计在每一周时间点和95%的CIs中可用多媒体附录3。

聚类问题

我们层次聚类算法适合所有21 MEPA时间序列2到10集群。两个时间序列之间的不同是使用欧氏距离计算。轮廓系数是用来评估质量的配件2集群,集群3等等(10集群)49]。系统树图是绘制集群、形象化和MEPA时间序列分组,商议在流行病学的一周。

预测模型与协作感知和没有

爵士+向量自回归移动平均线

先生(易感,感染,和删除)模型适合我们事件的病例数量估计产生事件的病例数我_t和残差(ϵ_t=c_t−我_t)建模与向量自回归移动平均(VARMA)模型,包括一个或多个MEPA时间序列。

爵士模型估计的时间t个人存在的敏感的数量(年代_t)、感染(我_t)和删除(R_t)室根据

与初始值年代₀,我₀,和R₀和参数β>0和γ>0。我们选择年代₀相当于个人的数量在美国,根据最近的人口普查。初始值我₀是等于第一流行病学周报告的感染数量的调查数据收集(2020年8月30日,2020年9月5日),然后呢R₀被设置为0。上面的初值问题被Runge-Kutta-Fehlberg集成方法,和参数β和γ估计通过最小化之间的最小二乘解我_t事件的报道数量情况下(先生的估计模型4可以在不同的时间点多媒体附录4)。

残差是产生e_t=c_t−我_t一起,我们认为这些残差的一个MEPA时间序列可以建模为一个VARMA模型。VARMA假设残差,MEPA时间序列米_问遵循

θ(l)Y_t=ψ(l)U_t

在哪里Y_t= (ϵ_t,米_{q t}]”,U_t是一个随机向量白噪声过程或后U_t∼N (0,Σ)算子θ(l)=B₁l+B₂l²+···B_k是系数矩阵,运算符ψ(l)=一个₁l+一个₂l²+···一个_k是系数矩阵,操作员吗l^j滞后算子或吗l^jY_t=Y_t−j。我们假设任何之间的协方差Y_年代和Y_t是固定的和等于Σ。

滞后的最优数量θ和ψ估计每周通过计算每个36周Akaike信息准则(AIC)模型符合1 - 3落后的组合吗θ和1 - 3落后ψ。结合导致AIC被最低。

+随机森林+ VARMA先生

将所有MEPA时间序列合并成一个模型,我们首先满足一个爵士原始时间序列模型和计算残差e_t=c_t−我_t。接下来,我们训练随机森林回归f5000棵树,所需的输出ϵ_t的函数e_t−1,所有的MEPA时间序列值,使用洛斯平滑,滞后的1。的残差δ_t=e5;_t−f(e_t−1,米^ˆ_1t−1,米^ˆ_2t−1,···,米^ˆ_21t−1),米^ˆ_{q t}是洛斯平滑MEPA时间序列值的问题吗问在时间t,也进行了计算,并被认为跟一个自回归移动平均(ARIMA)过程集成,或θ(l)δ_t=ψ(l)u_t。落后在每周选择基于AIC与上述相同的方式加上爵士VARMA模型。

控制模型

我们控制模型遵循相同的先生“消除趋势”原始事件的情况下,时间序列,然后配合的ARIMA剩余工资。随后的ARIMA VARMA模型建模时类似的方法

Y_t∼e_t

Θ(l)Y_t=ψ(l)u_t

在哪里u_t∼N(0,σ²)。唯一的除了这个模型是我们可能“差异”Y_t通过连续减少的值Y在时间t - 1的值Y在时间t为所有的时间。计算的区别d_t=∇Y_t=Y_t−Y_t−1,符合上面的模型中,生成的预测d_{t+ 1}d_{t+ 2},,然后恢复欧美+l通过计算Y(t+l)−1 +d(t+l)。

ARIMA的过程是一个第一次尝试模型在许多时间序列的应用程序。如果模型,包括MEPA变量不能改进上述先生+ ARIMA模型,然后MEPA不得添加任何事件预测价值超过使用滞后值的情况下独自一人。

上述VARMA和ARIMA模型适合使用statsmodels在Python中包(50]。

预测评分

预测使用加权得分区间评分(感知)K中央分位数(51]。

区间评分(在哪里吗_αk)是

在哪里F是一个预测累积分布函数,1 (x)是一个指标函数值u代表(1 -α/2)分位数的F,l代表了α/2分位数F,米代表中值或0.50分位数,c是最终报告的事实52]。此外,体重w₀= 1/2,w_k=α_k/ 2。

威斯康星州和区间评分负面感觉,大值表明糟糕的预测性能相比较小的值。最好的威斯康星州是0,+∞最糟糕的威斯康星州。

结果

概述

比较跨2调查平台的响应率(即调查猴子和Pollfish)显示,样本大小每星期后切换到Pollfish都高。样品主要是地域代表性的美国人在东北轻微的过采样。MEPA值变量在调查的开始时期比最后,建议要么反应随着时间的推移变得更加一致的或更大的样本量在整个调查期间导致较低的响应变化。聚类分析显示,调查问题可以集群分成4组根据问题类型,表明未来的调查可能会更有效的针对这些问题类型使用更少的问题。相关分析显示相当强劲几个MEPA时间序列之间的相关性和事件COVID-19例1 - 4周。几个MEPA时间序列也增加了事件的预测模型的预测精度COVID-19情况下提前1 - 4周。

调查平台响应率

调查猴子调查得到平均236。06 (SD 81。平均每周14)补偿响应,88。80 (SD 22。68)志愿者每周响应,揭示付费调查反应率高,但比志愿者调查反应变量在周。Pollfish调查得到平均272。55 (SD 7。志愿者每周80)补偿反应,反应没有收集Pollfish系统。总的来说,样本大小每周都更高的开关后Pollfish (图1一个)。

‎ 把这个图

问题响应率

的平均百分比参与者回答的问题是87年。89% (SD 6。15%)(图11到5 B)。问题和问题回答了平均94。98% (SD - 1。47%)的时间,而问题7,9,11日,14日和21反应的概率最低,平均响应速度为78。63% (SD - 2。09%)。

代表性的抽样

州的大部分反应收集包括加州(956/10,120,9.5%)、纽约(876/10,120,8.7%),宾夕法尼亚(678/10,120,6.7%),德州(645/10,120,6.4%)和佛罗里达(456/10,120,4.5%)。

之间的关系的观测频率响应和期望频率是0。90(95%可信区间为0。84 - 0。94;P <。001)和建议回应率是成正比的人口在州一级。我们为每个州的比例相比,观察反应个体的比例在该州人口普查显示(见多媒体附录2预期的比例,观察到的比例和相对差异)。

七个州偏离预期的响应率超过9 SDs。未被充分代表的四个州(密西西比州、波多黎各、佛罗里达州和德克萨斯州),和3州过多(明尼苏达,宾夕法尼亚州和纽约)(图2)。宾夕法尼亚州是最过多的状态。

当补偿和志愿者包括反应,响应频率在宾夕法尼亚州10 SDs高于期望和当志愿者反应被响应频率下降到3.5 SDs低于预期。

评估转换调查平台中数据收集可能会影响结果,我们分析了样本的代表性是否改变了根据调查平台。我们之间的平均相对偏差计算预期的和观察到的反应在所有州,和比较这测量在测量平台上。这个分析显示了参与者的国家居住(即不是志愿者)从调查猴子更具代表性的美国人(0.015−0.599,SE)与支付参与者的国家居住Pollfish(平均−0.751 SE 0.019;t₅₁= 7.58;P<措施)。

‎ 把这个图

随着时间的推移MEPA

MEPA增加最开始调查结束的以下三个问题:问题21(∆的意思₂₁=意味着_21日week36——意思是_21日week1= 1.29),要求参与者对他们的国家政策和知识是否“违反COVID限制导致罚款或警察执法;“问题11(∆的意思₁₁= 1。24)经常问到社区成员遵循建议寻求“[…抗体检测检测之前感染;”和问题14(∆的意思₁₄= 0。57),要求参与者旅行后社区成员检疫的频率(图3一个)。

MEPA下降最开始调查结束的以下三个问题:问题7(∆的意思₇=−1.07),要求参与者频率限制放置在访问高级生活设施;问题4(∆的意思₄=−0.83),要求餐馆的频率减少了座位容量;和问题9(∆的意思₉=−0.81),被问及的频率在医院当COVID-19患者特殊保护。

SD MEPA值之间在调查期间(SD的开始_开始= 0。89)是比SD MEPA值之间的调查(SD_结束= 0。33)(图3)。平均MEPA值在所有21个问题仍然类似的调查(的意思_开始= 3。15日的意思_结束= 3。14)。这个结果可能是由于收敛观念随着时间或减少可变性在整个调查期间由于样本量的增加。

估计MEPA值之间的相关性t和t−l大于0.35滞后4周(l= 4)对于大多数MEPA时间序列(图3B),表明许多MEPA比随机游走时间序列包含更多的结构。应对以下5个调查问题有一个平均绝对自相关大于0.2:问题3 ([…呆在家里),问题4 ([…]re年代taurants complying with Centers for Disease Control and Prevention [CDC] recommendations to have reduced seating), question 9 ([...] special protection in hospital areas that treat COVID patients), question 10 ([...] get tested for active virus), and question 11 ([...] get antibody testing to detect prior infection). The mean absolute autocorrelation for these 5 questions across 34 lagged weeks was above 0.2. A more detailed view of autocorrelation for a lag of 1 week has been provided in多媒体附件5。

‎ 把这个图

随着时间的推移根据相似性聚类问题的反应

MEPA时间序列分为以下4集群(图4A和B):(1)集群的问题值在2.5和3.5之间(即低到中等的依从性;图4C),(2)集群值随时间而下降(图4C),(3)集群值接近2.25调查之初,随着时间的增加(图4C),和(4)集群值附近增加1.25调查之初,随着时间的推移,年底结束2.50以上的调查(图4C)。

集群质量的轮廓系数最高时将MEPA时间序列分组为4集群;然而,4集群类似于剪影轮廓系数为2和3的集群系数(图4集群中的一个)。图4C,有可能存在2 clusters-one增加依从性随着时间的推移和另一个减少的依从性。

MEPA时间序列在同一个集群询问参与类似的依从性行为。相应的规避行为问题(问题2、12和15)比另一个更类似于另一个问题,当被问及的问题限制企业(问题4和6),意识到病毒的传染性率高(问题2和13)在当地的水平,和意识在州一级(16 - 17)的问题。这些结果表明,参与者可能会考虑组的问题以相似的方式(如回避有关),这意味着未来的调查可能受益于针对这些因素更直接。

MEPA反应前1 - 4周之间的自我在不同的集群,明白了多媒体附件6。

‎ 把这个图

对依从性之间的相关性和报告事故情况

估计的相关性(ρMEPA时间序列之间的)代表回答这个问题:“你注意什么百分比的人在你的社区通常是维护社会距离?”和事故情况下提前1周−0。46 (95% CI−0。69−0。15)。此外,相关(ρ)−0。3 (95% CI−0。67−0。12)对事件情况下提前2周,−0。35 (95% CI−0。61−0。02)的前3周,−0。26 (95% CI−0。55为0。08年)对于那些提前4周(图5)。MEPA时间序列的问题”在你的国家,大学只关闭或控股的百分之远程类?“估计有相关性(ρ)(0)。46(95%可信区间为0。15 - 0。69)情况下提前1周。此外,相关性(ρ)0。36(95%可信区间为0。04为0。62),0。27 (95% CI−0。07年为0。55)和0。15 (95% CI−0。19 - 0。46)报告了事件例2周,3周,4周,分别在美国国家水平(图5、行19)。相关系数和95%为每个问题都可以在CIs多媒体附录3。综上所述,这些结果表明,感知的变化NPI遵从性(即MEPA时间序列)与COVID-19事件情况下的变化。

‎ 把这个图

与众包MEPA样本外预测的改善

模型包括两项美国国家事故案例和MEPA历史数据改变了轨迹预测,预测区间的宽度相对于一个模型只考虑过去的时间序列事件美国国家情况下(图6)。模型,包括历史统计和随机预测回归将所有MEPA数据提出了一个类似的轨迹的ARIMA(控制)模型只包括案例数据,有更广泛的预测区间峰值之前报告的病例中,有一个较小的预测区间后报告病例的峰值(图6和F)。

的比例乘以一个预测,包括单个MEPA时间序列生成更小的(改善)威斯康星州模型,没有使用MEPA相比,50%以上的多数预测视野的依从性问题前1 - 3周(图7)。MEPA大多数改进预测提前2周。相对应的MEPA时间序列问题”人们通常呆在家里的百分之几?”“有多普遍人们遵循建议接受抗体检测吗?”和“人们在你的社区多普遍遵循的指导方针,限制大型集会?“提高了76% (95% CI 58% - -94%)的预测提前2周。3周前,问题“人们通常呆在家里的百分之几?“提高了76% (95% CI 58% - -94%)的预测和机器学习模型,整合所有依从性问题提高了76% (95% CI 58% - -94%)的预测。包括MEPA数据改进的预测提前4周最低限度和只有一个小的问题。

与控制模型,包括MEPA数据提高预测准确性前1 - 4周(即减少威斯康星州)和峰值后报道事件病例数(图8)。预测未来1周显示一致的小随着时间的推移增加预测的准确性(图8未来几周)。预测2和3显示大收益在预测精度和峰值后事件病例数(图8B和C),改善预测精度提前4周出现峰值附近的病例数(图8D)。总的来说,这些结果表明,某些观念的NPI合规可能有用信号模型中预测COVID-19事件情况。

‎ 把这个图

‎ 把这个图

‎ 把这个图

‎ 把这个图

讨论

我们发现,众包的看法坚持npi与入射情况下提前1 - 4周在美国国家层面,包括感知数据为计算模型提高预测准确性前1 - 3周。因为反应从一群可以快速收集(例如,在数小时内分发一个在线调查),这些反应可以包含每周为计算模型,可以提供实时的预测流行病学疾病预防控制中心等组织的目标。

由于预测基于公众快速和信息化,这些预测将是非常有效的发行后有时新的NPI指南从州或联邦机构来评估这些新准则的有效性。我们的模型可以揭示出人们感知公共遵守这些指导方针和遵从性的变化如何影响传染病的轨迹,从而通知公共卫生官员哪些干预措施能够减少风险行为。这些预测可能也是宝贵的决策者和社区领导人决定,例如,大学课程是否应该在人或远程举行。

这个工作支持假设一群可以分配实际的概率对社区坚持npi结果符合最近的工作,这表明,外行人也能得到准确的概率预测多样化的现实世界的现象,比如新电影的票房收入或传染病的影响13,53];然而,更多的工作需要完成到什么程度可以评估包括人类判断观念提高了传染病模型的预测精度(多媒体附件7)。过去文献大约躺人的能力做出准确的概率预测是复杂的。一些过去的研究表明人们可能无法准确的概率地图环境因素的结果(54),而其他的研究表明人民统计直觉可以重叠的数据环境(53]。

从这项研究的证据表明,参与者能够判断活动他们能够观察和预测,并在空间水平做出预测。例如,参与者选择回答“不知道”或空白离开的问题。参与者的反应往往与环境相关的问题,如戴着面具的人口比例,并回应少的问题,是与他们的环境,限制探视等高级生活中心。调查问题在最初的试点阶段的研究要求参与者进行预测在国家层面而非社区层面,和许多参与者在这个试点阶段抗议,他们不能做出合理的预测在这个级别,表明参与者的当地社区可以外推预测。最后,强烈的每周应对特定的NPI问题之间的相关性表明,本研究参与者的判断是一致的(见多媒体附件5)。我们的结果可能会支持这个想法,人类的判断是准确预测事件的情况下,因为人们可以认识和推断他们的环境。

然而,依靠人类的判断提出的挑战时没有使用计算模型进行预测。人类的判断是容易受到广泛的偏见常常引发的细微变化提出了如何判断提示(55]。看似不相关的信息可以有大影响的判断。例如,当被要求完成一个无关紧要的任务,比如写下他们的社会安全号码的最后2位数在投标之前常见的物品(比如一瓶酒),更高的社会安全号码的人出价葡萄酒更多的钱比那些较低的数字(56]。这些发现强调精心制作的重要性判断避免激活判断偏差的问题。人类判断数据也必须检查质量,参与调查的女性经常离开空白在一个单一的一个或多个问题调查,大约2%的参与者给相同的响应每一个问题,这表明他们不阅读密切调查项目。最后,人类参与者招募要求时间、精力和金钱。招募志愿者省钱但要求努力和暗示一个不确定的反应,可以挑战当收集数据来响应时间敏感事件如流行或大流行。参与率在这项研究倾向于提高整个数据收集期间,造成的困难评估MEPA随时间的变化是否被感知的变化驱动的依从性或参与率的变化。

在未来的工作有几个局限性地址。我们想要克服的一个限制是,参与者没有纵向追踪,所以,我们无法从个人分析反应随着时间的改变。另一个限制是,电子邮件用来征求志愿者包含链接的总结发现前几个月的数据收集。虽然这可能附加价值研究中参与者的经验,它可能有偏见的后续反应通过锚定判断这些汇总值(56]。另一个限制源自切换调查平台(从调查猴子Pollfish)在数据收集中。需要这个开关是由突然下降的能力调查猴子提供每周支付响应的请求数量(见图1A)。这个开关似乎对地理产生影响的代表性样本,Pollfish提供了一个代表性样本低于调查猴子。因为调查平台切换是困惑的反应和流行,影响切换调查平台可能有反应在很大程度上是不清楚。此外,跨州创建变量抽样率估计的困难预测在州一级。过采样从较低的州人口将确保一个预测模型有足够的数据估算可靠预测。没有其他的人口一直在调查收集的信息,所以,我们不能评估样本是否代表其他人口维度。最后,有证据表明,自我表现可能随地理位置(57]。未来的研究应考虑位置和周围的人口可能会如何影响认知,例如,导致过高的患病率的面具戴在人口稠密的地区。

未来的研究应该探索是否更准确和校准的预测事件情况下从人类的判断可以通过匹配的空间尺度问题的人群流行病学感兴趣的目标。预测事故情况下在国家层面上,而是更强之间的连接可能会观察到的状态——或者基层的判断和状态——或者社区事件情况。例如,一个调查预测的准确性取决于是否能等因素的地理大小状态(如德克萨斯和特拉华州)或种族多样性(如加州和西维吉尼亚州)。此外,受访者可以要求法官遵循专门的县,然后,这些判断可以被添加到一个模型产生县级预测。强有力的预测在这个地方将有价值的社区领导人决定,例如,是否应该在一个市政厅会议或远程的人。估计这些地方预测的一个重大挑战是收集足够的反应从一个给定的社会随着时间的推移,,正如上面提到的,可以通过目标和过采样从当地感兴趣的领域进行预测。未来的研究还应该探索NPI合规的看法是否能预测其他流行病学目标。当我们关注事件的情况下,在这项研究中,我们目前的方法应该扩展到其他感兴趣的预测结果,如COVID-19住院和死亡。

众包对人类行为的看法,比如药物的依从性,可能是一个快速和信息信号,可以改善概率预测的轨迹传染病和传染病对政策有重要意义。