利用搜索趋势的季节性流感分区域即时预报

简介

据估计，全球每年有5%至10%的成年人感染季节性流感，儿童和老年人的发病率更高[1，2］．在美国，每10万人中约有1.2人死于流感，季节性差异很大[3.］．市和州卫生部门在整个流感季节(通常是在美国的10月至5月)依靠监测数据来跟踪流感季节的进展，并协调医院、卫生保健提供者和公共卫生机构之间的疫苗接种和治疗活动。为了支持这些工作，美国疾病控制和预防中心(CDC)每周在国家和地区一级发布流感样疾病(ILI)的病毒学和门诊发病率数据[4，5］．

已经提出了几种方法来补充CDC的ILI，这些方法基于搜索查询进行估计[6-11]，推文[12，13]，维基百科访问日志[14，15]、其他公众生成的内容[16-18]，以及这些代理的组合[19］．除了提供更及时的疫情进展估计外，这些数据源还可用于在较局部的分区域地理分辨率下，在公共疫情数据有限或无法获得的情况下，制定疫情指数估计。由于可以通过更当地的观点来设计更有效和更有针对性的干预措施，这些分区域估计如果准确和可靠，就更可采取行动。

谷歌流感趋势(GFT) [6]利用基于网络的搜索查询的趋势，在区域和分区域各级得出了一个更广泛获得的ILI估计数;然而，GFT估计值的编制已于2015年8月停止[20.］．相反，通过谷歌的扩展趋势(GET)应用程序编程接口(API)，研究人员现在可以访问底层谷歌搜索趋势数据，并可以建立自己的模型来估计ILI。原始的GFT方法将CDC ILI建模为搜索查询频率聚合为单个变量的线性函数。最近的工作[7，21]在线性模型中，当单个查询项作为自变量保留时，证明了提高的准确性，并且使用允许查询之间的非线性和时间关系的替代模型报告了进一步的增益。一项相关研究在周建模了ILIw在n周的自回归滞后和100个选定词的周搜索量上w［8，22］．

尽管这些研究令人鼓舞，但这些模型是在美国国家层面开发和验证的，其中有响应变量ILI。将这些国家模式外推到无法公开获得疾控中心ILI的分区域决议，可能会产生精度有限的nowcast。GFT团队尚未发表用于在分区域尺度上生成nowcast的方法，而且对分区域水平上的GFT估计的验证研究很少[23，24］．

在本文中，我们提出了利用GET在分区域水平进行ILI nowcast的方法。这些方法被回顾性地应用于在美国50个州生成六个季节的nowcast，报告不同模型形式的准确性，并将其与已发表的GFT进行比较。据观察，利用区域一级发展的模式可能无法对分区域ILI进行准确的即时预测;相反，必须利用分区域ILI数据建立分区域ILI nowcast模型。

方法

概述

为了在美国州一级建立临近预测模型，首先在区域一级建立随机森林回归模型(由美国卫生与公众服务部定义，HHS [25])。在这些初始模型中，CDC报告的HHS区域加权ILI是响应变量，具有与ILI相关搜索模式的查询是解释变量。对区域ILI拟合的自回归模型提前1周的预测被纳入作为额外的解释变量。然后在分区域范围内应用或外推这些区域一级模型。具体而言，拟合模型与州级解释变量一起使用，以估计州级的ILI。

独立地，使用cdc提供的ILI的州级估计作为响应变量，建立了州级nowcast模型。这些州级ILI估算数据尚未公开，是应要求提供给本研究的。然后，将使用这些州模型得出的州级nowcast估计的误差与州级外推的区域模型的估计进行比较。

谷歌GET (Extended Trends)应用程序接口

GET API允许用户检索在搜索会话期间查询指定术语的概率的时间轴数据。其他参数允许指定地理(国家、州等)和时间(每天、每周等)粒度和感兴趣的时间段。查询概率是根据所有搜索的10%到15%的随机样本计算的;搜索量不满足最小阈值的术语被认为是私有的，其概率报告为0。数据每日更新，并提供2004年1月以来的历史趋势。因此，使用GET开发的nowcast模型可以提供比CDC ILI数据至少多一周的ILI估计，后者发布有5到11天的滞后。

在这项研究中，由于我们对州一级的nowcast感兴趣，状态作为地理分辨率，a每周周期性与CDC ILI和GFT一致，两者都是每周ILI估计值。我们指的是项的logit变换时间序列t的查询分数t，也就是说，Qf (t, s, w) = log (z/(1-z))在哪里z来自状态的查询的概率是多少年代在星期w是术语t．GET没有在HHS区域级别提供单独的查询分数。因此，来自HHS区域的术语的查询分数被计算为来自该区域内各州的术语查询分数的总体加权平均值。这种转换的选择是由以前的工作所决定的，该工作发现，通过logit转换，原始查询分数和ILI之间的关系近似于线性，并且模型性能提高[7］．

特征识别

与CDC ILI高度相关的查询使用谷歌相关[26，27]作为解释变量。谷歌correlation返回100个查询，这些查询的搜索趋势在历史上与给定目标时间序列数据的相关性(Pearson相关系数)最高。以2003-04年至2014-15年流感季节美国国家和10个HHS区域级别的ILI为目标时间序列。在使用不同目标时间序列识别的查询中观察到大量重叠。Zhang识别的查询词[28]和从Freebase提取的流感相关实体[29]，被添加到相关项列表中。

在检查与ILI相关的术语的查询分数时，发现一些在国家层面具有相当大的搜索活动的术语，在州层面通常很少或没有活动，并且报告为0 (多媒体附件1；图S1)，可能是因为GET中使用的抽样和阈值标准。因此，状态级别的解释变量是稀疏的。为了提高数据质量，采用了一种继承形式，即当状态级查询分数为零时，状态在区域级继承术语的查询分数:Qf (t, s, w) = Qf (t, r, w),在那里年代∊r,r指定HHS区域。也就是说，在没有额外信息的情况下，我们假设一个区域的所有状态下的用户以相同的概率搜索一个词。由于这不会消除所有的0，在应用logit转换之前，剩余的0被替换为一个非常小的值1e-12。敏感性分析显示，结果对替代材料的选择不敏感(多媒体附件1；图S2)。

自回归综合移动平均

兰波斯等[7]发现简单自回归综合移动平均(ARIMA)模型[30.-32使用搜索趋势数据可以对美国国家层面的ILI产生合理的nowcast估计。同样，Broniatowski等人[33，34]已经证明了ARIMA模型的实用性，该模型使用推文并在一些分区域位置查询数据。ARIMA模型由三个参数指定，自回归分量的阶数(a)，差分度(d)和移动平均分量的阶数(q)。

在图1，ф，θ,ρ在模型拟合过程中需要学习。Hyndman和Khandakar描述的一种方法[35，36]用于搜索参数空间，并识别一组提供良好模型拟合的参数，而在不同时间建立的ARIMA模型(w)，不同区域允许使用不同的参数。

‎ 查看此图

随机森林

随机森林是一种基于决策树的集成监督学习器，可用于回归[37-39］．具体来说，给定一个数据集n实例D = = (X (X, Y)_{知识产权,}y_我）,在那里Y响应变量是连续的，而特征集呢X = X (₁, X_2，X…,_p）的p解释变量(即，x_知识产权特征的价值是什么j例如我)，有监督学习算法使用D学习一个函数ḟ这样Ẏ=ḟ(X)Ẏ最小化了一些损失函数Y．这个函数ḟ那么可以用来估算吗ẏ₀例如，x₀=（x₀₁, x₀₂x、…_人事处)，其反应未知。

基于决策树的方法沿着解释变量分割特征空间，并学习单独的拟合，ḟ对于每一个子空间。集成方法构建多个决策树，每棵树都在一个数据集上D^＊的随机抽样替换n实例D．随机森林是一种集成决策树，它在学习时也排除了解释变量的随机子集。随机森林适用于具有大特征集的非线性问题，并已被发现在多个领域提供了优越的精度。

在本研究中，随机森林[45用R表示的包装[46(R Project for Statistical Computing)用于建立模型。

模型公式

文中详细描述了该模型多媒体附件1．总结一下，让y_{1: w}^r表示区域的logit变换ILI观测值r通过一周w;而且X_{1: v}^rHHS区域logit变换查询分数的查询分数矩阵r对于第1周至第1周期间的特性集(列)中的所有术语v(行)。请注意,v > w．我们安装了ARIMA模型y_{1: w}^r未来几周的天气预报w + 1来v并将ARIMA结果作为解释变量X_{1: v}^r．用修正后的矩阵作为预测器，(y_{1: w}^r）^T作为响应，我们训练了一个随机森林模型的区域r在星期w，ḟ_w^r．对一个状态的ILI进行nowcast年代在地区r，我们附加区域r的ARIMA结果转化为州的查询分数矩阵X_{1: v}^年代，并使用此作为测试集ḟ_w^r．

验证

CDC应数据要求提供了2000-01赛季至2010-11赛季的州一级ILI计数(每10万名患者就诊)。这些计数被认为是真实值，以验证上述模型的估计值。由于GET数据仅从2004年1月起可用，七个重叠流感季节中的最后六个(发病率和死亡率周报［40]， MMWR，第40周至下一日历年MMWR第39周)，即2005-06年至2010-11年用于验证。为了生成任何给定周的nowcast，只使用实时生成nowcast时可用的数据，从而允许对估计值进行样本外验证。

对于六个季节中的每个状态，计算了Pearson相关系数(COR)、均方根误差(RMSE)和平均绝对比例误差(MAPE)。在图2，y_w^年代州的真实ILI值是多少年代在星期w，ẏ_w^年代相应的临近预报，w∊se流感季节的几周g ()是logit反变换。虽然有时可以使用ARIMA和GET提前2周进行nowcast估计，但在此误差分析中只使用了提前1周的估计。

‎ 查看此图

替代模型表格

为了生成一个州的nowcast，用相应的区域数据训练的模型被外推到州一级。对于这种外推，上面描述的模型公式使用区域ILI作为响应变量进行训练，使用区域ILI和状态GET查询分数的ARIMA拟合作为解释变量。我们将这种形式称为RRS。研究了另外两种替代形式:RR0，其中州的ILI估计值只是其区域的ARIMA估计值;RRR，其中州的GET查询分数替换为其父区域的查询分数。

RRS相对于RR0的准确性表明了GET和随机森林增加的价值，以及RRS相对于RRR的准确性表明了通过使用更本地化的GET数据增加的价值。由于GFT是在用于验证的六个季节中发布的，因此这三种模型形式的性能也与GFT进行了比较。

替代模型形式:将ILI作为响应

以区域ILI为响应变量，构建上述三种模型形式。由于CDC每周发布区域ILI，这些模型适用于实时操作nowcast。虽然分区域ILI的估计值没有公开提供，但州和市卫生机构有这些估计值供内部使用，值得开发和测试分区域ILI可能采用的模型形式。

另外定义了四种模型形式:SS0，一种适合ILI状态的简单ARIMA模型;SRR和SRS，除了用于训练的响应变量外，它们分别与RRR和RRS相似;SSS不直接使用任何区域信息。请参阅多媒体附件1获取这四种类型的更正式的规范。

为了比较不同的模型形式，并检验差异是否具有统计学意义，我们使用了Friedman秩和检验[41，42]然后进行Nemenyi测验[43，44］．弗里德曼检验是一种非参数检验，不假设正态性。它在每次测试尝试中对不同的模型形式进行排名，这是一个状态-季节组合，并使用排名来测试模型形式是否不同。Nemenyi检验，弗里德曼的事后检验，检查每对模型形式之间的统计显著性差异。

结果

在RRS模型中使用的解释变量中，ARIMA组件(基于“增大化现实”技术)排名最高，其次是来自Freebase的大量实体(见图3)。在所有季节和州，RRS模型被发现具有相当高的中位数相关性，为0.84(四分位差[IQR]: 0.74-0.91;表1)。当按人口规模分层时，人口规模较大的州的中位数相关性显著高于人口规模较小的州。还观察到季节间的显著变化。人口规模大的州也被发现有较低的中位数误差(RMSE和MAPE)，但在低州和中等州之间似乎没有太大的区别。

尽管RRS模型的相关性令人鼓舞，但GFT估计值总体上和几乎所有分类组都具有更好的中位数测度。谷歌尚未公布其在分区域一级估计ILI的方法，目前尚不清楚GFT估计数是否得益于对趋势数据的更全面的访问，或者绩效收益是否仅仅是方法上的。

‎ 查看此图

表2显示了模型形式的平均排名以及Friedman-Nemenyi检验的显著性结果。在四种估计中，表现最好的(相关性最高或误差最小)被分配为1级，最差的被分配为4级，并计算不同季节状态组合(n=300)的平均值。结果表明:(1)在相关性方面，GFT的平均秩最高，其次为RRR、RRS和RR0。但RRR与RRS差异无统计学意义;(2)平均秩的相对排序与RMSE相同，但RR0、RRR和RRS之间的差异不具有统计学意义;(3) RR0排序最好，MAPE次之，GFT次之。RRR和RRS的平均等级显著较高。

总体而言，RRR模型的性能与RRS模型相当，这表明在这里描述的模型中使用的状态本地化GET数据并不能提高临近预报的精度。因为RR0降低(降低)相关性，不改变RMSE并显著降低(改善)MAPE，因此完全忽略GET数据的效果仍然不确定。

将比较扩展到使用状态ILI作为响应变量构建的模型表单(表3；图4而且5)后，误差明显减少。中位数RMSE和MAPE (图4)在人口较多的州和大多数季节，SRS、SRR和SSS模型的总体强度均低于GFT。与RR*相比，也有明显的改善(图5)。然而，所有四种模型的相关性中位数都明显较低，尤其是SS0模型。

‎ 查看此图

‎ 查看此图

Friedman-Nemenyi检验结果(见表4，表明SRS的RMSE平均秩最低，除SRR模型外，与其他模型相比差异有统计学意义。SS0的MAPE平均排名最低，但与SRS或SRR没有统计学差异。同样有趣的是，继续使用ARIMA拟合区域ILI (SRR和SRS)的模型匹配或优于那些使用ARIMA拟合状态ILI (SS0和SSS)的模型。

讨论

主要研究结果

我们描述了一种利用GET在分区域水平上对ILI进行nowcast的方法，并根据美国六个流感季节和50个州的真实监测数据验证了所开发的模型。研究发现，该方法比自回归模型提供了改进的估计，但相对于GFT表现不佳。在大多数情况下，使用分区域一级监测数据的方法的变体优于GFT。

我们的研究结果支持了其他研究小组的早期发现，即ARIMA模型本身以及与其他方法结合使用在临近预报ILI中的适用性。这尤其适用于非常小的环境，例如医院或农村县卫生部门，在这些地方可以获得ILI的内部估计，而且短期预测对资源规划很有意义。

研究还发现，通过GET API访问的数据在更细的地理粒度上是稀疏的，仅依赖于搜索趋势数据的方法可能不适用于本地化的nowcast。这里描述的继承方法在一定程度上解决了这个问题，因为测试继承对模型性能的影响发现，继承提高了整体的相关性，特别是在人口较少的状态下;但对RMSE无显著影响，MAPE (多媒体附件1；图S3)。需要进行额外的分析来确定场景，例如，当一个状态的信号低于父区域的一部分或低于由历史似然确定的阈值时，在这种情况下继承是有用的。将替代数据流(如电子健康记录和社交媒体)作为随机森林模型的附加特征，可以消除对继承的需要，并潜在地改进即时预测。

S*模型使用州级ILI作为训练响应变量，其误差的减少使得每周公开发布这一信息成为理由。CDC通过汇总美国门诊ILI监测网(ILINet)每周由美国约2000名门诊卫生保健提供者提交的数据来估计HHS地区的ILI。从理论上讲，分区域级别的数据聚合是可能的，但对患者和提供者的隐私存在担忧。然而，考虑到我们的研究发现，无论是否使用分区域GET，依赖区域ILI都会产生较差的分区域nowcast，而且这些nowcast仅比使用区域ILI作为分区域ILI的代理略好，也许有必要重新考虑隐私方面的具体问题，并探索可能允许在分区域级别发布ILINet数据的匿名化方法。

由于一个HHS区域内的所有州都有相同的RRR nowcast估计，RRR和GFT在nowcast中的表现区域ILI可以进行比较。对于所使用的三种精度测量中的任何一种，在区域水平上，RRR nowcast和GFT之间没有发现显著差异多媒体附件1；表S4)。然而，在状态级别上，GFT优于R*模型的性能需要进一步分析。虽然我们对GFT模型形式知之甚少，但我们认为谷歌无法获得分区域CDC ILI数据来训练分区域模型。因此，GFT市级和州级的ILI估计可能是区域模型的外推，类似于这里描述的R*模型。这可能也解释了为什么我们的S*模型在RMSE和mof方面优于GFT——通过在州一级建立模型，州一级ILI数据相对于母区域的偏差被消除了，从而减少了误差(这种隐式偏差修正确实被观察到;看到多媒体附件1；图S4)。如果GFT与现在通过GET公开获得的搜索趋势具有相同的访问权限，那么相对于R*模型的优越GFT分区域nowcast表明，这里提出的特征集和学习方法都需要进一步改进。另一方面，如果GFT拥有对GET的完全(100%)访问权，那么它相对于R*模型的优越性能可能更多地源于访问权的差异。

上面报道的验证方法的一个局限性是它没有考虑到ILI数据的后修订。疾病控制与预防中心的ILI估计在最初发布后的几周内更新，因为其他提供者提交了延迟的数据。我们无法获得关于州级ILI如何随时间更新的信息，但只能获得最终稳定的ILI。如果这个详细版本的数据集可用，则可以将使用ILI的瞬时估计生成的nowcast与最终的稳定ILI进行比较，从而获得更可靠的验证。

结论

总的来说，研究结果表明，只要这些尺度上的数据仍然受到限制，对更多局部尺度的近铸外推可能仍然具有挑战性。由于公共卫生干预措施和医院规划可以从及时和本地化的ILI估计中受益，因此放松这些限制可能是有必要的。