在年轻人随机数字拨号手机调查中使用多模式数据收集:可行性研究

简介

由于多种原因，年轻人一直是一个困难和资源要求高的群体，对他们进行监测研究，使用传统的抽样和数据收集方法，特别是纵向调查。他们的流动性很强，移动速度是其他成年人的两倍多[1]，进行基于地址和区域的采样，并重新联系后续的数据收集，具有挑战性和资源要求。同样，他们比一般成年人更有可能住在非传统的集体住房，如军营或大学宿舍[2］．此外，他们是取代传统联系方式的新通信技术的早期采用者，如无线替代(例如，放弃传统的固定电话，只拥有手机)。无线替代的早期采用、非传统住房和高流动性的结合，为在这一重要的人口亚群中进行重复的横断面和纵向电话监测研究带来了巨大的挑战。例如，从21世纪初到今天，无线替代的高速度导致了传统随机数字拨号(RDD)监控系统(如行为风险因素监控系统)的参与度下降，并可能增加覆盖偏差[3.，4］．同样，对于许多使用基于地址或区域概率抽样的监测研究来说，他们在机构住房中的较高居住率导致了更大的覆盖误差。最后，他们的高流动性意味着在纵向监测设计中更难找到和联系他们以进行后续数据收集，这些设计通常依赖于多种方法来吸引参与者，如邮寄、为认识受访者的人保留联系信息(以防再次联系困难)以及打电话。这尤其不利于快速监测本身具有高度动态或发生在动态环境中的行为和健康状况，例如烟草使用。随着电子烟等新兴产品的引入和增长，烟草产品市场在历史上很短的时间内发生了巨大变化。

矛盾的是，无线替代被证明对年轻人抽样进行横断面电话监视调查是有益的[5］．事实上，年轻人中拥有手机的人几乎是普遍的，研究发现，只使用手机的RDD在年轻人中具有代表性[3.，6］．然而，尽管采样和加权方法在解决无线替代挑战方面取得了进步，但回复率继续大幅下降。例如，皮尤研究中心报告称，2001年的平均回复率为28%，而2018年仅为6% [7］．因此，在这一人群中进行行为监测研究，特别是快速监测，仍然存在相当大的挑战。最近RDD调查回复率的急剧下降可能与手机技术的快速转变有关，反过来也与手机的使用方式有关，特别是在早期采用这项技术的年轻人中[8，9］．事实上，智能手机在人口中以令人难以置信的速度增长，它允许用户通过多种方式进行交流——语音、文本、电子邮件、短信和社交媒体。人们越来越少地使用手机进行电话交谈，而越来越多地使用手机通过社交媒体、短信和电子邮件连接互联网进行交流。9，10］．此外，一些移动电话平台(如iOS、苹果公司)现在包括屏蔽非收件人已知电话号码打来的来电的功能[11］．因此，RDD调查再次面临与技术使用的长期变化有关的重大挑战。然而，与无线替代一样，这些挑战可能通过提供一种单一设备来创造新的机会，通过这种设备，年轻人可以通过多种模式对使用RDD和电话模式的横断面和纵向监测研究项目进行抽样、招募和管理调查。事实上，如果智能手机可以用于管理网络调查，数据质量与电话调查相当，这可以节省大量资源，并为收集新类型的数据奠定基础。

我们设计了全国青壮年健康调查(NYAHS)，这是一项针对青壮年的全国性纵向RDD调查，以比较两种整合基于网络的数据收集方式——顺序电话到网络混合模式和单模式网络调查——与传统的单模式电话调查。本文使用NYAHS的基线数据收集来比较电话和网络模式的回复率;将人口分布与总体分布进行比较，以评估样本的可泛化性;检验抽样设计和抽样加权对统计精度的影响;并将估计的吸烟率与全国金标准调查的吸烟率进行比较。

方法

抽样和招募

NYAHS旨在使用RDD抽样提供具有代表性的健康行为横截面和纵向估计，并测试在使用RDD抽样的监测系统中集成网络调查的可行性和实用性。具体来说，我们比较了三种数据收集模式:(1)单模电话调查，(2)顺序电话-网络双模式，(3)单模网络调查。单模电话调查是RDD监测系统的传统方法，而连续的电话到网络双模和单模网络调查是实验性的。样本从Marketing Systems Group购买，在加载到计算机辅助电话访谈系统之前，136,000个手机号码的初始样本被随机分配到三种数据收集模式之一。图1介绍了本研究的抽样和原始数据收集设计。对于每种模式，从蜂窝专用的千级块中随机选择蜂窝电话号码。电话面试官手动拨打选定的号码，并阅读一份解释研究目的的招聘脚本，并筛选资格。对于单模电话，招聘和每次数据收集都完全通过电话进行。对于顺序混合模式，基线或第一波调查以及第二波和第三波调查是通过电话招募和数据收集进行的(与单模电话相同)，而简短的后续调查是通过网络进行的。对于单模式网络调查，基线招募通过电话进行，并收集网络模式数据。在基线之后，根据受访者的喜好，通过文本和/或电子邮件发送网络调查邀请。

‎ 查看此图

我们在软发行中使用了28519个样本，以确定简化数据收集的方法。为确保流行率较低的烟草类型有足够的样本量，将“曾经使用过”任何烟草制品(即在任何时候使用过烟草制品，以下称为“曾经使用过烟草”)作为纳入标准。然而，结合网络条件下较低的反应率，曾经的烟草纳入标准被证明是不可行的。因此，对于主要调查发射，唯一的纳入标准是18至34岁。此外，为了增加我们在单模网络条件下接触到符合条件的人的可能性，我们只使用了基于使用辅助数据的额外预处理步骤被确定为属于年轻人的可能性较高的电话号码。我们还对招聘脚本做了一些小的措辞修改。在这两种情况下，没有对招聘过程或数据收集进行其他更改。

仪表

该调查工具旨在收集数据，以估计年度烟草流行率和烟草使用纵向轨迹。因此，调查中的大多数项目都询问了烟草和尼古丁产品的使用情况，但调查也询问了对新型和新兴烟草产品、大麻和酒精使用情况的认识情况，以及一些人口特征。我们尽可能使用标准化措施，并从其他烟草调查中调整非标准化措施。英语调查由一名双语研究人员翻译成西班牙语，并由另一名翻译独立审查，调查团队裁定不一致之处。使用认知访谈技术，用西班牙语和英语预先测试了新的调查问题，并在iOS和Android设备上进行了可用性测试。

数据收集

基线数据收集于2018年4月至2019年5月期间通过计算机辅助电话访谈系统和基于网络的调查进行。筛选问卷被用来确定符合条件的参与者，定义为年龄在18到34岁之间的年轻人。在招聘脚本和资格确定后，单模式电话和顺序电话到网络模式的受访者立即过渡到主面试，而单模式网络组的受访者则通过短信发送到网络调查的URL链接。该URL将他们引导到一个同意表格页面，之后受访者被带到主要调查。在招聘过程中遇到语言障碍时，面试和网络调查都是用西班牙语进行的。访谈平均耗时16.8分钟，英语和西班牙语的时长相当。邀请短信和电子邮件是用西班牙语发送给说西班牙语的受访者的。作为激励，参与者获得了一家大型在线零售商提供的有条件的15美元电子礼品卡。数据收集方案由罗格斯生物医学健康科学机构审查委员会批准。

抽样权重

基本权重的计算方法是每个样本成员的选择概率与被调查者接听电话的移动电话数量的倒数。由于软发布的纳入标准，对基础权重进行了调整，因为曾经有24%的烟草使用者过采样。然后通过迭代比例拟合2018年美国社区调查(ACS)的人口数字来校准基础权重[12)，这是一项由人口普查局进行的大规模调查，目的是在每十年一次的人口普查之间更新人口估计。具体来说，基础加权样本按照年龄(18-21岁、24-29岁和30-34岁)、性别(男性和女性)、教育程度(13，14］．

统计分析

合格率是根据符合纳入标准的受访者数量来计算的(年龄在18-34岁之间，在测试发布期间曾经使用过烟草;在主要发布中，年龄仅为18-34岁)除以联系并回答了有关年龄(和研究早期吸烟情况)筛选问题的受访者总数。其次，我们计算了美国民意研究协会(American Association for Public Opinion Research)对筛选、扩展调查和总体[15］．筛选回复率3的计算方法是:完成筛选的人数(资格问题)除以抽样的活跃和用于个人通话的电话号码的估计数量。重要的是，它在分母中包括无法确定是否合格的已拨号码中的合格号码的估计值。由于大量拨打的号码都属于这一类，因此查看总体回复率以及扩展调查(即，在那些可以确定资格的人中)是有指导意义的，后者也被称为合作率。

通过比较性别(男性和女性)、年龄(18-21岁、22-24岁、25-29岁和30-34岁)和种族(白人、非拉丁裔;黑色,non-Latino;亚洲,non-Latino;拉丁裔;和其他)的人口分布从ACS。单模电话和顺序电话到网络混合模式被崩溃，因为它们的协议在基线是相同的。由于基本加权人口分布对人口值的校准仅基于点估计，因此我们没有提出置信区间作为精度度量。相反，我们使用国家卫生统计中心的可靠性比例标准数据表示标准来抑制不可靠的数据[16］．

用抽样设计效应(DEFF)来概括抽样设计和校准对统计精度的影响。DEFF是给定估计的复杂抽样设计下的方差与简单随机抽样下的方差之比。我们计算的DEFF由Kish [17]，他结合了抽样权重与结果的相关性，并以总体和关键亚群体的形式呈现。

为了评估吸烟流行率的偏倚，我们将NYAHS在不同数据收集模式下的估计流行率与国家健康访谈调查(NHIS)进行了比较[18］．NHIS是一项以面对面访谈为媒介的全国性调查，使用区域概率抽样。因此，它不受RDD方法或电话招聘后推送到网页调查产生的任何偏见的影响。之所以选择吸烟作为比较基准，是因为衡量吸烟的标准早已标准化。相比之下，新产品在整个监控系统中没有统一的问题措辞;因此，他们缺乏衡量的黄金标准。目前的吸烟者被定义为一生中至少吸了100支烟，目前每天或有一段时间都在吸烟的人。我们提出了使用logit方法计算95% CI的点估计。NHIS和NYAHS估计值是使用最终抽样权重生成的，并以未加权的分子和分母表示。通过比较点估计和置信区间的重叠程度来判断患病率估计的一致性。 The estimates were suppressed from tables and figures if they did not meet the National Center for Health Statistics Data Presentation Standards for Proportions [16］．所有分析均使用R [13，14］．

结果

合资格及回应率载于表1，用于主要数据收集(例如，在包括单模网络调查的补充抽样框架和对介绍性语言进行微调之后)和软发布。试运行时电话的合格率为12%(143/1191)，主数据收集时为17.6%(864/4909)，单模网络调查(仅使用18-34岁年龄范围内的手机号码)的合格率分别为9.6%(51/532)和30.3%(306/1009)。主发布和软发布的筛选回复率分别为32.8%(4909/14980)和39.8%(1191/2994)，而单模网络调查的回复率为16.1%(1009/6248)和42.6%(532/1248)。电话调查主上线和软上线的扩展回复率分别为68.6%(593/864)和74.8%(107/143)，单模式网络调查的扩展回复率分别为37.9%(116/306)和29.4%(15/51)。结果，电话调查的总体回复率分别为24%(主要)和30%(软发行)，单模式网络调查的总体回复率分别为6.1%(主要)和12.5%(软发行)。

以2018年ACS为基准的电话和单模网络调查的基本加权样本人口统计数据载于表2．电话调查很好地跟踪了整个人口分布的种族或民族和年龄。NYAHS的电话调查中，男性(57.1%[未加权n=412] vs 50.9%)和在校大学生(40.3%[未加权n=269] vs 23.8%)的比例略高，而拥有文学或科学学士学位的比例略低(34.4%[未加权n=239] vs 55%)。单模态网页样本密切跟踪了基于性别的人口，但白人、非拉丁裔(70.7%[未加权n=90]对54.4%)、受过大学教育(30.4%[未加权n=40]对7.6%)、拉丁裔(13.6%[未加权n=20]对20.7%)以及拥有高中或普通教育发展文凭(15.3%[未加权n=20]对29.3%)的比例过高。

表3显示总体DEFF和亚种群。总体而言，抽样分布的估计方差比从简单随机样本中得出的相同估计大1.28倍。与简单随机抽样相比，这相当于估计标准误差膨胀了约13%。DEFF在拥有文学或科学学士学位的人群中为0.96，在拥有一些大学学位的人群中为1.93，与简单随机样本相比，标准误差分别下降2%至39%。

图2显示了NYAHS和NHIS总体(图1)和人群亚组(图2到5)的估计吸烟患病率。估计患病率总体上是一致的(NYAHS: 15%， 95%可信区间12.4%-18%[未加权149/831];NHIS: 13.5%， 95% CI 12.3%-14.7%[未加权823/5552])，并且适用于男性，女性，白人，拉丁裔，黑人，非拉丁裔，30- 34岁，教育水平低于文学学士或科学学士，以及拥有文学学士或科学学士。仅在18- 24岁人群中存在显著差异(NYAHS: 15.6%， CI 11.3%-22.2%[未加权51/337];NHIS: 8.7%， CI 7.1%-10.6%[未加权167/1647])，教育水平<文理学士(NYAHS: 24%， CI 19.3%-29.4%[未加权123/524];NHIS: 17.1%， CI 15.6%-18.7%[未加权690/3494])。

‎ 查看此图

讨论

主要研究结果

我们的分析表明，在单一模式的网络调查中使用RDD抽样和电话招募作为监测研究的唯一方法是不可行的，但它表明，在使用RDD抽样和电话数据收集模式的监测研究中，使用并发混合模式设计(即对不同的受访者同时进行电话和网络调查)，网络调查可能具有良好的效用。我们的软发布发现，合格率(包括使用烟草作为限定符)非常低，以至于使用传统的RDD采样框架的成本令人望而却步。取消对烟草使用的要求改善了使用RDD抽样的招募，尽管低回复率和有限的年龄合格范围仍然使这是一项资源密集型工作。特别值得一提的是，被甄选为符合条件的受访者对网络调查的回复率非常低，尽管与皮尤中心的报告相似[7]，这与其他推到网页的研究项目一致[19］．为了增加网络调查的完成度，主基线启动使用了抽样框架的额外预处理步骤，以增加达到年轻成年人的可能性。事实上，这几乎使合格率提高了两倍。

我们的方法对电话模式有很好的代表性，在较小程度上，对网络模式也有代表性。对于网页条件，基本加权抽样分布在大多数特征上很好地跟踪了人口分布，除了年龄较大的年轻人和白人，非拉丁裔。相比之下，电话样本很好地跟踪了所有人口统计数据，除了大学入学率。这表明，与电话模式相比，我们用于web模式的预处理列表辅助RDD采样帧可能有更大的覆盖误差和/或差异无响应。然而，在采用概率抽样设计的调查中，偏离总体分布是很常见的，可以通过加权调整来解决，例如后分层，或者像我们的情况一样，使用校准方法[20.］．事实上，网络和电话调查在校准后得出了无偏倚的香烟估计。值得注意的例外是18- 24岁和学士学位以下的人群，尽管这可能是由于NHIS的后分层和我们的样本校准方法的差异。特别是，NHIS没有对大学入学人数进行事后分层，而众所周知，大学入学人数与吸烟有关[21]，而NYAHS则是[22］．此外，我们的方法的deff值远小于行为风险因素监测系统的全国估计值4.49(尽管该估计值每年都有所不同)[23］．这确保了总体估计和一些亚种群估计的合理精度。然而，对于较小的子组，更大的样本量可能需要产生足够的统计精度的估计值，特别是对于与总体有很大偏差的分布，因为较大的权重调整可能导致抽样权重的变异性增加和有效样本量变小。由于web模式的代表性较差，在并发混合模式监测设计中，分配到web模式的样本比例可能会影响样本的校准和精度。在我们的案例中，大约16% (n=131)的总样本来自网络调查，但未来的研究应该进行，以确定网络模式和电话模式的最佳分配，以最大限度地提高统计精度相对于成本。在RDD方法中集成web模式具有巨大的潜力，可以收集传统电话调查无法收集到的数据和/或进行难以使用基于概率的抽样设计实现的基于移动的研究。例如，在基于电话的监视方法中包括网络调查，允许研究人员嵌入视觉和听觉媒体[24，25］．这可用于在大范围和不同地域范围内测试社会营销信息，有助于让公共卫生工作者和决策者了解健康促进信息的有效方法。同样地，它允许受访者在自拍照数据收集中提交媒体，以捕获重要的上下文或曝光信息，这些信息可能无法通过封闭或开放式问题充分捕获[26］．这种方法传统上用于定性研究[27，28]，但未来的研究应该探索如何将网络调查与RDD抽样相结合，在使用概率抽样方法的大规模调查中收集这些数据。同样，我们的方法表明，RDD抽样和web模式可以与与受访者移动设备相连的健康跟踪数据的被动数据收集相结合，这可能会减少他们的整体数据收集负担。然而，迄今为止，在一般人口调查中将调查答复与健康追踪器联系起来的可行性和挑战尚不清楚。未来的研究应评估受访者参与脉搏调查的接受度，将结果信息与跟踪数据联系起来，并确定挑战和解决它们的方法。

限制

本文的局限性在于，代表性是在相对有限数量的人口特征上进行评估的。选择我们的人群是因为他们是最常用于事后分层或校准的人群，是烟草控制的优先人群。此外，还应评估其他健康指标的流行率估计的一致性。这可能具有挑战性，因为许多烟草制品，特别是新兴烟草制品，没有跨监测系统的标准化测量方法。因此，我们将无法解开由于测量与采样和数据收集模式的差异。

结论

我们的研究结果表明，在监测研究的并发混合模式设计中，将网络模式与传统的电话模式集成是具有挑战性的，并且基于网络的监测方法的RDD采样作为唯一的数据收集方法可能不可行。然而，我们的研究结果也表明，通过分配随机子样本在网上完成相同的调查，web模式可以集成到RDD电话监控系统中。这在加强数据收集方面具有巨大潜力，特别是在测试社会营销信息和将一般人口调查与自拍照或健康跟踪数据相结合方面。