远程研究中的招聘和保留:从一个大型、分散的现实世界研究中学习

简介

背景

智能手机为研究人员提供了一种前所未有的随时随地的媒介，让他们可以在现实世界中接触和评估大量人群的健康行为[1，2］．截至2020年，美国智能手机的拥有率已超过80% [3.］．这种设备的大规模、高频率日常使用，加上日益多模态的机载传感功能，为进行大规模健康研究提供了有效的方法[4，5］．自2011年第一次完全远程分散试验以来，采用数字健康工具开发和部署数字增强试验的数量一直在稳步上升[6-8］．最近的研究表明，使用智能手机远程监控对评估现实世界的行为有好处。9，10]，以治疗慢性疼痛[11]、癌症护理[12]、糖尿病[13]、帕金森症状严重程度[14]，以及心血管健康[15]以及提供远程干预[16］．COVID-19大流行进一步加速了这一增长，仅在2021年就实现了220多项数字增强试验[17，18］．

使用智能手机进行健康研究还可以减少对传统研究设施或数据收集中介的依赖，从而有助于提高运营效率，因为数据收集需要研究参与者和研究团队之间的面对面接触[6，19，20.］．研究人员可以与参与者进行异步和同步的交流，并通过主动和被动地收集个性化的现实数据来评估他们的健康状况[4，21，22］．主动数据被定义为通过努力参与产生的数据(例如，完成一项调查)。相比之下，被动数据是在没有参与者直接输入的情况下收集的(例如，通过机载传感器估计的每日步数)[23］．这种可扩展的远程观测模型[6，20.]可以帮助调查人员了解人们在健康状况下的日常生活经历[4]以及现实生活中个体化行为与健康结果之间的关系[22］．

远程参与者招募和保留的挑战

然而，尽管卫生研究的权力下放有希望实现，但在招聘的代表性和包容性以及目标人群的保留方面出现了若干挑战[21，24，25]，导致稀疏、不平衡和不具代表性的真实世界数据收集[21］．通常，分散研究从各种基于网络的资源中招募人员，如社交媒体(Facebook [26]和Reddit [27])、众包平台(多产[28];亚马逊Mechanical Turk, MTurk [29];Centiment [30.];和CloudResearch [31])，以及与患者登记处或倡导团体的伙伴关系[32，33］．虽然这些招聘渠道已显示出远程接触和招聘大量人口的潜力[34-36]，长期和统一地保留远程参与者一直是一个挑战。最近的研究结果显示，留存率从1%至50%不等[24]，而金钱奖励能够显著提高长期留存率[10］．采用大规模公开招募方式，包括使用经济激励措施，招募玩家或恶意行为者的风险就会增加。37］．

随着大型研究使用多种基于网络的资源来远程接触和招募参与者，有必要评估这种策略对纳入队列的特征及其在研究中的留存率的影响。此外，还需要进一步研究，以了解Android和iOS操作系统之间在研究参与激励方面的差异(例如，支付时间和频率)和差异[38]会影响分散研究中的长期数据收集。

目标

为了调查在现实环境中通过智能手机收集健康数据所面临的一些挑战，我们在一项大型分散研究中研究了1万多名参与者的招聘、保留和被动数据共享模式。具体而言，我们评估了以下三个关键问题:(1)结合不同的招聘和激励分配方法是否会导致具有不同特征的异质队列?(2)远程研究中参与者的保留和数据收集的一致性是否会受到队列异质性的影响?(3)在现实环境中，哪些因素会影响被动数据收集?

方法

伦理批准

本研究由华盛顿大学机构审查委员会(STUDY00004997)和国防部人类研究保护办公室批准和监督;该研究于2020年2月11日获得批准。

研究概述

“使用智能手机促进健康的作战人员分析”(WASH)研究的参与者是居住在美国的志愿者，他们同意参与一项为期12周的基于智能手机的研究。这项研究的主要目标是了解现实世界的因素，这些因素有助于早期预测感冒、流感，以及创伤性脑损伤对日常功能的影响。符合条件的参与者是年龄≥19岁、讲英语的人、美国居民、iPhone或Android智能手机的所有者和主要用户。潜在参与者被要求在同意之前完成资格筛选，那些不符合纳入标准的人不允许完成后续程序。

招聘

参与者招募于2020年3月15日开始，滚动招生至2022年1月4日。研究参与者分两个阶段招募，采用不同的招募和激励分配方法(图1)．参与者完成基线调查和12周的后续调查可获得高达90美元的奖金。最终的参与激励是根据完整调查的数量来确定的。在同意过程中，参与者不被告知财务状况;但是，应要求提供了关于他们何时能得到补偿和能得到多少补偿的补充细节。

‎ 查看此图

参与激励

第一阶段(2020年3月15日至7月11日)

参与者主要是通过在社交媒体平台上投放广告来招募的，这些广告将潜在参与者引导到一个研究招聘网站。本地新闻机构的新闻稿亦作为招聘资料来源[39，40］．在此阶段招募的参与者每周根据参与者完成所有日常调查的天数获得报酬。在整个12周内，每天收到的金额都在增加(例如，第2周至第4周约为4美元，第5周至第8周约为6美元，第9至第11周为7美元，第1周和第12周支付的金额更大，因为对在第1周完成基线调查和在第12周完成退出调查的人给予了更高的奖励)。然而，2020年6月研究注册人数显著增加，这似乎与计划的招募不一致，导致研究团队于2020年7月11日暂停注册。在此期间对参与者活动的分析表明，一些恶意行为者参与了这项研究。关于恶意行为者评估的进一步细节可以在Bracken等人的研究中找到[37］．

第二阶段(2020年8月30日至2022年2月9日数据冻结日)

在实施了其他策略以阻止欺诈性加入研究后，于2020年8月30日恢复招募，例如禁止在研究应用程序中自动填写调查，更改招聘来源，并更改激励付款频率[37］．参与者从2021年1月4日至12月28日以及2021年5月15日至12月21日从两个基于网络的招聘平台高产和MTurk招募。高产是一个基于网络的研究平台，包括一些保护数据质量的保障措施[41-44];最小化玩家或恶意行为者;并且已被证明是可靠的，有效的，可负担得起的行为研究远程数据收集[45］．与多产类似，MTurk是另一个基于网络的众包平台，经常用于健康研究，招募研究参与者完成数据处理、解决问题和调查等任务[46］．在第二阶段，参与者每3周获得一次报酬，第一笔参与激励付款持续5周。支付计划的更改是为了允许有足够的时间执行旨在识别恶意行为者的程序。

积极调查

评估分为1个较长的基线调查和简短的每日评估。基线调查评估参与者的健康史、情绪、身体活动和手机使用情况，在获得研究第一阶段的同意后24小时进行。但是，在第二阶段，在获得同意后立即进行基线健康调查。在这两个阶段，参与者每天进行两次相同的健康相关调查，持续12周。该调查询问了参与者的情绪、体育活动和手机使用情况。

基于传感器的数据采集

通过研究应用程序主动和被动地从参与者收集基于传感器的数据。参与者完成绩效结果测量[47例如站立和行走测试以及分享语音记录。参与者还被要求允许研究应用程序从他们的智能手机收集被动数据。被动数据包括但不限于设备运动和方向;实际位置和相对位置;设备的状态(例如，活跃使用或连接到数据网络);以及当地环境信息，如环境光线、温度和湿度。参与者可以选择不分享被动数据，继续参与研究。然而，所有在2020年8月28日或之后(第二阶段开始之前)参加研究的参与者都被要求允许研究应用程序从他们的智能手机上被动收集加速度计和陀螺仪传感器数据。

数据访问

概述

从参与者收集的所有数据都被去识别。通过应用程序收集的数据在手机上进行了加密，并存储在安全的服务器上，与任何可识别的信息分开。原始数据，如参与者的图像、距离、声音和实际位置数据，与所有其他传感器数据分开存储，并且不与研究团队共享。本研究使用了研究启动日期(2020年3月15日)到数据冻结日期(2022年2月9日)之间的入选参与者的数据进行分析。

数据清理

在分析之前，根据Bracken等人在研究中定义的标记这些参与者的规则，删除了来自6788个疑似恶意参与者的数据[37］．在2020年3月15日研究启动日期之前收集的测试数据已被删除。如果一项调查提交了不止一次，我们使用最近的提交来评估参与者在研究中的合规性。如果参与者的回答值超出有效值的预期范围，则将其标记为无效数据。

数据协调

为了调查研究中的参与者留存率，我们将研究应用程序收集的数据分为两大类:(1)调查数据，代表参与者通过研究应用共享的任何主动调查数据;(2)传感器数据，代表研究应用在没有参与者主动输入的情况下收集的被动连续传感器数据，以及在性能结果评估期间收集的主动传感器数据(例如，从加速度计和陀螺仪收集的行走测试数据)。

统计分析

概述

在从数据集中排除6788名恶意参与者(6788/ 17556,38.66%)后，使用10768名参与者的数据进行了统计分析。类别变量的招聘和队列特征的描述性分析基于频率和百分比。包含<5%队列的分类基线变量水平被省略或与包含<5%队列的其他水平合并，以减少分析中的数据稀疏性。我们使用第25和第75百分位(IQR)的中位数来总结非正态分布的连续变量。采用双变量分析方法比较队列特征的差异。采用卡方检验检验类别变量间的统计学显著性差异;当表细胞计数<5时使用Fisher精确检验，Mann-Whitney检验U连续变量采用检验。我们使用逻辑回归模型来评估被动数据共享模式与参与者的社会人口特征和技术变量之间的统计学显著性关联。这些因素包括种族、民族、年龄、性别、教育水平、收入水平、设备类型和招募阶段。具体来说，我们比较了参与者在Android和iOS设备之间共享至少25%(2/8)、50%(4/8)或75%(6/8)的8种常见被动数据流的3种数据共享模式。95% ci和P值使用Wald计算Z分布近似。

我们调整P通过使用错误发现率校正来校正不同传感器类型之间的多次比较。使用R(4.1.1版本)进行分析。当错误发现率校正后，假设有统计学意义P值<.05。

保留分析

为了检验研究中的总体留存率，我们使用了单变量Kaplan-Meier生存曲线[48]，使用非参数对数秩检验检验其差异是否具有统计学意义[49］．参与者参与研究的最后一天由他们分享数据的最后一天决定。为了评估主动和被动数据共享在保留率方面的差异，我们还分别计算了主动和被动数据流的研究保留率。考虑到参与者可能在研究期结束(84天)后继续使用研究应用程序，我们对Kaplan-Meier估计器使用了右截尾数据。

为了评估包括社会人口学在内的多个感兴趣变量对研究参与者留存率的联合影响，我们最初使用了多变量考克斯比例风险(CoxPH)模型[50］．然而，使用Schoenfeld个体检验检验的CoxPH模型的一个关键假设(协变量的影响不应随时间变化)不符合[51］．多媒体附件1给出检验统计数据，表明CoxPH模型假设不被满足。由于潜在留存数据不支持CoxPH模型假设，我们使用了非参数对数秩检验[52，以评估各个变量对每个阶段留存率的统计显著影响。我们交叉比较了两个研究阶段中每个感兴趣变量水平的中位数留存率。

结果

招聘

截至数据冻结日(2022年2月9日)，该研究招募了10768名参与者。大多数参与者(6494/ 10768,60.3%)是在第一阶段招募的，其余参与者(4274/ 10768,39.69%)是在第二阶段招募的(参见方法部分)。相当大比例的参与者，尤其是在第一阶段，没有完成基线调查(第一阶段:3135/6494,48.27%，而第二阶段:918/4274,21.47%)。图2比较研究的招募率与基线调查提交率随时间的变化。完成的基线调查数量一般与研究期间招募的参与者数量一致。第一阶段的招聘高峰出现在2020年4月中旬和5月中旬，第二阶段的招聘高峰出现在2021年1月中旬和3月初。然而，在第一阶段，即2020年5月至7月期间，完成的基线调查数量明显低于招募的参与者数量，这解释了第一阶段中基线数据缺失的比例很大。我们进一步评估了缺失基线调查对研究参与者参与度的影响(参见保留分析部分)。关于基线调查中遗漏和无效数据条目的其他统计数据汇总于多媒体附件2．

‎ 查看此图

群体特征

大多数完成基线社会人口学调查的参与者为女性(3817/6574,58.06%)。中位年龄为30岁(IQR 24-40岁)，19 - 29岁的参与者比例较大(2949/6267,47.05%)。非西班牙裔白人人口最多(3938/6677,58.97%)，其次是亚裔(931/6677,13.94%)和西班牙裔或拉丁裔(783/6677,11.72%)。大多数参与者为iOS用户(5883/ 10583,55.58%)。表1总结整个队列的社会人口学特征。

在第二阶段招募的人群中，年轻人的比例较高(19至29岁;1685/3194, 52.75%)，老年人比例较低(年龄≥60岁;94/3194, 2.94%)比第一阶段招聘的人数(P<措施;表1)．第二阶段招募了更高比例的黑人或非裔美国参与者(第一阶段:267/3342,7.98%;第二阶段:456/3339,13.65%;P<措施)。值得注意的是，在第二阶段招募的年收入水平较低(≤49,999美元)的参与者(1942/3308,58.71%)比第一阶段招募的参与者(1062/2483,42.77%;P<措施)。Android和iOS用户的比例在招聘阶段也有所不同。iOS用户的比例明显更高(P<.001)在第一阶段(3958/5883,67.27%)比在第二阶段(1925/5883,32.72%)被招募。多媒体进一步比较了Android和iOS用户在两个招聘阶段的社会人口特征。

被动数据共享

研究应用程序被动收集的数据模式的数量在Android(31种数据模式)和iOS(14种数据模式)操作系统中有所不同。Android和iOS设备中可用的被动数据模式数量的变化是由于两个操作系统中可用的板载传感器和数据收集限制[38］．在31个Android被动数据流中，有18个(58%)在两个研究阶段中被至少50%的Android用户共享(表2)．相比之下，86%(12/14)的不同被动数据流由至少50%的使用iOS设备的参与者共享。多媒体附件4总结了Android和iOS设备中每个传感器的数据共享比例。使用iOS设备的参与者都没有分享来自相机或气压计的被动数据。同样，使用Android设备的参与者也没有分享任何来自被动数据流的数据，包括温度、摄像头和湿度(多媒体附件4)．这种被动数据共享的变化也可能与某些设备中特定传感器的异构性和不可用性有关。值得注意的是，研究的第二阶段要求参与者被动地共享加速度计和陀螺仪数据。然而，在第二阶段招募的队列中，有一小部分不共享加速度计(503/4089,12.31%)和陀螺仪(856/4089,20.89%)数据。

此外，在Android和iOS设备之间常见的8个被动数据流中，参与者的被动数据共享与社会人口特征和设备类型有关。总共测试了3种数据共享模式，参与者至少共享8个被动数据流中的2个(25%)、4个(50%)或6个(75%)。在所有3种数据共享模式中，黑人或非洲裔美国人参与者与非西班牙裔白人参与者相比，在统计上明显不太可能共享被动传感器数据(优势比[or] 0.44-0.49, 95% CI 0.35-0.61;P<措施)。此外，共享≥75%(6/8)被动数据流的参与者更有可能是iOS设备用户(OR 1.98, 95% CI 1.71-2.28;P<.001)，年收入超过2.5万美元(OR 1.27-1.55, 95% CI 1.06-1.93;P<措施)。多媒体提供了参与者的社会人口特征和被动数据共享之间的关联的进一步细节。

参与者保留

在84天的研究观察期内，整个队列的中位保留时间为38天。在主动(中位37天)和被动(中位38天)数据流中，未观察到有意义的队列保留率差异(多媒体附件6)．参与者保留率的敏感性分析也显示，在主动和被动数据流中，中位生存期没有显著差异(多媒体)．因此，所有后续的保留分析都是通过结合主动和被动数据流进行的。

在第1阶段和第2阶段招募的人群中，保留率观察到显著差异。第二阶段招募的参与者的中位数留存率(+14天)明显高于第一阶段招募的参与者(第一阶段:中位数37天;2期:中位51天;P<措施;图3A和3B)。在两个阶段招募的老年参与者(≥60岁)，相对于年轻队列，参与研究的时间最长(第一阶段和第二阶段中位保留期分别为38天和83天)(图3E和3F)

值得注意的是，在第一阶段和第二阶段招募的队列中，某些特征，包括社会经济因素，明显影响了参与者的保留率(表2)．在第二阶段入组后立即完成基线调查的参与者被保留了更长的时间(基线调查的中位数:在第二阶段是59天，而不是19天;图3D).然而，在第一阶段从社交媒体平台招募的参与者中没有观察到同样的趋势。同样，在第一阶段，非西班牙裔白人人群在研究中保留的时间(中位数37天)明显长于西班牙裔或拉丁裔人群(中位数20天;图3G)。在阶段2中，非西班牙裔白人与西班牙裔、拉丁裔或西班牙裔人群之间没有观察到有意义的差异(图3H).教育水平主要影响阶段1的留存率。报告高中或更低教育水平的参与者在第一阶段的留存时间最短(中位数5天)，而其他参与者(中位数≥36天)。在第二阶段从众包平台招募的人群中，没有发现由于教育水平而导致的如此大的留存差异(图3I-3K)。参与者自我报告的收入也仅与第一阶段的留存率显著相关。收入低于49,999美元的参与者比收入10万美元的参与者留存时间更长(第一阶段:收入49,999美元vs 10万美元的平均留存时间分别为34天vs 24天;P<措施;图3I和3J)。我们还注意到，在第一阶段注册的Android和iOS用户中，参与者留存中位数存在显著差异(iOS 37天，Android 22天;P<措施)。表2而且多媒体附件8提供生存分析的额外结果和细节。

‎ 查看此图

讨论

主要研究结果

我们分析了从现实环境中10000多名参与者收集的超过33万天的敬业度数据，结果表明，结合不同的招聘和激励分配方法可以产生异质队列。据我们所知，这是首批使用自带设备(BYOD)方法，实证评估参与者分享从iOS和Android设备收集的多模态被动数据的现实差异的研究之一。

总的来说，有5个关键的经验教训。首先，使用不同的媒体招募参与者，例如，社交媒体和基于网络的报纸或众包平台上的数字广告，可能会导致具有不同特征的异构子队列。其次，根据招聘来源(例如，社交媒体与众包平台)和激励分配方式，参与者的参与度可能会有很大差异。第三，被动数据收集可能会受到Android和iOS设备的技术变化以及队列的社会人口统计学特征的重大影响。第四，如果参与者在同意或登记后立即进行基线健康调查，他们更有可能完成基线健康调查。第五，在研究层面上监测真实世界数据收集的模式可以揭示技术故障，有助于指导上下文数据过滤和队列选择，从而产生更可靠的证据。我们现在将我们的主要发现结合起来，为招聘、保留和监测远程数据收集趋势的战略提供信息，以帮助以具有代表性和公平的方式收集现实世界的健康数据。

合并招聘平台可能会产生异质的现实世界群体

通过社交媒体和报纸上的网络广告招募的参与者(阶段1)与通过众包平台招募的参与者(阶段2)在人口统计学和社会经济特征上存在显著差异。这表明，结合多个网络招聘来源可能会产生异质队列，导致数据收集不均匀。未来的远程研究应评估结合来自不同招募媒体的参与者的真实数据的潜在影响。此外，在第一阶段中，基于网络广告的开放注册方法在成功招募大量队列的同时，也导致了相当一部分不良行为者加入研究以获得金钱激励[37］．另一方面，众包平台(MTurk和多产)招募参与者的速度较慢，但在第一阶段，他们的留存率明显高于使用社交媒体广告招募的参与者。事实上，正如我们在之前的一篇论文中所指出的，新闻媒体和社交媒体招聘更有可能吸引恶意行为者[37]，正如我们在这里所展示的，不太投入的研究参与者。然而，尽管付费众包平台在有效地接触和招募参与者方面有好处，但研究人员应该仔细考虑可能影响研究结果的其他因素[53-57从这些平台招募参与者时。这些因素包括(1)继续从事远程研究的主要动机，这可能与与任务完成相关的金钱激励有关，以及(2)被招募的人口可能不能代表一般人口[58]或目标健康状况。各招聘平台征聘参加者的特点也可能大不相同。(3)非天真招募的人可能是研究的常规参与者，这可能会影响对实际潜在效果的评估;(4)对众包工人是否适合某项特定任务或研究的评估[59-61］．

激励分配的变化会对招聘和留任产生影响

通过增加参与者获得报酬的间隔时间，在第二阶段加入研究的恶意行为者的数量显著减少。此外，在保持总激励支付不变的情况下，每周获得较少报酬的参与者(阶段1)仍然参与研究的时间明显短于每三周获得较大报酬的参与者(阶段2)。尽管阶段2中较高的留存率不能完全归因于激励分配的变化(因为缺乏随机化)，但这表明了一个潜在的有趣的行为经济学模型[62，用情节性但更重要的奖励来解决参与者的感知负担。与学习负担相关的激励价值也因社会经济特征而异。在这两个阶段，低收入群体的参与者参与的时间都比高收入群体的参与者长，这可能是受激励因素的驱动，其他研究也有明显的发现[63］．过去的研究表明，激励可能是留住这些参与者的有效方法，因为小的激励可能构成应对货币壁垒的一种方式[64］．然而，研究人员应该以非强制性的方式使用这种基于激励的参与策略[65，66这样潜在的研究参与者就不会受到不适当的影响而加入并分享他们在研究中的数据。

评估真实数据收集中的模式可以揭示潜在的技术问题

对日常研究级别数据的评估揭示了几种模式，表明数据收集中的短暂技术故障，如果不加以解决，可能会对下游证据生成产生偏见。首先，在第一阶段观察到基线调查完成率的相对入学率显著下降(图2)．这可能表明数据收集系统出现了技术故障，或者大量不良行为者试图加入研究以获得金钱奖励(如果适用)。其次，主动和被动数据收集模式在研究招募阶段显著不同。例如，我们在研究的第二阶段确定了两个时间段，尽管参与者完成了主动任务，但研究应用程序没有收集被动数据(多媒体)．这可能是被动数据收集中的技术故障，可能会严重影响在此期间活跃的参与者的被动数据密度。了解数据缺失的背景和时期可以指导队列和数据的选择，以进行可靠和无偏见的下游分析。第三，在第二阶段招募的一小部分参与者没有共享2个强制性的被动数据流，加速度计(503/4089,12.3%)和陀螺仪(856/4089,20.9%)，但在研究中继续保持活跃(表2)．对参与者共享的数据模式进行近乎实时的比较，可以帮助研究团队根据批准的研究方案对不符合所需纳入标准的参与者进行分类。第四，根据技术变量(如设备类型)分层的留存分析揭示了潜在的特质模式。我们观察到在第一阶段招募的参与者的保留率有一个显著的趋势(多媒体附件8；图3G).使用iOS设备的参与者的留存率在第37天左右急剧下降，而使用Android设备的参与者的留存率则逐渐下降。这种重要而特殊的留存模式可能有几个合理的原因，仅在研究的第一阶段可见。与阶段2相比，第1阶段的iOS和Android队列的社会人口学特征有显著差异(多媒体)．此外，iOS应用程序可能在第6周(35-42天)左右出现了一个漏洞，可能影响了第一阶段的参与者体验和数据共享。综上所述，这些发现表明，在研究进行期间，迫切需要优先考虑在现实世界环境中实时监测数据收集。这还提供了一个及时的干预机会，以理解、记录和修复根本原因，防止低质量的数据收集。

在BYOD研究中，被动数据收集可能有很大差异

从参与者自己的设备上收集的被动数据显示，Android和iOS设备上可用的车载传感器有很大差异。即使Android和iOS设备上都有常见的被动数据流，但与参与者的社会人口特征和设备类型相关的多个被动数据流的共享也可能存在实质性差异。例如，在这项研究中，黑人或非裔美国人明显不太可能共享多模态被动传感器数据(多媒体)．在大型BYOD研究中，研究人员应预料到无源传感器数据流存在高度异质性，并考虑设备异质性对数据收集、分析和证据生成的影响[38，67-70］．

参与者的社会人口学特征对留存率的影响

老年参与者(年龄≥60岁)被保留在研究中最长的时间。这一发现与之前关于留存率的大型交叉研究比较一致[63］．然而，社会人口特征对参与者留存率的影响在使用社交媒体广告招募的队列(第一阶段)和众包平台(第二阶段)之间有很大差异。个体类别(例如，非西班牙裔白人vs西班牙裔或拉丁裔)中位数留存率的相对差异显著更高，并且与先前的研究一致[63]在第一阶段的队列中比在第二阶段招募的队列中(表2)．这表明社会人口统计学特征如何影响基于招聘来源的参与者保留率存在显著差异。我们的研究结果提供了证据，证明从基于网络的众包平台招募的人群在研究研究中表现出比普通人群更同质化的参与，这种行为可能是由潜在动机和金钱激励所驱动的。

此外，美国的人口构成正变得越来越多民族和多元化，预计到2060年将不会有占多数的种族或民族团体[71］．纳入队列的社会人口学特征以及不均匀的参与者减员表明，大型观察性研究可能无法统一地从多样化和具有代表性的人群中纳入和收集健康结果。未来的研究应强调招募不同的人群，如“我们所有人”队列[72]，并在整个研究期间保留多样化的样本，以确保他们的学习适用于不同的人群。此外，招募多样化队列的一些挑战已被确定与参与者的看法、信任以及注册并与研究人员、政府和学术机构共享数据的意愿有关[46，71］．

基线调查的实施时间可能会影响完成率

审计业务数据显示，实施基线调查的时间可能与调查完成率有关。2期基线调查的漏报率差异显著(一期:3135/6494,48.27%;第二阶段:918/4274,22.47%;图3C和3D)。这表明，如果参与者在同意或登记(第二阶段)后立即接受治疗，他们更有可能完成基线评估。这可能是由于登记参加研究时的参与度高于随后的时间点，此时注意力可能被其他活动吸引。这一发现与之前的一些研究一致，即如果在参与者最容易接受的时候提供提示，参与者更有可能在24小时内使用移动健康应用程序[73］．此外，Bidargaddi等人[73研究显示，参与程度也受到其他环境的影响，比如一天中的时间和星期几。这些结果可以帮助我们理解管理评估时间的重要性及其对研究数据质量的影响。

局限性和未来发展方向

对讲卫生运动研究的参与者招募和保留数据的分析应在一定的限制范围内加以解释。首先，在美国宣布COVID-19大流行之前开始大规模、完全远程的数据收集，众所周知，这改变了我们的行为以及与技术和设备的互动[74］．事实上，Inverso等人[75]在COVID-19大流行期间，由于封锁期间对技术的依赖增加，用户的参与度更高。在世界卫生组织于2020年3月11日宣布COVID-19大流行后不久，WASH研究于2020年3月15日开始招募。因此，我们没有大流行前后的数据来解释大流行对参与者使用技术和设备的潜在影响。其次，WASH研究的最初目的是使用研究应用程序来检测感冒和流感症状。因此，参与者没有被随机分配到不同的招聘平台、激励分配频率和基线调查的时间，这些时间在研究的第一阶段和第二阶段之间有所不同。因此，我们的研究结果与阶段之间对参与者招募和保留的一个因素的影响没有因果关系或联系。例如，该分析比较了从基于网络的众包平台招募的参与者(阶段2)与基于社交媒体和本地广告注册的参与者(开放注册阶段1)作为一个整体的人群特征。我们无法探究不同阶段的招聘差异;也就是说，从社交媒体招聘的人与从当地新闻媒体广告招聘的人之间的差距。这主要是因为研究数据中可用的信息有限，不允许对这种差异进行调查。 Further research studies using a randomized design are needed to investigate the impact of individual changes in recruitment and retention strategies and their effectiveness for use in decentralized research. Third, we could not control for the participants’ previous experience in crowdsourcing platforms and research tasks, which can be a confounder [41]视乎评核的性质而定。未来的研究应评估参与者之前参与类似或其他研究的情况，以评估对主要结果的差异影响。第四，在第一阶段，通过新闻发布会招募的参与者集中在大西雅图地区，这可能不能代表美国人口。此外，由于基线地理定位数据中缺失的比例很高，我们无法确定队列的地理空间代表性。未来的研究应优先收集高水平的地理位置数据，如州、城市或邮政编码，以帮助评估研究队列的地理空间代表性。第五，我们无法解释结果中所有潜在的研究差异;例如，在阶段1的第36天，在参与者层面上的参与者参与度急剧下降，以及在阶段2的传感器数据收集或管理方面的波动，可能存在技术故障(多媒体)．这些技术问题可能影响了参与者继续参与的意愿，并增加了在技术故障时积极参与研究的参与者的感知负担。第六，尽管我们过滤掉了不良行为者，一些人仍然可以通过创建多个账户或使用多个设备成功注册。我们建议未来的数字健康研究专门报告和比较不同的招募和激励策略对注册队列的特征和参与指标以及欺诈招募的影响，以允许未来的复制和建立一套成功的参与者招募和保留方法的指导方针。