发表在第20卷第11期(2018):11月

本文的预印本(早期版本)可在以下网站获得https://preprints.www.mybigtv.com/preprint/11050,第一次出版
并行电子健康临床试验的实用自助招募框架:识别高效和成本效益的决策方法(下)

并行电子健康临床试验的实用自助招募框架:识别高效和成本效益的决策方法(下)

并行电子健康临床试验的实用自助招募框架:识别高效和成本效益的决策方法(下)

原始论文

1美国芝加哥西北大学范伯格医学院医学社会科学系行为干预技术中心

2美国芝加哥西北大学范伯格医学院预防医学系行为干预技术中心

3.艾伯维公司,北芝加哥,伊利诺伊州,美国

通讯作者:

艾米丽·G·拉蒂博士

行为干预技术中心

医学社会科学系

西北大学范伯格医学院

10楼

北湖滨路750号

芝加哥,60611年

美国

电话:1 3125033741

电子邮件:emily.lattie@northwestern.edu


背景:成功招募电子卫生(eHealth)临床试验参与者的能力在很大程度上取决于使用高效和有效的招募战略。决定采用哪种类型的招聘策略对许多研究人员来说是一个挑战。

摘要目的:本研究的目的是对电子健康临床试验招聘策略的时间效率和成本效益进行分析,并描述了一个具有成本效益的试验招聘框架。

方法:参与者被招募参加5项针对常见精神健康状况的电子健康干预试验中的一项。采用了多方向的招聘方法,包括数字(如社交媒体和Craigslist)、基于研究注册的、印刷(如公共交通上的传单和海报)、基于诊所(如学术医疗中心内的普通内科诊所和大型非营利卫生保健组织)、市场研究招聘公司和传统媒体策略(如针对新闻稿的报纸和电视报道)。计算每种招募方法的时间成本和费用,并计算招募成本的参与者收益,方法是用招募的参与者数量除以每种方法的总成本。

结果:总共有777名参与者参与了所有试验。在5个临床试验中,数字招募策略产生了最多的参与者,占总注册参与者的34.0%(264/777)。基于注册的招募策略排在第二位,在所有试验中注册的参与者中有28.0%(217/777)。以研究注册为基础的招募有相对较高的潜在参与者转化率,这些参与者联系我们的中心进行筛选以加入,而且它也是这组临床试验中招募参与者的最具成本效益的方法,每个注册参与者的总成本为8.99美元。

结论:在这些结果的基础上,提出了参与者招募的框架。为了就发起和维持不同类型的征聘战略作出决定,需要仔细审查研究研究的现有资源和需要。

J medical Internet Res 2018;20(11):e11050

doi: 10.2196/11050

关键字



背景

招募参与者参加电子卫生(eHealth)干预疗效试验一直是一项挑战[12].尽管互联网接入日益普及,数字鸿沟近年来也有所缩小[3.],在接触到既代表目标人群又有兴趣参加这些试验的个人方面仍有困难[45].招聘的方式越来越多,从更古老、更传统的方法,如邮寄或公共平面广告,到社交媒体等更新的方法,以及注册和营销公司等资源,每一种方法都有其成本和收益。

近年来,在传统研究拨款时间表下开发和测试新的电子健康项目的困难已被发现[6-8].鉴于国家精神卫生研究所侧重于社会和行为健康的信息技术[9]以及越来越多的健康研究人员正在利用个人技术的广泛采用,试图扩大行为干预的覆盖面和可及性,因此,研究人员选择有效的招募策略以最大化他们的研究资金和时间表,并实现招募目标,以便对项目质量、效果和有效性进行稳健的评估,这一点越来越重要。设计和规划技术所需的时间和成本,以及意想不到的,尽管不可避免的发展问题,往往挤压了试验招募的时间和资源。尽管过去的评论[1011]强调了使用Facebook和其他社交媒体方法进行卫生研究招募的价值,但很少有研究报告这些招募方法相对于其他卫生干预研究招募方法的效率。因此,仍然需要审查多种征聘方法的成本和效益,以确定那些可能是有效和具有成本效益的方法。

目标

美国西北大学(Northwestern University)行为干预技术中心(CBITs)最近完成了5项针对常见心理健康状况(如抑郁和焦虑)的电子健康干预同步临床试验的登记。为了支持这一招募工作,CBITs开发了一个临床试验招募支持系统[12]以及一套针对每个试验所需的目标人群灵活的招募方法。本文介绍了CBITs在全国电子健康临床试验招募过程中所采用的招募策略、这些策略在产生转诊和登记参与者方面的效率以及使用这些策略的估计成本的描述性信息。考虑到成功运用这些策略所需的不同职责,我们提供了研究人员的角色和相关专业知识的描述。

本文的目的是提出一个具有成本效益的试验招募决策框架。为了支持这一目标,我们描述了一套用于在5个试验中招募和登记参与者的程序自己动手(DIY)的招聘支援架构,载于配套文件[12].然后我们分析所使用的招聘策略的成本效益。最后,这些数据,以及吸取的教训,被用来提出一个框架的招聘决策。


研究描述

在本文报告的招募期间,我们对18岁以上的成年人进行了3项试验,对目标年龄组(即高中生、65岁及以上的成年人)进行了2项试验,所有这些试验都评估了电子健康干预措施对治疗或预防常见心理健康状况(即抑郁、焦虑)的影响,并包括一项国家招募战略。Palac等人的配套论文[12]还包括一项专门在芝加哥地区进行的试验。

18岁以上成年人的试验描述如下:

分级护理随机对照试验

阶梯式护理随机对照试验(RCT)招募了18岁以上正在经历抑郁发作的成年人。通过随机分配,该研究比较了长达20周的(1)电话管理的认知行为疗法(T-CBT)和(2)阶梯形护理干预,该治疗由一个名为ThinkFeelDo的指导互联网CBT程序启动,将那些没有表现出改善的参与者逐步提升到T-CBT(结果论文目前正在审查中)。在20周治疗期间以及治疗后3和6个月,通过电话和网络问卷进行了多达2次的随访评估。

IntelliCare现场试验

IntelliCare现场试验对一套13款Android应用进行了评估,测试对象是18岁以上、有焦虑、抑郁或两者兼有的成年人[13].其中,12个应用程序提供了治疗焦虑和/或抑郁的不同临床治疗技巧,其中一个名为IntelliCare Hub的应用程序是管理其他应用程序的中心。所有的参与者都使用了8周的应用程序,并可以通过短信服务(SMS)与教练联系。参与者完成基于网络的调查问卷,评估症状变化,并在研究进行到第4周和第8周时提供用户对应用程序的反馈。

IntelliCare随机对照试验

本随机对照试验使用2×2析因设计继续评估IntelliCare平台,参与者随机接受(1)培训或不培训,(2)每周自动推荐与不自动推荐[14].参与者被要求使用应用程序8周,在应用程序活跃使用研究期间完成2份基于web的问卷,并在8周应用程序活跃使用研究结束后的3个月和6个月再次完成问卷(主要结果报告目前正在准备中)。

这两项针对目标年龄组的试验都利用了群体社交网络组件,描述如下:

ProjectTECH现场试验

ProjectTECH测试了一个基于在线和web应用程序的团体干预,以预防青少年抑郁和药物使用障碍[15].14到19岁的青少年被分到同组,并提供一个改编的、响应式的ThinkFeelDo版本,该版本可在手机上使用,内容与年龄相适应,并嵌入到支持小组成员之间交流的活动提要中。同伴小组由临床心理学家或高中生同伴指导进行。参与者被要求使用该网络平台8周。在研究开始后的第4周、第8周和第12周,他们被发送了在线问卷。

MoodTech现场试验

MoodTech将ThinkFeelDo项目用于65岁以上成年人的抑郁症治疗[16].所有用户都得到了同一位临床心理学家的支持,指导他们如何使用网站。参与者被分配到三个组中的一个,他们要么可以访问一个他们可以独立使用的网站版本,这个版本的网站包含同伴支持功能,以及一个在线空间,在那里他们可以与他们的同伴中的一小群人互动,要么被分配到一个等待列表控制组。两种治疗均为8周。在开始使用网站后的4周、8周和12周,通过电话和在线问卷进行随访评估。在使用网站前被列入等候名单的参与者;他们在等待期间完成了2个额外的评估,然后可以访问网站的独立版本。

招聘策略

这些试验采用多种方法招募参与者,包括数字化(如社交媒体和Craigslist)、基于研究注册的、纸质(如公共交通上的传单和海报)、基于临床(如学术医疗中心内的普通内科诊所和大型非营利卫生保健组织)、市场研究招聘公司和传统媒体策略(如针对新闻稿进行的报纸和电视报道)。参与者在最初的在线筛选调查中自我报告了他们的招聘来源,并在与研究人员联系时澄清了招聘来源。

对于每一项招聘策略,研究团队都为目标人群准备了措辞(在某些情况下还有图像)。所有的文字和图像在使用前都经过机构审查委员会(IRB)的批准,所有的在线广告都指向一个单独的网站上的完整研究信息和/或在线研究预屏幕调查。这些招聘广告的一个例子可以在多媒体附录1

对于包括Facebook、Instagram和Twitter在内的社交媒体广告,一组irb批准的冗长文字和图片被用来制作简短的挑逗广告。这使得发布广告的工作人员可以混合和匹配标题、正文和相关的广告照片,从而避免重复的内容。信息针对每项研究的兴趣群体(例如,一个老年人样本,一个青少年样本,和一个普通成人样本),标准包括但不限于地理位置,性别,以及那些表示对任何数量的相关关键词感兴趣的人,如“抑郁”和“焦虑”。我们通常一次投放一个月的社交媒体广告,但我们更感兴趣的是在预算限制的情况下,广告的表现如何。一旦一个广告集开始运行,我们会让它运行几天到一周,然后再检查进度。表现不佳的广告被关闭,资源被重新分配给表现更好的广告。我们通常使用标准投放类型(将广告分散在选定的活动计划中);然而,当我们试图快速招聘时,我们会启用加速交付类型。

对于以研究注册为基础的招聘工作,为各种研究注册机构精心制作了邀请函,其中有针对有兴趣帮助进一步研究知识的个人的措辞。通过ResearchMatch等一些注册表,研究团队可以根据年龄、种族/民族、既往诊断报告和在美国的居住地区来确定邀请的目标。

对于基于印刷的招聘,传单和海报由研究人员设计,并通过与研究团队所在大学有合作关系的公司印刷。经医务人员许可,传单被张贴在咖啡店等有社区公告板的各种企业和各大学公共区域和医务室候诊室的公告板上。研究人员利用他们的大学与芝加哥交通管理局的合作关系,以折扣价购买公共汽车和火车上的飞行座位。广告选择了通常比较繁忙且离大学较近的火车和公共汽车路线。

对于以临床为基础的招募,研究人员与医生合作,通过提供有关研究的信息来转诊患者。在其中一项研究中,研究团队与一家大型非营利卫生保健组织合作,该组织从他们的诊所组织转诊。

对于以市场研究招聘公司为基础的招聘,研究团队与一家研究招聘公司合作,该公司能够从美国各地招聘有兴趣的志愿者。研究招聘公司首先在内部向参与的小组成员发送电子邮件邀请。这封电子邮件包含一个研究筛选器的链接,该研究筛选器是为该市场研究公司的网站改编的,并托管在网站上。研究人员必须为市场研究公司的个人开发独特的招聘措辞和单独的在线筛选程序。

对于传统的基于媒体策略的招聘,研究团队的大学媒体关系部通常会撰写并发布一篇关于我们研究中心之前进行的研究结果的文章,并为那些有兴趣参加正在进行的研究的人提供联系信息(如电子邮件、网站和电话)。研究团队随后会收到感兴趣参与者的电话或电子邮件。一旦实施了在线预筛选系统,感兴趣的志愿者将被引导到研究网站和在线预筛选链接。

员工的角色和专长

招募工作在一位具有社区精神卫生和临床试验管理经验的硕士级研究经理(SMK)的领导下进行。此人为临床试验单位(CTU)管理一个研究人员团队,该团队由学士和硕士级别的人员组成。在招募期间,共有23人支持研究招募,其中包括3名来自西北临床与转化科学研究所(Northwestern Clinical and translsciences Institute)的工作人员,他们专门从事研究筛选,是在我们团队无法管理招募和临床面试时引入的。在招募工作的高峰期,有一个由10名CTU工作人员组成的核心团队支持招募工作。大多数研究人员在这些试验中担任临床面试官或技术支持专家的主要角色,并管理特定的招聘策略,将其作为他们每周工作的一小部分。在6个月的时间里,一名数字营销经理与CTU合作,开发了一项专注于Instagram、Facebook和Twitter的强大社交媒体战略。

上述招募策略将参与者引导到集中的在线筛选调查中,对中心积极招募的临床试验进行预先筛选。这项在线调查被用来自动决定最初的资格,排除不符合所有研究条件的个体,并允许研究助理有更多的时间与潜在符合条件的参与者互动,并通过简短的电话筛选确认资格。

硕士级数据管理人员,有数据处理编程语言的经验,通过集中在线筛选调查,管理后端自动化和来自各种招聘来源的潜在参与者的路由。对于后端自动化,编写了编程代码来自动筛选进入中心积极临床试验的参与者,并根据特定的研究资格、参与者首选的研究选择和中心对每个积极研究的招募目标筛选进入研究的参与者。代码随着新增招聘源和中心招聘目标的改变而更新。每天都根据收到的合格参与者的数量处理新的转诊。数据经理通知团队成员增加或减少招聘力度,特别是在社交媒体广告和研究注册等数字策略方面。这在Palac及其同事的研究中有进一步的详细描述[12],对本文所述的招聘策略的成功起到了关键的和具有成本效益的作用。作为Palac等人描述的框架的数据组件[12]是基于我们大学已经支持的技术(其他大学也普遍支持),没有额外的技术成本来维护这个支持系统。

招聘流程

潜在的参与者可以通过电子邮件、电话、我们的网络筛选调查或通过应用程序内兴趣表格联系该中心。IntelliCare应用程序可在谷歌Play Store公开使用[17已经下载了IntelliCare应用程序的用户可以在应用程序中填写一份表格,表明他们对参与相关研究项目的兴趣。在本文中,这些潜在参与者被标记为“联系”。然后,所有潜在的参与者都要经过一个简短的筛选措施,如果最初符合条件,研究助理会对他们进行电话筛选。这些潜在的参与者在本文中被标记为“筛选”。最后,通过2阶段筛选并参加上述5个临床试验中的1个的合格潜在参与者在本文中被标记为“已入选”。

数据分析

通过计算描述性统计来描述(1)标记为“已联系”的潜在参与者的数量,(2)标记为“已筛选”的潜在参与者的数量,以及(3)来自每个招聘来源的标记为“已登记”的参与者的数量。为了突出本研究中干预试验之间的差异,研究人员还计算了试验中每个招募来源的参与者的人口统计数据和入选参与者的数量。每个参加者的费用是根据每一种征聘方法的参加者收益与支出的比率计算的。每种招募方法的时间成本是基于对研究记录(如会议记录)的客观审查,并通过咨询研究人员对研究人员在使用每种研究策略时启动和维护该策略所花费的时间所做的估计来计算的。然后,通过将花费的小时数乘以相关的小时工资(例如,研究助理的时间为17.50美元,研究经理的时间为30.17美元),将估计的时间转换为时间成本。每种招聘方法的费用都是根据账单记录计算的。然后,用每种方法的总成本除以被招募的参与者数量,计算出招募成本的参与者收益。这种分析方法可以确定在征聘合格参加者方面特别具有成本效益和时间效益的方法,同时提供与每一套征聘方法有关的内部和外部系统费用的透明度。这些分析的结果被用来在讨论部分勾勒出招聘决策的框架。


所示表1,制订和维持招聘策略所需的员工技能和时间有相当大的差异。

表1。招聘策略摘要
招聘策略 数字 注册表 打印 诊所 公司 媒体
Topperforming网站 Instagram, Reddit, Craigslist ResearchMatch 芝加哥运输管理局公共汽车和火车线路上的广告 健康伙伴,团体健康 关注全球黑 无法确定
技术 社交媒体营销,内容营销,直接电子邮件,enewletter,应用程序广告,网站上的研究描述,博客文章 通过电子邮件(直接或通过Web门户)发送给注册参与者 在芝加哥最繁忙的两条铁路线和18条公共汽车线路上放置了大约800条研究专用横幅广告。

邀请通过美国邮政邮寄,电子邮件邀请通过电子病历门户发送,研究助理电话 透过公司发出电邮邀请 计划发布新闻稿,再版
目标人群 美国普通民众(成人和青少年) 注册参与者(成人) 芝加哥公众(成人) 参与护理系统的个人(成人) 市场调研公司小组成员(成人) 美国公众(成人)
启动/管理所需的员工技能 社交媒体营销,分析,设计,公共关系(危机应对),REDCap [18 人类受试者招募 设计 项目管理,关系管理,利益相关者管理,数据库管理,人体受试者招募 项目管理,数据库管理,临床试验招募 公共关系、新闻
管理工作 日常管理 每周的管理 月度管理 每周的管理 每周的管理 视需要而定(但在最初的媒体闪电战中需要大量劳动)
资源方面的考虑 在接触到新的潜在参与者方面几乎是无限的 注册表参与者数量有限 成本高昂。大学打折使广泛做广告成为可能 患者数量有限 有限数量的参与者 在接触到新的潜在参与者方面几乎是无限的
表2。潜在参与者按招聘来源划分。
招聘策略 数字 注册表 打印 诊所 公司 媒体 其他 未知的 未知(IntelliCare)应用程序/ Web表单 总计
原始数据(n)

联系了 3318 2030 789 3261 290 297 33 472 6727 17217年

筛选 895 627 308 266 138 144 9 33 86 2506

登记 271 225 89 75 55 49 3. 6 4 777
结果(%)

接受筛查的患者的百分比 26.97 30.89 39.04 8.16 47.59 48.48 27.27 6.99 1.28 - - - - - -一个

被联系的被登记的患者的百分比 8.17 11.08 11.28 2.30 18.97 16.5 9.09 1.27 0.06 - - - - - -

接受筛选的患者的百分比 30.28 35.89 28.9 28.2 39.86 34.03 33.33 18.18 4.65 - - - - - -

一个不适用。

共有17217名潜在参与者联系了招聘网站,2506人完成了筛选,777人被纳入研究。表2说明在试招期间与我们研究中心有过接触的每个招聘源的潜在参与者数量差异很大。大部分潜在参与者来自未知的来源(例如,招聘来源从他们的记录中消失了,通常是因为参与者没有回应该查询),并通过IntelliCare应用内兴趣表单(标记为IC app/Web表单)与研究中心联系表2).这意味着这些潜在参与者已经下载了IntelliCare应用程序,但我们不知道他们是如何第一次了解IntelliCare应用程序套件的。在来自已知来源的潜在参与者中,大多数来自数字招聘策略(如社交媒体和Craigslist),其次是基于诊所的招聘(如学术医疗中心的普通内科诊所和大型非营利卫生保健组织),研究注册(如ResearchMatch网站),基于印刷品的广告(如公共交通工具上的传单和海报),以及媒体(如,由我们研究中心发布的新闻稿引发的新闻报道,其中包括正在进行的试验招聘信息)。最小的一部分参与者是从“其他”渠道招募的,其中包括招聘渠道,如由另一个研究实验室介绍到我们的中心,以及通过公共活动了解我们的中心。

成果部分表2表明,那些与我们中心联系但未能确定自己是如何到达网站的潜在参与者(包括“未知”和“未知IC应用程序/Web表单”)的筛选完成率极低(一般未知类别的筛选率<7%,通过IntelliCare应用程序内兴趣表单与我们联系的筛选率<2%),而那些确定自己是如何到达网站的筛选完成率明显更好。从8%的基于诊所的招聘到48%的基于媒体的招聘和市场研究公司,其中数字招聘策略的收益率为27%。从接触到筛选的转化率最高的策略是使用市场研究招聘公司(48%)和使用研究登记处(31%),这两种策略的目标是可能对参与研究感兴趣的个人。总体而言,在5个临床试验中,数字招聘策略产生了最多的参与者,近35%的总注册参与者来自数字招聘策略。基于注册的招募策略排在第二位,在整个试验中招募了近29%的总参与者。

为了突出不同靶向试验中招募策略的使用和成功的差异,表3通过试验呈现每个招聘源所招募的参与者数量。

表4在美国,登记的参与者与美国的总体人口结构相似,在很大程度上代表了在美国寻求心理健康治疗的个人,因为女性和非西班牙裔白人个体的代表性过高。

表5显示每个筛选人员的费用和时间成本,每个注册人员的成本在不同的招聘策略中差异很大。在本文纳入的5个临床试验的招募期间,共花费了144,537.67美元用于招募费用,估计总时间成本为19,834.59美元,合计为164,372.26美元。这些费用包括为制定和维持招募策略而支付的费用,从以研究注册为基础的招募的注册人员每人1美元到以临床为基础的招募人员每人1,218.33美元不等。实施和维持招聘策略所需的时间成本或研究人员的小时工资,从基于研究注册的招聘注册人员的每人8.99美元到基于临床的招聘注册人员的每人75.01美元不等。

基于研究注册的招聘费用特别低(例如,许多注册是免费发布的,名义上的费用总计达150美元),而且相关的时间成本适中。由于以研究注册为基础的招募有相对较高的转化率,潜在的参与者联系我们的中心进行筛选,注册是这组临床试验中招募参与者的最具成本效益的方法,每个注册的参与者的总成本为8.99美元。然而,这些注册中心通常是有限的资源。随着征聘工作的进行,研究小组耗尽了登记所参加者的供应,以致登记所无法以符合征聘需要的速度积累新的可能合格的参加者。

表3。参加者按招聘来源登记。
试验名称 分级护理随机对照试验,n (%) IntelliCare RCT, n (%) IntelliCare现场试验,n (%) 项目技术现场试验,n (%) MoodTech现场试验,n (%)
数字 111 (35.6) 103 (34.2) 25 (23.8) 30 (76.9) 8 (17.0)
注册表 99 (31.7) 72 (23.9) 17 (16.2) 0 (0) 35 (74.5)
打印 35 (11.2) 41 (13.6) 10 (9.5) 0 (0) 3 (6.4)
诊所 35 (11.2) 0 (0) 39 (37.1) 0 (0) 1 (2.1)
公司 0 (0) 55 (18.3) 0 (0) 0 (0) 0 (0)
媒体 17 (5.4) 25 (8.3) 7 (6.7) 0 (0) 0 (0)
其他 13 (4.2) 5 (1.7) 3 (2.9) 9 (23.1) 0 (0)
未知/应用推荐 2 (0.6) 0 (0) 4 (3.8) 0 (0) 0 (0)
表4。试验参与者人口统计。
人口统计资料 加强护理个随机对照试验一个(N = 312) IntelliCare个随机对照试验(N = 301) IntelliCare现场试验(N=105) ProjectTECH现场试验(N=39) MoodTech现场试验(N=47)
年龄(年),平均值(SD) 37.7 (14.2) 36.5 (11.8) 38.9 (14.1) 16.23 (0.99) 69.6 (4.1)
性别、n (%)

229 (73.4) 228 (75.7) 80 (76.2) 29日(74) 32 (68)

男性 81 (26.0) 71 (23.6) 25 (23.8) 9 (23) 15 (31)

其他 2 (0.6) 2 (0.7) 0 (0) 1 (3) 0 (0)
种族、n (%)

美洲印第安人或阿拉斯加原住民 0 (0) 0 (0) 1 (1) 0 (0) 0 (0)

白色 275 (88.1) 237 (78.7) 88 (83.8) 24 (62) 41 (87)

非裔美国人 21日(6.7) 29 (9.6) 8 (7.6) 3 (8) 2 (4)

亚洲 14 (4.5) 10 (3.3) 6 (5.7) 4 (10) 0 (0)

不止一场比赛 8 (2.6) 18 (6.0) 1 (1) 4 (10) 3 (6)

未知/拒绝报告 0 (0) 7 (2.3) 1 (1) 4 (10) 1 (2)
种族,n (%)

西班牙裔或拉丁裔 32 (10.3) 30 (9.9) 5 (4.8) 10 (26) 1 (2)

不是西班牙裔或拉丁裔 275 (88.1) 268 (89.0) 99 (94.3) 29日(74) 46 (98)

西班牙裔或拉丁裔——未知或未报告 5 (1.6) 3 (1.0) 1 (1) 0 (0) 0 (0)

一个随机对照试验。

表5所示。招聘策略的费用和时间成本(以美元计)。
招聘策略 数字 注册表 打印 诊所 公司 媒体 总计
费用 美元11726 .01点 150.00美元 9318.66美元 91375美元 31968美元 $0.00 144537 .67元

接受筛检的人均收费 13.10美元 0.24美元 30.26美元 343.52美元 231.65美元 $0.00

每位参加者的收费 43.27美元 1美元 104.70美元 1218.33美元 581.24美元 $0.00
时间成本 8601.25美元 1872.50美元 761.53美元 5767.52美元 1896.52美元 935.27美元 19834 .59点

每个被筛选的人的时间成本 9.61美元 2.99美元 2.47美元 21.68美元 13.74美元 6.49美元

每个被登记的人的时间成本 31.74美元 8.32美元 8.56美元 76.90美元 34.48美元 19.09美元
总成本 20327 .26美元 2022.50美元 10080 .19元 97142点 33864点 935.27美元 164372 .26美元

接受筛查的人均总费用 22.71美元 3.23美元 32.73美元 365.20美元 245.40美元 6.49美元

每个登记的人的总费用 75.01美元 8.99美元 113.26美元 1295.23美元 615.72美元 19.09美元

主要研究结果

这组针对常见心理健康问题(如抑郁和焦虑)的5个电子健康干预试验的结果表明,使用数字招聘策略(如Facebook、Instagram和Craigslist)和基于研究注册的招聘策略(如ResearchMatch)是招募主要代表感兴趣人群的全国参与者样本最富有成效、时间效率和成本效益最高的方法。这些结果增加了临床试验招募方法和技术支持的招募策略的好处的文献。研究结果与Whitaker等人最近报告的系统性综述结果部分一致[10的主题是使用Facebook为健康研究目的招募参与者。惠特克等人[10越来越多的证据表明,与传统的招聘方式(如印刷、广播和电子邮件)相比,Facebook招聘有多种好处,包括更低的成本和更短的招聘周期。然而,该评论只包括一项专注于心理健康的研究,并没有研究Instagram和Craigslist等其他数字招聘方法的效用。这些结果也部分支持Topolovec-Vranic和Natarajan [11该研究将数字招聘策略(如Facebook和Craigslist)与其他医学研究招聘策略进行了比较。在他们的综述中包含的30项研究中,12项研究发现数字策略比其他方法更有效,另外3项研究发现数字策略与其他招聘策略同样有效。然而,30项研究中只有10项是关于行为干预的,没有一项是关于针对常见心理健康问题的电子健康干预的。尽管这些研究为在医疗/健康相关研究招募中使用数字战略提供了支持,但它们并没有反映出为电子健康干预招募有常见心理健康问题的参与者的独特性质。因此,本文中提出的结果有助于更广泛的文献,通过对这一人群进行电子健康干预研究,并通过检查额外的招聘策略(如Instagram和ResearchMatch)。

分析结果与研究人员的经验相结合,被用来为电子卫生干预措施的招聘战略决策制定一个框架,以指导中提出的战略决策表6并在矩阵中提出了招聘策略的益处表7.在表7,我们强调了招聘策略的主要好处是:费用低、对研究人员转诊数量和流量的高度控制、接触大量人员、接触目标人群(例如,具有特定的临床诊断和特定的人口统计资料),以及与招聘策略的更容易管理/维护相关的2个好处(即,缺乏所需的专业技能和研究人员相对较低的负担/时间努力)。

推荐使用多种招聘策略,并介绍工具表6而且7旨在帮助研究人员确定用于一项或一组研究的最佳策略子集。为了有效地管理多种策略,我们建议实施Palac等人所描述的招聘支持框架[12,它的结构围绕在线筛选调查和一个由数据经理监督的中央跟踪数据库。要就发起和维持不同类型的招聘策略作出决定,必须仔细审查现有的资源(即预算、人员、关系和折扣)和研究研究的要求(即目标招聘人数、目标参与者的人数/时间安排和入职标准)。然而,在回顾之前表6问题集和表7矩阵来确定自己的最佳招聘策略,应该进行文献审查,以确定是否有相关研究表明,使用可能已经在考虑的招聘策略,对目标人群来说,从筛选到招生的结果或转化率可能是什么。从筛选到注册的转化率估算的早期识别将帮助研究团队从试验开始就做出适当的时间成本和费用相关投资。如果没有可用的估计,那么研究人员将需要对他们选定的一套招聘策略进行实验,以微调他们的方法。

整个问题开始了表6,就会提示人们考虑某项研究的现有资源和要求。这些资源包括可用的资金(即预算)、员工的专业知识、员工的努力、现有的关系和获得折扣的机会。由于我们的研究中心同时为多个临床试验进行招募,我们可以灵活使用招募资金来测试多种招募策略,并根据需要启动和停止这些策略的使用。

表6所示。指导招聘战略决策的问题。
主题 问题
资源

预算 你对付费广告有预算吗?你有预算来支持员工管理战略吗?

员工专业知识 你能招募或培训员工学习建立/管理这一战略所需的技能吗?

员工的努力 你是否有可以建立/管理这一策略的员工?

的关系 你有关系来建立这个策略吗?

折扣 你是否有或能够建立联系来降低这一策略的总体成本?
需求

目标(N) 你总共需要招募多少人(<100,>100)?

流/时间表 你需要多快登记科目(月,年)?你有足够的时间做实验吗?

入口准则 你的进入标准有多严格(例如,你的广告需要有多有针对性?)
表7所示。招聘策略效益矩阵。
好处 数字 注册表 打印 诊所 公司 媒体
较低的费用



控制程度高(可以控制转诊人数和流量)


广泛的接触(接触大量的人)


接触目标人群



不需要专门的维护/管理技能


维护/管理所需工作量低



此外,大多数研究人员的主要角色是临床面试官或这些试验的技术支持专家,管理具体的招聘策略作为他们每周工作的一小部分。由于临床面试的主要职位的研究人员在工作日中通常有几段时间没有进行面试,因此有足够的时间来发展专业技能,并管理更费时的招聘策略。因此,需要专业技能的招聘策略的能力(如数字、诊所和基于公司的策略)和更高层次的管理努力(如维护数字、诊所、公司和基于媒体的策略所需的努力)已经构建到研究团队的结构中。见表6,研究要求包括目标样本量、筛选和加入研究的参与者的目标流程/时间表,以及研究的进入标准,这些都可以通过评估来确定哪些招募策略最有可能取得成效。需要大样本量的研究将需要利用能够挖掘大量潜在参与者的策略,而对于招募时间有限的研究,选择一些招募策略并密切监测其成功与否将是重要的,以便研究团队可以根据需要调整策略。具有严格进入标准的研究需要在广告中更有针对性(相对于招募普通成人样本的研究),这可能会增加与某些类型的招聘相关的费用(如在线广告),并增加开发和设计适当的招聘广告所需的时间。

正如我们的研究结果所指出的,所采用的招聘策略的成本效益和时间效率差异显著,其中数字化和基于注册的招聘策略显示出最大程度的成本效益和时间效率。这可能是因为我们的研究团队有能力使用这两种策略来控制转诊的数量和流量,因此,我们能够以一种相对有效的方式让大量潜在的合格参与者进入我们的研究。然而,本文中提出的许多成本依赖于多种因素,因此可以根据不同研究环境中可用的资源进行不同的估计。例如,工作人员已经拥有的专业知识(如社交媒体专业知识)可以有助于某些招聘工作(如数字战略),从而减少雇用外部顾问或承包商的需要。另一方面,缺乏这类内部专门知识并不妨碍研究小组执行这类征聘战略,但可能增加从事这类战略的成本,因为这可能无法有效利用工作人员的时间。同样,与诊所和卫生保健系统的现有关系会极大地影响与诊所招聘相关的时间成本和费用。建立新的关系需要花费大量的时间,在某些诊所和卫生保健系统中,强大的现有关系可能伴随着降低的费用。

此外,与招聘有关的费用可能根据现有的机构关系和获得折扣等支助的机会而有所不同。例如,我们的研究中心在公共交通上支付的招聘广告的价格是较低的,因为我们西北大学的临床和转化科学研究所与公共交通服务之前建立了一个安排。招聘相关费用也会根据广告费用结构的变化和广告中使用的关键词的受欢迎程度而有所不同[1911].最近一项关于使用Facebook招募研究研究人员的成本的系统审查发现,研究人员向每位完成研究的参与者支付1.36美元到110美元不等的费用[20.].虽然这篇综述中包含的大多数研究(80%)是横断面调查,因此,与持续数周到数月的干预研究相比,这些广告点击更有可能转化为积极的研究参与,Thornton等人的发现[20.]证明了可以适用于单一数字招聘策略的广泛费用范围。

对于工作人员有限、以费用相关的成本效益为目标的研究研究,依靠基于注册的和基于媒体的战略作为主要征聘努力,可以证明既现实又成功地达到征聘目标,只要所使用的研究注册包括一个可行数量的潜在参与者(见表7).对于这些情况,如果研究团队能够找到可能到达目标人群的低成本印刷网点,也可以考虑印刷策略。对于人员有限的研究,如果研究团队中至少有一名对数字营销有深刻理解的人,或者有支持研究团队成员发展这方面的专业知识,那么使用数字招聘策略(如Facebook、Twitter和Instagram)也是可行的。使用这些策略需要最初的管理决策(例如,依赖付费广告活动vs花时间开发更强大但免费的Web呈现),但可以设计成比我们小组使用更少的工作人员时间,同时仍然允许研究人员从非常大量的潜在参与者中提取,并对目标人群的潜在参与者流量施加高度控制。

我们的人员成本估算来自中西部一个大城市的一所私立大学,可能不能准确反映美国其他地区或世界上其他进行类似研究的城市的工资水平。事实上,临床研究的成本很大程度上是由人员成本驱动的,而在其他可能进行类似研究的地方,这些成本可能大大降低或更高[21].由于财务成本,一些研究人员可能会在人员相关的决策上遇到困难,我们注意到,拥有一个有经验的研究经理可能前期成本更高,但随着时间的推移,由于管理其他研究人员的时间和与新招聘合作伙伴谈判关系的技能,有可能节省资金。这在本文使用的一系列试验中尤其重要,因为我们经验丰富的研究经理在谈判和导航关系和保持招聘目标上是关键,以确保资金得到合理使用。Palac等人在我们的配套文章中进一步描述了这种跟踪系统。12].

我们发现,基于数字和研究注册的招聘策略比其他策略带来了更快的参与者流动,这对招聘时间有限的研究尤其有用。这与过去有关使用社交媒体进行研究招聘的综述论文有部分一致[1011].尽管数字战略可以通过目标定位的细微变化来利用不断增长的受众群体,但诊所和研究登记处等战略可能会限制招募工作,因为它们往往拥有相对固定的潜在参与者数量。毫不奇怪,招聘策略的使用及其相对成功程度因目标人群而异。尽管在我们对一般成人样本的研究中,使用数字和基于研究注册的招募策略同样成功,但在我们针对特定年龄组的研究中注意到一些差异,如表3.在我们对高中生的ProjectTECH研究中[15,绝大多数参与者都是通过社交媒体平台Instagram招募的,该平台在招募期间特别受青少年欢迎。在MoodTech针对老年人的研究中[16],通过数字平台招聘不太成功,绝大多数参与者是通过ResearchMatch注册中心招聘的。

据我们所知,此前没有报道过基于研究注册的电子卫生干预招聘的时间效率和成本效益,也没有将其与其他招聘方法(如数字策略)和更传统的招聘策略(如基于诊所的招聘和平面广告)进行比较。本研究的结果表明,作为最具成本效益的招募方法,也产生了高比例的合格参与者,研究人员应该大力考虑ResearchMatch注册等策略,以确定可能对其电子健康干预研究感兴趣和符合条件的个人。与平面广告、招聘公司和以临床为基础的策略相比,使用研究注册表似乎更有效、更便宜。但是,鉴于研究登记簿通常是从有限的一组潜在参与者中抽取,使用补充征聘战略是有价值的。

研究考虑

这里出现的一个问题是分母问题,如Mohr等人先前所讨论的[22].分母问题指出,大多数电子健康干预措施从非常大的潜在参与者池中招募,因此,那些选择参加电子健康方案的个人可能具有独特的动机。尽管本文关注的是电子健康项目早期疗效试验的招募,但我们注意到,本文中讨论的时间效率和成本效益高的招募策略可能进一步有助于在一般人群中可能参与并受益于这些干预措施的特定群体中测试电子健康干预措施。更广泛地使用征聘战略可能产生更广泛的参与者,但这并不一定解决分母问题。由于电子健康项目开发的目标是最终具有更大规模实施和公共健康效益的潜力,只关注有效性试验的招募可能会对开发项目成功实施的潜力产生不利影响。因此,根据Curran等人描述的第1类混合试验指南,研究人员可能明智地至少考虑在电子健康干预措施的早期评估中实施因素的初步评估[23].

尽管研究结果表明,在这组试验中,基于临床的招聘策略是昂贵和低效的,但我们并不认为研究人员在评估针对常见心理健康问题的电子健康干预措施时避免与临床护理机构合作。相反,本文提供的数据表明,对于招募这类研究的参与者来说,数字化和研究注册招募策略是有效且相对便宜的。对于专注于将其电子健康项目引入临床实践环境的研究人员来说,从临床实践环境中招募参与者所需要的额外时间和精力是至关重要的,这将为更大规模的项目实施提供有价值的障碍和促进因素的见解。为了最大化时间效率和成本效益,本文中描述的策略应该与专注于预选转诊的临床试验招募支持系统结合使用(如Palac等[12])。

限制

审查招聘战略的效率和成本效益和由此产生的决策框架提出表6而且7并非没有限制。这是基于针对常见精神健康状况的电子健康干预的有限临床试验得出的结论。然而,本文中列出的招募原则可能可以推广到专注于其他类型的数字行为改变和健康干预的临床试验中。此外,在这些试验中,花费在各种招募工作上的时间没有被密切跟踪,因此,许多策略的时间成本是通过结合对研究记录(如会议记录)的客观审查,以及通过与研究人员协商,对研究人员在每个研究策略的启动和维护上所花费的时间进行估计来估计的。

这项研究的另一个局限性是,很大比例的潜在参与者来自未知的来源,在完成应用内研究兴趣表格后,没有继续进行筛选。基于媒体的招聘,在我们的研究中心发布的新闻稿中包含了正在进行的试点招聘的信息,最初似乎是一个相对低成本的招聘策略。然而,这些“未知”参与者中的许多人在媒体报道之后联系了我们的研究中心,尽管我们可以假设,这些人中有相当一部分人了解了我们的试验,并通过媒体报道下载了1个或更多IntelliCare应用程序,但我们无法证实这一假设。虽然很明显,媒体报道产生了一小部分转诊的人,他们继续完成筛选并参加研究,但在新闻发布后,大量潜在参与者(其中许多人被标记为来自未知来源)联系我们的研究人员,需要研究人员付出相当高的管理努力。

如果干预措施需要在特定的临床进行测试,那么这个决策框架就不那么相关了。在这些情况下,招聘策略必须集中在诊所内部,必须建立招聘时间表和预算,以考虑到潜在的缓慢的招聘速度/低的招聘率,并考虑到与建立诊所关系相关的大量时间成本和费用,选择可接受的转诊方法,并向诊所患者做广告(例如,向诊所内所有可能符合条件的患者邮寄研究广告可能成本高、效果低,而进行每日图表审查和识别潜在符合条件的参与者可能更有成效)。这些阻碍在临床环境中快速招募的障碍以前已经有详细的记录,必须围绕[2425].有关研究地点选择的最佳实践和在这些临床背景下计划有效招募工作的建议的综述,请参见黄等人最近关于临床试验转型计划的论文[26].更常见的是,正在测试电子卫生干预措施的有效性,并可从更广泛的潜在参与者中汲取资源。在这些情况下,该框架可用于评估可用的资源和研究的要求(即主要目标和限制条件)。

尽管存在这些弱点,但结合Palac等人所描述的系统[12],这是为电子健康临床试验设计和监测招聘工作的第一个框架。该框架可用于研究人员在电子健康临床试验开始时作出招聘决定,以确定一组高效和具有成本效益的招聘工作,并可用于在临床试验过程中可能发生的招聘需求和优先事项的转移。

结论

在我们的研究中,与纸质广告和从临床护理系统内部招聘等传统招聘策略相比,基于数字和研究注册的招聘策略在吸引潜在参与者参与针对常见心理健康问题(即抑郁和焦虑)的电子健康干预措施评估试验方面更有效、更经济。这些结果还展示了如何使用DIY招聘框架来跟踪招聘成功和成本效益,并支持招聘战略决策。研究人员在设计他们的招募策略时,应该考虑这些方法,以及招募策略框架中提出的主题,并特别关注研究的总体目标(例如,让参与者快速测试干预措施,而不是专注于干预措施如何适合特定的临床护理环境)。

致谢

本文中的干预研究得到了美国国家心理健康研究所(P20 MH090318;R01 MH095753;R01 MH100482)对DCM的研究,EGL得到了国家精神卫生研究所K08 MH112878的研究拨款支持。本文引用的招募方法包括使用ResearchMatch,这是一个由国家卫生研究院支持的国家健康志愿者注册中心,作为临床转化科学奖项目的一部分,由UL1TR000445, U24TR00157 9和5 U24 TR001579-02拨款和老龄化研究注册中心资助,该数据库由芝加哥地区表示愿意参与为老年患者提供护理的研究研究的大约老年人组成,由西北大学比勒老龄化、健康与社会中心创建并支持。作者要感谢通过行为干预技术中心参与研究的志愿者。

的利益冲突

DCM接受了Optum行为健康公司的咨询费,并拥有Actualize Therapy的所有权权益。EGL接受了Actualize Therapy的咨询费。其他作者都没有任何利益冲突需要声明。HLP目前受雇于艾伯维公司。在此手稿中描述的招聘框架的贡献是在她受雇于西北大学期间做出的。

多媒体附录1

用于各种招聘网站的招聘广告的例子。

PDF档案(adobepdf档案),209KB

  1. Thompson D, Canada A, Bhatt R, Davis J, Plesko L, Baranowski T,等人。评估计划2006年11月29(4):433-440。[CrossRef] [Medline
  2. Ahern DK, Patrick K, Phalen JM, Neiley JD。电子卫生研究评估方法挑战的介绍:来自卫生电子技术倡议的观点。2006年11月29日(4):386-389。[CrossRef] [Medline
  3. 皮尤研究中心,2017。现在拥有智能手机和家庭宽带的美国人比例创历史新高。http://www.pewresearch.org/fact-tank/2017/01/12/evolution-of-technology/访问[2018-10-25][WebCite缓存
  4. O'Connor S, Hanlon P, O'Donnell CA, Garcia S, Glanville J, Mair FS。了解影响患者和公众参与和招募数字卫生干预措施的因素:对定性研究的系统回顾。BMC Med Inform Decis Mak 2016 Dec 15;16(1):120 [免费的全文] [CrossRef] [Medline
  5. Nelson LA, Zamora-Kapoor A.在服务不足的人群中进行移动医疗研究的挑战:吸取的教训。2016年10月22(7):436-440。[CrossRef] [Medline
  6. Muessig KE, Nekkanti M, Bauermeister J, Bull S, Hightow-Weidman LB.近期智能手机、互联网和Web 2.0干预措施解决艾滋病毒连续护理的系统综述。Curr HIV/AIDS 2015年3月12日(1):173-190 [免费的全文] [CrossRef] [Medline
  7. 吴一平,Steele RG, Connelly MA,巴勒莫TM, Ritterband LM。评论:儿科电子保健干预措施:开发、实施和传播过程中的共同挑战。儿科精神病学杂志2014年7月;39(6):612-623 [免费的全文] [CrossRef] [Medline
  8. 电子健康的设计和评估:跨学科领域的挑战和影响。J Med Internet Res 2007年5月27日;9(2):e15 [免费的全文] [CrossRef] [Medline
  9. 国家心理健康研究所行为与社会科学临床研究发展信息技术的机遇与挑战。2017。URL:https://tinyurl.com/y7noqvqzWebCite缓存
  10. Whitaker C, Stevelink S, Fear N.使用Facebook为健康研究目的招募参与者:系统综述。J Med Internet Res 2017 Aug 28;19(8):e290 [免费的全文] [CrossRef] [Medline
  11. 社会媒体在医学研究招募中的应用:一个范围的回顾。J Med Internet Res 2016 Dec 07;18(11):e286 [免费的全文] [CrossRef] [Medline
  12. Palac HL, Alam N, Kaiser SM, Ciolino JD, Lattie EG, Mohr DC。并行电子健康临床试验的实用diy招聘框架:简单架构(第1部分). J Med Internet Res 2018年11月01日;20(11):e11049 [免费的全文] [CrossRef] [Medline
  13. Mohr D, Tomasino KN, Lattie EG, Palac HL, Kwasny MJ, Weingardt K,等。IntelliCare:一个折衷的、基于技能的应用程序套件,用于治疗抑郁和焦虑。J Med Internet Res 2017 Dec 05;19(1):e10 [免费的全文] [CrossRef] [Medline
  14. 张K, Ling W, Karr CJ, Weingardt K, Schueller SM, Mohr DC。评估用于治疗抑郁和焦虑的应用程序的推荐应用程序:纵向用户粘性分析。J Am Med Inform Assoc 2018 Aug 01;25(8):955-962。[CrossRef] [Medline
  15. Lattie EG, Ho J, Sargent E, Tomasino KN, Smith JD, Brown CH,等。参与协作健康的青少年:对有抑郁风险的青少年进行在线技能建设干预的可行性和可接受性。互联网互动2017年6月;8:15-26 [免费的全文] [CrossRef] [Medline
  16. Tomasino KN, Lattie EG, Ho J, Palac HL, Kaiser SM, Mohr DC。利用同伴支持对老年抑郁症患者进行在线干预。Am J Geriatr Psychiatry 2017 Oct;25(10):1109-1119 [免费的全文] [CrossRef] [Medline
  17. 拉蒂E,舒勒SM,萨金特E,斯泰尔斯-希尔兹C,托马西诺KN,柯登ME,等。接受和使用IntelliCare:一套公开的心理健康和幸福应用程序。2016年5月;4(2):152-158 [免费的全文] [CrossRef] [Medline
  18. 哈里斯PA,泰勒R,蒂尔克R,佩恩J,冈萨雷斯N,康德JG。研究电子数据捕获(REDCap)——用于提供翻译研究信息支持的元数据驱动方法和工作流过程。J Biomed Inform 2009 Apr;42(2):377-381 [免费的全文] [CrossRef] [Medline
  19. Ramo DE, Prochaska JJ。使用Facebook进行年轻人药物使用的在线调查,覆盖面广,有针对性地招聘。J Med Internet Res 2012 Feb 23;14(1):e28 [免费的全文] [CrossRef] [Medline
  20. Thornton L, Batterham PJ, Fassnacht DB, Kay-Lambkin F, Calear AL, Hunt S.使用Facebook进行健康、医学或社会心理研究的招聘:系统审查。2016年5月;4:72-81 [免费的全文] [CrossRef] [Medline
  21. Glickman SW, McHutchison JG, Peterson ED, Cairns CB, Harrington RA, Califf RM,等。临床研究全球化的伦理和科学意义。中华医学杂志2009年2月19日;360(8):816-823。[CrossRef] [Medline
  22. 莫尔DC,里昂AR,拉蒂EG,雷迪M,舒勒SM。加速从早期设计和创造到成功实施和维持的数字精神卫生研究。J Med Internet Res 2017年5月10日;19(5):e153 [免费的全文] [CrossRef] [Medline
  23. Curran GM, Bauer M, Mittman B, Pyne JM, Stetler C.有效性-实施混合设计:结合临床有效性和实施研究的要素,以增强公共卫生影响。医疗护理2012年3月50日(3):217-226 [免费的全文] [CrossRef] [Medline
  24. peterslawrence MH, Bell MC, Hsu LL, Osunkwo I, Seaman P, Blackwood M,镰状细胞病临床研究网络(SCDCRN)。临床试验的实施和招募:从随机临床试验的早期结束中学到的教训。2012年3月33日(2):291-297 [免费的全文] [CrossRef] [Medline
  25. Sumi E, Teramukai S, Yamamoto K, Satoh M, Yamanaka K, Yokode M.常规临床实践合格患者数量与临床试验招募水平低的相关性:一项使用电子病历的回顾性研究审判2013年12月11日;14:426 [免费的全文] [CrossRef] [Medline
  26. 黄G,布尔J,约翰斯顿麦基K,马洪E,哈珀B,罗伯茨JN。临床试验招募计划:来自临床试验转型计划的拟议框架。当代临床试验2018年3月66日:74-79。[CrossRef


CBITs:行为干预技术中心
反恐组:临床试验单位
DIY:自己动手
电子健康:电子健康
IRB:机构审查委员会
个随机对照试验:随机对照试验
T-CBT:电话管理的认知行为疗法


G·埃森巴赫编辑;提交14.05.18;C Botella, A Poli, K reuters的同行评议;对作者19.07.18的评论;修订版收到03.09.18;接受10.09.18;发表29.11.18

版权

©Emily G Lattie, Susan M Kaiser, Nameyeh Alam, Kathryn N Tomasino, Elizabeth Sargent, Caryn Kseniya Rubanovich, Hannah L Palac, David C Mohr。最初发表于《医疗互联网研究杂志》(//www.mybigtv.com), 2018年11月29日。

这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布,该协议允许在任何媒体上不受限制地使用、分发和复制,前提是要正确引用最初发表在《医学互联网研究杂志》上的原始作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物链接,以及版权和许可信息。


Baidu
map