预测大学生症状改善和心理健康应用程序个性化的数字表型数据:预测模型的前瞻性验证

简介

数字心理健康解决方案，特别是智能手机应用程序，被认为是一种可扩展的手段，可以增加获得护理的机会。随着青少年心理健康危机的加剧[1]，再加上大流行和大学校园长期缺乏足够的服务，[2)，大学生心理健康是这类应用的主要应用。然而，到目前为止，这些应用的影响很小，这并不是因为应用无效，而是因为用户粘性通常很低。3.，4］．

这项研究探讨了提高敬业度的方法，重点是个性化。虽然许多应用程序可以提供基于证据的内容，但有证据表明，学生希望应用程序更适合他们的个性化需求。5］．这种个性化需要首先预测个体症状的变化，然后采取适当的干预措施。专注于第一步，数字表型可以通过使用智能手机传感器来获得可以纳入模型的行为特征(如睡眠、步数)，从而推进预测。虽然之前关于数字表型的研究提出了大学生心理健康的模型[6]，这些模型从未被前瞻性验证过。按照我们公布的程序[7]，在本研究中，我们前瞻性地验证了大学生的数字表型症状预测模型。据我们所知，这是第一个被前瞻性验证的数字表型算法。

我们的学习应用mindLAMP [8，9]，为这项研究提供了一个有用的平台，因为它既提供了数字表型，也提供了一套基于认知疗法的练习和技能，参与者可以按需或按计划访问。这使得mindLAMP成为一个响应性应用程序，并使用数字表型衍生症状预测来帮助为学生推荐单个应用程序活动。虽然mindLAMP在本研究中没有提供即时适应性干预，但我们将被动数据特征作为次要目标，试点了响应性干预的可行性。这种可行性的探索很重要，因为很少有其他应用程序在预测模型中使用数字表型数据。最近对即时自适应干预应用程序的回顾发现，71%的应用程序只使用自我报告(即，不使用数字显型数据)，考虑到所有应用程序，所有测量中只有3.6%涉及传感器和设备分析[10］．

同一份报告指出，对传感器数据在即时适应性干预中的作用知之甚少，还讨论了如何缺乏对这些应用程序如何推动参与度或结果的理论基础和作用机制的研究。理论模型，如技术接受模型[11可以帮助解释与应用粘性相关的因素，但到目前为止，很少在这项研究中使用。具体来说，在使用数字显型等方法时，尚不清楚这些提高个性化的努力是否会增加对应用程序的积极态度，还是使应用程序更有用，或两者兼而有之。除了TAM研究之外的其他因素，例如与应用程序的联盟和连接(使用数字工作联盟清单[DWAI]衡量)12])也很值得探索。

在之前的研究中，我们已经表明，学生可以在脑海中进行治疗活动。13]，我们在本研究中使用应用程序活动是为了评估推荐模型。基于我们之前关于mindLAMP应用的工作[8，9]，在这项研究中，我们试图验证我们的数字表型症状预测模型作为主要目标，同时二次评估应用程序活动推荐模型的可行性以及与TAM和DWAI元素的相关性。

方法

伦理批准

本研究由贝斯以色列女执事医疗中心机构审查委员会批准(方案2020P000310)。

研究

这篇论文的方案发表在JMIR研究协议［7］．这项研究使用了贝斯以色列女执事医疗中心数字精神病学实验室开发的开源mindLAMP应用程序来收集调查和传感器数据[8，9］．简单地说，这项研究通过Reddit招募了本科生参与者，让他们完成一项要求参与的筛选调查。入选标准如下:学生必须年满18岁，“感知压力量表”(PSS)得分达到14分或以上[14]，在研究期间注册为本科生，拥有一部能够运行mindLAMP的智能手机，能够签署知情同意书，并通过一段磨合期(概述如下)。REDCap筛选者调查的链接发布在73个不同的大学Reddit网页上。经过筛选的参与者完成了一项知情同意测试，然后自动生成一个mindLAMP账户登录。

参与者进入3天的磨合期，如果他们完成了要求(每日调查和GPS被动数据覆盖检查)，他们将进入28天的注册期。被动数据覆盖率估计为每10分钟收集至少一个GPS数据点的百分比。如果覆盖率大于20%，参与者可以继续进入注册期。值得注意的是，在数字表型工作中，预期会有一定程度的缺失。在我们的分析中，我们没有对被动数据进行任何归因。

在研究的登记阶段，参与者每天都有安排好的活动(例如，正念或感恩日志)，并完成更长的每周调查(包括患者健康问卷-9 [PHQ-9] [15]、广泛性焦虑障碍-7 [GAD-7] [16，17]， PSS [14]，加州大学洛杉矶分校孤独调查[18]、匹兹堡睡眠质量指数[PSQI]19]， dwai [12]，以及与测试有关的问题[11)。参与者在第1周、第3周和第4周完成每周调查(总共50美元)，但没有参与通过智能手机捕获的数字表型覆盖的任何干预措施。然而，如果参与者在3天内没有完成任何活动，他们会收到电子邮件警告，如果他们在连续5天后仍未完成任何活动，则会停止研究。除了这些活动，三分之一的参与者收到了来自“研究助理”的电子邮件(电子邮件是自动的，但签名是研究人员的名字)，鼓励他们根据他们的数据完成额外的活动。另外三分之一的参与者收到了学习机器人“Marvin”的活动建议。最后三分之一的参与者没有收到任何额外的活动建议。如协议中所述[7]，参与者被依次分配到三组。

这项研究很重要，因为它是一个完全自动化研究的成功迭代。研究的所有方面，包括注册、数据质量检查、付款、活动建议和安排，都由Python研究人员自动化。有关研究的详情，请参阅研究计划[7］．我们要指出，没有任何偏离协议的情况。自动化工人的代码是开源的，可以在GitHub上找到[20.］．

招生

共有67名参与者被用于这项分析。完成每个阶段的参与者人数显示在图1．共有636名参与者填写了初步筛查调查，其中481人符合上述研究要求;其中170名参与者完成并通过了必要的知情同意测试，旨在确保参与者理解研究的期望。其中154人创建了mindLAMP账户，并进入了磨合期。这些参与者中共有46人没有通过磨合，因为他们要么没有完成所有的日常调查(不良的主动数据)，要么没有满足被动数据覆盖要求(不良的被动数据)。一些参与者同时拥有“糟糕”的主动和被动数据，并被归入“糟糕的主动”。在进入研究登记期的108名参与者中，有34人在连续5天没有完成应用程序中的任何活动后被终止。共有74名参与者完成了这项研究。

一些参与者被排除在分析之外。首先，最初的筛选者调查存在一个错误，允许3名报告在必要时无法见面的参与者完成知情同意。这些参与者显示在图1在“如果需要，无法满足”下，并被排除在分析之外(由于一些人由于多种原因被排除在外，这些数字不等于筛选失败的总数)。其次，在回顾了REDCap筛选器调查条目后，似乎有些参与者多次填写调查，改变了他们的回答以纳入研究。一名参与者将他们的状态从“研究生”改为“本科生”，另外4名参与者改变了他们对PSS调查的回答，将他们的分数提高了一倍或更多。虽然压力确实会随着时间而波动，但在大约10分钟内发生如此大的变化是不太可能的。这5位参与者没有显示在图1并被排除在分析之外。

最后，在完成研究的74名参与者中，有7人之前参加过大学研究(V1或V2)，因此他们被排除在分析之外，以确保用于模型测试的样本与训练集和测试集完全不同。分析中使用的参与者的人口统计数据概述在表1．在参与分析的67名参与者中，52人使用iOS手机，15人使用Android手机。参与者的平均年龄为20岁(SD 2)。

‎

准模型

协议中报告的模型[7]在这个数据集上进行了前瞻性测试。用于测试的67名参与者以前没有参加过大学研究，与测试和验证训练集完全不同。

Groupwise分析

作为第二个结果，Python scipy。统计(21]对每个特征进行方差分析测试，以确定接受数字导航器或机器人建议的组与没有接受建议的组之间是否存在差异。我们也用了scipy。要执行的Stats模块t测试将完成建议活动的组与没有完成建议活动的组进行比较。在这里，我们检查了TAM [11]和DWAI [12，22这些问题来自每周一次的调查，目的是调查对这款应用的态度和行为之间的关系。我们的目的不是验证TAM，而是探索与参与相关的问题。P值是通过Python中的statsmodels.stats.multitest.multipletests模块使用Hochberg方法修正的[23］．

结果

本研究的主要目标是前瞻性地验证一个模型，以预测参与者是否会在研究过程中提高，给定他们每个被动和主动数据特征的平均值。参与者的得分变化(按调查的分数计算)列于图2．除了GAD-7的平均分数略有上升(0.0025)外，参与者的平均分数都有所下降。学生每周调查成绩的平均值和标准差列于表2．

‎

曲线下面积(AUC)值范围从0.58 (UCLA孤独)到0.71 (PHQ-9)。其中PHQ-9的AUC值为0.71,GAD-7为0.60,PSS为0.68,UCLA Loneliness为0.58,PSQI为0.60。

两项调查的特征无显著差异(P>.05)，完成的活动数(P>.99)，或三组之间完成的模块活动的百分比(P> 0)。此外，PHQ-9和GAD-7评分在三组间的变化无显著性差异(P=。42一个ndP=。72，respectively). Despite the relatively high completion of scheduled module activities (73% on average), few participants completed the optional activities suggested by the recommendation algorithm. Over half (24/41, 59%) of the participants who received suggestions completed at least one activity. Two-sidedt进行测试，比较完成至少一项活动的组和没有完成任何可选活动的组之间的DWAI和TAM问题得分。这些P值可以在表3．

两组之间的差异在于应用程序的感知有用性问题。PHQ-9或GAD-7得分的提高幅度与DWAI得分、完成的活动数量或完成分配的活动的百分比之间没有显著相关性。最后，PHQ-9和GAD-7平均评分与DWAI或TAM评分之间无显著相关性。

讨论

主要研究结果

主要结果是症状预测模型的验证，通过PHQ-9测量抑郁症症状变化的AUC为0.71，总体成功，这与方案中引用的先前研究的结果相似[7］．这一前瞻性验证表明，这种模型可能能够在样本中推广，因此适用于广泛的大学生。

我们的研究结果还将应用粘性作为次要结果。应用程序中分配任务的总体参与度为73%。完成至少一项可选推荐活动的参与者在某些TAM问题上得分不同。特别是，围绕应用程序提供一些有用/有价值信息的信念的有用性问题有所不同，这表明对应用程序的效用的这些类型的态度可能是参与者参与的必要条件。然而，我们的数据集很小，无法为这些结果提供支持，因此需要进一步的工作来探索哪些参与者最适合从使用数字心理健康应用程序中受益。

部署应用推荐算法证明了其可行性，但其本身并没有改变用户粘性。这可能是因为我们的研究不是为了改变用户参与度而设计或提供动力，而是为了复制预测算法，并证明使用它来自动推荐的可行性。

优势与局限

我们的研究受到样本量和所有参与者都是大学生的限制。首先，更大的样本量将提供更好的训练和测试数据，并允许改进症状预测模型。此外，每个审计业务子组的参与者数量很少(每组约20人)，很难进行比较。在未来，应该招募更大的样本量，以进一步调查与数字导航仪交互之间的差异。

第二，尽管大学生群体对心理健康资源有很高的需求，但使用大学生也可以被认为是本研究的一个局限性，因为大学生心理健康可能不能代表一般人群的更广泛的经验。此外，大学生与手机互动的方式可能与其他人群不同，这使得表型方法难以转移到其他群体。未来的工作应该探索年龄和其他人口统计学群体的泛化，并寻求比我们的样本性别更平衡的样本。相关研究表明，跨种族和不同民族群体的偏见可能很低[24]，但这需要在未来的工作中进行评估。关于mindLAMP应用用户粘性的定性结果，就像我们过去在大学生中所做的那样[25，在新的人群中进行探索是很重要的。还需要做更多的工作来验证不同人群的症状预测模型，特别是那些数字健康素养较低的人群或与我们样本中的学生背景不同的学生。尽管如此，考虑到这一人群对心理健康的高度需求，我们的研究结果可以支持未来个性化应用程序的努力，以提供更量身定制的护理。

未来的发展方向

虽然我们的活动裁剪算法并没有提高用户粘性，但在我们的研究中，整体用户粘性很高。尽管这些活动不是必需的或补偿的，但每周治疗模块的完成率很高。我们没有评估这种高参与度的原因，但可能是通过在feed中安排活动，参与者觉得他们应该完成这些日常活动，而活动推荐算法推荐的额外活动则被明确地作为建议提供。在feed中添加推荐算法活动建议是未来研究中评估的一个简单步骤。此外，由于我们的工作表明，对应用程序有用性的态度有助于用户粘性，未来的工作还应该探索参与者的态度是否可以改变。如果相信应用程序是有用的是参与的关键，那么专注于改变这种态度可能是接触技术抗拒参与者的关键。我们还注意到，我们关于用户粘性的结果是次要结果，我们的分析涉及基于假设(如基础数据正态分布)的初步概述。随着该领域寻求更好地实施参与措施[26，27]，像本文中提到的数字表型指标可能在未来发挥作用[28，29］．

我们关于整体研究招募和保留的结果对于规划和推动此类未来研究也很重要[30.］．我们能够获得高质量的数据集，但这需要招募几乎是我们目标的三倍，因为在磨合期参与者的损失和对基线参与水平的要求。此外，至少有5名参与者在进入研究时提供了虚假信息，这一事实强调了网络招聘的挑战，该领域现在越来越意识到这一点。17］．我们预计这可能会影响所有基于网络的研究，并希望通过在这里引起注意，其他人也会仔细考虑谁参与了他们的数字健康研究。

结论

总的来说，本研究提供的证据表明，数字表型症状预测模型可以前瞻性地推广到一个新的大学生群体。自动化研究方案的成功为将来能够有效地进行更大规模的研究提供了希望，围绕活动定制的结果表明了未来改进的领域。