这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布,允许在任何媒体上不受限制地使用、分发和复制,前提是正确引用最初发表在JMIR Serious Games上的作品。必须包括完整的书目信息,https://games.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
尽管通过工作记忆训练来提高认知功能一直是几十年的研究主题,但最近以游戏化应用程序形式对经典工作记忆任务进行商业改编的增长,值得进一步研究。特别是,虚拟现实作为认知训练平台的出现,为使用新颖的视觉特征提供了机会。
本研究旨在通过研究虚拟现实环境中常见的两种特殊视觉特征的应用,即沉浸式、多彩的背景和3D深度的使用,来增加关于游戏式视觉设计元素使用的知识体系。此外,收集脑电图(EEG)数据,以确定任何观察到的性能变化的潜在神经相关。
研究人员向参与者展示了一个简单的视觉工作记忆任务,进行了几次类似游戏的改编,包括使用彩色的、浸入式的背景和3D深度。使用EEG和绩效评估结果分别评估每种适应的影响,并与未修改的任务版本进行比较。
结果表明,尽管引入这些游戏元素可能会轻微影响准确性和反应时间,但影响很小,不具有统计学意义。脑电图功率的变化,特别是β和θ节律的变化是显著的,但未能与任何相应的性能变化相关联。因此,它们可能只反映了感知层面的认知变化。
总的来说,数据表明,在简单的认知任务中添加这些特定的视觉特征似乎不会显著影响表现或任务依赖的认知负荷。
最近广泛出现了类似游戏形式的认知训练产品
然而,在公众舆论之外,认知训练的整体功效仍然存在争议。支持者证明了这些好处,包括在标准认知评估测试中获得更好的分数[
商业认知训练应用程序的制造商经常把他们的产品宣传为
例如,之前引用的2017年研究中使用的一个主要评估结果是UFoV测试。该测试包含几个评估短期记忆和空间记忆的子测试,要求参与者从各种形状相似的干扰物中识别先前显示的刺激。根据子测试,刺激可能出现在中央视觉区域,外围区域,或两者都有。虽然最初的任务于1986年首次开发,被设计为与标准单色计算机显示器一起使用的临床评估工具,但UFoV任务的商业改编通常添加了一些额外的视觉和叙事元素,以使任务更吸引客户。这些元素包括使用类似卡通的图标;色彩丰富,与任务无关的背景图像;主题故事情节;记分牌;及其他(
(A)有用视场(UFoV)评估测试与(B)商业认知训练任务双决策(Posit Science Corporation)设计用于训练UFoV能力。右边描述的任务使用了类似的循环任务设计,但包含了彩色图标、记分牌和类似游戏的设置。
游戏化通常被定义为在非娱乐环境中添加游戏元素以增加动机和粘性的过程。
例如,穆罕默德等人2017年的研究[
另一项有相当规模参与者的研究(n=107)发现某些游戏元素与任务表现之间存在负相关[
总之,由于游戏化包含了大量单独的元素,研究之间缺乏精确性和同质性,阻碍了就哪些游戏元素可能影响任务表现得出共识结论的能力。此外,尽管记分牌和实时绩效反馈等激励功能已被广泛研究[
因此,本研究旨在通过具体研究两种特殊视觉特征的应用,即沉浸式、彩色背景和3D深度的使用,来增加关于游戏类视觉设计元素使用的知识体系。之所以特别选择这些功能,是因为它们在以前的研究中代表性不足,而且它们在VR和增强现实技术中的使用越来越多,VR和增强现实技术是一个快速增长的消费市场,其中也包含认知训练产品。我们假设任务表现可能会受到额外视觉处理需求的不利影响,但先前研究人员记录的动机效应可能反过来补偿或逆转这些影响。最后,使用脑电图(EEG)作为额外的定量结果,我们希望深入了解任何观察到的性能影响的可能神经相关性。
两个主要结果被用来检验视觉游戏化设计元素对认知任务表现的影响。认知活动将通过脑电图(EEG)沿着中线进行广泛测量
使用HMD有两个目的:(1)在参与者和实验条件下精确控制显示亮度和任务视角(VA);(2)最大限度地减少潜在的分散注意力的外部刺激。由于这些和其他原因,最近的几篇论文推荐使用hmd,将其描述为“应用非药物计算机化神经认知评估的最合适的平台”[
当前的实验任务先前用于探索视觉刺激的大小和位置变化的相关研究,并显示了条件之间的稳健效应大小(>0.5)[
其次,受试者内部协议设计将每个参与者暴露在所有实验条件下。这使得使用重复测量方差分析和Wilcoxon符号秩和检验成为可能,众所周知,在小n情况下,这些检验在建立显著性方面特别稳健[
测试环境选择了默认配置的独立HMD (HTC Vive Focus, HTC Corp)。认知训练任务是在
HMD系统通常依靠手持指针进行用户输入。然而,这种输入设备不适合脑电图研究,因为它们可能会引入肌肉相关的伪影。为了解决这个问题,触摸屏智能手机被编程为无线向HMD发送网络命令。与屏幕上虚拟按钮位置相对应的软泡沫覆盖层被添加到屏幕上。有了这种组合,参与者只需用手就能以触觉的方式识别智能手机的控制,而不需要查看屏幕。这一点至关重要,因为参与者戴着耳机时无法看到智能手机屏幕。
在实验过程中,参与者坐下来,并被指示将智能手机控制器放在膝盖上,双手抱着(
智能手机界面与泡沫覆盖。
为了模拟一个典型的商业认知训练任务,我们设计了我们的核心任务,结合了从游戏研究[
显示中心刺激和外围答案选择的样本试验:当前的答案选择(小图像)和下一个刺激(大图像)同时显示。在第一次尝试之前,只显示最初的刺激。参与者在随后的测试中选择正确答案,如卡通手所示。在每种情况下,正确答案都对应于前一张幻灯片中的中心刺激。
在每次试验中,软件随机选择中心刺激和错误的答案选项,这样就不会出现重复的图像。这些试验平均持续1.2秒(标准差116毫秒),旨在同时显示当前的答案选择和下面的刺激,从而引发持续的认知负荷。这是为了最小化通常的情况
选择这个实验任务的目标是创建一个最低程度复杂的任务,但可以可靠地在很少的事先任务训练的情况下产生足够的认知负荷。虽然基本机制的灵感来自经典的n-back任务,但我们将任务限制为1-back,以最小化通常与较高的度相关的性能能力的个体差异
这些人物来自一组20个卡通动物形象,它们的风格相似,但形状和颜色不同。这些图片是从一家受欢迎的互联网供应商那里获得的非商业使用许可。之所以选择它,是因为它的设计与流行的商业认知产品设计相似,这些设计经常使用类似的卡通设计美学。
为实验任务选择了一个自适应模型,以确保所有参与者的参与水平相似。随着实验的进行,任务难度逐渐增加,直到参与者未能在分配的时间窗口内做出反应或出现≥2个连续错误。任务的难度程度反映在参与者选择答案的时间上。随着难度的提高,这段时间会以50毫秒为间隔减少。相反地,如果难度降低,就有更多的时间(50毫秒)来完成每个试验。主要任务难度对实验的影响有以下两个方面:
任务区域下方有一个可见的倒数计时器,显示分配给选择的时间。随着测试时间的推移,测试栏的内容从左到右逐渐填满,提醒参与者尽快回答。吧台被有意设计成尽可能不引人注目,以免分散人们对主要任务的注意力(
如果不能在规定的时间内做出选择,试验将被标记为不正确,并提出下一个刺激。做出任何选择(正确或不正确)都会导致计时器短暂暂停(200毫秒),然后重置为下一次试验。
在每次试验结束时,记录反应(或反应失败)、反应速度和准确性。只有参与者主动做出选择的试验才被纳入反应时间评估。
自适应任务倒计时计时器。
研究人员从东京工业大学的学生和工作人员中招募了20名参与者,年龄在21岁至48岁之间(平均28.6岁,标准差7.7岁),并在签署知情同意书后同意参加实验。20名参与者包括6名(30%)女性和14名(70%)男性,都是右撇子,没有色觉障碍史。此外,所有参与者都报告有使用HMD的经验。
该方案按照以下顺序执行:任务训练、EEG基线活动测量和实验条件。脑电图基线测量阶段(60秒)包括睁着眼睛观察黑色背景,在没有视觉刺激的情况下记录名义上的认知活动。
实验条件包括相同核心任务的4种不同视觉表征:未修改的(刺激被简单地放置在黑色背景的平面上),背景干扰物(刺激+无关的背景图像),3D深度干扰物(刺激呈现在与参与者不同的虚拟距离),游戏干扰物(除了前两种干扰物之外的动态动机特征;
四种实验条件:黑色背景上的未修改任务;在一个无关紧要的彩色背景上进行的任务;在3D空间中执行的任务;还有带有背景和深度干扰的任务,以及交互式记分牌和用户反馈。核心任务的水平尺寸限制在20º视角。
的图像
所有实验条件按随机顺序重复两次,每位受试者共8组。每组试验50次,持续约60秒。30秒的休息时间(黑屏;没有视觉刺激)被施加在训练和基线阶段之间。这样做是为了防止训练中挥之不去的唤醒污染基线脑电图数据。在每组试验之间,有额外的10秒休息时间。
所有条件的任务VA设置为20º,对应于答案选项的外边缘,水平测量。VA的计算采用以下标准公式:
在这里,
在之前的实验中,这种VA被证明是最大化任务训练表现的最佳方法[
身体运动,特别是眼球运动,极有可能在脑电图数据中引入运动伪影。因此,研究人员要求参与者在休息时眨眼并根据需要调整姿势,但在实验期间不要这样做。
屏幕上显示的可视文本信息宣布了这些休息时段的开始和结束。后一条消息在下一组消息开始前2秒闪过。完成每组试验所需的总时间根据参与者的能力(由自适应任务的规则决定)而有所不同,但平均持续约60秒(SD 7.49)。这导致总体实验协议持续时间为11至12分钟(
方案流程:在训练和脑电图(EEG)基线记录后,进行8个实验阶段,每个阶段包含50个试验。每个实验阶段之间休息10秒。实验阶段的内容从4种条件类型(未修改的任务、背景干扰物、3D深度和游戏干扰物)中随机选择,并进行平衡,使每个参与者经历两次每个条件。除非另有说明,所有时间均以秒为单位;训练和实验阶段的完成时间是近似的。每位参与者完成该协议的总时间从11分钟到12分钟不等。
在方案开始之前,任务规则被解释了,每个参与者都有时间练习任务,直到他们能够在至少10次试验中达到75%的平均正确率。一些参与者比其他人更快地掌握任务,例如训练时间持续30到90秒,平均44秒(SD 17)。由于在训练过程中也使用了适应机制,训练过程也为参与者确定了接下来实验试验集的启动难度。
使用无线8通道脑电图放大器(OpenBCI 32位板套件,OpenBCI, Inc),采样率为250 Hz,从额叶、中央、枕叶和顶叶区域采集脑电图信号(微伏)。电极位置为Fz, Cz, Oz和Pz,根据国际10到20系统放置,并特别选择沿中线捕捉广泛的活动范围。特别是,我们对电极位置Fz和Cz感兴趣,因为它们经常被引用与注意力和认知负荷的关系,而选择Oz和Pz是因为它们靠近视觉皮层,并且与注意力和复杂的视觉解码都有优先关联[
脑电图数据在整个实验过程中都被记录下来,但每个阶段只分析了最后30秒的活动。这是为了确保任务自适应算法在到达分析时间窗口之前有足够的时间来调整每个参与者的难度级别。利用实验任务生成的实时网络包,将时间标记直接嵌入脑电图数据流中,以确定分析周期。通过使用这一机制,我们希望精确测量每个参与者相似的认知投入水平。
计算每个阶段的总体反应时间和任务准确性,并在给定的实验条件下对所有试验进行平均。
脑电图数据预处理和分析使用的软件为MATLAB R2019b (MathWorks, Inc)。在MATLAB中使用内置的Butterworth和带通滤波器对原始EEG数据进行陷波滤波(50 Hz)和高通滤波(4 Hz)。如前所述,眼电图数据与每个参与者的脑电图同时记录。这使我们能够创建自定义的工件识别例程,在数据预处理阶段为每个参与者单独应用这些例程。在分析之前,从EEG数据图的视觉检查中识别出的其他肌肉伪影也从时间序列中完全去除。
计算了以下光谱范围的快速傅里叶变换:theta (4- 8hz), alpha (8- 13hz),低beta (13- 20hz)和高beta (20- 28hz),实验的每个阶段都有30秒的窗口。每个范围的功率值之和除以脑电图数据样本总数。通过减去总体平均值(所有参与者脑电图数据之和除以参与者数量),再除以SD,得到功率指数,将所得分数归一化。使用内置的MATLAB函数进行快速傅里叶变换和统计分析。
夏皮罗-威尔克检验表明,我们不一定可以在正态分布数据的假设下进行操作。因此,采用重复测量方差分析(repeated-measures ANOVA)来确定统计学显著性,然后采用非参数Wilcoxon符号秩检验(signed-rank test)来确定实验阶段之间功率变化的显著性。之所以选择Wilcoxon检验,是因为在参与者之间观察到的表现存在较大的个体差异,数据分布非正态分布,以及研究的受试者内部性质。
对任务表现数据进行平均,以获得每个任务条件下每个参与者的整体准确性和反应时间值。对个体结果进行平均,并进行相似的Wilcoxon符号秩检验。
在查看初步数据时,很快就可以明显地发现,参与者之间的表现水平差异很大。有些人能够快速准确地完成任务,而另一些人则很难做出反应,并经常出错。这导致总体结果存在很大的偏差,这可能会使得出有意义的结论变得复杂。为了解决这个问题,参与者被进一步细分为
实验方案得到了东京工业大学伦理委员会的批准(2019059)。
游戏化视觉特征的存在导致所有EEG位置的光谱功率发生可观察到的变化。特别是枕部和顶叶区域在3D深度干扰条件下的beta EEG功率显著增加,在背景干扰条件下的θ节律显著增加。总体而言,单向重复测量方差分析显示,所有测试电极的高β范围存在显著差异(Fz:
相反,对于theta范围,只有Oz的结果显示出显著的变化(
值得注意的是,游戏条件,包括3D深度干扰,没有达到相同的认知活动水平,只有深度条件的测试范围。这可能表明,游戏条件中额外干扰的存在抑制了3D深度效果的整体影响。然而,在θ范围内,背景和游戏条件下的背景干扰都会导致类似的认知反应。
脑电图位置Fz, Cz, Pz和Oz按条件和频率划分的频谱功率;n = 20, SE;采用Wilcoxon符号秩检验(*
比较4种条件的单向重复测量方差分析显示,两项任务的速度均无显著性(
如前所述,我们采取了额外的步骤,根据能力(在所有试验集中达到的平均最大任务难度)将参与者分为高绩效组和低绩效组,作为补充分析。这是因为在性能数据中观察到一个大的SE,我们认为它有可能掩盖潜在的趋势。虽然由此产生的子组太小,无法提供有意义的统计力量,但结果揭示了一些细微差别,并为后续调查提供了一个潜在的有趣方向。
就任务准确性而言,在多重分心游戏条件下出现的额外视觉干扰似乎对高表现者产生了累积的负面影响。然而,在低表现组中观察到一个看似相反的效果,在这种情况下累积达到了最高的准确性。
就任务完成速度而言,我们的结果在不同条件之间没有显示出任何显著差异,即使只观察内部更同质的高性能亚组(
按条件和组别划分的平均任务表现(反应时间和准确度);SE;用Wilcoxon符号秩检验计算差异有统计学意义(
平均任务表现(反应时间和准确性)按条件和高和低表现子组;SE。
也许是因为在实验条件之间缺乏显著的性能差异,将脑电图谱功率回归到性能结果上对整个组或任何一个子组都没有产生有意义的相关性。参与者表现的巨大个体差异也可能导致缺乏显著的结果。
本研究的目的是考察视觉工作记忆任务中视觉游戏元素对任务表现和认知活动的影响。在反应时间和任务准确性方面,没有明显的差异。然而,可以观察到某些表现趋势,似乎存在这样一种可能性,即特定类型的视觉干扰可能会影响认知表现的某些方面,而其他方面则不受影响。例如,我们的数据显示,视觉分散的背景对反应速度没有明显的影响,但对准确性有轻微的影响。相反,3D深度解码似乎略微影响了处理速度,但不会影响任务的准确性。
同样,脑电图功率分析显示Fz的关键额叶θ波节律没有显著差异,这通常是参与者注意力和任务投入的代表[
例如,虽然目前的实验任务被设计成通过要求参与者持续专注于一个中心刺激来禁止随意的眼球运动,但刺激的存在和频率
同时,在3D深度条件下,高beta (20-28 Hz)光谱功率的增加通常伴随着较慢的反应时间。尽管之前的研究表明β节律在视觉感知方面具有多种辅助作用[
对参与者能力表现的补充分析,虽然在统计上没有意义,但在任务准确性方面揭示了一个意想不到的趋势。高强度组的表现结果似乎被连续的干扰层累积地降低了,游戏条件引发了最低的平均准确性水平。矛盾的是,表现较差的人在这种情况下表现最好。但是,必须注意的是,在平均精度上所获得的
我们提出了两个假设:在整个实验过程中,低绩效组可能经历了某种形式的绩效焦虑,导致决策速度普遍较慢,整体准确性较低。然而,在游戏条件中出现多个额外的视觉元素可能会提供一定程度的安慰和鼓励,这是之前研究人员记录的游戏化设计的效果[
最后,值得注意的是当前结果的局限性。首先,由于本研究的背景是商业认知训练产品的潜在用户,我们在参与者选择时采用了广泛的包容性标准,这导致了年龄范围大,性别比例不平衡。这可能以意想不到的方式影响了结果。其次,尽管所有实验条件在高beta范围内都与未修改的任务有显著差异(除了在Fz的游戏条件),但它们彼此之间没有显著差异。这种精确度的缺乏强化了一种可能性,即任何视觉上的新鲜感,无论是3D深度的存在还是彩色背景的存在,都会在高β范围内引发更高的认知反应。更大的脑电图通道密度和将多模态任务分解为其组成的认知过程可能有助于分离和区分观察到的反应。
单独来说,包含彩色的、与任务无关的背景和使用3D深度元素会对性能产生较小的影响。然而,对一些参与者来说,这种影响在与
独立而有活力的长者高级认知训练
脑电描记器
头戴显示设备
有用的视野
视角
虚拟现实
如果没有东京工业大学的小池康春博士的支持,这篇论文是不可能发表的。作者想对他的建议、物质支持和对我们研究的帮助表示感谢。作者得到了东京工业大学各自实验室主任Tohru Yagi博士和Takako Yoshida博士的额外指导和支持。
ER和BG有助于概念化和方法论;ER和YR帮助开发软件;ER, BG和YR有助于验证;ER进行形式化分析并协助调查。ER, BG和YR帮助提供资源;ER和YR进行数据整理;ER准备了初稿;ER和BG进行审查和编辑;ER参与监督、项目管理和资金获取。所有作者均已阅读并同意该手稿的出版版本。
没有宣布。