原始论文
摘要
背景:平衡康复项目是平衡障碍最常见的治疗方法。然而,缺乏资源和缺乏高度专业的物理治疗师是患者接受个性化康复疗程的障碍。因此,平衡康复计划通常转移到家庭环境中,有相当大的风险,患者执行不当的练习或根本没有遵守计划。全息平衡是一种有说服力的指导系统,能够在家里提供全面的康复服务。全息平衡包括几个模块,从康复项目管理到增强现实教练演示。
摘要目的:本研究的目的是设计、实施、测试和评估一个基于数据驱动技术的平衡康复练习的准确评估评分模型。
方法:数据驱动的评分模块基于holobalbalance试点研究期间收集的大量数据集(大约1300个康复练习会话)。它可以用作训练机器学习(ML)模型的训练和测试数据集,该模型可以推断所有身体康复练习的评分成分。在这个方向上,为了创建数据集,2名独立专家(在诊所)监测19名患者进行1313项平衡康复练习,并根据预定义的评分标准对他们的表现进行评分。在收集到的数据上,在部署特征选择技术之前应用预处理、数据清理和归一化技术。最后,使用大量的ML算法,如随机森林和神经网络,为每个评分组件确定最合适的模型。
结果:与系统早期部署的基于规则的评分模型相比,经过训练的模型的结果提高了评分模块的性能,在对完成的运动进行更准确的评估方面(坐姿锻炼的k统计值为15.9%,站立锻炼的k统计值为20.8%,步行锻炼的k统计值为26.8%)。最后,模型的结果性能与观察者间可变性的阈值相似,使得评分模块在holbalance教练系统的闭环链中得到了可靠的使用。
结论:所提出的ML模型可以有效地对全息平衡系统的平衡康复练习进行评分。在科恩kappa分析方面,模型具有相似的准确性,观察者间的可变性,使评分模块能够根据从传感设备收集的信号推断运动的得分。更具体地说,对于坐姿练习,评分模型具有较高的分类精度,从0.86到0.90不等。同样,站立练习的分类准确率在0.85 - 0.92之间,而行走练习的分类准确率在0.81 - 0.90之间。
试验注册:ClinicalTrials.gov NCT04053829;https://clinicaltrials.gov/ct2/show/NCT04053829
doi: 10.2196/37229
关键字
介绍
平衡康复是平衡障碍患者必不可少的循证治疗,尤其是当他们有跌倒风险时[
].然而,为病人提供由专门临床医生进行所有所需康复治疗的住院治疗,既不可行,也不经济上负担得起[ ].理疗保健服务由医院或门诊诊所提供,由临床医生亲自进行评估,然后在患者家中进行无人监督的康复治疗(例如,奥塔哥运动方案[ ])。研究小组和发表的报告显示,90%以上的治疗都是在家中进行的[ ].根据这些程序,患者被要求报告他们的日常活动与指示的练习和行动在家里。在医生就诊期间进行实际进展评估[ ].据报道,患者动机低,坚持适当的康复锻炼计划,这些结果延长了治疗时间,增加了卫生保健费用[ ].虽然已经确定了导致依从性低的各种因素,但缺乏持续反馈是一个重要因素,医疗专业人员在家庭环境中对患者锻炼的准确监测被认为是必不可少的[ , ].典型的以家庭为基础的康复训练计划(没有集成数字工具)是基于一本关于物理治疗训练的频率、强度和正确表现的指导手册[
].然而,这类项目并不总是确保患者的完全康复,因为依从率很低[ ].反过来,活动识别和评价在机器学习(ML)和计算机视觉领域得到了越来越多的关注。特别是在COVID-19疫情期间,使用传感设备和虚拟现实交互增强典型家庭康复项目的需求大幅增加[ ].活动识别方法使用传感设备收集适当的信号,并推断所执行的活动。传感设备的复杂性和成本各不相同,包括视频传感器、惯性测量单元和压力传感器。基于视频信号的运动分析探索了各种表现形式,如骨架提取和时空体积。虽然近几十年来已经使用了许多视觉技术,但解剖学、人体遮挡和视角变化的巨大差异往往限制了所提出的模型正确评估运动表现的能力。传感技术(视频除外)在过去十年中取得了显著进展,特别是在低功耗设备、无线通信、高计算能力和数据处理方面[
].可穿戴传感器可集成在衣服、带子、移动设备和智能手表[ ].值得一提的是,平衡康复练习的评估需要准确识别运动执行过程中的具体动作和运动学(例如,头部运动速度和方向,以及胸部屈曲)。与对活动的单纯认识相比,特别是在康复项目中,对运动执行的评价是至关重要的。这对康复尤其重要,因为它表明患者是否能够执行规定的过程[
].在过去的几年中,人们提出了几种运动评价方法。在之前的一项研究中[ ,提出了一种基于深度学习框架的基于智能传感器的康复运动识别与评价系统。主要的限制是来自多个与活动识别相关的传感器的数据同步。在类似的方法中,收集的数据包括噪声,当不同的人执行相同的活动时,数据会有所不同[ ].在此基础上,提出了一种状态概率跃迁的方法来表示状态之间的跃迁可能性,以捕捉感知数据的隐藏状态。为了测试康复活动,引入了一个特殊的矩阵,并使用学习到的分类器来识别各个级别的每个班级的最佳特征。给出了测试输出值(0-1)范围内的评分函数。为了在康复中训练所提出的深度神经网络,得到的运动质量评分已被用于[ ].先前的一项研究[
]提出了康复训练评估的隐式半马尔可夫模型。该方法从RGB-D相机的骨架中提取临床相关的运动特征,并提出主题的抽象表示。通过分析临床评估和动态时间扭曲算法之间的相关性,评估了所提出的解决方案的有效性。此外,之前的一项研究[ ]提出了多路径卷积神经网络(CNN)用于康复训练的识别。相关实验的分类精度表明,多路径CNN是一种高效的传感器数据采集方法。在另一项研究中[ ],提出了一种基于深度学习的康复运动评估框架。该系统的主要模块是运动输出量度量的计算、运动质量数值评分的性能评估函数的评分和通过监督学习进行输入运动质量回归的深度神经网络模型。以前的调查[ ]建议通过深度学习进行基于传感器的活动识别。更具体地说,这项调查[ ]介绍了深度学习模型中基于传感器的识别的最新进展,其中作者总结了当前的文献(深度模型和感觉技术)。最后,之前的一篇论文[ ]评估了使用物联网的身体活动识别和监测,并对现有研究进行了系统回顾。深度学习的最新发展使得高级自动化特征提取在许多领域实现了有前景的性能[
].基于传感器的深度学习方法已被广泛采用。此外,深度学习可以大大减少特征的压力,通过训练神经端到端网络可以获得更高的、有意义的特征。此外,深度网络结构有利于无控制的增量学习。然而,与监督学习方法相比,深度学习模型需要大量的数据,而这些数据通常在物理治疗领域是不可用的。因此,考虑到物理治疗练习的个体性,特征工程对每个特定练习都是强制性的。在我们以前的工作中[
],我们提出了一个管理家庭平衡理疗计划的框架。这个框架( ),由Holobalance项目设计和开发,包括一个全息虚拟教练,通过增强现实系统、运动感应平台和实时评估运动表现的智能引擎呈现给病人。有关该系统整体架构的详情,可参阅其他网页[ , ].支持虚拟教练增强现实模块的技术在几项研究中都有描述(例如,[ ]),在那里可以找到关于康复系统中的增强现实系统的信息。本研究的目的是设计、实施、测试和评估一个基于数据驱动技术的平衡康复练习的准确评估评分模型。更具体地说,本研究提出了离线评分功能的改进模型,该模型不是基于之前使用的基于知识的模型[
],但它基于一个数据驱动的模型,能够更准确地预测所进行的练习的得分。对于闭环说服系统来说,正确评估练习的表现是至关重要的,因此本文提出的评分模型有望为整个系统的推理引擎提供更健壮可靠的反馈。方法
伦理批准
本研究在德国/弗赖堡(参考文献:265/2019)和希腊/雅典(参考文献:9769/24-6-2019)获得了机构伦理批准。
研究设计
进行了一项有20名参与者的试点研究,目的是收集适当的数据集来开发评分模型。在1例退出后,19例患者按照之前描述的方案进行了为期8周的平衡康复计划[
]。参与者是去年至少摔过一次的老年人。他们都被告知了研究的背景,并自愿参与,在提供他们的书面同意后,他们愿意在临床中使用全息平衡系统,并将他们的数据记录下来并用于研究目的。虽然全息平衡系统是为家庭使用设计的,但它被安装在一个诊所的设置,以测试安全性和收集必要的数据。招募患者后,按照临床研究方案,根据迷你平衡评估系统测试(MINIBEST)、功能性步态评估(FGA)、国际跌倒疗效量表(FES-I)、蒙特利尔认知评估(MoCA)、世界卫生组织残疾评估表(WHODAS)和活动特异性平衡信心量表(ABC)对患者进行功能和认知评估[
].值得一提的是,尽管mes - i和ABC都试图推断患者的相似信息,但它们的输出并不完全相关[ ].人口数据以及检验的分布情况载于 .根据FGA结果,本研究人群存在轻度认知障碍[ ].变量 | 飞行员的网站 | 总价值 | ||
雅典 | 弗莱堡 | |||
参与者,n | 14 | 5 | 19 | |
年龄(年),中位数(IQR) | 64.5 (15.5) | 72.0 (4.0) | 68.0 (11.0) | |
身高(cm),中位数(IQR) | 157.5 (11.8) | 170.0 (2.0) | 160.0 (16.5) | |
重量(kg),中位数(IQR) | 67.0 (21.5) | 69.0 (8.0) | 69.0 (21.0) | |
男性性别,% | 7.14 | 40.00 | 15.79 | |
迷你平衡评估系统测试分数(范围一个0-28),中等(差) | 21.5 (6.0) | 21.0 (1.0) | 21.0 (5.5) | |
功能性步态评估评分(范围一个0 30),中等(差) | 21.0 (5.0) | 22.0 (3.0) | 21.0 (5.5) | |
功效量表国际评分(范围一个16 - 64),中等(差) | 27.5 (9.25) | 19.0 (8.0) | 27.0 (8.5) | |
蒙特利尔认知评估评分(范围一个0 30),中等(差) | 25.5 (3.75) | 27.0 (4.0) | 26.0 (4.0) | |
世界卫生组织残疾评估表得分(范围一个100 - 0),中等(差) | 23.0 (24.5) | 17.0 (21.0) | 17.0 (22.0) | |
活动-特定平衡自信量表得分(范围一个0 - 100),中等(差) | 76.9 (20.3) | 87.5 (15.0) | 82.5 (19.9) |
一个对于评分范围a-b,“a”代表无残疾,“b”代表最高残疾。
数据集
参与者按照医生规定的平衡康复计划,进行16次训练(每周2次)。在每节课中,根据计划进行一组练习。每次练习的次数从3到8次不等。参与者被要求按照自己的节奏(动作的频率和速度)进行练习,这将使他们感觉舒适,避免任何症状。随着会议的进展,项目的目标是增加这些指标。
所执行的练习(以及每项练习的相对进展水平),在以前的论文[
],根据每项运动的运动学特点,被分为9类。康复方案包括3种类型的锻炼(坐姿锻炼、站立锻炼和步行锻炼)。更具体地说,有3种坐姿练习,分为3个等级(根据强度和复杂性),4种站立练习,分为4个等级,3种步行练习,分为3个等级( ).训练的设计遵循难度递进原则,包括简单任务和复杂任务,旨在通过多感官康复训练实现头眼手协调。如先前报道[ ],该系统为终端用户所接受,并可在医院和家庭环境中使用。该数据集收集于2020年4月至2021年6月。总共记录了1313次演习。
总结所收集的注释练习。运动类型 | 运动的描述 |
坐1:偏航 | 在坐着的时候,将头部在偏航平面上旋转30度(即左右),以增强凝视的稳定性。 |
坐在2:音高 | 在坐着的时候,将头部在俯仰角平面上旋转30度(即上下旋转),目的是提高凝视的稳定性,改善常见的前庭症状,如头晕、眩晕和头晕。 |
坐姿3:弯腰 | 像坐着一样弯腰从地板上拿起一个物体,然后恢复到直立的姿势,目的是改善日常生活任务的功能活动,减轻通过练习引起的前庭症状。 |
站立1:保持平衡 | 在站立时保持平衡,保持正确的位置,目的是在较小的支撑基础上提高姿势对齐和站立能力。 |
站立2:在泡沫上保持平衡 | 像站立练习1一样,站在垫子上保持平衡,保持正确的姿势,目的是促进感官的重新平衡。 |
站立3:弯腰,向上伸手 | 俯身,使下巴靠近胸部,头部上升时恢复正常直立位置,向上伸展,同时头部稍微向后倾斜,目的是改善ADL功能任务和头晕。 |
第四站:转 | 现场转向相反方向(即180°转向),旨在改善ADL功能任务和头晕。 |
步行1:走到地平线 | 在房间里(前后)走直线,同时看着地平线,旨在促进正常的步态模式。最小空间2米。 |
步行2:步行和偏航 | 沿着直线(前后)穿过房间,同时左右转动头部,旨在提高走路时凝视的稳定性和功能性ADL步行任务。最小空间2米。偏航运动如坐姿练习1。 |
走路3:走路和俯仰/ v型 | 沿直线(前后)穿过房间,同时上下转动头部,v型运动,旨在提高步行时的凝视稳定性和功能性ADL步行任务。最小空间2米。如坐姿练习1和2中的偏航和俯仰动作。 |
运动类型 | n值, | 运动进展 | |||
坐运动 | 514 | ||||
坐姿练习1和2 | 347 | 所有的发展水平 | |||
坐着练习3 | 167 | 所有的发展水平 | |||
站在锻炼 | 530 | ||||
站立练习1和2 | 312 | 所有的发展水平 | |||
站着练习3 | 97 | 进展级别0和1包括46;2级包括19人;等级3包括32 | |||
站着练习4 | 121 | 所有的发展水平 | |||
步行锻炼 | 269 | ||||
行走练习1 | 87 | 所有的发展水平 | |||
步行练习2和3 | 182 | 所有的发展水平 |
在练习过程中,一名物理治疗师对患者进行监测,并使用一个评分标准对患者的表现进行评分,该评分标准包括坐姿和站立练习的4个组成部分(频率、振幅、速度和对称性)和行走练习的附加组成部分(步态质量)。对于具有复杂运动学特征的运动,在评分时考虑了附加的分量。例如,如果一项运动包括头部运动和走路,那么头部运动和步态质量的红色组件将被包括在评分过程中。
更具体地说,对于坐姿练习,频率指的是每秒头部旋转的次数(例如,在坐姿练习1的偏航面),而振幅指的是头部从前部位置到运动端点的旋转程度。此外,速度指的是病人完成一个动作所需的秒数。这个指标与频率不同,因为患者通常会在运动动作之间暂停几秒钟,尤其是像坐姿运动3这样复杂的运动。
对于每个组成部分,给出了从0到3的分数,0分表示没有完成练习。在红色组成部分的顶部,每个练习的总得分是后验计算的所有组成部分(N)的平均值。
所提出的评分模型推导出练习中涉及的所有组成部分的得分,以及总得分,主要需要为说服训练系统的相邻模块提供输入。
所有患者都接受了培训课程,以熟悉该系统。此外,理疗师在时间和运动机能学方面为患者提供了正确执行练习的具体指导。如前所述[
],这些指令被用来创建系统的基于知识的评分模型。中描述的数据集的子集
由2名物理治疗师进行注释,他们在练习过程中监测患者。更具体地说,来自4名患者的38次治疗,包括90次坐姿练习、78次站立练习和59次步行练习,由2名独立评估者进行评分,以评估注释过程的观察者间可变性。这就产生了评分规则的不同组成部分的665个注释分数。度量和分析
如前所述[
],基于一套传感装置( ),系统收集时间信号,并通过提取特定的运动学指标进行处理,这些指标被转换为运动分析。这些分析,以及之前提出的基于知识的评分模型[ ],作为构成评分模型的ML模型的特征。 总结提取的特征,作为ML模型的输入。这套基于家庭的系统的构建原型,包括所有的传感设备、头戴式显示器和处理单元,成本约为4800欧元(4850美元)( ).基于知识的练习分数模型(kb_score),在
,是一种基于规则的模型,它试图基于捕捉到的运动分析值来评估运动的性能。更具体地说,一组专家建立了每种运动分析的可接受范围(例如,坐姿练习1中的头部运动为30度)。基于这些范围的知识模型计算患者在这些范围内的时间比例,以及患者与最佳范围的距离,并输出最终的kb_score。用于评估平衡、摇摆和稳定性、姿势和躯干摇摆指标( )已被使用过。功能 | 描述 |
kb_score | 先前建议的以知识为本的运动评分[ | ]
head_movement_speed | 在偏航和俯仰平面上的每秒头部旋转数(平均值和标准偏差) |
head_movement_range | 在偏航和俯仰平面上的头部旋转范围(平均值和标准偏差) |
的姿势 | 躯干的角度(坐姿和站立) |
trunk_sway | 树干摆动的均值和标准差 |
gait_parameters | 双脚的压力中心(压力中心所覆盖的平均距离和每个步态周期的标准差);双支撑时间(步态周期平均值和标准差);单次支撑时间(步态周期平均值和标准差);步长(每个步态周期的平均值和标准差);步幅持续时间(每个步态周期的平均值和标准差);节奏(每个步态周期的平均值和标准差) |
评分模型
提出的数据驱动运动评分模型使用的输入分析描述在
并为每个练习输出评分向量,如中所示 .更具体地说,f我指描述病人在进行运动时的运动和运动的特征,而r我指在每个不同练习中表示的每个评估组件(频率、振幅、速度和对称性)。最后,总分指的是对工作的全面评估。由于输入特征的重要性因练习类别而异( ),为每一组练习和进度开发一个单独的模型,并纳入最终的评分模型。为了确定与每个红色成分(和总分)最相关的ML模型,针对每个成分评估了一组ML模型。考虑的模型为k最近邻(kNN) [
],支持向量机(svm) [ ](同时具有线性和径向基函数),高斯过程[ ,随机森林[ ,神经网络[ , naïve贝叶斯[ ]和AdaBoost [ ].之所以选择这些特定的模型,是因为它们已被用于大量类似的数据驱动问题[ ].对于站立练习3,由于其运动过程的运动学特性不同,需要考虑不同运动过程的不同模型。这导致这些案例的数据集相对较小。为此,SMOTE(合成少数过采样技术)算法[
]用于对收集的实例进行过采样,以获得训练ML模型所需的数据。在ML模型的训练过程中所采用的方法总结在
.更具体地说,第一步是识别数据不一致,比如缺失的值,并从数据集中删除它们。然后,应用最小-最大特征归一化,改进了ML模型的训练过程。下一步涉及训练不同ML模型并对其进行评估的迭代过程。对于每个模型,采用中间步骤对每个参数进行微调,主要使用网格搜索方法。最后,根据f1评分和受试者工作特征分析结果,选择每个模型的获胜分类器。部署细节:集成
获奖的分类器是在Python 3.8下使用scikit-learn 0.24库实现的。一旦系统识别出执行的练习,就会调用适当的分类器并推断出练习的分数。这是全息平衡系统的一部分,目前正在评估中。
结果
概述
在本节中,将介绍评分标准中每个组成部分的ML模型的训练和评估结果。所有模型均采用10倍交叉验证过程进行评估,并评估模型的宏观平均精度。每个折叠的训练和测试数据集是在80/20的比例下创建的。
Interobserver可变性
如前所述,近17.3%的记录练习由2名观察员进行评分,以评估注释过程的观察者间可变性。此程序的结果载于
.所选评价指标为科恩kappa系数[ ],计算方法如下:公关(一个)是评分者与Pr(e)为机会一致的假设概率,利用观测数据计算每个观察者随机看到每个类别的概率。如果评分者完全同意,那么k= 1。如果评价者之间没有达成协议,除非是偶然(如Pr(e)),然后k= 0。
来自之前的一项研究[
],可以得出结论,观察者的一致性是“良好的”,允许使用收集的数据集来训练可靠的ML模型。 给出注释过程的混淆矩阵(请参阅 更多的细节)。运动类型 | k统计 |
所有的练习 | 0.75 |
坐着练习 | 0.68 |
站着练习 | 0.79 |
步行锻炼 | 0.75 |
各模型分类结果
正如前面提到的,为评分规则的每个组成部分训练和评估一个ML模型。研究结果见
,其中提供了宏观平均精度,以及每个模型的获胜分类器。下面的结果给出了一组经过训练的40个分类器,这些分类器最终构成了系统的评分模型。分类模型的更详细的结果在 .对于坐姿和站立练习,可以观察到高斯过程是最相关的分类器,很可能是因为特征的数量低于行走练习。此外,较少的输入特征与较高的准确性结果相关,这是预期的。因此,坐姿练习1和2的准确率接近90%,而步行练习2和3的准确率略高于80% (
).最后,就总得分而言,随机森林分类器在2个练习子组中优于其余模型,而kNN和线性支持向量机优于1个练习子组。运动类型 | 宏精度/赢得分类器 | ||||||
总分 | 组件1 | 组件2 | 组件3 | 组件4 | 组件5 | 组件6 | |
坐姿1,坐姿2 | 0.90 /高斯过程 | 0.88 /高斯过程 | 0.90 /资讯一个 | 0.89 /高斯过程 | N/Ab | N/A | N/A |
坐3 | 0.87 /高斯过程 | 0.86 /神经网络 | 0.91 /高斯过程 | N/A | N/A | N/A | N/A |
站1,站2 | 0.85 /高斯过程 | 0.83 /高斯过程 | 0.86 /高斯过程 | N/A | N/A | N/A | N/A |
站立3(0-1级) | 0.91 /资讯 | 0.91 /高斯过程 | 0.92 /高斯过程 | 0.89 /资讯 | 0.90 /随机森林 | N/A | N/A |
站立3(进展2) | 0.87 /支持向量机c(线性) | 0.89 /高斯过程 | 0.90 /朴素贝叶斯 | 0.88 /随机森林 | 0.91 /资讯 | N/A | N/A |
站立3(进度3) | 0.91 /随机森林 | 0.90 /演算法 | 0.88 /神经网络 | 0.86 /资讯 | 0.89 /资讯 | N/A | N/A |
站4 | 0.92 /高斯过程 | 0.86 /高斯过程 | 0.88 /高斯过程 | 0.80 /资讯 | N/A | N/A | N/A |
步行1 | 0.90 /随机森林 | 0.81 /高斯过程 | 0.85 /随机森林 | 0.92 /随机森林 | N/A | N/A | N/A |
走2号,走3号 | 0.81 /资讯 | 0.74 /资讯 | 0.75 / SVM(线性) | 0.78 / SVM (RBFd) | 0.71 /资讯 | 0.75 / SVM (RBF) | 0.75 /资讯 |
一个资讯:再邻居。
bN / A:不适用。
c支持向量机:支持向量机。
d径向基函数。
总体结果:k-统计分析
提出了分类模型的总体结果为每个单独的练习和进展水平。在同一个表中,提供了观察者之间的可变性,以及观察者1和训练过的ML模型之间的可变性的比较,这是在每个模型的测试数据集上执行的。此外,先前使用的以知识为本的模式[ ]与第一个观察者的注释进行了比较。
基于结果,提出的框架的性能与观察者间的可变性相似,因此构成了一个可靠的平衡物理疗法练习自动评分模型。更具体地说,坐着练习的变异性几乎是一样的,而站着练习的变异性则下降了0.02。最后,对于步行练习,k统计值的下降为0.04,这是合理的,因为相关练习的复杂性增加了,并且在这些特定练习中分类问题的输入特征增加了。
与基于知识的评分模型相比,在一致性方面的改善是显著的(坐姿锻炼15.9%,站立锻炼20.8%,步行锻炼的k统计量26.8%)。这一改进使系统能够有效地推断患者的表现,从而使系统不仅能够正确地告知临床医生患者的状态,而且能够使他们正确地设计/选择未来的康复方案。
运动类型 | 总分(模型) | K统计量(观察者间变异性) | k统计量(观测器1 - ML一个模型) | K统计量(观察者1 -基于知识的模型) | |
坐着 | 0.68 | 0.69 | 0.58 | ||
坐姿练习1和2 | 0.90(高斯过程) | ||||
坐着练习3 | 0.86(高斯过程) | ||||
站 | 0.79 | 0.77 | 0.61 | ||
站立练习1和2 | 0.853(高斯过程) | ||||
站立练习3(等级0-1) | 0.912(资讯b) | ||||
站立练习3(进步等级2) | 0.8736(支持向量机c线性) | ||||
站立练习3(进步等级3) | 0.905(随机森林) | ||||
站着练习4 | 0.918(高斯过程) | ||||
走 | 0.75 | 0.71 | 0.52 | ||
行走练习1 | 0.899(随机森林) | ||||
步行练习2和3 | 0.813(资讯) |
一个ML:机器学习。
b资讯:再邻居。
c支持向量机:支持向量机。
讨论
主要研究结果
所提出的ML模型可以有效地对全息平衡系统的平衡康复练习进行评分。在科恩kappa分析方面,模型具有相似的准确性,观察者间的可变性,使评分模块能够根据从传感设备收集的信号推断运动的得分。更具体地说,对于坐姿练习,评分模型具有较高的分类精度,从0.86到0.90不等。同样,站立练习的分类准确率在0.85 - 0.92之间,而行走练习的分类准确率在0.81 - 0.90之间。从得到的结果,我们观察到,最低的分类精度是与最复杂的练习相关的,就需要的动作而言。虽然这一结果在预料之中,但有趣的是,同样的练习也呈现出最高的观察者之间的可变性,这表明客观地为复杂的练习打分不是一件小事,即使是对专业的物理治疗师。几乎所有不同运动类型的k统计分析都清楚地反映了这一点。还需要指出的是,大多数错误分类涉及第2类和第3类,这意味着专家和评分模型可以更准确地评估糟糕的表现(第0类和第1类)和适当的表现(第2类和第3类)。
与之前工作的比较
第一个版本的评分模块建立在一组专家提取的医学知识的基础上[
].该模型的主要缺点是它不能在执行平衡康复练习期间捕获病人的所有可能状态。因此,它在各种情况下无法正确地对患者进行分级。提出的数据驱动模型显著提高了所做运动的准确性,坐姿运动增加了0.11,站立运动增加了0.16,步行运动增加了0.19。值得注意的是,更复杂的运动与更高的进步相关。的优势
这项工作的新颖性可以概括为两点。首先,创建了19名患者约1300次运动过程中传感器信号的注释数据集,以及一位专家对运动的评分。据我们所知,没有这样的数据集在文献中报道过。其次,开发并测试了一个评分模块,该模块包含多个ml监督学习模型。结果清楚地表明,考虑到对地面真相数据集进行注释的专家的观察者间可变性,提出的模型似乎具有类似的预测能力。
在全息平衡系统的背景下,评分模块的能力显然能够在康复计划中进行正确的运动评估,因为医生可以监测患者的表现和进展,并相应地采用该计划。这种评估有2倍的优势。首先,管理患者的物理治疗师被适当告知患者的表现;因此,接下来的康复阶段设计是基于客观信息,避免了自我报告结果的偏差。第二,虚拟教练与患者的交互基于准确的分数,便于与系统进行真实的交互。更具体地说,运动进展模块是基于评分模块产生的分数来正确评估患者是否应该进入下一阶段的运动。如前所述,每种练习在难度、速度和重复次数方面都有不同的管理水平。因此,评分模块的高精度使得练习进度模块能够发挥应有的作用。此外,评分模块可用于“红色标记”患者非常低的表现和坚持早期,从而允许物理治疗师改变康复方法。这些方面直接影响到在家庭环境中安全有效地执行康复计划。
同样重要的是要强调,与其他评分模型相比(例如,[
]和[ ]),提出的模型的输出评估的不是所进行的运动的认可度,而是运动表现的质量,这是评估康复计划的一个关键方面。通过提供高精度的运动评估模型,虚拟教练系统可以利用个性化的环境与患者进行交互,从而丰富用户体验。除了在像holobalbalance这样的有说服力的指导系统中作为一个可靠的评分模块的价值外,该模块还可以作为一个单独的模块在临床实践中独立使用。最重要的用途之一是对患者的客观基线评估,因为它可以支持临床医生在第一次临床就诊期间进行锻炼时客观评估患者的基线。此外,构建评分模块的分析,特别是特征统计分析,可以帮助设计新的平衡康复练习,主要针对对练习得分有重要贡献的指标,同时消除与指标相关的方面和运动学对模型不重要。此外,评分模块可以支持需要长期监测的患者,特别是患有神经系统退行性疾病的患者,如共济失调或痴呆,这些患者需要长期康复和监测以维持生活。此外,一个可靠的评分和评估模块可以方便新手理疗师和医生的教育,使他们更好地了解不同临床人群的需求。最后,在研究背景下,来自该模型的基于传感器的信息可以作为生物标志物,长期监测感兴趣的人群(如老年人或认知障碍患者),以早期预测跌倒风险和早期预测认知衰退。
限制
关于提出的模型的局限性,一个主要的缺点是该模型需要了解运动类型的知识来评估运动的得分。换句话说,提出的评分模型没有识别运动的能力,将其使用限制在只有预定义的运动集的康复项目上。此外,收集到的数据集的规模不允许我们测试深度学习模型,这可能会显示更高的分类精度。
未来的发展方向
关于评分模型的未来发展方向,我们预计将加入运动识别算法,使模块能够推断执行了哪些练习。这将允许模块支持自由程序练习会话。最后,将该模块部署到更多的站点将允许我们扩展练习数据集,这将为拟议的解决方案提供更广泛的验证,并有助于使用深度学习模型,如果数据量足够的话。
致谢
这项工作已经获得了欧盟地平线2020研究和创新项目的资助。769574)。
数据可用性
在本研究中产生或分析的数据集可根据合理要求从通讯作者处获得。
的利益冲突
没有宣布。
额外的研究结果。
DOCX文件,873 KB参考文献
- Bevilacqua A, Brennan L, Argent R, Caulfield B, Kechadi T.基于ConvFSM的自主生物反馈系统康复运动分割。2019年发表于:第41届IEEE医学和生物学会工程年度国际会议(EMBC);2019年7月汽车出行;德国柏林574-579页。[CrossRef]
- Escalona F, Martinez-Martin E, Cruz E, Cazorla M, Gomez-Donoso F. EVA:使用增强现实和低成本传感器评估家庭康复锻炼。虚拟现实2019年12月17日;24(4):567-581。[CrossRef]
- Shubert TE, Smith M, Goto L, Jiang L, Ory M.美国的奥塔哥锻炼计划:两种实施模式的比较。Phys Ther 2017 Feb 01;97(2):187-197。[CrossRef] [Medline]
- Kertész C.基于RGB-D人体骨骼模型的理疗运动识别。2013发表于:2013欧洲建模研讨会;2013年11月20 - 22日举行,;英国曼彻斯特21-29页。[CrossRef]
- Bonnechère B, Sholukha V, Omelina L, Van Sint Jan S, Jansen B使用Kinect传感器进行康复训练时上肢运动的3D分析:开发、实验室验证和临床应用。传感器(巴塞尔)2018年7月10日;18(7):2216 [免费的全文] [CrossRef] [Medline]
- 顾峰,Khoshelham K, Valaee S,尚杰,张锐。基于堆栈去噪自编码器的运动活动识别。IEEE Internet Things J 2018 Jun;5(3):2085-2093。[CrossRef]
- Taewoong Um T, Babakeshizadeh V, kuliic D.利用卷积神经网络从大规模可穿戴传感器数据进行运动分类。出席:2017 IEEE/RSJ智能机器人与系统国际会议(IROS);9月24 - 28,2017;加拿大卑斯省温哥华,2385-2390页。[CrossRef]
- Khan MH, Helsper J, Boukhers Z, Grzegorzek M.利用RGB-D数据在vojta治疗中的运动模式自动识别。2016年参加:2016 IEEE国际图像处理会议(ICIP);9月25 - 28,2016;美国凤凰城1235-1239。[CrossRef]
- Pomeroy V, Aglioti SM, Mark VW, McFarland D, Stinear C, Wolf SL,等。行动障碍的神经学原理与康复:康复干预。Neurorehabil神经修复2011年6月25日;25(5增刊):33S-43S [免费的全文] [CrossRef] [Medline]
- Seron P, Oliveros M, Gutierrez-Arias R, fuente - aspe R, Torres-Castro RC, Merino-Osorio C,等。远程康复在物理治疗中的有效性:快速概述。Phys Ther 2021 Jun 01;101(6):pzab053 [免费的全文] [CrossRef] [Medline]
- Vakanski A, Ferguson JM, Lee S.物理治疗期间患者锻炼的绩效评估指标。Int J Phys Med Rehabil 2017 Jun;5(3):403 [免费的全文] [CrossRef] [Medline]
- Nweke HF, Teh YW, Al-garadi MA, Alo UR。利用移动和可穿戴传感器网络进行人类活动识别的深度学习算法:最新技术和研究挑战。专家系统与应用2018年9月;105:233-261 [免费的全文] [CrossRef]
- O'Reilly M, Caulfield B, Ward T, Johnston W, Doherty C.用于下肢运动检测和评估的可穿戴惯性传感器系统:系统综述。体育医学2018年5月24日;48(5):1221-1246。[CrossRef] [Medline]
- 张伟,苏超,何聪。基于深度学习框架的智能传感器康复运动识别与评估。IEEE 2020;访问8:77561 - 77571。[CrossRef]
- Fuentes D, Gonzalez-Abril L, Angulo C, Ortega J.移动设备中使用加速计的在线运动识别。专家系统与应用2012年2月;39(3):2461-2465。[CrossRef]
- 巴凡恩,苏玛兹,胡德,梅隆,Rees J.利用惯性传感器监测康复运动的依从性:一项临床验证研究。步态姿势2019 5月;70:211-217。[CrossRef] [Medline]
- Capecci M, Ceravolo MG, Ferracuti F, Iarlori S, Kyrki V, Monteriù A,等。基于隐式半马尔可夫模型的康复运动评估方法。J Biomed Inform 2018 Feb;78:1-11 [免费的全文] [CrossRef] [Medline]
- 朱铮,陆勇,尤超,蒋聪。深度学习在基于传感器的康复运动识别与评估中的应用。传感器(巴塞尔)2019 Feb 20;19(4):887 [免费的全文] [CrossRef] [Medline]
- 廖勇,陈晓燕,陈晓燕。基于深度学习的康复训练评估框架。IEEE反式。神经系统。Rehabil。Eng 2020; 2月28(2):468 - 477。[CrossRef]
- 王杰,陈勇,郝松,彭旭,胡磊。深度学习在基于传感器的活动识别中的研究进展。模式识别通讯2019年3月119日:3-11。[CrossRef]
- 杨气J, P, Waraich,邓Z,赵Y, Y杨检查传感器运动识别和监测医疗使用物联网:系统回顾。J Biomed Inform 2018 Nov;87:138-153 [免费的全文] [CrossRef] [Medline]
- Abiodun OI, Jantan A, Omolara AE, Dada KV, Mohamed NA, Arshad H.人工神经网络应用的最新进展:调查。Heliyon 2018年11月4日(11):e00938 [免费的全文] [CrossRef] [Medline]
- Tsakanikas VD, Gatsios D, Dimopoulos D, Pardalis A, Pavlou M, Liston MB,等。利用感官平台评估平衡理疗练习的表现:有说服力的平衡康复虚拟教练系统的基础。前数字健康2020年11月27日;2:545885 [免费的全文] [CrossRef] [Medline]
- Kouris I, Sarafidis M, Androutsou T, Koutsouris D. HOLOBALANCE:用于平衡训练和防止摔倒的增强现实虚拟教练解决方案。2018年发表于:IEEE医学与生物学会第40届国际年会(EMBC);2018年7月21日;美国檀香山,HI, 4233-4236。[CrossRef]
- Tsiouris KM, Gatsios D, Tsakanikas V, Pardalis AA, Kouris I, Androutsou T,等。设计可互操作的远程医疗平台:连接物联网设备与云基础设施。企业信息系统2020年4月30日;14(8):1194-1218。[CrossRef]
- Mostajeran F, Steinicke F, Ariza NO, Gatsios D, Fotiadis D.老年人增强现实:探索虚拟教练用于老年人家庭平衡训练的可接受性。在:CHI '20: 2020年计算系统人为因素CHI会议论文集。2020发表于:2020年计算系统人为因素CHI会议;2020年4月25 - 30日;檀香山,嗨,美国,第1-12页。[CrossRef]
- Liston M, Genna G, Maurer C, Kikidis D, Gatsios D, Fotiadis D,等。在有跌倒风险的老年人中,研究holbalance系统与标准护理的可行性和可接受性:评估者盲法试验随机对照研究的研究方案。英国医学杂志公开赛2021年2月12日;11(2):e039254 [免费的全文] [CrossRef] [Medline]
- Morgan MT, Friscia LA, Whitney SL, Furman JM, Sparto PJ。国际跌倒疗效量表(fe - i)在头晕和失衡个体中的信度和效度。Otol Neurotol 2013 Aug;34(6):1104-1108 [免费的全文] [CrossRef] [Medline]
- Pardalis AA, Gatsios D, Tsakanikas V, Walz I, Maurer C, Kikidis D,等。探索为有跌倒风险的老年人提供平衡远程康复方案的可接受性和可行性:初步评估,2021年,发表于:第43届IEEE医学与生物学工程学会(EMBC)国际年会;2021年11月01-05,;墨西哥p。6915 - 6919。[CrossRef]
- 归因4.0国际(CC BY 4.0)。知识共享。URL:https://creativecommons.org/licenses/by/4.0/[2022-08-29]访问
- 郭刚,王宏,Bell D,毕勇,Greer K.基于KNN模型的分类方法。在:Meersman R, Tari Z, Schmidt DC编辑。迈向有意义的互联网系统2003:CoopIS, DOA和ODBASE。2003年移动。计算机科学课堂讲稿,卷2888。柏林,海德堡:施普林格;2003:986 - 996。
- 高光谱数据分类的支持向量机特征选择。IEEE反式。Geosci。遥感2010年5月;48(5):2297-2307。[CrossRef]
- 达德利RM。高斯过程的样本函数。在:Giné E, Koltchinskii V, Norvaisa R编辑。达德利作品选。概率论与统计著作选集“,”纽约,纽约州:施普林格;2010:187 - 224。
- 祁勇。生物信息学随机森林。见:张晨,马勇,编辑。整体机器学习。波士顿,MA:施普林格;2012:307 - 323。
- 韦伯GI。朴素贝叶斯。在:Sammut C,韦伯GI,编辑。机器学习百科全书。波士顿,MA:施普林格;2011:713 - 714。
- Schapire RE解释AdaBoost。在:Schölkopf B,罗Z, Vovk V,编辑。经验推理。柏林,海德堡:施普林格;2013:37-52。
- Devika R, Avilala SV, Subramaniyaswamy V.基于朴素贝叶斯、KNN和随机森林的慢性肾脏疾病预测分类器的比较研究。2019年发表于:第三届计算方法与通信国际会议(ICCMC);3月27 - 29,2019;蚀,印度,679-684页。[CrossRef]
- Fernandez A, Garcia S, Herrera F, Chawla NV. SMOTE从不平衡数据中学习:进展和挑战,纪念15周年。人工智能研究学报2018年4月20日;61:863-905。[CrossRef]
- 大杂院乔丹。从五个方面看科恩的联谊会。精神病学杂志2015;05(04):1。[CrossRef]
- 评分者间信度:kappa统计量。生物化学医学(萨格勒布)2012;22(3):276-282 [免费的全文] [Medline]
- Burns DM, Leung N, Hardisty M, Whyne CM, Henry P, McLachlin S.肩部理疗运动识别:机器学习智能手表的惯性信号。Physiol Meas 2018 7月23日;39(7):075007。[CrossRef] [Medline]
- Haghighi Osgouei R, Soulsby D, Bello F.康复锻炼游戏:使用运动感知和机器学习来量化健康志愿者的运动表现。JMIR Rehabil Assist tech 2020年8月18日;7(2):e17289 [免费的全文] [CrossRef] [Medline]
缩写
美国广播公司(ABC):活动-特定平衡自信量表 |
有线电视新闻网:卷积神经网络 |
FES-I:国际瀑效量表 |
FGA:步态功能评估 |
资讯:再邻居 |
ML:机器学习 |
支持向量机:支持向量机 |
梁韬编辑;提交11.02.22;同行评议A Videira-Silva, T Szturm;评论作者03.05.22;修订版收到23.05.22;接受25.06.22;发表31.08.22
版权©Vassilios Tsakanikas, Dimitris Gatsios, Athanasios Pardalis, Kostas M Tsiouris, Eleni Georga, Doris-Eva Bamiou, Marousa Pavlou, Christos Nikitas, Dimitrios Kikidis, Isabelle Walz, Christoph Maurer, Dimitrios Fotiadis。最初发表在JMIR康复和辅助技术(https://rehab.www.mybigtv.com), 31.08.2022。
这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布,该协议允许在任何媒体上不受限制地使用、分发和复制,前提是必须正确引用最初发表在《JMIR康复和辅助技术》上的原始作品。必须包括完整的书目信息,https://rehab.www.mybigtv.com/上的原始出版物链接,以及版权和许可信息。