老年人虚弱状况的预测建模:机器学习方法gydF4y2Ba

简介gydF4y2Ba

随着老年人口负担的急剧增加，与老龄化相关的健康挑战是一个主要的医疗和社会问题。老年人口，按传统定义为实际年龄为65岁或以上[gydF4y2Ba1gydF4y2Ba，在服务和成本方面，对每个国家来说都是一个有意义的挑战[gydF4y2Ba2gydF4y2Ba］．根据联合国2017年的一份报告[gydF4y2Ba3.gydF4y2Ba]， 2000年，60岁及以上的世界老年人口为6亿，预计到2050年将增至约20亿。人口老龄化具有深远的影响，其中一个与这一现象相关的主要问题是虚弱状况的患病率较高[gydF4y2Ba4gydF4y2Ba］．虚弱是最重要的和新出现的与年龄有关的疾病之一，通常代表着日常活动的日益限制。老年人会出现各种各样与年龄有关的疾病，这些疾病会增加他们对轻微压力事件的脆弱性，并导致丧失自主能力。这种现象通常被称为虚弱[gydF4y2Ba2gydF4y2Ba，gydF4y2Ba5gydF4y2Ba］．被认为体弱多病的人特别容易出现不良后果，包括残疾、摔伤、住院和死亡。这些健康结果导致生活质量差，对医疗和社会护理的需求增加，并与个人和卫生系统成本增加有关。根据一项研究[gydF4y2Ba6gydF4y2Ba]，与低年龄组相比，高年龄组的医疗支出显著增加。老年人(70岁及以上)更有可能患有多种慢性疾病和功能限制。这种结合与进入急诊科(ED)的可能性更大有关，同时住院医院、训练有素的护理设施和家庭健康服务的医疗保险支出也更高。然而，虚弱并不是衰老的必然结果，它是可以预防和管理的，以促进更长寿和更健康的生活。早期发现和筛查将有助于提供预防性干预措施并扭转虚弱状况。gydF4y2Ba

已经提出了几种用于检测脆弱性的尺度和模型[gydF4y2Ba7gydF4y2Ba-gydF4y2Ba10gydF4y2Ba];然而，对虚弱的精确的操作定义或其筛查和诊断的标准方法仍然缺乏[gydF4y2Ba11gydF4y2Ba，gydF4y2Ba12gydF4y2Ba］．在缺乏虚弱标准测量的临床环境中，老年人的护理是优先考虑的，因此根据所研究人群的特征，必须有一个特定的模型来预测虚弱。因此，本研究旨在利用意大利皮埃蒙特老年人的大型行政健康数据库，检测虚弱的多种结果(死亡率、残疾、骨折、住院和急诊入院)。gydF4y2Ba

该研究检查了现有的机器学习技术(人工神经网络[ann]、遗传编程[GP]、支持向量机[svm]、逻辑回归[LR]、决策树[DTs]和随机森林[RFs])，以根据不同的不良健康结果预测虚弱。这些方法在分析不同类型的医疗数据时考虑了它们的性能和实际用途。gydF4y2Ba

方法gydF4y2Ba

数据源gydF4y2Ba

本研究基于皮埃蒙特纵向研究。这些数据是通过意大利2011年人口普查与意大利国家统计计划中包括的行政和健康数据库(登记注册、出院、药物处方、门诊临床调查数据库和健康豁免)之间的约400万皮埃蒙特(意大利)居民的个人记录链接收集的。研究对象年龄在65岁及以上。数据集包含1,095,612个主题和64个变量(58个输入变量和6个输出变量)。该数据集包括各种各样的预测变量，包括临床和社会经济方面，以及每个受试者的六个目标变量:死亡率、残疾、紧急住院、骨折、可预防的住院和使用红色代码进入急诊科(ED)。每个医院分配给患者的颜色代码可能不同，但在这项研究中，红色代码用于识别需要立即护理的严重症状患者。由于我们打算为这些脆弱性指标开发预测模型，因此我们提取了2016年收集的数据作为输入数据，而使用2017年收集的数据作为输出值。gydF4y2Ba

为了简单的实现和分析，数据被转换为六个数据集，每个输出变量对应一个数据集。结果，与虚弱条件相关的六个问题被确定和定义。在分析中分别考虑了六个数据集，这导致了六个独立的二元分类问题。本研究中使用的所有输入变量均列于gydF4y2Ba多媒体附件1gydF4y2Ba．gydF4y2Ba表1gydF4y2Ba包含所有输出变量的描述性统计信息，其中输出变量的每个类别的频率分布以计数和百分比表示。gydF4y2Ba表1gydF4y2Ba清楚地显示了数据集对于每个输出变量是如何不平衡的。事实上，大约4%的记录的死亡风险为1，其他96%的记录的死亡风险为0。红色代码紧急入院、骨折、可预防住院、残疾和紧急住院的风险记录数量与1相似。这显然表明数据集不平衡，因为正面样本的受试者数量远远小于负面样本的受试者数量。gydF4y2Ba

大多数机器学习技术都受到这种极度不平衡的数据集的影响，因此，它们可能偏向于大多数类。用一种试图最大化精度的算法来指导一个模型，自然会导致将所有东西都分类为主要类别，并且不会给出可接受的结果。gydF4y2Ba

处理不平衡数据集gydF4y2Ba

每个问题(死亡率、带红色代码的急诊科、残疾、骨折、紧急住院和可预防住院)的数据集都是不平衡的，如图所示gydF4y2Ba表1gydF4y2Ba．六个数据集的正类和负类之间的不平衡比例被独立处理。文献中已经使用了各种方法来处理不平衡数据，例如重新采样[gydF4y2Ba13gydF4y2Ba]及成本敏感型学习方法[gydF4y2Ba14gydF4y2Ba］．gydF4y2Ba

在本研究中，我们选择了基于欠采样的重采样方法[gydF4y2Ba15gydF4y2Ba]和过采样[gydF4y2Ba16gydF4y2Ba］．这些方法是有利的，因为它们与分类器无关，可以用作预处理步骤，其中处理的数据可以作为任何分类器的输入。过采样是从少数类中复制样本以平衡数据的过程。过采样的局限性在于，它可能会导致过拟合问题，因为它克隆相同的实例，并且与欠采样方法相比需要更多的时间来执行。因此，当数据集的大小相当小时，建议使用这种方法。过采样的另一个问题是，由于我们的目标是检测少数类，过采样改变了我们想要识别的类，这在一些关键的实时问题中可能是不可接受的[gydF4y2Ba17gydF4y2Ba］．欠抽样通过减少多数类样本的大小来平衡不平衡的数据。不足抽样方法的一个局限性是它可能导致重要信息的丢失或在数据中引入偏差。从实际的角度来看，一些文献表明，在某些情况下，欠采样往往优于过采样[gydF4y2Ba18gydF4y2Ba]，而其他人则证明过采样比欠采样表现更好[gydF4y2Ba19gydF4y2Ba］．在高维数据中，过采样的表现更差[gydF4y2Ba20.gydF4y2Ba]，而欠采样在非常小的数据集中表现更差。在我们的案例中，由于收集的数据量足够，我们采用欠抽样来重新平衡样本分布，然后进行统计检验以避免偏差并确保样本之间的代表性。由于我们有多个输出数据，我们遵循以下简单的步骤来获得平衡和独立的数据集:gydF4y2Ba

• 根据输出变量的值从原始数据集中过滤所有正样本和负样本。六个结果中至少有一个类别值为阳性的样本被分组为阳性样本，占原始数据集的10%，其余所有样本被分组为阴性样本，占原始数据集的90%。gydF4y2Ba
• 将所有10%的样本保留在阳性类(少数组)中，我们从阴性类(多数组)中随机选择相同数量的样本(10%)。gydF4y2Ba
• 检查随机选择的10%阴性样本是否代表其余的阴性样本(90%)。在检查测试是否相当重要之后，我们获得了一个新的多输出数据集，每个数据集的大小为211924。对所有变量进行统计检验，以确定10%样本中某个变量的频率分布是否代表90%样本中的同一变量。由于本研究中的所有变量都是分类变量，因此我们采用卡方独立检验(显著性水平为0.05)来检验10%样本和90%样本在输入变量方面是否存在显著差异。所得卡方统计量和gydF4y2BaPgydF4y2Ba数值被评估以支持测试结论的重要性。10% - 90%阴性样本卡方检验结果见gydF4y2Ba多媒体附件1gydF4y2Ba．gydF4y2Ba
• 一旦测试具有显著性，我们将多输出数据集分解为六个独立的数据集。然后从每个数据集中随机选择相等数量的阳性和阴性样本。gydF4y2Ba

预测模型gydF4y2Ba

本研究选择的机器学习方法是svm、ann、rf、DTs、LR和GP。我们在下面对这些学习算法进行了简要的总结。gydF4y2Ba

SVM是一种鲁棒分类器，用于识别需要大量训练数据来选择有效决策边界的两个类。一些研究使用支持向量机进行疾病预测[gydF4y2Ba21gydF4y2Ba-gydF4y2Ba24gydF4y2Ba］．SVM算法用于通过绘制训练数据集来预测事件，其中超平面将点分为两类，存在和不存在脆弱性。支持向量机基于核函数，将线性不可分割的输入数据投影到高维空间，以便更好地分类。使用不同的核和参数来提高支持向量机的分类性能[gydF4y2Ba25gydF4y2Ba］．在本研究中，采用不同gamma值和正则化参数的径向基函数核来解决各个分类问题。gydF4y2Ba

人工神经网络是一种分析技术，已经成功地解决了不同领域的分类问题[gydF4y2Ba26gydF4y2Ba-gydF4y2Ba30.gydF4y2Ba］．基于生物神经网络的功能，ann是由相互连接的人工神经元组成的密集网络，它们根据输入被激活。多层感知器神经网络(MLPNN)是人工神经网络中最常用的范式之一。MLPNN包括一个输入层、一个或多个隐藏层和一个输出层。在MLPNN中，输入节点将值传递给第一个隐藏层，第一个隐藏层的节点将值传递给第二层，以此类推，直到产生输出。针对每个分类工作，配置MLPNN的主要参数，包括激活函数、解算器、隐层大小和学习率。gydF4y2Ba

我们还探索了基于树的分类器(DTs和RFs)在每个脆弱性问题中预测结果的潜力。DTs以树形结构的形式建立分类模型[gydF4y2Ba31gydF4y2Ba］．DTs中使用的主要算法有ID3、C4.5和分类回归树[gydF4y2Ba32gydF4y2Ba]，利用信息熵的概念构建dt。在我们的研究中，使用分类和回归树算法对每个问题设置超参数来构建DT。rf由大量单独的dt组成，这些dt作为一个集合运行。每棵树给出一个分类，森林选择投票最多的分类(在森林中所有的树中)。射频以医学领域的预测任务而闻名[gydF4y2Ba33gydF4y2Ba-gydF4y2Ba35gydF4y2Ba］．已经为每个问题设置了超参数(如森林中树的数量、分裂节点时考虑的最大特征数量、每个DT中的最大层数等)。gydF4y2Ba

LR是一种特定类型的多元回归，是最常见和最完善的二元分类器[gydF4y2Ba36gydF4y2Ba］．LR仅用于对二分变量建模，它通常表示基于一组预测变量的结果或事件的存在或不存在。它通过将数据集拟合到logit函数中来预测发生的事件。在这项研究中，像其他机器学习模型一样，LR已被用于区分虚弱和非虚弱的受试者。gydF4y2Ba

另一种应用于预测任务的技术是GP，通常用于解决自动程序合成和自动编程问题。GP通过使用自然选择的操作在许多代中生成计算机程序的种群来完成这一任务[gydF4y2Ba37gydF4y2Ba］．GP中的许多工作都集中在分类器归纳上，这是一项可以通过使用GP的进化来完成的任务[gydF4y2Ba38gydF4y2Ba，gydF4y2Ba39gydF4y2Ba］．在GP中，设置控制参数是操作数据并取得良好效果的重要第一步。在我们的数据集中，我们尝试了几个实验，通过使用启发式clab工具中提出的GP控制参数来分类任务[gydF4y2Ba40gydF4y2Ba］．我们实验用到的GP的参数值列在gydF4y2Ba多媒体附件2gydF4y2Ba．gydF4y2Ba

性能指标gydF4y2Ba

绩效评估是基于老年人死亡率、紧急住院、可预防住院、残疾、骨折和急诊住院的比例(红色代码)来考虑的。在现实世界实践中应用时，在大量受试者中预测这些不良结果是重要的。因此，真阳性率(TPR)是要考虑的主要指标。总体准确率、真负率(TNR)和f1得分(精密度和召回率的调和平均值)被用作额外的性能指标。准确度、TPR和TNR采用真阳性(TPs)、假阳性(FPs)、真阴性(TNs)和假阴性(FNs)来制定。这些度量定义在公式中gydF4y2Ba图1gydF4y2Ba［gydF4y2Ba41gydF4y2Ba］．gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

数据分析工具gydF4y2Ba

本研究使用的数据分析工具是Python Scikit-learn库、RStudio软件包和HeuristicLab。在这项工作中，探索性数据分析部分和统计检验分析使用R3.5.0完成，而整个svm、rf、nn和DTs的分类问题使用Python 3.7实现。gydF4y2Ba多媒体gydF4y2Ba给出了实验中使用的一些Python代码。HeuristicLab是一个用于启发式和进化算法的软件工具。在本研究中，使用HeuristicLab对GP进行分类问题。gydF4y2Ba

实验设置gydF4y2Ba

模型评价gydF4y2Ba

在分析数据进行预测时，输出变量代表下一年的发生情况，并提出预测模型，根据一年内紧急住院、预防性住院、残疾、骨折、红色代码进入急诊科和死亡的预期风险来预测衰弱。每种结果预测使用四个指标评估各种预测模型的性能:准确性、TPR、TNR和f1评分。这些指标提供了一种有效而简单的方法来评估分类器的性能。使用这四种测量方法，模型分别使用holdout方法[gydF4y2Ba42gydF4y2Ba]和交叉验证方法[gydF4y2Ba43gydF4y2Ba］．gydF4y2Ba图2gydF4y2Ba给出了预测机器学习模型的一般实验流程。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

坚持的方法gydF4y2Ba

在这项研究中，我们的第一个实验是通过使用保留方法探索机器学习方法的预测性能开始的。该方法将数据集按照给定的比例随机分为训练和测试两部分。每个机器学习模型都使用训练数据集(70%)进行训练，并使用测试数据集(30%)进行评估。使用训练数据集构建模型，使用测试数据集评估模型的预测能力。gydF4y2Ba

K-Fold交叉验证gydF4y2Ba

K-fold交叉验证程序应用于每个问题的数据。交叉验证是一种最常用的模型评估方法，它通过多次重复分裂过程来扩展坚持方法。K-fold交叉验证技术将数据集划分为大小大致相等的K个折叠。然后使用K-1部分对被评估的模型进行训练，并保留一部分用于模型验证。在本研究中，我们使用了10 fold，将数据集分为三个部分进行模型训练和测试:训练集用于构建模型，验证集用于选择模型参数，测试集用于根据所选参数评估最终模型的性能。gydF4y2Ba

Hyperparameter调优gydF4y2Ba

在所有实验中，每种机器学习方法的超参数集都是在训练开始前选定的。超参数允许机器学习算法更好地调整问题细节。每个模型的超参数都是使用Python Scikit-learn中带有交叉验证的网格搜索进行调优的，正如Mueller和Guido所描述的[gydF4y2Ba44gydF4y2Ba］．gydF4y2Ba多媒体附件2gydF4y2Ba给出了本研究中用于训练每个机器学习模型的超参数列表。gydF4y2Ba

结果gydF4y2Ba

研究人群gydF4y2Ba

从1,095,612名65岁及以上老年人的原始数据集中，我们检索了83,646名死亡患者，77,836名紧急住院患者，62,854名残疾患者，38,144名可预防住院患者，14,978名以红色代码进入急诊科，14,166名骨折患者。检索过程使用重采样方法进行，每个问题都使用广泛使用的机器学习模型进行独立分析。在本节中，通过特征选择分析，介绍了使用保留和交叉验证方法的机器学习模型的预测性能。gydF4y2Ba

特征选择gydF4y2Ba

特征选择提供了一种有效的方法来去除不相关和/或冗余的特征，这可以减少运行时间，提高学习精度，并有助于更好地理解模型[gydF4y2Ba45gydF4y2Ba，gydF4y2Ba46gydF4y2Ba］．不必要的特征也会增加过拟合的机会，并降低测试数据的泛化性能。我们使用滤波方法进行特征选择[gydF4y2Ba47gydF4y2Ba，gydF4y2Ba48gydF4y2Ba］．卡方检验是本研究中使用的一种过滤方法，用于确定特征和目标之间的统计显著性。卡方值，连同gydF4y2BaPgydF4y2Ba显著性水平为.05的值用于识别最重要的特征及其等级(即，通过卡方检验分析显示与结果显著相关的变量[gydF4y2BaPgydF4y2Ba<。05］were selected for model building).PgydF4y2Ba<措施在d我c一个tes that there is an association between the input and the target variables. The strength of the association between the input variables and the target is ranked based on the chi-square value. Out of the 58 predictor variables, 25, 24, 10, 7, 4, and 3 nonsignificant variables were discarded for preventable hospitalization, urgent hospitalization, emergency admission with red code, fracture, mortality, and disability, respectively.表2gydF4y2Ba按死亡率和骨折问题的重要性递减顺序，列出了排名前15位的特征。中给出了其它问题的最显著特征gydF4y2Ba多媒体附件4gydF4y2Ba．gydF4y2Ba

特征的重要性可以通过指出哪些变量在类之间最有区别，从而让我们深入了解问题。例如，在gydF4y2Ba表2gydF4y2Ba在预测死亡率时，年龄和查尔森指数是最重要的特征，这在问题的背景下是有意义的。特征的等级因问题不同而不同，除了可变年龄，它在所有问题中得分最高。除年龄属性外，股骨骨折、紧急住院次数和颈部骨折等变量是骨折问题中最具鉴别性的特征，而家庭类型和家庭生活状况是最不显著的变量。精神病、多处方、循环系统疾病是紧急住院和可预防住院中排名最高的变量。年龄、查尔森指数和紧急住院次数是红色代码急诊入院的最重要预测因素。紧急住院和可预防住院排名最低的共同特征包括婚姻状况、教育水平、工作状况和收入。每个预测模型(SVM, ANN, LR, RF和DT)都使用了六个问题中最重要的特征。GP与其他机器学习模型的不同之处在于它在进化过程中自动执行隐式特征选择。GP学习哪些特征组合对分类有用，并自动确定特征的最佳数量。gydF4y2Ba

通过坚持方法的性能gydF4y2Ba

在本研究中，我们的第一个实验结果是通过holdout (train-test split)方法获得的，所有特征子集(从前3位到前58位特征)使用模型的默认参数。但是，这些方法带来了RF和DT训练数据过拟合的问题，如图所示gydF4y2Ba图3gydF4y2Ba而且gydF4y2Ba4gydF4y2Ba．为了减少过拟合问题并提高性能，使用网格搜索以及与每个结果相关的最重要特征来调整每个模型的参数。gydF4y2Ba表3gydF4y2Ba显示了SVM, RF, ANN, DT和GP的性能，使用在每个问题上选择的最佳特征和参数。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

在我们的实验中，我们探索了每种机器学习算法在脆弱性预测中的常见变化。从实验的结果来看gydF4y2Ba表3gydF4y2Ba，很明显，所有算法对每个不同的问题都有不同的表现。对于死亡率数据集，RF和ANN产生了较高的TPR值(0.79)，而DT产生了最低的性能。对于骨折问题，DT的TPR值最高(0.79)，GP的TPR值最低。另一方面，GP在紧急住院数据集上具有较高的TPR值。RF在所有问题中总体平均TPR略高，SVM在所有问题中TNR值略高，DT在所有问题中平均TPR最低。从数据集测试部分的结果来看，所有机器学习模型对有红色代码问题的紧急住院和急诊科的预测性能都较低，而死亡率和残疾的预测结果值高于其他结果。在残疾问题上，GP的TPR较SVM、RF、ANN和DT低，而在使用红色代码访问ED时，GP的TPR最高。对于其他问题，GP产生类似的结果。使用统计测试将GP的性能与其他机器学习方法进行比较，以得出更好的结论。我们使用Wilcoxon符号秩检验在30次GP运行和每个机器学习模型之间进行了成对统计检验。 The Wilcoxon statistical test is a nonparametric test that ranks the differences in performances of GP and other algorithms over each frailty problem. The Wilcoxon test is based on the TPR of each algorithm in each problem on the test data. The results of the test in terms ofPgydF4y2Ba显著性水平为0.01的值见gydF4y2Ba表4gydF4y2Ba．gydF4y2Ba

如所述gydF4y2Ba表4gydF4y2Ba在美国，Wilcoxon检验允许拒绝11个假设。的gydF4y2BaPgydF4y2Ba值小于0.01表示各算法的TPR差异显著，而gydF4y2BaPgydF4y2Ba高于0.01的值表明算法在预测脆弱条件时表现相似。SM和GP之间的检验结果仅在残疾、紧急住院和可预防住院方面有统计学意义。结合实验结果和Wilcoxon符号秩检验结果，得出SVM在死亡率和骨折的TPR评分上优于GP, GP在急诊住院和红码急诊科评分上优于SVM和RF。尽管DT算法在可预防住院方面的TPR值高于其他算法，但其TNR值最低的结果表明劣势较大。ANN在可预防和紧急住院事件方面与GP有相似的表现。gydF4y2Ba

通过10倍交叉验证的性能gydF4y2Ba

10倍交叉验证通过平均超过10个不同的子样本减少了结果估计的方差。这种10次交叉验证可以解决拒止法的局限性，如减少过拟合，因此更可靠，对测试数据具有更好的泛化性能。因此，在我们的第二个实验中，我们对六个数据集中的每个数据集都使用了10倍交叉验证方法。在10倍交叉验证的10个样本中，每个模型的准确性的变化在gydF4y2Ba图5gydF4y2Ba而且gydF4y2Ba6gydF4y2Ba分别为最大数据集(即死亡率)和最小数据集(即骨折)。从图中可以看出，在10个样本中，模型在预测死亡率方面比预测骨折更稳定。在10个样本中，其他结果的分类率也有轻微的变化。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

如图所示gydF4y2Ba图5gydF4y2Ba，对于死亡率问题，10倍交叉验证中10个样本的分类率在每个分类器中略有不同。对于每个模型，从样本1到样本10的断裂问题，精度的变化更大，如gydF4y2Ba图6gydF4y2Ba．特别是，LR在模型中表现出了最大的性能变化，在断裂问题中，它在样本7中表现出最低的精度，在样本9中表现出最高的精度。DT在死亡率样本10和骨折问题样本3中显示出最高的分类率，而在其他样本中准确率最低。每个问题中10次交叉验证的平均性能如图所示gydF4y2Ba表5gydF4y2Ba，其中每个模型的性能使用精度、TPR、TNR和f1评分来衡量。gydF4y2Ba

从所有模型的结果中得出每个结果gydF4y2Ba表5gydF4y2Ba而且gydF4y2Ba6gydF4y2Ba，我们可以看到预测死亡事件表现出最高的性能，而预测紧急住院和使用红色代码进入急诊科表现出较低的性能。其次是死亡率问题，对残疾和骨折问题的预测性能更好。这意味着本研究中的数据集在预测死亡率方面比预测其他结果更好。在预测紧急住院方面，在所有使用10倍交叉验证训练的模型中，只有SVM在所有测量(准确度、TPR、TNR和f1评分)中表现最佳。在死亡率问题中，ANN(精度0.78,TPR 0.81, TNR 0.76, F1-score 0.79)和SVM(精度0.79,TPR 0.77, TNR 0.80, F1-score 0.78)的平均性能最高，其次是LR(精度0.78,TPR 0.78, TNR 0.79, F1-score 0.78)。在死亡率问题上，DT产生了最高的TPR (0.80)， RF显示了类似的结果(准确性0.78,TPR 0.79, TNR 0.76, f1评分0.76)。对于骨折和残疾问题，SVM、RF和LR具有相似的准确性(0.75)，尽管它们在TPR、TNR和f1评分上都有所不同。gydF4y2Ba

从实验的结果中，观察到各种机器学习技术在不同评估指标的性能方面可能存在显著差异是很重要的。例如，在死亡率问题中，SVM在TNR值上优于DT和ANN (.80)， ANN在F1-score上优于SVM和DT(0.79)，而DT在TPR值上优于两个模型(0.80)。由于六个问题中每个问题的特征空间、大小和数据多样性的差异，所有模型在所有问题中的性能都有所不同。所有使用死亡率数据训练的模型(规模最大)的预测性能都比使用红色代码数据(规模较小)访问急诊科训练的模型的性能要好得多，这表明数据的大小是更好性能的重要因素，但并非所有模型都是如此。此外，每种机器学习技术的性能因问题而异。例如，在死亡率、骨折、残疾、可预防住院、带红色代码进入急诊科和紧急住院方面，在TPR中测量的ANN性能分别为0.81、0.77、0.76、0.74、0.70和0.67，而在DT中，每个问题的TPR分别为0.80、0.75、0.78、0.73、0.70和0.65。考虑这两种机器学习方法(ANN和DT)在TPR值上的表现，ANN在死亡率和骨折问题上优于DT，而DT在残疾和进入红码问题上优于ANN。我们还可以看到，在死亡率问题中LR的TPR值高于SVM。这表明，更复杂的机器学习模型(如ANN, SVM)并不一定总是优于更简单的模型(如DT, LR)。在10次交叉验证中，RF分类器在大多数问题上取得了与SVM和ANN相当的性能。 On the other hand, tree-based classifiers (RF and DT) are more sensitive to bad features and quality of data. Therefore, effective feature selection is an important step to improve their performance. The SVM model tends to perform well in high-dimensional classification problems; however, it may not perform well if the sample classes of the problem are highly overlapping. ANN can generally outperform other techniques if the dataset is very large and if the structure of the dataset is complex (eg, if it has many layers).

总的来说，机器学习是一个探索性的过程，不存在一刀切的问题。特别是，没有一种公认的模型可以为所有问题类型、领域或数据集实现最高性能[gydF4y2Ba49gydF4y2Ba］．根据变量的特征、数据的大小和使用的度量标准，性能最好的机器学习模型因问题而异。这个想法类似于“没有免费的午餐”定理[gydF4y2Ba50gydF4y2Ba，gydF4y2Ba51gydF4y2Ba，它指出，不存在对所有问题都最有效的通用算法。然而，为了达到有效的预测设计，通过仔细评估每个模型来研究每个问题是很重要的。研究结果还表明，使用各种优化参数值以及使用最重要的预测变量仔细探索和评估机器学习技术的性能是至关重要的。特别是，基于树的分类器(如RF和DT)对过拟合问题更敏感，如图所示gydF4y2Ba图3gydF4y2Ba而且gydF4y2Ba4gydF4y2Ba在死亡率和断裂问题上，如果没有选择正确的特征子集，或者没有正确配置模型所需的参数值。图中的精度清楚地表明，RF和DT中特征数量的增加导致模型过拟合。有趣的是，支持向量机和神经网络模型在训练和测试中表现出相对一致的性能，即使特征数量增加。gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

一个可以使用行政卫生数据的预测模型将在各种情况下有用，以分类那些有脆弱风险的个人并提供预防性干预措施。在这项研究中，我们使用不同的分类技术进行了几个实验，以建立脆弱的预测模型。结果表明，就不同的评估指标而言，机器学习模型在不同的问题之间可能存在显著差异。与预测残疾、骨折、红色代码紧急入院、紧急住院和可预防住院相比，所探索的模型显示出可靠的预测能力，可以更好地估计死亡风险。虽然每个模型都不是预测所有虚弱结果的综合模型，但我们已经证明，当使用10倍交叉验证时，SVM模型在预测死亡率和紧急住院方面比其他模型显示出更高的总体准确性(0.79)。另一方面，除了神经网络，所有其他机器学习模型在预测红色代码的急诊入院方面都表现出相对较差的整体准确性。gydF4y2Ba

此外，我们的结果显示，减少特征显著提高性能。为了减少过拟合问题，提高分类器的预测性能，执行特征选择过程，其中选择可用特征的最佳子集。在每个二元分类问题中，所有自变量都使用卡方特征选择方法在坚持和交叉验证方法中对每个结果进行排名。对死亡率问题进行10倍交叉验证，ANN、SVM、RF、LR和DT的TPR值(也称为敏感性)分别为0.81、0.77、0.79、0.78和0.80。在holdout方法中，ANN、SVM和RF得到了几乎相似的结果，而DT在死亡率问题上使用10倍交叉验证得到了比holdout方法更高的TPR值。一般来说，10倍交叉验证通过平均超过10个不同的分区来减少方差;因此，它对训练和测试数据中的任何分区偏差都不那么敏感。在预测急诊入院红色代码时，GP的TPR值优于SVM、ANN、LR、RF和DT，而SVM在预测急诊住院的各项评价指标上均优于所有模型。gydF4y2Ba

一般来说，从实验结果中可以观察到一个重要的现象:平均而言，一些机器学习模型从相同的结果中产生了非常相似的结果，而表现最好的模型在不同的指标方面因结果而异。例如，SVM和ANN在死亡率和住院结果的所有评估指标上平均产生相似的性能。RF和LR在残疾和骨折结果的所有测量中平均表现相似。然而，每个机器学习模型的预测结果从死亡率到骨折或骨折到住院等不同。这可以证明通过定期收集的行政健康数据库识别虚弱的老年受试者的可行性。gydF4y2Ba

优势与局限gydF4y2Ba

我们研究的优势在于可以使用最强大的预测机器学习模型来包含多维管理数据库。与之前的研究相比，预测模型使用了各种各样的输入变量，包括临床和社会经济方面，同时有六个结果。使用常规收集的社会临床数据可以代表个人储备的多维损失，从而可以预测老年人的预期结果。此外，评估和分析了六种不良结果对虚弱的预测，这在研究虚弱与虚弱者多种健康状况之间的关系方面向前迈出了一步。gydF4y2Ba

我们的研究有局限性。尽管原始数据有多个结果，但每个机器学习算法都是为预测单一结果而设计的，并且每个结果都是独立于其他结果进行分析的。因此，应进一步研究构建一个预测模型，考虑输出变量之间的相关性，为给定的、以前未见过的患者提供相关输出列表。此外，患者的性别等信息也可纳入研究，以了解与性别有关的因素，以及它们对老年人住院和死亡率的影响。gydF4y2Ba

结论gydF4y2Ba

利用行政卫生数据库提供的信息进行预测建模是一种有效的方法，可以识别出适合进行干预以防止不良后果的虚弱老年人。所提出的预测模型可用于检测和预测不良结果风险增加的虚弱人群。这项研究表明，基于机器学习的预测模型可用于使用临床和社会经济变量筛查未来的虚弱状况，这些变量通常在社区医疗机构收集。通过努力提高预测性能，这种基于机器学习的方法可以进一步有助于改善老年社区的虚弱干预措施。gydF4y2Ba