谵妄被描述为“急性脑衰竭”，被认为是一种“医疗紧急情况”和“无声的流行病”[ 1， 2］．它是内科病人和住院病人中最常见的神经精神疾病[ 3.］．在加拿大、美国、英国和澳大利亚，它也被公认为护理质量指标[ 4- 8］．谵妄的症状对病人和照顾者来说都是严重和痛苦的[ 9， 10]是诱发因素和诱发因素之间复杂相互作用的结果[ 9］．精神错乱患者在医院死亡或需要安置在养老院的可能性是其他患者的两倍多，影响到50%的老年住院患者[ 11- 14］．谵妄的长期影响是严重的，因为它与恶化的认知障碍和偶发痴呆有关[ 14- 17］．谵妄患者住院时间更长，再入院率增加，医疗费用增加一倍多。Leslie等人的研究[ 18]表明与谵妄相关的1年医疗费用为每位患者16,303美元至64,421美元。最近的估计表明，它占美国每年医疗保健支出的1830亿美元[ 18， 19］．高达40%的谵妄病例是可以预防的，许多剩余的谵妄病例可以通过实施标准化的多成分方案得到更好的管理[ 19， 20.］．这些项目可为每位患者节省高达3800美元的住院费用，在谵妄发作后的一年内，每人每年可节省16,000美元[ 19， 20.］．然而，在常规临床护理中，存在显著的实践差距，大多数医院没有始终如一地实施最佳实践[ 19- 21］．

使用谵妄作为质量指标的一个关键障碍是缺乏一种可靠和可扩展的方法来早期识别谵妄病例。临床医生不善于使用临床格式塔识别谵妄，其识别率在16% - 35%之间[ 22］．混淆评定法[ 23]是众多谵妄筛查工具之一，但使用它需要时间和训练;因此，CAM等工具的使用相对较少。例如，Hogan等人[ 23]发现只有28%的以老年为重点的急诊科使用谵妄筛查工具。

由于谵妄很难当场识别，人们对谵妄发生后的识别很感兴趣，无论是通过行政图表复查(即寻找证据因素，如使用抗精神病药物)还是通过回顾性识别。理想情况下，谵妄的识别将是前瞻性的，证明了一种方法，以确定那些在发展谵妄的最高风险，针对这些个体的谵妄识别干预。然而，谵妄的回顾性鉴定也可以用于确定谵妄率，这可以作为质量指标和旨在改善质量的干预措施的有效性措施。

许多预测谵妄的模型都是基于已知的诱发和诱发危险因素而开发的[ 18］．然而，目前的模型有局限性[ 24］．首先，它们依赖于未作为临床护理一部分常规收集的变量，如先前存在的认知障碍和功能状态，这使得它们难以扩展[ 25］．例如，英国国家临床卓越研究所谵妄风险识别模型要求在电子记录中提供认知障碍和感觉障碍的信息[ 26- 28］．其次，对谵妄识别模型的系统回顾强调了它们的识别不足，以及关于模型如何验证的许多方法学问题，如其准确性和预测能力不足。该综述的结论是，模型的表现可能被夸大了[ 26］．第三，先前谵妄的风险识别模型倾向于使用有限的一组机器学习方法[ 7， 29- 33]，并倾向于忽略文本数据[ 34］．

随着诸如本研究中使用的电子临床数据存储库的日益可用，数据挖掘和机器学习等方法可以补充或取代传统的统计模型[ 27， 32， 34- 38］．医学文本挖掘需要自然语言处理(NLP)方法来提取有价值的医疗信息，并为识别模型导出可计算的变量[ 39］．NLP已被证明在从医学文本中提取信息为可支持临床决策的计算有用形式方面非常有效[ 40- 47］．

情感分析使用机器学习和NLP分析作者的情感文本(例如，积极与消极，或者在我们的案例中，谵妄与非谵妄相关的文本)[ 46- 48］．我们采用情绪分析来预测有关谵妄状态的情绪。因此，在随后的分析中，积极(有谵妄)和消极(没有谵妄)状态是一个新的(二元)情绪特征。使用这种基于谵妄的文本情感分析，我们创建了一个文本派生的特征，用于估计每次入院的谵妄状态。

我们项目的总体研究目标是回顾性地识别住院期间的谵妄病例，使用从入院到出院的所有可用数据，以估计谵妄率，从而量化与谵妄相关的质量改善干预措施的效果。在本研究中，我们将重点放在方法学目标上，即证明将NLP方法纳入谵妄回顾性鉴定的价值。

多伦多学术健康科学网络的研究伦理委员会(REB)批准了GEMINI研究(REB参考编号15-087)。REB批准的延期由多伦多统一健康REB(参考编号15-087)发布。Trillium Health Partners获得了单独的REB批准。

这篇论文也是GEMINI子研究的一部分，名为“使用人工智能识别和预测住院医疗患者中的谵妄”，该研究已获得多伦多大学REB的批准(批准编号为38377)。

GEMINI中包含的数据表被合并为一个适合进行机器学习的表工作表。在此之前，从数据表中选择合并相关变量，如下小节所述。

医学成像数据表包含磁共振图像和计算机断层扫描的文本描述，这些图像经过过滤，仅包括脑或头部成像。与实验室测试数据文件类似，每次成像测试有1行;因此，每次准入可能有多行。如果每次入场都有多个测试，则我们首先将测试中的文本描述连接起来，然后通过清理、标记和向量化对该文件使用文本挖掘。

用于机器学习的数据集代表了从多个来源集成的数据，例如，实验室结果、药物、放射科医生报告和管理数据。我们采用情绪分析来预测有关谵妄状态的情绪。因此，积极(有谵妄)和消极(没有谵妄)状态是一个二元情感，然后在随后的分析中形成了一个新特征。使用这种基于谵妄的文本情感分析，我们创建了一个文本派生的特征，用于估计每次入院的谵妄状态。

在情感分析之前进行了初步的文本分析。文本清理包括大写字母转换、停止词删除、标点符号删除、词内分隔、标记化和词元化，并且使用 nltk［ 39), sklearn［ 60)包。接下来，词频-逆文档频率，字数表示，和 n-gram方法用于文本向量化。

然后训练总共8个基线机器学习分类模型进行情感分析，分别是逻辑回归、朴素贝叶斯、支持向量机(SVM)、决策树、随机森林、梯度增强、 XGboost，以及多层感知器。超参数调优应用 RandomSearchCV(即，通过参数设置的交叉验证搜索优化超参数的随机搜索)[ 60］．

最后选择梯度增强作为情感分析方法 F₁-得分在8个分类中最高。最终的模型是一个随机梯度提升(0.8子样本)，使用200个估计量，以Friedman均方误差为标准，最大深度为3。然后，我们使用所选的梯度增强模型，从文本中医学图像的描述中创建一个具有预测二值情感的特征。

我们将这个新功能与10个实验室测试和电子健康记录数据集成在一起，创建了一个完整的数据文件，用于训练和测试机器学习识别模型。

共实施了12种具有预测谵妄状态任务的监督分类算法。涵盖大多数类型机器学习模型的12种机器学习算法如下:

为了建模，我们将集成的完整数据分为2部分，一个训练集和一个测试集。如 图1，数据跨度5年，从2010年4月1日到2015年3月31日。我们将这段时间分为10个6个月的时间段。我们将前9段，即2010年4月1日至2014年9月30日作为训练集。过去6个月期间，即2014年10月1日至2015年3月1日，被用作抵抗数据(即测试集)，以估计相对于构建模型所使用的数据，模型未来可能的性能。这使我们能够评估数据中是否存在任何非平稳性，这将影响我们基于现有数据开发的模型来预测未来谵妄的能力。

在训练集中，我们使用5倍交叉验证来调整12种机器学习算法的模型参数。然后，我们使用5倍交叉验证的调优参数来确定测试组或拒绝组中每个入院患者的谵妄状态。

我们在holdout测试集上测试模型性能，并计算6个评价指标来找到最佳模型，即accuracy, precision, recall或sensitivity， F₁-评分、特异性和受试者工作特征曲线下面积(ROC-AUC)。

准确性回答了我们在所有录取中正确标注了多少录取的问题。

精确性回答了一个问题，即我们预测有谵妄的人中有多少人真的患有谵妄。

敏感性代表被正确标记为患有谵妄的谵妄患者的比例。

F₁-得分是精密度或回忆的加权平均值，其中 F₁-score在1时达到最佳值，在0时达到最差值。

特异性回答了有多少阴性病例(即没有谵妄的人)被正确预测的问题。

ROC曲线使用不同阈值设置下的真阳性率和假阳性率进行绘制。计算出的ROC-AUC表明，我们的二元分类器对随机选择的正实例的排名高于随机选择的负实例的概率(假设“正”的排名高于“负”)。

12种机器学习算法，以及超参数调优和交叉验证，都在Python包中实现 Scikit-learn［ 60］．超参数调优使用 RandomizedSearchCV而且 GridSearchCV功能。交叉验证通过 cross_val_score， cross_validate,而且 cross_val_predict功能。

梯度增强分类器使用 GradientBoostingClassifier函数。AdaBoost分类器使用 AdaBoostClassifier函数。神经网络分类器的实现采用 MLPClassifier函数。决策树分类器采用 DecisionTreeClassifier函数。k -最近邻分类训练使用 KNeighborsClassifier函数。逻辑回归分类器使用 LogisticRegression函数。随机森林分类器采用 RandomForest分类器函数。SVM方法使用了 支持向量机函数。高斯朴素贝叶斯方法实现了 GaussianNB函数。线性判别分析分类器的训练采用 LinearDiscriminantAnalysis函数。二次判别分析分类器采用 QuadraticDiscriminantAnalysis函数。带有软设置的投票分类器使用 分类器投票函数。

我们使用超参数调优和前9个时间段的5倍交叉验证来训练这些模型。我们展示了3个表现最好的模型的结果 表2，其余9个模型的计算结果载于 多媒体附件1．在这两个表中，我们报告了前9个时间段数据的平均性能超过5倍。

然后我们测试了我们的谵妄识别(感性或+NLP)模型，该模型将NLP纳入了训练过程。我们将+NLP模型的结果与经过训练的无NLP (-NLP)谵妄识别模型的结果进行了比较，该模型基于GEMINI数据集中最近6个月的数据。在过去6个月的数据中，3个表现最好的模型在预测谵妄标签方面的表现显示在 表3．中其他9个模型的结果也有类似的表述 多媒体附件2．值得注意的是，我们在测试数据上使用了来自训练数据的最佳表现模型的调优参数。

在训练集中，我们提出的谵妄(+NLP)模型在准确性、精密度、回忆或敏感性、率、ROC-AUC和 F₁-评分，而谵妄(-NLP)模型产生最好的特异性。在测试集中，谵妄(+NLP)和谵妄(-NLP)模型的表现延续了相同的趋势。

请注意, F₁-score是灵敏度和精度的平衡，ROC-AUC是由灵敏度和特异性产生的，因此我们的谵妄(+NLP)模型在平衡灵敏度、精度和特异性方面表现最好。在谵妄等急性疾病中，敏感性尤其重要，因为未能识别疾病(漏诊)的成本高于虚假警报的成本。因此，目前的结果表明，感性(vs非感性)谵妄识别模型应该在临床实践中更有用。

我们还跨时间测试了+NLP和-NLP模型，在使用最近的时间段作为坚持集之前，在9个时间段中每次移动一个坚持集。因此，将每个时间段作为测试集，而将其他9个时间段作为滚动的训练集，如图所示 图1．对应的训练数据和独立坚持或测试数据的数据分布在 表4． 表5而且 6在数据分割中，呈现队列患者特征的数据分布。

图2显示了表现最好的机器学习算法的识别结果，即跨10个时间段的梯度增强。图中的8个面板表示使用的8个评估指标。

请注意，在8个面板中的每个面板中显示了2个不同的行 图2表示2种不同类型模型(即Delirium [+NLP]和Delirium [-NLP])的相应评估指标的结果。每一行中的10个数据点显示了性能如何随着坚持时间段的时间变化而变化。总体而言，情感(+NLP)模型的识别性能优于非情感(-NLP)模型。此外，情感(+NLP)模型的性能在不同的时间段比其他方案更趋于稳定。也可以看出，精度，召回，和 F₁随着时间的推移，-评分往往比其他3项指标更不稳定，即使这些性能指标在谵妄(+NLP)模型中保持相对稳定。

图3提出了梯度增压模型的校准，发现提供了最佳的整体性能。

与最后6个月时间段的结果一样，谵妄(+NLP)模型使用前9个时间段的数据作为坚持集也表现最佳。谵妄(+NLP)模型优于谵妄(-NLP)模型在准确性、精密度、回忆或敏感性、漏报率、ROC-AUC和 F₁分数。

总的来说，在预测谵妄的存在方面，包含NLP的机器学习模型要么表现得更好，要么与不包含NLP的模型竞争。谵妄(+NLP)模型的表现在特异性指标上相对较弱，但该指标在不同的坚持集上变化很大，这表明它是一种不太可靠的性能指标。如回忆测量所示，谵妄(+NLP)模型更善于发现真阳性，即对入院者或有真实谵妄标签的患者识别谵妄。谵妄(+NLP)模型在4个方案中表现最好，在灵敏度方面具有持续的高性能， F₁-score(平衡灵敏度和精度)，ROC-AUC。

先前的谵妄风险识别模型倾向于使用一套有限的机器学习方法[ 7， 29- 33]，并倾向于忽略文本数据[ 34］．此外，大多数用于识别谵妄的机器学习识别模型仅通过简单的数据划分(分别随机划分80%/20%用于训练和验证分类模型)或交叉验证进行评估[ 30.， 32， 33］．相比之下，我们使用独立的保留数据或测试数据(训练数据中的交叉验证和滚动基础上在时间段内完全独立的测试数据，如图所示 图1)，为识别模型提供更严格的测试。

先前的研究发现，与研究的临床评估相比，使用CAM等工具的常规临床筛查少报了高达75%的谵妄病例[ 61- 64］．虽然我们无法直接比较我们的模型与CAM结果在相同患者中的表现，但文献中有充分的记录表明，常规临床使用CAM对于研究或质量测量是不可靠的，这加强了对我们在本研究中开发的模型的需求。值得注意的是，蒙特利尔认知评估主要用于评估稳定的认知障碍，而不是谵妄。

谵妄(+NLP)模型提供了识别谵妄病例之间的最佳平衡，在他们存在的地方，而不是错误地将非谵妄病例标记为谵妄。基线谵妄方案在检测真阴性时表现更好。这可能是因为我们的GEMINI数据集不平衡，75%的入院患者为非谵妄;因此，一个差调的模型可以通过偏向于预测非谵妄获得更好的准确性。

处理精度和召回率之间权衡的一种方法是使用 F₁-得分，是精密度和灵敏度或召回得分的调和平均值(平均值)。有了这个更平衡的测量，我们提出的谵妄(+NLP)模型在所有时间段都优于没有NLP的模型。

我们的谵妄(+NLP)方法将NLP派生的特征集成到多源医疗数据中，以提高模型的性能和有用性。这种方法也可以扩展到其他医疗识别环境。

这种方法有几个重要的应用，包括质量测量和质量改进，研究项目中的统计风险调整，以及回顾性队列中的大规模观察研究。目前还没有可扩展的解决方案来回顾性地识别医院中谵妄的发生，CAM没有得到充分利用，可能是因为缺乏训练有素的临床资源。我们一致认为，谵妄的前瞻性预测在临床上是有用的，关于这一主题的研究正在进行中。然而，回顾性预测对于质量管理目的和评估预防谵妄的干预措施的有效性也很重要。通常，CAM的实现很差，使用也很少[ 23］．

谵妄在常规数据源中未被识别的一个主要原因是它的记录经常不一致，使用了各种同义词(例如，混乱和意识水平的改变)。唯一经过验证的、高质量的回顾性识别谵妄的方法是基于图表的谵妄识别仪器复查方法，我们将其作为训练机器学习模型的金标准标记方法。这种方法是时间密集型的，每张医院图表需要1个小时。因此，它不容易应用于大型数据集。因此，开发可以使用常规收集的临床和行政卫生保健数据的模型代表了对文献的重大贡献，因为它们可以使依赖于谵妄病例回顾性识别的研究和高质量应用成为可能。

建立能够在住院时或住院期间实时预测谵妄风险的模型是可取的。开发这些模型的一个障碍是有足够大的数据集来训练它们。我们的模型试图对有谵妄或没有谵妄的住院进行回顾性准确分类，然后可以用于标记(使用模型预测)大型数据集，然后可以用于生成质量估计，并为进一步的模型预测提供基础。

谵妄是一种非常普遍、可预防和可治疗的神经认知障碍，如果不治疗，其预后非常差。它的特点是急性发作的精神状态波动、精神运动障碍和幻觉，而且很难发现，因为症状通常可以归因于其他原因。通过谵妄或谵妄风险的自动识别，更好的谵妄预测将为更高质量的护理创造机会。在本文报道的研究中，我们已经证明，与没有NLP的标准机器学习方法相比，NLP方法的结合可以显著提高识别能力。我们还表明，随着时间的推移，改变坚持期可以估计模型识别的时间稳定性。这种类型的平稳性分析的另一个有用的特征是，它可以用来确定表现出非平稳性的不可靠评估标准，并确定就其有效性随时间的变化而言非平稳性的模型。在这项研究中，我们发现精度是一个不可靠的标准，在不同时期有很大的波动。

本研究的结果证明了NLP在识别重要的医疗结果方面的价值，我们建议未来的研究应集中在(1)将NLP应用于医疗记录以提取更多有价值的信息;(2)通过添加解释来增强谵妄(+NLP)模型，使所得到的模型更具消耗性，更容易集成到临床工作流程中。