基于情感的自然语言处理提高谵妄识别的准确性:混合方法研究

简介

背景

谵妄被描述为“急性脑衰竭”，被认为是一种“医疗紧急情况”和“无声的流行病”[1，2］．它是内科病人和住院病人中最常见的神经精神疾病[3.］．在加拿大、美国、英国和澳大利亚，它也被公认为护理质量指标[4-8］．谵妄的症状对病人和照顾者来说都是严重和痛苦的[9，10]是诱发因素和诱发因素之间复杂相互作用的结果[9］．精神错乱患者在医院死亡或需要安置在养老院的可能性是其他患者的两倍多，影响到50%的老年住院患者[11-14］．谵妄的长期影响是严重的，因为它与恶化的认知障碍和偶发痴呆有关[14-17］．谵妄患者住院时间更长，再入院率增加，医疗费用增加一倍多。Leslie等人的研究[18]表明与谵妄相关的1年医疗费用为每位患者16,303美元至64,421美元。最近的估计表明，它占美国每年医疗保健支出的1830亿美元[18，19］．高达40%的谵妄病例是可以预防的，许多剩余的谵妄病例可以通过实施标准化的多成分方案得到更好的管理[19，20.］．这些项目可为每位患者节省高达3800美元的住院费用，在谵妄发作后的一年内，每人每年可节省16,000美元[19，20.］．然而，在常规临床护理中，存在显著的实践差距，大多数医院没有始终如一地实施最佳实践[19-21］．

使用谵妄作为质量指标的一个关键障碍是缺乏一种可靠和可扩展的方法来早期识别谵妄病例。临床医生不善于使用临床格式塔识别谵妄，其识别率在16% - 35%之间[22］．混淆评定法[23]是众多谵妄筛查工具之一，但使用它需要时间和训练;因此，CAM等工具的使用相对较少。例如，Hogan等人[23]发现只有28%的以老年为重点的急诊科使用谵妄筛查工具。

由于谵妄很难当场识别，人们对谵妄发生后的识别很感兴趣，无论是通过行政图表复查(即寻找证据因素，如使用抗精神病药物)还是通过回顾性识别。理想情况下，谵妄的识别将是前瞻性的，证明了一种方法，以确定那些在发展谵妄的最高风险，针对这些个体的谵妄识别干预。然而，谵妄的回顾性鉴定也可以用于确定谵妄率，这可以作为质量指标和旨在改善质量的干预措施的有效性措施。

许多预测谵妄的模型都是基于已知的诱发和诱发危险因素而开发的[18］．然而，目前的模型有局限性[24］．首先，它们依赖于未作为临床护理一部分常规收集的变量，如先前存在的认知障碍和功能状态，这使得它们难以扩展[25］．例如，英国国家临床卓越研究所谵妄风险识别模型要求在电子记录中提供认知障碍和感觉障碍的信息[26-28］．其次，对谵妄识别模型的系统回顾强调了它们的识别不足，以及关于模型如何验证的许多方法学问题，如其准确性和预测能力不足。该综述的结论是，模型的表现可能被夸大了[26］．第三，先前谵妄的风险识别模型倾向于使用有限的一组机器学习方法[7，29-33]，并倾向于忽略文本数据[34］．

随着诸如本研究中使用的电子临床数据存储库的日益可用，数据挖掘和机器学习等方法可以补充或取代传统的统计模型[27，32，34-38］．医学文本挖掘需要自然语言处理(NLP)方法来提取有价值的医疗信息，并为识别模型导出可计算的变量[39］．NLP已被证明在从医学文本中提取信息为可支持临床决策的计算有用形式方面非常有效[40-47］．

情感分析使用机器学习和NLP分析作者的情感文本(例如，积极与消极，或者在我们的案例中，谵妄与非谵妄相关的文本)[46-48］．我们采用情绪分析来预测有关谵妄状态的情绪。因此，在随后的分析中，积极(有谵妄)和消极(没有谵妄)状态是一个新的(二元)情绪特征。使用这种基于谵妄的文本情感分析，我们创建了一个文本派生的特征，用于估计每次入院的谵妄状态。

客观的

我们项目的总体研究目标是回顾性地识别住院期间的谵妄病例，使用从入院到出院的所有可用数据，以估计谵妄率，从而量化与谵妄相关的质量改善干预措施的效果。在本研究中，我们将重点放在方法学目标上，即证明将NLP方法纳入谵妄回顾性鉴定的价值。

方法

数据源

概述

全科医学住院病人计划(GEMINI)是加拿大安大略省的一个多机构研究合作项目。GEMINI开发了收集和标准化医院电子临床数据的基础设施和方法。本研究的数据来自6家医院(圣迈克尔医院、多伦多总医院、多伦多西部医院、Trillium Credit Valley医院、Trillium Mississauga医院和Sunnybrook医院)。GEMINI正在成为临床研究和质量测量的丰富资源[4，49-52］．严格的内部验证流程证明，关键数据类型的准确性为98%至100% [50］．

在GEMINI中，管理健康数据与从医院信息系统中提取的临床数据(表1）.

管理数据

从医院收集患者水平的特征，并报告给加拿大健康信息出院摘要数据库和国家门诊护理报告系统。诊断数据和干预措施采用增编的《加拿大疾病和相关健康问题国际统计分类》和《加拿大健康干预分类》进行编码。

临床数据

来自GEMINI电子信息系统的数据包括实验室检测结果(生物化学、血液学和微生物学)、输血、住院药物、生命体征、成像报告和病房转移。通过统计质量控制流程和直接数据验证，确保了这些数据关键要素的质量[53］．GEMINI数据提取方法允许访问大量理想的文本处理方法的数据，包括放射科医生的诊断成像报告。

本研究报告的谵妄病例是由训练有素的医疗专业人员使用经过验证的方法通过手工病历审查确定的[54］．这种方法主要依赖于通过对医生、护士和跨专业文献的详细回顾来识别谵妄或其众多的同义词(如混乱)。与临床评估相比，该方法具有良好的敏感性(74%)和特异性(83%)，被认为是鉴别谵妄的合适金标准，用于研究和提高质量[54］．

我们使用了来自GEMINI数据集的11个数据文件，其中包含3862个根据谵妄状态手动标记的入院记录。数据文件包括临床和管理数据，如中所述表1．然而，标记谵妄是高度劳动密集型的，训练有素的审查员回答以下问题作为过程的一部分:“从急性混淆状态(例如，谵妄，精神状态改变，注意力不集中，定向障碍，幻觉，激动，不当行为等)的图表中是否有任何证据?”因此，尽管图表回顾标签可以用来训练更有效的机器学习方法，但它们太昂贵了，无法根据住院期间是否经历过谵妄来标记所有老年患者。

在我们的研究中，我们使用了图表回顾法[51]以标记我们数据集中关于谵妄的病例子集。评分者之间的可靠性是通过让第二个抽象者盲审5%的图表来评估的，达到90%的评分者之间的可靠性。这导致了在本文报告的分析中使用的3862例住院病例。数据文件包括临床和管理数据，如中所述表1．

伦理批准

多伦多学术健康科学网络的研究伦理委员会(REB)批准了GEMINI研究(REB参考编号15-087)。REB批准的延期由多伦多统一健康REB(参考编号15-087)发布。Trillium Health Partners获得了单独的REB批准。

这篇论文也是GEMINI子研究的一部分，名为“使用人工智能识别和预测住院医疗患者中的谵妄”，该研究已获得多伦多大学REB的批准(批准编号为38377)。

数据预处理

GEMINI中包含的数据表被合并为一个适合进行机器学习的表工作表。在此之前，从数据表中选择合并相关变量，如下小节所述。

实验室测试

本数据文件共纳入45项医学检测，如血尿素氮、平均细胞体积、高敏肌钙蛋白等。请注意，在每次入院时，并非所有45项医学检查都进行了，尽管有些检查在同一患者中进行了多次。在原始实验室检测数据文件中，每个医学检测实例对应一个单独的记录。我们将实验室测试表转换为每次入场的单行表，其中每列代表不同的测试。由于患者通常接受的是可用测试的一小部分，因此有许多空细胞(即稀疏性)，并且一些细胞必须代表同一测试的多个实例。为了解决稀疏变量的问题，我们将它们转换为1或0个标志变量(1表示已执行测试，0表示未执行测试)。对于经常进行的检查，我们记录了每次入院检查结果的最小值、最大值、中值和频率。如果在50%的录取中至少进行了5次测试，我们计算每次录取的测试结果的SD作为额外的汇总测量。

病人的诊断

我们首先将《国际疾病分类第十版》(ICD-10)映射到临床分类软件(CCS)的出院诊断代码，这个过程我们之前描述过[4，49，50，55］．我们使用所有可用的ICD-10代码，包括那些回顾性分配的代码，这不应被视为数据泄漏，而是利用所有可用的数据来服务于使用。医生团队确定了240个可能与谵妄相关的独特CCS代码。然后，我们为这240个独特的CCS代码创建了标志变量(布尔值)，以表明入院是否涉及每种诊断。请注意，我们没有为ICD-10代码创建标志变量，因为这将极大地增加分析中的特征数量。

临床干预措施

这套特征涵盖了一系列临床干预措施，包括按照加拿大健康干预措施分类编码的外科和内窥镜手术。使用两个变量记录每次入院的干预次数。第一个衍生变量是每次入院进行的干预次数(包括同一干预的重复)。第二个衍生变量计算每次入院的独特干预次数。数据文件中没有使用其他有关干预措施的信息。

空间转移

我们计算了每次入院的房间转移数量，这是这个数据表中使用的唯一变量。

临床风险评分

我们使用了以下临床评分，这些评分是疾病严重程度和患者不良结局风险的标志:56]、实验室急性生理评分[57和肾脏疾病:改善整体预后急性肾损伤分期[58］．

急诊分诊评分

我们对表示急诊分诊时患者病情严重程度的特征应用了单热编码，分诊采用5分量表，由加拿大分诊和敏锐度量表衡量[59］．

行政入职与离职资料

我们对表示患者根据住院、出院和转院系统入院和出院的医疗服务类型的特征应用one-hot编码。我们还计算了住院时间，并得出了一个特征来表明患者出院到哪里。

药物

这个文件每次有1行，按原样使用。

特别护理组

只有320名入院患者有特殊护理单元信息，因此我们创建了一个带有二进制编码的标记变量，以表明患者在入院期间是否在特殊护理单元接受过护理。

输血

该医疗数据表仅包含429例包含输血信息的入院病例;因此，我们用二进制编码创建了1列来表示它的存在或不存在。

放射医师诊断影像报告的NLP

医学成像数据表包含磁共振图像和计算机断层扫描的文本描述，这些图像经过过滤，仅包括脑或头部成像。与实验室测试数据文件类似，每次成像测试有1行;因此，每次准入可能有多行。如果每次入场都有多个测试，则我们首先将测试中的文本描述连接起来，然后通过清理、标记和向量化对该文件使用文本挖掘。

用于机器学习的数据集代表了从多个来源集成的数据，例如，实验室结果、药物、放射科医生报告和管理数据。我们采用情绪分析来预测有关谵妄状态的情绪。因此，积极(有谵妄)和消极(没有谵妄)状态是一个二元情感，然后在随后的分析中形成了一个新特征。使用这种基于谵妄的文本情感分析，我们创建了一个文本派生的特征，用于估计每次入院的谵妄状态。

在情感分析之前进行了初步的文本分析。文本清理包括大写字母转换、停止词删除、标点符号删除、词内分隔、标记化和词元化，并且使用nltk［39),sklearn［60)包。接下来，词频-逆文档频率，字数表示，和n-gram方法用于文本向量化。

然后训练总共8个基线机器学习分类模型进行情感分析，分别是逻辑回归、朴素贝叶斯、支持向量机(SVM)、决策树、随机森林、梯度增强、XGboost，以及多层感知器。超参数调优应用RandomSearchCV(即，通过参数设置的交叉验证搜索优化超参数的随机搜索)[60］．

最后选择梯度增强作为情感分析方法F₁-得分在8个分类中最高。最终的模型是一个随机梯度提升(0.8子样本)，使用200个估计量，以Friedman均方误差为标准，最大深度为3。然后，我们使用所选的梯度增强模型，从文本中医学图像的描述中创建一个具有预测二值情感的特征。

我们将这个新功能与10个实验室测试和电子健康记录数据集成在一起，创建了一个完整的数据文件，用于训练和测试机器学习识别模型。

模型构建与培训

共实施了12种具有预测谵妄状态任务的监督分类算法。涵盖大多数类型机器学习模型的12种机器学习算法如下:

• 集成机器学习模型:梯度增强分类器、AdaBoost分类器、随机森林和投票分类器软件
• 非参数机器学习模型:k近邻和决策树
• 线性参数机器学习模型:逻辑回归、线性支持向量机和线性判别分析
• 非线性参数机器学习模型:二次判别分析，神经网络:深度学习中的多层感知器分类器
• 基于贝叶斯的机器学习模型:高斯朴素贝叶斯。

为了建模，我们将集成的完整数据分为2部分，一个训练集和一个测试集。如图1，数据跨度5年，从2010年4月1日到2015年3月31日。我们将这段时间分为10个6个月的时间段。我们将前9段，即2010年4月1日至2014年9月30日作为训练集。过去6个月期间，即2014年10月1日至2015年3月1日，被用作抵抗数据(即测试集)，以估计相对于构建模型所使用的数据，模型未来可能的性能。这使我们能够评估数据中是否存在任何非平稳性，这将影响我们基于现有数据开发的模型来预测未来谵妄的能力。

‎ 查看此图

在训练集中，我们使用5倍交叉验证来调整12种机器学习算法的模型参数。然后，我们使用5倍交叉验证的调优参数来确定测试组或拒绝组中每个入院患者的谵妄状态。

结果

概述

我们在holdout测试集上测试模型性能，并计算6个评价指标来找到最佳模型，即accuracy, precision, recall或sensitivity，F₁-评分、特异性和受试者工作特征曲线下面积(ROC-AUC)。

准确性回答了我们在所有录取中正确标注了多少录取的问题。

精确性回答了一个问题，即我们预测有谵妄的人中有多少人真的患有谵妄。

敏感性代表被正确标记为患有谵妄的谵妄患者的比例。

F₁-得分是精密度或回忆的加权平均值，其中F₁-score在1时达到最佳值，在0时达到最差值。

特异性回答了有多少阴性病例(即没有谵妄的人)被正确预测的问题。

ROC曲线使用不同阈值设置下的真阳性率和假阳性率进行绘制。计算出的ROC-AUC表明，我们的二元分类器对随机选择的正实例的排名高于随机选择的负实例的概率(假设“正”的排名高于“负”)。

12种机器学习算法，以及超参数调优和交叉验证，都在Python包中实现Scikit-learn［60］．超参数调优使用RandomizedSearchCV而且GridSearchCV功能。交叉验证通过cross_val_score，cross_validate,而且cross_val_predict功能。

梯度增强分类器使用GradientBoostingClassifier函数。AdaBoost分类器使用AdaBoostClassifier函数。神经网络分类器的实现采用MLPClassifier函数。决策树分类器采用DecisionTreeClassifier函数。k -最近邻分类训练使用KNeighborsClassifier函数。逻辑回归分类器使用LogisticRegression函数。随机森林分类器采用RandomForest分类器函数。SVM方法使用了支持向量机函数。高斯朴素贝叶斯方法实现了GaussianNB函数。线性判别分析分类器的训练采用LinearDiscriminantAnalysis函数。二次判别分析分类器采用QuadraticDiscriminantAnalysis函数。带有软设置的投票分类器使用分类器投票函数。

实验结果

我们使用超参数调优和前9个时间段的5倍交叉验证来训练这些模型。我们展示了3个表现最好的模型的结果表2，其余9个模型的计算结果载于多媒体附件1．在这两个表中，我们报告了前9个时间段数据的平均性能超过5倍。

然后我们测试了我们的谵妄识别(感性或+NLP)模型，该模型将NLP纳入了训练过程。我们将+NLP模型的结果与经过训练的无NLP (-NLP)谵妄识别模型的结果进行了比较，该模型基于GEMINI数据集中最近6个月的数据。在过去6个月的数据中，3个表现最好的模型在预测谵妄标签方面的表现显示在表3．中其他9个模型的结果也有类似的表述多媒体附件2．值得注意的是，我们在测试数据上使用了来自训练数据的最佳表现模型的调优参数。

在训练集中，我们提出的谵妄(+NLP)模型在准确性、精密度、回忆或敏感性、率、ROC-AUC和F₁-评分，而谵妄(-NLP)模型产生最好的特异性。在测试集中，谵妄(+NLP)和谵妄(-NLP)模型的表现延续了相同的趋势。

请注意,F₁-score是灵敏度和精度的平衡，ROC-AUC是由灵敏度和特异性产生的，因此我们的谵妄(+NLP)模型在平衡灵敏度、精度和特异性方面表现最好。在谵妄等急性疾病中，敏感性尤其重要，因为未能识别疾病(漏诊)的成本高于虚假警报的成本。因此，目前的结果表明，感性(vs非感性)谵妄识别模型应该在临床实践中更有用。

我们还跨时间测试了+NLP和-NLP模型，在使用最近的时间段作为坚持集之前，在9个时间段中每次移动一个坚持集。因此，将每个时间段作为测试集，而将其他9个时间段作为滚动的训练集，如图所示图1．对应的训练数据和独立坚持或测试数据的数据分布在表4．表5而且6在数据分割中，呈现队列患者特征的数据分布。

图2显示了表现最好的机器学习算法的识别结果，即跨10个时间段的梯度增强。图中的8个面板表示使用的8个评估指标。

请注意，在8个面板中的每个面板中显示了2个不同的行图2表示2种不同类型模型(即Delirium [+NLP]和Delirium [-NLP])的相应评估指标的结果。每一行中的10个数据点显示了性能如何随着坚持时间段的时间变化而变化。总体而言，情感(+NLP)模型的识别性能优于非情感(-NLP)模型。此外，情感(+NLP)模型的性能在不同的时间段比其他方案更趋于稳定。也可以看出，精度，召回，和F₁随着时间的推移，-评分往往比其他3项指标更不稳定，即使这些性能指标在谵妄(+NLP)模型中保持相对稳定。

图3提出了梯度增压模型的校准，发现提供了最佳的整体性能。

‎ 查看此图

‎ 查看此图

与最后6个月时间段的结果一样，谵妄(+NLP)模型使用前9个时间段的数据作为坚持集也表现最佳。谵妄(+NLP)模型优于谵妄(-NLP)模型在准确性、精密度、回忆或敏感性、漏报率、ROC-AUC和F₁分数。

讨论

主要研究结果

总的来说，在预测谵妄的存在方面，包含NLP的机器学习模型要么表现得更好，要么与不包含NLP的模型竞争。谵妄(+NLP)模型的表现在特异性指标上相对较弱，但该指标在不同的坚持集上变化很大，这表明它是一种不太可靠的性能指标。如回忆测量所示，谵妄(+NLP)模型更善于发现真阳性，即对入院者或有真实谵妄标签的患者识别谵妄。谵妄(+NLP)模型在4个方案中表现最好，在灵敏度方面具有持续的高性能，F₁-score(平衡灵敏度和精度)，ROC-AUC。

先前的谵妄风险识别模型倾向于使用一套有限的机器学习方法[7，29-33]，并倾向于忽略文本数据[34］．此外，大多数用于识别谵妄的机器学习识别模型仅通过简单的数据划分(分别随机划分80%/20%用于训练和验证分类模型)或交叉验证进行评估[30.，32，33］．相比之下，我们使用独立的保留数据或测试数据(训练数据中的交叉验证和滚动基础上在时间段内完全独立的测试数据，如图所示图1)，为识别模型提供更严格的测试。

先前的研究发现，与研究的临床评估相比，使用CAM等工具的常规临床筛查少报了高达75%的谵妄病例[61-64］．虽然我们无法直接比较我们的模型与CAM结果在相同患者中的表现，但文献中有充分的记录表明，常规临床使用CAM对于研究或质量测量是不可靠的，这加强了对我们在本研究中开发的模型的需求。值得注意的是，蒙特利尔认知评估主要用于评估稳定的认知障碍，而不是谵妄。

谵妄(+NLP)模型提供了识别谵妄病例之间的最佳平衡，在他们存在的地方，而不是错误地将非谵妄病例标记为谵妄。基线谵妄方案在检测真阴性时表现更好。这可能是因为我们的GEMINI数据集不平衡，75%的入院患者为非谵妄;因此，一个差调的模型可以通过偏向于预测非谵妄获得更好的准确性。

处理精度和召回率之间权衡的一种方法是使用F₁-得分，是精密度和灵敏度或召回得分的调和平均值(平均值)。有了这个更平衡的测量，我们提出的谵妄(+NLP)模型在所有时间段都优于没有NLP的模型。

我们的谵妄(+NLP)方法将NLP派生的特征集成到多源医疗数据中，以提高模型的性能和有用性。这种方法也可以扩展到其他医疗识别环境。

这种方法有几个重要的应用，包括质量测量和质量改进，研究项目中的统计风险调整，以及回顾性队列中的大规模观察研究。目前还没有可扩展的解决方案来回顾性地识别医院中谵妄的发生，CAM没有得到充分利用，可能是因为缺乏训练有素的临床资源。我们一致认为，谵妄的前瞻性预测在临床上是有用的，关于这一主题的研究正在进行中。然而，回顾性预测对于质量管理目的和评估预防谵妄的干预措施的有效性也很重要。通常，CAM的实现很差，使用也很少[23］．

谵妄在常规数据源中未被识别的一个主要原因是它的记录经常不一致，使用了各种同义词(例如，混乱和意识水平的改变)。唯一经过验证的、高质量的回顾性识别谵妄的方法是基于图表的谵妄识别仪器复查方法，我们将其作为训练机器学习模型的金标准标记方法。这种方法是时间密集型的，每张医院图表需要1个小时。因此，它不容易应用于大型数据集。因此，开发可以使用常规收集的临床和行政卫生保健数据的模型代表了对文献的重大贡献，因为它们可以使依赖于谵妄病例回顾性识别的研究和高质量应用成为可能。

建立能够在住院时或住院期间实时预测谵妄风险的模型是可取的。开发这些模型的一个障碍是有足够大的数据集来训练它们。我们的模型试图对有谵妄或没有谵妄的住院进行回顾性准确分类，然后可以用于标记(使用模型预测)大型数据集，然后可以用于生成质量估计，并为进一步的模型预测提供基础。

结论

谵妄是一种非常普遍、可预防和可治疗的神经认知障碍，如果不治疗，其预后非常差。它的特点是急性发作的精神状态波动、精神运动障碍和幻觉，而且很难发现，因为症状通常可以归因于其他原因。通过谵妄或谵妄风险的自动识别，更好的谵妄预测将为更高质量的护理创造机会。在本文报道的研究中，我们已经证明，与没有NLP的标准机器学习方法相比，NLP方法的结合可以显著提高识别能力。我们还表明，随着时间的推移，改变坚持期可以估计模型识别的时间稳定性。这种类型的平稳性分析的另一个有用的特征是，它可以用来确定表现出非平稳性的不可靠评估标准，并确定就其有效性随时间的变化而言非平稳性的模型。在这项研究中，我们发现精度是一个不可靠的标准，在不同时期有很大的波动。

本研究的结果证明了NLP在识别重要的医疗结果方面的价值，我们建议未来的研究应集中在(1)将NLP应用于医疗记录以提取更多有价值的信息;(2)通过添加解释来增强谵妄(+NLP)模型，使所得到的模型更具消耗性，更容易集成到临床工作流程中。