预测一个端到端的自然语言处理应用的医学案例编码的复杂性:算法的开发和验证

介绍

背景

医疗编码(1是医疗诊断和程序翻译成标准的诊断和程序代码使用医学术语分类和控制。医院和战略活动资金,因此,它的优化是一个优先级在卫生保健系统的财务压力。在许多国家,在世界范围内,包括瑞士、医院融资是基于所谓的未来的支付系统(2,3)机制。在瑞士未来的支付系统,例如,住院病人被分配到diagnosis-related组(4)根据诊断和程序代码来自医疗文档,并且每个住院支付根据diagnosis-related组分配。因此,医疗编码密切相关,一方面,医疗文档,另一方面,医院收入。除了建立还款凭证,医疗编码用于其他几个目标,例如制定预算计划住院治疗或评估医疗服务的质量通过手术后并发症发生率等指标。

诊断和程序代码的一个特定的情况下(即住院)来自临床文档如放电信件,手术报告,医生和护士的笔记,和实验室和影像学结果。疾病和有关健康问题的国际统计分类,10日修订(icd - 10) (5),通常是用于诊断编码,而分类系统用于代码程序可以因国家而异6]。

代码手动输入到一个医院信息系统。在瑞士,有200 >编码规则管理代码条目和必须由医学应用程序员。后者是卫生保健专业人士为此经历了特殊的训练。然而,尽管训练、医疗编码仍然是一个复杂、快速发展,耗时和容易出错的任务。在我们的高等学术医疗中心医疗编码人员自2018年以来一直分为专业团队。在一批的情况下,50%是分发给“常见的锅,”和其他50%是分发到相应的专业医疗团队程序员。“普通锅”的情况下随机分布到每个团队。更高比例的情况下对专业团队不是设想的原因3。首先,它可能导致的损失一般知识编码。第二,它可能导致医疗程序员无聊。 Third, it will not always be possible to guarantee a sufficient number of cases for certain teams. Thus, a way to increase the efficiency of the current distribution of work without going toward a counterproductive overspecialization [7)是强迫要求高的专业知识是分配给有经验的和专业的程序员。这种方法只能通过检测的复杂度情况下提前分布式和编码。

近年来,人工智能(AI)方法已经越来越多地提出了改善医疗编码的效率和准确性。他们的主要目标是支持医疗程序员找到最合适的诊断对于一个给定的医疗文档和程序代码。传统的模型、深度学习模型如卷积神经网络和短期记忆,和变形金刚一直在训练和测试自动编码任务使用公开数据集用英语(8- - - - - -13]。最近,这个工作也已扩大到非英语如法语语料库[14,15]。除了学术方法,商业软件自动编码也被开发和引入市场。例如,瑞士商业软件,如ID (16)基于规则的算法适用于执行自动编码。他们的原理是使用预先构建的icd - 10编码字典和他们的文本标签,试图找到临床相匹配的文本标签,然后将文本转换为icd - 10编码。最近的工具,如集体思考[17]和360年包括(3米)18)提高了基于规则的算法和机器学习(ML)技术。最后,解决方案,比如Sumex [19]依靠统计方法来分析icd - 10编码识别的分布和组合编码模式可能不一致。

尽管越来越多的可用的解决方案,自动编码的有效性仍然是有限的。表现最好的股票之一毫升模型,虽然精度可以达到大约75%,宏观F₁分数只能达到10%至12% (12,20.,21]。结果表明,即使是最好的模型只能捕获的一小部分医学从自由文本编码。因此,改善医疗编码使用AI-assisted策略仍然是一个开放的挑战(Kaur R,未发表的数据,2021年7月)。

目标

我们的研究的目的不是要找到一个方法来预测从病历icd - 10编码。相反,它是提高编码质量和效率的预测编码复杂度的编码过程之前。我们的主要目标是带来更多的效率提高编码质量的编码过程医疗程序员和手段来实现这是一个创新的解决方案使用毫升。创新是使用ML检测的复杂性,然后使用它来更好的调度工作中医疗编码人员。我们所知,从来没有使用过这种方法。它允许更有效的分布情况下根据编码人员的能力和经验。因此,我们将能够最小化潜在的人为错误,因为随机分配和不均匀分布的编码技术在医院的编码部门或单位。最终,通过了解编码的复杂性,简单的情况下可以分配给初学者或非专业人士程序员AI-assisted系统最大化其效用而复杂的例AI-assisted工具仍然是低效分配给编码或至少有经验的医疗专家程序员。

根据临床文档的数量进行检查和其他因素,如呆的长度或医学专家参与的多元化治疗一个病人,编码一个案例可能是简单或复杂的任务。一旦被编码,它通常是容易的人这样做了分类成复杂性水平的情况下,代表编码活动的复杂性。然而,预测的复杂性水平情况下预先对人类非常耗时的编码器,需要深入分析的整个文档,最终相当于直接进行编码的过程。

预测编码的复杂性任务以自动方式预编码阶段,我们使用先进的自然语言处理(NLP)技术分析预测的临床文献和提取特征情况下的复杂性。我们提出了一个端到端的方法,集成了NLP和ML模型进了医院临床数据仓库和终端用户的编码系统。NLP和ML模式预测情况复杂性的准确度与人类程序员通过专家。其测试版目前正在部署洛桑大学医院。我们所知,我们是第一个提出并发展这种创新的方法。

本文的其余部分组织如下。提出了在应用程序细节方法部分,并给出了性能和分析结果部分。在讨论节中,我们将讨论我们的应用程序的价值和重要性以及使用NLP在卫生保健。

方法

伦理批准

州的伦理委员会授予的广州沃州人类研究一个完整的弃权在这项研究中考虑到其自然回顾和质量保证要求- 2022 - 00677。

Overivew

我们描述一个典型的医疗编码工作流图1。后住院(隔夜)住院患者在医院治疗,产生一个放电的信。医疗程序员分析诊断放电字母和诊断转化为国际疾病分类和相关的健康问题,10日修订(icd - 10)代码。有时,程序员需要参考其他临床文档(例如,干预协议和实验室报告)翻译准确的信息。diagnosis-related组编码计算根据icd - 10编码和发送到保险公司进行结算。保险公司报销账单到医院基于接收到的diagnosis-related组代码。如果保险公司发现错误的代码,他们要求修改编码服务。我们提供我们的决策支持系统的概述图2并描述其融入医院信息系统图3。

‎

‎

‎

复杂性的定义

我们使用术语“编程复杂度”来描述所需的时间和专业的医疗程序员分配医疗病例诊断代码。

专业知识可以被定义为水平的经验,医学知识,掌握编码规则。因此,医疗情况下可以通过应用许多复杂的编码规则不困难,但增加关注错误的可能性。其他情况下可能是复杂和困难的,因为他们需要的医学知识为适当的编码。因此,复杂性是衡量选择分类情况。

如果编码一个医疗情况不需要太多时间和深厚的专业知识,编码复杂度很低(1级;图4)。相反,如果编码一个医学案例需要大量的时间和深度的专业知识,编码复杂度高(4级;图4)。

编码的复杂性,类似于疼痛或满意度,是一个主观的量。一个潜在的目标定义编码复杂度的方法可以提供的自动编码模型。通过医疗情况下通过自动编码模型和手动检查信心得分和icd -代码的完成和准确的预测,我们可以将病例分为简单和复杂的组织。然而,由于有限的性能(即得分非常低的召回)当前的自动编码模型无论语言(12,20.,21),这种方法不会带来太多价值我们的情况。此外,如果编码复杂度可以度量使用简单的客观数据(如,类似于血压),我们的多通道建模方法将是无用的。因此,在这项研究中,我们定义的编码复杂度将专注于医疗程序员提供的主观评价,旨在减少主观性用毫升方法和预测复杂性的主观评分。

‎

训练我们的ML模式,我们提取2060医疗病例从2021年的住院病人(住院病人)。我们组织2注释阶段,每个阶段持续1周,28程序员率情况下的复杂性。在每个注释阶段,程序员认为给定的情况下基于评估的复杂性网格(图4)。

数据收集和预处理

数据源和数据注释

一个医学案例包含两种类型的数据:病人病人的医疗档案和元数据(文本框1)。我们总共收集了2060例注释阶段。我们注意到在我们医院由程序员编码团队专业在不同的医学领域。因此,在注释中,我们还记录是否被专家编码。例如,如果单位负责一个案子内科单位和编码器编码这种情况下是谁的专业在心脏病学的情况下,没有编码的情况下被认为是其专业的编码器。

2060年收集的病例中,有1998例(96.99%)被28医疗程序员注释,与每个编码只有1编码器最大化标注集的规模。不同医疗编码人员的复杂性可能有不同的看法相同的情况下,我们评估的评分者间信度要求2专家程序员代码3.01%(62/2060)的病例。这些62例也代表我们的黄金标准创建基准模型的性能。如何选择,我们首先训练几个模型使用1998例;然后使用最好的预测模型的预测的复杂性,一些情况下从我们的数据仓库;最后,随机选择62例的预测,同时确保复杂分布这些62例遵循相同的复杂性的带注释的数据集,每62例被评为每个专家的程序员,他们被认为是专家对所有案件。这62为对照的情况下被称为集合。

元数据预处理

失踪病人的元数据是估算基于数据的性质。年龄和长度等数值,缺失值与现有的中值估算值,因为他们的倾斜分布(图5)。性别等分类值和公民地位,缺失的值与现有的模式估算值。

‎

文本数据预处理

我们测试了两个经典的词frequency-inverse文档频率(TF-IDF)的文本编码和ML-based文本编码,并相应地应用不同的文本预处理步骤。对于TF-IDF文本编码,我们首先标记化的文本;然后把停止的话;最后,取代了实体与实体类型。第二个和第三个步骤被用来减少噪音和增加重要的单词的频率提供更好的信号模型。文本提出了处理的一个例子文本框2。

等ML-based文本编码fastText (Facebook人工智能研究实验室)和变形金刚,没有应用预处理。

模型设计

概述

整体模型的方法设计如下。首先,我们从预处理特征提取元数据和文本数据。第二,我们测试了2建模方法:框架问题作为一个分类问题或者是一个回归的问题。建模方法的基础上,我们用不同的指标来评估模型的性能。

工程特性

对病人的元数据的值有不同的尺度,我们应用标准化(z分数)数值数据和分类数据在一个炎热的编码。

从自由文本中提取特征,我们使用2方法:TF-IDF和文字嵌入。

TF-IDF提供了一个数值的重量是多么重要的一个词的集合文件(多媒体附录1)。我们测试了2配置TF-IDF方法:使用前10000常用词或使用前1000名最常用的词汇。我们发现,使用前10000常用词,执行的模型比只使用排名前1000的常用词。因此,在下面几节中,我们只报告结果使用前10000名常用词TF-IDF向量。

字嵌入提供的矢量表示一个单词根据上下文在它出现。我们测试了三种类型的字嵌入:(1)word2vec [22,23]嵌入对准250万临床收集的文本(12 GB)医院的临床数据仓库;(2)集中输出(CLS令牌)的最先进的法语transformer模型法语的理解通过双向编码器陈述变压器(福楼拜)[24),pretrained 71 GB的法国文本从互联网上收集;(3)fastText监督方法(25)与嵌入的初始化pretrained word2vec嵌入的(1),我们测试了fastText subword提供了方法,可以减少词汇表之外的影响(OOV)问题。详细分析OOV提供了这项研究多媒体附录1。

文本框3显示了使用不同的方法提取的向量的大小。并给出了详细的转换方法多媒体附录1。

模型架构

案件的复杂性与离散值范围从1到4;因此,我们可以把它当作一个多分类问题或回归问题。中给出的测试模型图6。

分类和回归,我们使用不同的功能组合作为输入训练模型。组合如下:(1)元数据,(2)字嵌入的,(3)TF-IDF向量,和(4)TF-IDF连接元数据。

实现了整个过程的模型图7。在培训中,我们应用5倍交叉验证,以减少过度拟合。标签是不平衡的,我们使用分层抽样交叉验证的分类模型。我们执行hyperparameter最有前途的特性和模型的优化。TF-IDF,我们优化的字数考虑词汇(最高的频繁词)和文本预处理(小写,词元化,去除停止词,和删除nonalphanumeric令牌)。gradient-boosted树模型,我们估计的数量,学习速率和最大深度。Hyperparameters调整基于交叉验证集的平均性能在所有折叠使用贝叶斯优化。

此外,我们测试了福楼拜的微调序列分类模型使用拥抱脸变压器库(26]。FlaubertForSequenceClassification应用程序编程接口提供了一个pretrained福楼拜模型分类层大小1024。需要原始文本作为输入和输出预测的类(在我们的例子中,复杂性水平)。在所有的实验中,我们最好的结果使用微调FlauBERT-base外露的模型。值得注意的是,我们冻结了前11层编码器和训练最后编码器层和分类层限制过度拟合。我们还加权熵中的每个类不同损失占不平衡。我们使用的最大序列长度512令牌和批处理大小为32。在这个手稿,我们只报告调整福楼拜结果使用这个配置。

‎

‎

数据不平衡

我们的数据标签是强烈不平衡,我们试图利用过采样和采样技术解决此问题。我们最好的模型训练使用合成少数过采样技术(27为采样过密弱势类其次是随机采样过多类。我们也选择了量度惩罚模型没有预测未被充分代表的类,比如宏观F₁分数。顺序分类也可以是一个有趣的“混合”的方式。然而,我们离开尝试更复杂的分类方法为未来的工作。

技术堆栈

毫升管道利用广大的(3.1版本;爆炸AI)预处理文本(使用法语模型“fr_core_news_md”), scikit-learn(版本1.0.1)来构建复杂的管道,可以用交叉验证工作,和Optuna(版本2.10.0;首选网络公司)进行hyperparameter搜索。它还简化了部署所选模型预处理是一个序列化的管道的一部分。尝试其他方法使用的其他工具是fastText文档分类、Gensim(稀有技术有限公司)操纵嵌入pretrained词,和拥抱的脸变形金刚(拥抱的脸,Inc)使用pretrained变压器模型。培训进行虚拟机与64年中央处理单元核心,允许我们并行化训练,和一个Nvidia RTX 3090大深度学习模型的图形处理单元。

的第一个版本选择模型与机器学习模型被部署操作化管理基础设施在我们的医疗编码服务。介绍了部署细节多媒体附录1。

结果

元数据分析

每个团队的程序员有一组医学专业。我们认为由专家如果带注释的注释器是一个团队的一部分从一个专业的参与情况。按照这个逻辑,63.98%(1318/2060)的病例被专家注释。我们使用这个特性在训练。在推理时,我们可以选择请求预测是否将由专家编写。

数值的分布元数据和分类元数据提出了图5。检查如果任何元数据有显著预测力编码复杂度,我们进行皮尔逊相关性数值的元数据特性和复杂性之间的评级;我们还进行了统计测试分类特性,比如患者性别和婚姻状况(表1)。结果表明,在预编码阶段,特性,比如句子长度和数量的医疗服务访问期间保持没有强烈影响编码的复杂性。在邮政编码阶段,icd - 10编码和瑞士手术分类编码显示相关性编码的复杂性。这些结果,我们建议NLP的未来方向,或者AI-assisted编码可以使用元数据和临床文本预测编码的数量的情况下可能会产生,然后比较后获得的实际代码编码过程进行质量检查在邮政编码阶段。

编码器评级分析

复杂性评级的情况下所示图8答:最常见的评级是复杂性2(1127/2060,54.71%的病例),和最常见的评级是复杂性4(58/2060,2.82%的病例)。我们使用分层抽样选择训练集和测试集;因此,他们的分布几乎相同的真实分布所示图8一个。

最初的医疗服务也会影响其复杂性。图8B显示案件的姑息治疗平均复杂度最高,而案件的胸外科平均最低的复杂性。

通过分析的标准设置,所有病例被2专家,我们发现即使是专家程序员并不总是一致。的62例病例中,2专家同意41 (66%)。然而,他们不同意由多个复杂性水平只有3%(2/62)的情况下(表2)。评分者间信度(科恩κ分数)为0.49 2专家程序员之间。如果我们认为一位专家是地面真理和其他专家预测模型,宏观F₁分数的“预测模型”只能达到0.67 (图9),适度好成绩显示,任务可以学到的,但模型将不会达到一个非常高的性能。

为什么程序员率相同的情况下不同复杂性水平主要是主观的。这也是一个提醒,subjective-rated标签经常吵,和没有模型可以实现完美的性能。2专家程序员之间的比率协议给了我们一个想法的性能我们可以期望从一个模型。如果我们认为一位专家预测的模型复杂性和其他专家给真正的复杂性标签,这个模型的精度最高可以达到66%(前专家)。从这个意义上讲,当以后我们的模型的性能分析,66%的准确率可以被视为一个基准。然而,鉴于复杂性标签强烈的不平衡,我们应该也依赖混淆矩阵比较与model-annotator annotator-annotator协议协议。

然而,正如模型设计部分中提到的,我们的样品是高度不平衡,和准确性测量模型的性能指标缺乏能力全面根据样本分布。有54.71%(1127/2060)的病例评分与复杂性的一个简单模型,预测2可能达到54.71%的准确率,但它没有提供价值为解决我们的问题。考虑到样本分布不平衡,我们使用了宏-F₁分数与精度测量模型的性能。宏,F₁2程序员之间的得分是0.67,这被认为是另一个基准测试用于评估模型的性能。

‎

‎

模型分析

概述

首先,我们想要研究是否我们的方法在预测编码复杂度医疗病例。我们利用所有2060例注释(n = 1998, 96.99% 1-coder-rated和n = 62, 3.01%为对照病例)。我们将2060例分为训练集(n = 1751, 85%的病例)和一个测试组(n = 309, 15%的病例)和测试我们的模型架构。然后,验证模型的性能与专家程序员的基准,我们离开了3.01%(62/2060)的标准情况下作为测试集和训练模型相同的架构,但有更多的训练数据(1998/2060,96.99%的病例)。

主要的模型

训练模型,我们开始通过使用病人仅元数据或文字嵌入或TF-IDF向量作为输入功能。表现最好的病人使用元数据模型(宏观−gradient-boosted树F₁分数= 0.46;分类精度= 0.61;R²回归= 0.15)。使用词表现最好的模型嵌入fastText分类模型(宏观−F₁分数= 0.47;精度= 0.57;初始化自定义嵌入的),表现最好的模型使用gradient-boosted树(宏观−TF-IDF向量F₁分数= 0.45;分类精度= 0.62;R²回归= 0.26)。

模型使用词使用TF-IDF嵌入不优于模型向量。因此,我们结合TF-IDF向量与元数据作为输入特性来自病人的集成信息的元数据和医疗档案。表现最好的模型使用gradient-boosted树和宏观−实现F₁分数为0.51和0.59的准确性旨在训练集和宏观−F₁分数为0.46和0.58精度测试集。图6展示了不同模型之间的性能比较5-fold-cross-validated训练数据集和测试集,可以找到详细的数字多媒体附录1。

表现良好在未被充分代表的类是很重要的在我们的例子中,我们报告宏-F₁分数作为第一个指标。宏观F₁得分的平均值F₁不加权分数每个类和类实例的数量。与准确性,这个指标同样惩罚每一个类。的基础上宏观F₁分数,我们选择最好的模型与组合TF-IDF gradient-boosted树训练和元数据特性(称为主要模型)。

混淆矩阵(图10和10 b)表明,我们的主要模型困惑complexity-2和complexity-3病例在训练和测试。图9表明,即使是对于专家程序员,没有明显的区别,当等级2和3例复杂性。很难区分复杂性2和3之间的相似之处可能是由于2类的病例。我们注意到我们的主要模型也有困难区分复杂性3和4在训练和测试。这种性能可能是由于缺乏例子。虽然我们进行过采样使用合成少数过采样技术在例3和4的复杂性,它仍然缺乏变化complexity-4病例。

然后我们试图合并complexity-1和complexity-2案例作为“简单”案例和complexity-3 complexity-4案例作为“复杂”案例作为二元分类器和测试模型。结果(图10C和10 d)表明,该模型在区分执行简单和复杂的情况。在训练集,实现了宏观模型F₁分数为0.62和0.71的准确性。在测试集,实现了宏观模型F₁分数为0.65和0.71的准确性。

‎

验证模型

来验证我们的模型方法,并比较其与专家的基准,我们训练有素的验证模型使用1-coder-rated病例的96.99%(1998/2060),测试为对照的3.01%(62/2060)的病例。验证模型的架构是一样的,主要的模型。

2专家程序员的评级(之间的比较图9)表明,大多数专家程序员的分歧在complexity-2 complexity-3情况下,和整体协议2程序员之间的比例为66%(41/62),宏观F₁得分为0.67。表3和图9B显示了对比验证模型和2专家评级模型的标准集。同意53%(33/62)的病例与专家编码器1和63%(39/62)的病例与专家编码器2。验证模型取得了61%的协议比平均评级的专家,宏观F₁得分为0.62。

当合并4复杂性水平到2(简单与复杂;图10C和10 d),该协议2程序员之间的比例变得与宏观- 84% (52/62)F₁得分是0.76,该协议比例模型预测和宏观平均评级专家成为0.89F₁得分为0.82。结果表明,该模型可以与人类专家的性能和预测在一个非常相似的方式与人类专家(图9一个和9 b)。

对照的病例,有趣的是,我们的验证模型成功预测complexity-4病例100%正确,这是不同于主模型的性能在训练和测试(图10一个和10 b)。只有4例复杂性选择专家4由于抽样的情况下,这些案件可能是极其复杂的,因此,模型容易识别。

与其他模型相比,可以提供更高的精度,但低F₁得分,主要模型和验证模型更实用我们具体的用例,因为它是重要的预测不同复杂性水平,而不是保持预测复杂性的2例(多媒体附录1)。

分类与回归

我们总结两种方法的优缺点给予我们的用例文本框4。

‎

讨论

主要研究结果

我们提出不同的ML模型可以预测编码的复杂性医疗情况下4复杂性水平。我们第一次在所有2060例注释训练模型。当只使用病人的元数据,最好的模型(gradient-boosted树)可以实现宏观−F₁得分0.46,0.61分类的准确性,和一个R²0.15的回归。通过应用NLP从临床文本中提取信息的方法,最好的模型(fastText初始化自定义嵌入的)可以实现宏观−F₁分数为0.47和0.57分类的准确性。当结合病人的元数据和NLP-extracted信息,最好的模型(模型中的主要模型分析部分)宏观−实现F₁得分0.51和0.59的准确性的旨在训练集和宏观−F₁分数为0.46和0.58的测试集的精度。

评估我们的模型方法与专家的基准,我们训练有素的验证模型使用相同的架构为主要模型除了对照的病例。我们的验证模型实现了与宏观−0.61的准确性F₁分数为对照的0.62例。当合并4复杂性水平到“简单”复杂性(1 - 2)和“复杂”(3 - 4)复杂性的情况下,我们的验证模型能达到0.89和宏观−的准确性F₁得分为0.82。结果表明,模型的性能是非常类似的与人类专家。

我们所知,这是第一个研究应用NLP和ML模型来帮助区分编码医疗情况下的复杂性。

临床重要性

瑞士洛桑大学医院有两个任务:保证医疗服务在一个区域,作为转诊医院。2例复杂性水平的主导地位(称为案例2)标记样本情况下可以用这个来解释双活动作为医院不仅集中在大学或称为复杂病例,但也收到正常情况下类似于其他医院。

在当前医疗服务编码,编码的情况下分布团队的专业和50%的50%“普通锅”。这支球队与普通锅分布是随机不考虑复杂的情况下,把常见的锅和复杂的情况下,相反,剥夺了“简单”的共同锅专业资源的情况下。注意,在我们的案例中,程序员仍然可以从普通锅选择复杂的情况下,即使不是他们的专业。许多程序员关心的多样性或学习其他类型的情况下。这个模型的集成使他们能够有意识地选择复杂性。

例2的主导地位将会迫使很多情况下普通锅,减少病例的数量到达不同专业的团队,因此,减少普通锅专家的比例。complexity-3 complexity-4情况下的编码质量将得到改善,因为他们将被重定向到专业团队或高级程序员。但是,这也会降低编码质量的情况下的风险,这将最终共同锅。因此,有必要保持50/50常见的锅和团队之间的比例或高级程序员,迫使编码的情况下2团队或老年人。这种调整将提高编码质量的情况下最多3和4例2。我们的系统部署后,新的分布考虑我们的NLP和ML模型预测的复杂性将监控方面的满意度的编码团队和编码的准确性。此外,我们将分析编码的准确性与预测情况调整模型设计复杂性和更有效地分配分发给程序员。

在我们当前的模型中,案件由程序员定义的复杂性从我们的医疗服务和主观评价。通过分析模型预测为各种不同的情况下,可以总结这些共同特征的高复杂性的情况下,共享低的情况下。总结特性可以用来建立一套客观规则,可以共享与其他临床服务或其他医院的医疗编码服务。对于小型医院或临床服务,并不总是有足够的资源来培训和建立自己的ML模型,这组规则可以帮助他们更有效地分配情况。相反,如果总结特性不能辨别之间的简单和复杂的情况下,这可能反映了案件的复杂性是主观而不是客观的措施。在这种情况下,最好的方法概括这个主观测量是建立一个模型,如在我们的方法中,学习高度非线性主观措施。

编码一个医疗情况的复杂性可以近似反映相应的临床病例的复杂性。我们的应用程序不仅可以改善资源分配医疗编码服务也被推广到其他临床服务。事实上,编码复杂度水平也可以用于决策过程来帮助仲裁资源分配专业人士在同一部门内但隶属于不同的临床服务部门。例如,在手术,类似的方法可以应用于帮助研究需要基于资源为不同的细分专业治疗病例的数量也相对复杂。广义应用程序可以集成到不同的数字医疗系统自动任务分配来避免冲突的一种不公平的工作负载分布。

技术的重要性

OOV是可以损害模型性能的一个问题。虽然word2vec嵌入在这项研究中被训练用于自己的临床数据,OOV仍然存在,我们使用的语料库训练嵌入可能并不足以涵盖所有临床医学放电中使用文档。减轻OOV的影响,我们测试了fastText subword方法。然而,如模型分析部分所示,模型的性能没有改善因为低OOV比我们的数据集,这是只有大约8%的2060例选择病例研究。我们提供一个详细的分析OOV语料库多媒体附录1。

作为新的临床文档生产每一天,我们的部署模型也可能面临造成的受损表现OOV问题。我们在本文中提出的解决方案来减少这种影响是监控的发展新的OOV对训练数据集和再教育嵌入这个词。在培训阶段,我们将不仅再教育嵌入这个词还再教育与编码器反馈模型,进一步提高模型的性能从模型的角度特性工程和工程。

在我们的研究中,我们使用了福楼拜是一个pretrained法语变压器,在两个不同的方面。第一个使用它的方法是生成字嵌入作为模型输入的文本特征。然后,我们还测试了一个拥抱的脸26使用福楼拜]实现序列的分类模型。给出了这种方法的详细描述多媒体附录1。最佳的性能取得了宏观直接使用变压器模型F₁得分为0.47,这是类似于其他模型,只接收文本功能。模型的性能没有改善预期。原因可能是,我们的数据集太小(只有2060例)的大小与变压器模型。关于这个问题,我们将继续收集编码器反馈预测情况和使用它们不断训练模型。通过这些方法,我们希望在未来提高transformer模型的性能。

我们发现使用TF-IDF向量作为文本特性提供了更好的预测性能比使用字嵌入作为文本特征。fastText和福楼拜嵌入pretrained在临床前语料库;因此,这个词的上下文表示可能偏离文本上下文用于临床。如元数据分析部分所示,平均每个保持文档的长度为909个令牌。比起普通pretrained的基于变压器模型处理512令牌,也不是明显的子集的文档应该被选中传递给模型。虽然可以克服这个限制512年嵌入每个块令牌和平均嵌入的,我们相信,大幅改善其他方法证明需要计算成本。此外,fastText和字嵌入两个执行平均超过所有向量的每个文档,这可能会削弱信号给令牌的数量太多了。相比之下,TF-IDF可以保留一些这方面的信息,这可能是为什么TF-IDF向量比字嵌入在我们的任务。未来方向改善模型性能可以结合TF-IDF向量与字嵌入的文本功能。TF-IDF向量可以用作重量的重要性的话,而字嵌入可以表示单词的上下文。 By combining the two, we could obtain vectors that represent both the importance and context of the words comprehensively. Another possible approach to improve the model performance is to build a rule-based model from coders’ experiences and then combine the rule-based model with the ML model, which can increase both the interpretability and flexibility of the prediction. As the complex cases are more likely to have multiple laboratory tests and clinical examinations, we could also include this structured clinical information for future feature engineering.

通过比较模型的预测专家程序员的评级,我们发现,该模型可以实现性能水平的专家(图9)。评级情况复杂性相对主观,甚至专家程序员并不总是一致。这引入了另一个对我们的研究的复杂程度。然而,通过学习训练集的1998例,我们的模型的性能比较与专家。

我们的模型的优点之一是,我们用了一个多通道的方法。结构化数据,如病人元数据可以提供定量信息病人的状态。临床文本可以提供丰富的诊断信息和其他评估的患者,通常不提交的结构化数据。通过结合这两个,我们能够最大化所需的信息评估临床病例的复杂性。我们的研究使用1模型处理数据的不同的形式和作出预测。在未来的工作中,我们建议使用专门为每个数据形态模型,结合多个模型的预测使用另一个毫升模型做出最后的预测。使用多个模型的好处是,(1)很容易插入新的数据和新模型体系结构,使得该模型灵活的扩展,和(2)更容易执行工程特点和解释模型的预测。

分类模型的优势在我们的回归模型研究,分类模型允许我们生产预测的信心。通过展示预测复杂性水平和预测的信心,我们能够提供全面的信息给终端用户。然而,我们的模型也有局限性。对于这个项目我们收集的2060例病例中,54.71%(1127/2060)被贴上complexity-2,贴上complexity-4只有2.82% (58/2060)。不平衡数据集分类模型的性能影响,这意味着模型有更高的趋势预测的复杂性2对于一个给定的情况下。这个问题是由过采样解决弱势情况下采样过多的情况。结果表明,该模型与过采样和采样技术表现得更好(多媒体附录1)。

我们的模型将被集成到现有的编码系统与一个活跃的学习模块。图11展示了集成体系结构。模型读取病人临床数据仓库元数据和医疗档案定期从我们通过工作流管理器。提出了预测编码软件的用户界面。当程序员发现预测偏离感知到的复杂性,他们可以把一个反馈领域的修正。程序员的反馈存储和发送到模型再培训。这种集成体系结构允许我们跟踪和不断提高的性能模型。

未来的工作

未来的工作可以进行不同的方面。提高模型的预测性能,我们可以继续工作特性和工程模型。除了我们使用的数据在这项研究中,可能会有其他病人数据,可能是有用的预测情况下的复杂性。关于文本的特性,我们可以尝试不同的组合NLP最大化从临床信息提取文本的工具。我们还将继续致力于减少OOV影响通过再培训嵌入(word2vec和fastText)和TF-IDF向量每6个月和使用编码器反馈作为新的训练样本对模型进行再培训。充分利用先进的变压器模型,我们不仅会保持训练使用新的样本还探索将病人的元数据模型设计。我们还将与程序员一起工作,以建立一种声音和解释的基于规则的模型,然后把它与ML模型。混合模型可以提供灵活性和良好的推理区分这两种情况。

目前,大多数NLP应用程序关注AI-assisted编码使用基于规则或ML模式。正如之前提到的,规则框架医疗编码复杂度是动态的和随时间变化,防止工具的快速学习。而不是只使用AI-assisted工具编码,可以延长AI-assisted范围从案例预选到邮政编码质量检查。我们的方法提供了一种可能性预选情况,适用于自动编码和其他情况下手动编码。案件编码后,AI-assisted工具可以提供一个事后分析代码的分类和组合,旨在找到可能的错误代码。可以通过研究以前编码的情况下使用统计和NLP分析。

我们还致力于不断评估应用程序的影响我们的医疗编码服务。集成后,我们将监测编码器花费的平均时间编写用例和错误的平均数量编码器使针对每种情况。通过比较之前和之后的时间和精度的整合,我们可以获得一个定量测量的改进模型能带来多少程序员的日常工作。

除了监测代码的质量,我们将继续追踪编码人员的用户体验。主动学习模块的帮助下,我们能够收集程序员的反馈模型的预测。将重新训练模型基于编码人员的反馈通过迭代改善预测性能。如在临床重要性部分所讨论的,我们的应用程序不仅可以帮助任务分发给当前程序员也被用来为培训初级程序员选择病例。初级程序员在开始时将得到简单的情况下,逐渐获得更复杂的情况。这种方法可以给初级程序员足够的暴露在各种情况下对他们的能力以及唤起他们的兴趣在医学编码。