这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用了首次发表在JMIR医学信息学上的原创作品。必须包括完整的书目信息,http://medinform.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
临床决策支持系统(CDSS)是健康信息技术的重要组成部分,可以辅助疾病的解释、诊断、治疗和预后。然而,CDSS在临床中的应用仍然存在争议。
目的是评估CDSS与英国医学杂志(BMJ)最佳实践辅助诊断集成在现实世界研究中的效果。
这是一项回顾性、纵向观察性研究,使用从电子病历中常规收集的临床诊断数据。先后抽取2016年12月至2019年2月6个临床科室住院患者病历34113份。CDSS的诊断准确性在实施前得到了验证。然后应用自我对照比较来检测CDSS实施的效果。采用多变量logistic回归和单组间断时间序列分析探讨CDSS的影响。使用2018年1月至2019年2月的亚组数据进行敏感性分析。
实施CDSS前,数据中一级诊断的推荐诊断总准确率为75.46%,前二级诊断的推荐诊断总准确率为83.94%,前三级诊断的推荐诊断总准确率为87.53%。入院和出院诊断的一致性较高,确诊时间较短,实施CDSS后住院天数较短
CDSS与BMJ最佳实践的集成提高了临床医生诊断的准确性。在现实世界的回顾性研究中,也发现较短的确诊诊断时间和住院天数与CDSS的实施有关。这些发现强调了基于人工智能的CDSS在提高诊断效率方面的效用,但这些结果需要在未来的随机对照试验中得到证实。
快速、准确的诊断对住院患者非常重要,可以提高患者的治疗效率和住院时间。人工智能(AI)技术在各种医疗和临床诊断系统中都很有用,包括病理诊断[
许多临床决策支持系统(CDSS)来自人工智能和专家系统的早期工作,用于收集和表示可模拟用于人类推理和建议的知识[
对于任何医疗创新,CDSS在广泛应用于临床实践之前都必须经过严格的评估。因此,我们进行了一项现实世界的回顾性研究,以评估中国一家现代化综合医院自行开发的基于人工智能的CDSS的效果。基于人工智能的CDSS与英国医学杂志(BMJ)最佳实践相结合;人工智能工具帮助提取患者信息,并将其输入不同的机器学习模型和BMJ最佳实践。最初的目标是评估CDSS与BMJ最佳实践和住院医生之间关于患者诊断的一致程度。第二个目标是了解CDSS与BMJ最佳实践相结合是否提高了住院患者入院诊断的准确性,并探讨CDSS与BMJ最佳实践相结合对患者住院时间的益处。
这是一项回顾性的、现实世界的观察性研究,使用了北京大学第三医院六个科室从2016年10月1日至2019年2月30日连续收集的住院患者数据。基于人工智能的CDSS于2018年11月1日在电子病历(EMR)中实施。第一部分在实施CDSS之前,通过住院病历数据验证CDSS的诊断准确性。在第二部分,采用自我对照研究设计来检测CDSS实施的效果。我们比较了人工智能CDSS实施前后的数据。
研究对象为耳鼻喉科、骨科、呼吸内科、普外科、心内科、血液科六个科室的连续患者。我们没有使用特定的纳入标准。非标准化病历中缺少入院诊断、出院诊断、住院时间等关键变量信息的受试者被排除在外。本研究由北京大学第三医院医学科学研究伦理委员会批准(编号:IRB00006761-M2019219)。由于研究的回顾性性质,患者的知情同意被免除。
基于人工智能的CDSS是一个多模型决策系统,它集成了基于自然语言处理、机器学习和其他技术的规则引擎和深度学习。CDSS是通过学习北京大学第三医院近10年的真实历史病例,并将这些数据与BMJ最佳实践相结合[
基于医学专家团队建立的医学词典,采用自然语言处理技术对中文EMRs进行分类。根据预定义的模型结构将提取的信息存储在NoSQL数据库中,为训练诊断模型提供高质量的结构化数据。如
基于双向递归神经网络的临床信息提取。
有三个主要结果:(1)推荐诊断的准确性,(2)入院和出院诊断的一致性,(3)住院时间的长短。有一个次要结果:确诊时间的长度。以推荐诊断的准确性评价CDSS的诊断准确性;其他三项结果用于检测CDSS实施的效果。
推荐诊断的准确性是指其与患者出院诊断的一致性。在转诊到BMJ最佳实践后,CDSS根据其概率(从大到小)推荐了10种可能的诊断。如果首次推荐的诊断与患者的出院诊断一致,则该记录被标记为一级诊断。如果10个推荐诊断中的前两个诊断与患者的出院诊断一致,则该记录被标记为前2个诊断。如果10个推荐诊断中的前3个诊断与患者的出院诊断一致,则该记录被标记为前3个诊断。如果10个推荐的诊断中有10个与患者的出院诊断不一致,则该记录被标记为“不正确”。实施CDSS后,出院诊断受到CDSS推荐诊断的影响;因此,推荐诊断的准确性仅在CDSS实施前的数据中进行了检验。
对实施CDSS前后的数据进行入院、出院诊断的一致性分析。当住院患者入院时,医生根据患者的病情(包括既往病史、目前用药情况、病史及主诉检查、社会史)和他们的经历做出初步入院诊断。入院时的初步诊断记录在病程记录中。入院后经过各种检查,医生修改了初步入院诊断,最终做出出院诊断。实施CDSS后,入院诊断受到CDSS的影响。住院天数是指从入院到出院的天数,受患者诊断和治疗的影响。确诊时间(天)为初诊至确诊的时间。
数据是从电子医院信息系统中提取的,该系统定期记录患者信息。这些数据包括患者人口统计数据、诊断数据、入院时间、出院数据和CDSS提供的推荐诊断。由于这是一项回顾性研究,我们使用了未经明确同意的患者数据进行研究。没有允许识别个人的敏感信息(如邮政编码、地区)被转移给研究团队。所有患者个人信息都已被识别。
数据以适当的平均值(SD)、中位数(IQR)或数字(百分比)表示。我们使用独立样本
对于缺失确诊时间长度(天)的数据,仅进行全病例分析。由于研究时间跨度较长(2016年10月1日至2019年2月30日),故从2018年1月1日至2019年2月30日进行亚组分析。亚组分析内容与整体分析内容一致。
患者和公众均未参与这项研究。积极通过会议报告、学术期刊发表、新闻媒体评论等方式传播研究成果,促进CDSS的推广应用。
数据取自2016年12月至2019年2月6个临床科室的住院患者。共有34113份病历,其中CDSS上线前27250份(79.88%),上线后6863份(20.12%)。在34113份病历中,女性16044份,占47.03%。患者平均年龄54.77岁(SD 18.55岁)。CDSS前男性和老年患者较多,CDSS前后差异有统计学意义(
实施CDSS(临床决策支持系统)前后的患者记录特征(N= 34113)。
变量 | 总计 | 信用违约掉期在线 |
|
||
|
|
之前 | 后 |
|
|
|
|
|
|
N/A一个 | |
|
2016 | 5011 (14.69) | 5011 (18.39) | 0 (0.00) |
|
|
2017 | 15106 (44.28) | 15106 (55.43) | 0 (0.00) |
|
|
2018 | 10752 (31.52) | 7133 (26.18) | 3619 (52.73) |
|
|
2019 | 3244 (9.51) | 0 (0.00) | 3244 (47.27) |
|
|
|
|
|
<措施 | |
|
耳鼻咽喉科 | 5331 (15.63) | 4643 (17.04) | 688 (10.02) |
|
|
整形 | 8042 (23.57) | 5634 (20.68) | 2408 (35.09) |
|
|
呼吸系统药物 | 3208 (9.40) | 2834 (10.40) | 374 (5.45) |
|
|
普通外科 | 7344 (21.53) | 5084 (18.66) | 2260 (32.93) |
|
|
心脏病学 | 6813 (19.97) | 5917 (21.71) | 896 (13.06) |
|
|
血液学 | 3375 (9.89) | 3138 (11.52) | 237 (3.45) |
|
|
|
|
|
<措施 | |
|
女 | 16044 (47.03) | 12581 (46.17) | 3463 (50.46) |
|
|
男性 | 18069 (52.97) | 14669 (53.83) | 3400 (49.54) |
|
年龄(年),平均值(SD) | 54.77 (18.55) | 55.09 (18.81) | 53.53 (17.43) | <措施 |
一个N/A:不适用。
为了检测CDSS推荐诊断的准确性,在CDSS实施之前,对27,250份EMR住院记录进行了回顾性评估。CDSS推荐诊断一级诊断的总准确率为75.46%(20562 / 27250),二级诊断的总准确率为83.94%(22873 / 27250),三级诊断的总准确率为87.53%(23852 / 27250)。各科室一级诊断的准确率从62.37%(2896/4643)到85.53%(5061/5917)不等,其中心脏病科和血液科的准确率最高。6个临床科室的错误率均为6.38% (
各科室临床决策支持系统推荐诊断的准确率。
部门 | 不正确,n (%) | 首先,n (%) | 前两个,n (%) | 前三个,n (%) |
耳鼻咽喉科(n = 4643) | 534 (11.50) | 2896 (62.37) | 3531 (76.05) | 3750 (80.77) |
整形(n = 5634) | 286 (5.08) | 4277 (75.91) | 4784 (84.91) | 5002 (88.78) |
呼吸内科(n=2834) | 206 (7.27) | 1918 (67.68) | 2223 (78.44) | 2348 (82.85) |
普通外科(n=5084) | 335 (6.59) | 3744 (73.64) | 4179 (82.20) | 4407 (86.68) |
心脏病(n = 5917) | 146 (2.47) | 5061 (85.53) | 5393 (91.14) | 5531 (93.48) |
血液学(n = 3138) | 231 (7.36) | 2666 (84.96) | 2763 (88.05) | 2814 (89.67) |
总(N = 27250) | 1738 (6.38) | 20562 (75.46) | 22873 (83.94) | 23852 (87.53) |
在电子病历中实施CDSS(临床决策支持系统)之前,10个推荐诊断的准确性。“不正确”是指10项推荐诊断均与患者出院诊断不一致;“第一次”是指第一次推荐诊断与患者出院诊断一致;“二次”指第二次推荐诊断与患者出院诊断一致,以此类推。
比较实施CDSS前后入院出院诊断的一致性、住院天数和确诊次数,探讨CDSS实施的效果。CDSS实施前,入院诊断与出院诊断的一致性明显低于CDSS实施后(70.37%,19175 /27,250 vs 72.64%, 4985/6863,
鉴于研究跨度较大(2016 - 2019年),对2018 - 2019年的数据进行亚组分析。亚组分析的结果证实,实施CDSS后,一致性提高,而住院时间和确诊天数缩短(
临床决策支持系统(CDSS)实施前后效果比较。
变量 | 总计 | 信用违约掉期在线 |
|
||
|
|
之前 | 后 |
|
|
|
|
|
|
<措施 | |
|
是的 | 24160 (70.82) | 19175 (70.37) | 4985 (72.64) |
|
|
没有 | 9953 (29.18) | 8075 (29.63) | 1878 (27.36) |
|
|
|
|
|
|
|
|
中位数(差) | 1 (0 - 4) | 1 (0 - 4) | 1 (0 - 3) | <措施 |
|
意思是(SD) | 3.10 (5.27) | 3.25 (5.48) | 2.27 (3.87) | <措施 |
|
|
|
|
|
|
|
中位数(差) | 7(4 - 9日) | 7(十) | 6 (3 - 8) | <措施 |
|
意思是(SD) | 8.11 (7.55) | 8.51 (8.05) | 6.49 (4.73) | <措施 |
|
|
|
|
<措施 | |
|
鹿 | 20611 (60.42) | 15774 (57.89) | 4837 (70.48) |
|
|
> 7 | 11476 (39.58) | 11476 (42.11) | 2026 (29.52) |
|
一个一致性是指入院诊断与出院诊断的一致性。
b有确诊次数(天)的仅有11912份,为初诊至确诊的时间。
实施CDSS(临床决策支持系统)前后住院次数的箱线图和概率密度图。红色和绿色虚线分别表示CDSS实施前后住院天数的中位数;粉色阴影区和蓝色阴影区分别表示CDSS实施前后的概率密度。
在单因素分析后,我们观察到入院和出院诊断之间的一致性较高,住院天数缩短。为排除患者特征的影响,进行多变量logistic回归分析。经调整患者性别、年龄后,CDSS实施后的符合率提高至1.078 (95% CI 1.015 ~ 1.144), 7天及以下住院时间占住院时间的比例提高至1.688 (95% CI 1.592 ~ 1.789)倍(
在亚组分析中,实施CDSS后,一致性率和7天及以下住院时间的比值比分别为1.298 (95% CI 1.207 ~ 1.397)和1.757 (95% CI 1.635 ~ 1.888) (
临床决策支持系统效果的多变量logistic回归分析。
变量 | 一致性 | 住院时间(≤7天) | |||
|
调整OR (95% CI) |
|
调整OR (95% CI) |
|
|
|
|
0.01 |
|
<措施 | |
|
之前 | 1.00 |
|
1.00 |
|
|
后 | 1.078 (1.015 - -1.144) |
|
1.688 (1.592 - -1.789) |
|
|
|
<措施 |
|
<措施 | |
|
女 | 1.00 |
|
1.00 |
|
|
男性 | 0.789 (0.752 - -0.827) |
|
0.814 (0.778 - -0.851) |
|
年龄 | 0.984 (0.983 - -0.985) | <措施 | 0.974 (0.973 - -0.975) | <措施 |
如
实施CDSS(临床决策支持系统)前后7天或以下的一致性率和住院次数的估计水平和趋势变化。
结果变量 | Beta(95%置信区间) |
|
|
|
|
|
|
|
拦截 | 74.386 |
|
|
之前的趋势 | −0.093(−0.131,−0.055) | <措施 |
|
水平变化 | 6.722 (2.433, 11.012) | .002 |
|
趋势变化 | 0.311 (0.001, 0.620) | 0。 |
|
|
|
|
|
拦截 | 58.146 |
|
|
之前的趋势 | −0.013(−0.047,0.022) | 票价 |
|
水平变化 | 7.837 (1.798, 13.876) | . 01 |
|
趋势变化 | 0.941(−0.032,1.915) | 06 |
实施CDSS(临床决策支持系统)前后入院、出院诊断一致性、7天及以下住院时间比率的水平及趋势变化。
大数据和数字化在临床环境中迅速扩展,但卫生保健提供者往往没有充分利用这些数据集。临床决策通常由卫生保健专业人员在直接接触患者、查房或多学科会议期间作出,这意味着根据卫生保健提供者的经验在几秒钟到几分钟内作出决定[
已知最早的CDSS与药物有关,可追溯到20世纪60年代[
近期研究报道了CDSS联合AI在临床中的广泛应用[
BMJ最佳实践是一种在护理点工作的临床决策支持工具。它为所有卫生保健专业人员提供不断更新的、基于证据的和实用的内容[
本研究共涉及6个临床科室的34113份住院病例。其中,27,250条(79.9%)记录是在CDSS实施之前,并在其中进行了诊断准确性的模拟。基于人工智能的CDSS推荐诊断的总准确率在一级诊断为75.46%,在前二级诊断为83.94%,在前三级诊断为87.53%。错误率为6.38%。准确率很高,与其他研究一致,这些研究也表明,基于人工智能的工具在辅助诊断方面是准确的。汉农等[
除了模拟研究外,我们还设计了一个前后比较,以探索CDSS实施后入院诊断的准确性,并以入院和出院诊断的一致性来衡量结果。在CDSS实施之前,入院诊断只能基于患者信息(如门诊检查)和医生的经验。实施CDSS后,患者的入院诊断由CDSS建议辅助。我们的结果表明,在所有分析中实施CDSS后,一致性显著提高(从70.37%提高到72.64%,
实施CDSS后,确诊时间和住院时间明显缩短(所有数据分别减少0.98天和2.02天)。我们通过亚组和多变量分析观察到类似的趋势。在间断时间序列分析中,实施CDSS后,7天及以下的一致性率和住院时间分别提高了6.72%和7.84%。尽管meta分析显示CDSS的应用在心血管风险管理中没有明确的临床益处[
这项研究有几个局限性。首先,CDSS的多变量分析没有考虑医生的个人信息,如教育程度、技术岗位、工作经验的影响。第二,多变量分析没有考虑个体患者疾病严重程度的影响。然而,由于持续纳入的样本量很大,疾病严重程度的平衡是可以预期的。第三,本研究没有考虑时间因素的影响以及2016 - 2019年国家基本卫生政策的调整。为了消除时间因素的影响,我们对2018年和2019年的数据进行了亚组分析,我们认为时间因素和卫生政策变化在相对较短的时间内(不到2年)影响不大。第四,本研究应用CDSS后的数据量较小,仅占总数据集的20.1%。最后,CDSS在中国的应用不仅要接受全球证据的训练,还要接受包括中医在内的区域证据的训练。此外,该研究的结论受到队列研究的回顾性性质的限制;需要严格的随机对照试验来探讨CDSS辅助诊断的准确性。
CDSS有很多种,从简单的逻辑判断到复杂的AI算法,从药物不良反应到数据驱动的辅助诊断和治疗。由此,各种形式的CDSS正在出现。利用目前CDSS的发展和应用,没有统一的标准来限制使用;因此,在CDSS工具应用于临床实践之前,还需要进一步的评估和培训。还应公布CDSS分类和资格规范的标准指南,以确保可重复性。在未来,更复杂的基于人工智能的CDSS可以实现到EMR中。我们相信,这一应用可以为科学研究创造新的视野,提高健康和保健质量。
临床决策支持系统(CDSS)在电子病历(EMR)中的实际应用图片。
亚组分析中临床决策支持系统(CDSS)使用前后的比较。
亚组分析临床决策支持系统(CDSS)实施前后住院时间的箱线图和概率密度图。
临床决策支持系统(CDSS)在亚组分析中的作用的多变量logistic回归分析。
亚组分析临床决策支持系统(CDSS)实施前后一致性率和≤7天住院次数的估计水平和趋势变化。
亚组分析临床决策支持系统(CDSS)实施前后入院、出院诊断一致性、住院≤7天率的水平及趋势变化。
人工智能
英国医学杂志
临床决策支持系统
电子病历
作为第一作者,陶丽媛和张晨对这项工作有同样的贡献。两位通讯作者(詹思燕教授和纪宏教授)对这项工作做出了同样的贡献。所有作者都参与了研究并审阅了最终的手稿。
没有宣布。