原始论文
摘要
背景:心衰是一种常见病，也是一个重大的公共卫生问题。心衰死亡率预测是制定个体化预防和治疗计划的关键。然而，由于缺乏可解释性，大多数心衰死亡率预测模型尚未进入临床实践。
摘要目的:我们旨在建立一个可解释的模型来预测重症监护病房(icu)心衰患者的死亡风险，并使用SHapley加性解释(SHAP)方法来解释极端梯度增强(XGBoost)模型，并探讨心衰的预后因素。
方法:在这项回顾性队列研究中，我们在eICU合作研究数据库(eICU- crd)上实现了模型开发和性能比较。我们提取每个ICU入院前24小时的数据，数据集随机划分，70%用于模型训练，30%用于模型验证。通过曲线下面积将XGBoost模型的预测性能与其他三种机器学习模型进行比较。我们使用SHAP方法来解释XGBoost模型。
结果:共有2798名符合条件的心衰患者被纳入本研究的最终队列。心衰患者住院死亡率为9.97%。相比之下，XGBoost模型在四种模型中预测性能最高，曲线下面积(AUC)为0.824 (95% CI 0.7766 ~ 0.8708)，而支持向量机的泛化能力最差(AUC=0.701, 95% CI 0.6433 ~ 0.7582)。决策曲线显示，在10%~28%的阈值概率下，XGBoost模型的净收益超过了其他机器学习模型。SHAP方法根据重要性排序，显示出HF的前20个预测因子，其中血尿素氮平均值被认为是最重要的预测因子。
结论:可解释的预测模型有助于医生更准确地预测心衰ICU患者的死亡风险，从而为患者提供更好的治疗方案和最佳的资源配置。此外，可解释的框架可以增加模型的透明度，便于医生理解预测模型的可靠性。
doi: 10.2196/38082
关键字
介绍
心衰(HF)是许多心血管疾病的终末期，是一个主要的卫生保健问题，全世界大约有2600万人患有心衰，在美国和欧洲每年有超过100万人住院[]。预测显示，到2030年，将有超过800万美国人患有心力衰竭，比2012年增加46% []。心衰每年造成的费用估计为1080亿美元，占全球卫生保健预算的2%，预计将继续上升，但其中一半可能是可以避免的[]。随着COVID-19在全球的持续传播，心衰作为一种严重并发症，与COVID-19的不良预后和死亡相关[，]。
重症监护病房的危重病人需要重症监护服务和高质素的多学科协助[]。虽然ICU在维持患者生命中发挥着不可或缺的作用，但这也意味着劳动力短缺、医疗资源有限、经济负担沉重[]。因此，医院对患者的早期死亡率检测是必要的，可能有助于提供适当的护理和提供临床决策支持[]。
近年来，人工智能被广泛应用于探索多种疾病的预警预测因子。鉴于机器学习算法具有捕捉非线性关系的固有强大功能，越来越多的研究人员提倡使用基于机器学习的新预测模型来支持对患者的适当治疗，而不是传统的疾病严重程度分类系统，如SOFA、APACHE II或SAPS II [-]。尽管大量的预测模型在研究中表现出了良好的表现，但将其应用于临床环境和可解释的风险预测模型以辅助疾病预后的证据仍然有限[-]。
本研究的目的是利用免费开放的重症监护数据库- eICU合作研究数据库(eICU- crd)，建立一个可解释的模型来预测ICU心衰患者的风险死亡率。此外，采用SHapley加性解释(SHAP)方法解释了极端梯度增强(即XGBoost)模型，并探讨了HF的预后因素。
方法
数据源
eICU-CRD(2.0版)是一个公开的多中心数据库[]，包含2014-2015年期间美国208家医院超过20万例icu住院患者的未识别数据。它详细记录了所有患者的人口统计、生命体征测量、诊断信息和治疗信息[]。
道德的考虑
不需要伦理批准和患者个人同意，因为所有受保护的健康信息都是匿名的。
研究人群
纳入eICU-CRD数据库中的所有患者。纳入标准如下:(1)根据《国际疾病分类》第九版和第十版代码();(2)入院24小时内诊断优先标签为“初级”;(3) ICU住院1天以上;(4)患者年龄≥18岁。缺失值超过30%的患者被排除在外[]。
预测变量
本研究的预测结果是住院死亡率的概率，定义为患者出院时的状况。根据以往的研究[-]和专家意见(四川大学华西医院共6名独立医学专业人员和心脏病专家)、人口统计学、合并症、生命体征和实验室结果()，使用结构化查询语言(MySQL)查询(版本5.7.33;甲骨文公司)。以下表格来自eICU-CRD:“诊断”，“摄入输出”，“实验室”，“患者”和“护理记录”。除人口统计学特征外，在每次ICU入院的前24小时内收集其他变量。此外，为了避免过拟合，使用最小绝对收缩和选择算子(LASSO)对变量进行选择和过滤[，]。
缺少数据处理
数据丢失的变量在eICU-CRD中很常见。然而，忽略缺失数据的分析有可能产生有偏差的结果。因此，我们对缺失数据进行了多次插值[]。所有选定变量的缺失值均小于30%。假设数据随机丢失，并使用R(版本4.1.0;R核心团队)。
机器学习解释性工具
预测模型的解释由SHAP进行，SHAP是一种统一的方法，可以精确计算每个特征对最终预测的贡献和影响[]。SHAP值可以显示每个预测器对目标变量的贡献，无论是积极的还是消极的。此外，数据集中的每个观测值都可以用特定的SHAP值集来解释。
统计分析
所有统计分析和计算均使用R软件和Python(版本3.8.0;Python软件基金会)。分类变量用总数和百分比表示，χ2使用Fisher精确检验(期望频率<10)来比较组间差异。连续变量用中位数和IQR表示，两组比较采用Wilcoxon秩和检验。
使用xgboost、逻辑回归(LR)、随机森林(RF)和支持向量机(SVM)四种机器学习模型来开发预测模型。以受试者工作特征曲线下面积评价各模型的预测性能。此外，我们计算了准确度、灵敏度、阳性预测值、阴性预测值和F1当预测特异性固定为85%时得分。此外，为了通过量化不同阈值概率下的净效益来评估模型对决策的效用，进行了决策曲线分析(decision curve analysis, DCA) []。
结果
病人的特点
在eICU-CRD的17,029例HF患者中，共有2798例诊断为原发性HF的成人患者被纳入本研究的最终队列。病人筛选过程见。数据集随机分为两部分:70% (n=1958)的数据用于模型训练，30% (n=840)的数据用于模型验证。LASSO正则化过程在训练数据集中的1958例患者的基础上产生了24个潜在的预测因子，用于模型开发。非幸存者组患者比幸存者组患者年龄大(P<措施)。训练数据集的医院死亡率为9.96%(195/1958)，测试数据集的医院死亡率为10%(84/840)。）.显示住院期间幸存者和非幸存者之间预测变量的比较。
| 幸存者(n = 2519) | Nonsurvivors (n = 279) | P价值 | ||||
| 年龄(岁)，中位数(IQR) | 71 (60 - 80) | 76年(66 - 82) | <措施 | |||
| 性别(男)，n (%) | 1338 (53.1) | 170 (60.9) | 02 | |||
| 合并症，n (%) | ||||||
| 高血压 | 654 (26) | 46 (16.5) | <措施 | |||
| 急性肾衰竭 | 441 (17.5) | 78 (28.0) | <措施 | |||
| 生命体征中位数(IQR) | ||||||
| Heartrate_min一个 | 70年(61 - 80) | 74年(62 - 86) | <措施 | |||
| 呼吸rate_avgb | 20.1 (17.8 - -23.0) | 21.8 (19.0 - -26.0) | <措施 | |||
| 呼吸rate_maxc | 27 (/) | 32 (26-38) | <措施 | |||
| Nibpd_systolic_avg | 120.0 (107.1 - -134.8) | 109.0 (100.1 - -121.4) | <措施 | |||
| Nibp_systolic_min | 95年(83 - 110) | 84年(72 - 97) | <措施 | |||
| Nibp_diastolic_min | 49 (41-57) | 45 (35 - 52.5) | <措施 | |||
| Temperature_max | 37 (37-37) | 37 (37-38) | 03 | |||
| Temperature_min | 36 (36 - 37) | 36 (36 - 37) | .007 | |||
| 实验室变量，中位数(IQR) | ||||||
| Urineoutput | 1550年(599 - 2750) | 875年(140 - 1900) | <措施 | |||
| 热点;2e_min | 92年(88 - 95) | 90 (84.5 -94) | <措施 | |||
| 热点;2_avg | 96.6 (95.1 - -98.0) | 96.5 (94.5 - -97.9) | .04点 | |||
| Anion_gap_max | 11.0 (9.0 - -14.0) | 12.0 (10.0 - -15.0) | <措施 | |||
| Creatinine_min | 1.45 (1.01 - -2.30) | 1.70 (1.19 - -2.50) | ．001 | |||
| Blood_urea_nitrogen_avg | 30.0 (21.0 - -47.6) | 42.0 (28.0 - -58.5) | <措施 | |||
| Calcium_min | 8.6 (8.1 - -9.0) | 8.5 (7.9 - -8.9) | .005 | |||
| Chloride_min | 101年(97 - 104) | 99年(95 - 104) | . 01 | |||
| 血小板×1000 _min | 193年(149 - 249) | 180 (140 - 235.5) | .008 | |||
| White_blood_cell×1000 _min | 9.1 (6.8 - -12.1) | 10.9 (7.6 - -15.7) | <措施 | |||
| RDWf_min | 15.7 (14.4 - -17.3) | 16.4 (15.0 - -18.2) | <措施 | |||
| Hemoglobin_max | 10.6 (9.2 - -12.3) | 10.4 (8.95 - -12.0) | .059 | |||
一个分钟:最小值。
bAvg:平均水平。
c马克斯:最大。
dNibp:无创血压。
e热点;2:阿2饱和度。
fRDW:红细胞分布宽度。
模型构建与评价
在训练数据集中，建立了XGBoost、LR、RF和SVM模型，测试数据集的auc分别为0.824、0.800、0.779和0.701 (和）.其中，XGBoost模型的预测性能最好(AUC=0.824, 95% CI 0.7766 ~ 0.8708)，而SVM模型的泛化能力最差(AUC=0.701, 95% CI 0.6433 ~ 0.7582)。对测试数据集中的四种机器学习模型进行DCA，以比较最佳模型和临床决策替代方法的净收益。临床净效益的定义是在需要进一步干预的情况下出现疾病的最小可能性[]。该图测量了不同阈值概率下的净收益。橙色的线表示假设所有患者都接受了干预，而黄线表示没有患者接受干预。由于研究人群的异质性，基于四种机器学习模型的任何一种治疗策略都优于治疗所有患者或不治疗患者的默认策略。XGBoost模型的净收益以10%~28%的阈值概率超过了其他机器学习模型(）.
| 模型 | AUC一个（%） | 灵敏度(%) | F1分数 | 精度(%) | PPVb | 净现值c |
| XGBoost | 0.824 | 0.595 | 0.407 | 0.826 | 0.307 | 0.950 |
| LRd | 0.800 | 0.607 | 0.413 | 0.827 | 0.311 | 0.951 |
| 射频e | 0.779 | 0.571 | 0.392 | 0.823 | 0.298 | 0.947 |
| 支持向量机f | 0.701 | 0.345 | 0.258 | 0.801 | 0.204 | 0.921 |
一个AUC:曲线下面积。
bPPV:阳性预测值。
cNPV:负的预测值。
dLR:逻辑回归。
e随机森林。
fSVM:支持向量机。
用SHAP方法解释XGBoost模型
使用SHAP算法获得各预测变量对XGBoost模型预测结果的重要性。变量重要性图按降序列出了最重要的变量(）.血尿素氮(BUN)平均值在各预测范围内的预测价值最强，其次是年龄因素、无创收缩压平均值、尿量和呼吸频率最大值。此外，为了检测预测因子与目标结果的正相关和负相关关系，应用SHAP值揭示死亡危险因素。如水平位置表示该值的影响是否与较高或较低的预测相关联，颜色表示该变量在该观测值中是高(红色)还是低(蓝色);我们可以看到，平均BUN的增加有积极的影响，并推动死亡率的预测，而尿量的增加有消极的影响，并推动生存的预测。
SHAP单个力图
显示了(A)未存活和(B)存活患者的个体力图。SHAP值表示个体患者与预测相关的特征以及每个特征对死亡率预测的贡献。粗体数字是概率预测值(f(x))，而基值是不向模型提供输入的预测值。f(x)是每个观测值的对数比值比。左边的红色特征表示增加死亡风险的特征，蓝色特征表示降低死亡风险的特征。箭头的长度有助于可视化对预测的影响程度。箭头越长，效果越大。
讨论
主要研究结果
在这项大型公共ICU数据库的回顾性队列研究中，我们开发并验证了四种机器学习算法来预测心衰患者的死亡率。XGBoost模型的性能优于LR、RF和SVM。采用SHAP方法对XGBoost模型进行解释，保证了模型的性能和临床可解释性。这将有助于医生更好地理解模型的决策过程，并促进预测结果的使用。此外，为了避免临床干预无效，我们重点关注的DCA相关阈值概率范围在15% - 25%之间，在此范围内XGBoost表现更好。在重症监护研究中，XGBoost已被广泛用于预测患者住院死亡率，并可协助临床医生决策[-]。然而，最终队列中HF患者的死亡率仅为9.97%。虽然DCA显示XGBoost模型优于两种默认策略，但当预测特异性固定为85%时，阳性预测值仅为0.307。因此，XGBoost模型可能不能完全为临床医生提供决策支持。在临床实践中，评估早期预测死亡率的益处及其额外费用是必要的。
使用SHAP来解释XGBoost模型，我们确定了与心衰患者住院死亡率相关的一些重要变量。在本研究中，平均BUN被认为是最重要的预测变量。作为衡量血液中来自蛋白质代谢的氮含量的肾功能指标，以往的研究也表明BUN是机器学习算法预测HF死亡率的关键预测因子[，]。Kazory [结论认为BUN可能是心衰患者神经激素激活的生物标志物。从病理生理学角度看，随着心衰的加重，交感神经系统和肾素-血管紧张素-醛固酮系统的活性增加，导致传入小动脉血管收缩。肾灌注减少进一步导致水和钠潴留，促进尿素重吸收，最终导致BUN升高。然而，由于缺乏外部验证队列，尚需进一步研究该SHAP方法的适用性。
限制
这项研究有一些局限性。首先，我们的数据是从一个公开可用的数据库中提取的，有些变量丢失了。例如，我们打算纳入更多可能影响住院死亡率的预测变量，如凝血酶原时间以及脑利钠肽和乳酸;然而，缺失值超过70%。其次，所有数据均来自美国ICU患者，因此我们的模型在其他人群中的适用性尚不清楚。第三，我们的死亡率预测模型基于每次ICU入院24小时内的数据，这可能在一定程度上忽略了改变预后和引起混杂因素的后续事件。第四，由于缺乏外部验证队列，开发的XGBoost模型在临床实践中的适用性可能不是很有效。目前，我们正在尝试收集四川大学华西医院重症监护病房HF患者的数据。虽然我们已经获得了一些初步的数据，但由于样本量有限，外部前瞻性验证是不可行的。
结论
我们开发了可解释的XGBoost预测模型，该模型在估计心衰患者死亡风险方面表现最佳。此外，可解释的机器学习方法可用于准确探索心衰患者的危险因素，提高医生对预测模型的信任。这将有助于医生识别有高死亡风险的心衰患者，从而及时对其进行适当的治疗。
作者的贡献
J Liu, J Li和SL构思了这项研究。SL, J Liu, J Li, YH, LZ, YM进行分析，解释结果，并撰写论文。所有作者都修改了原稿。所有作者都阅读并批准了最终的手稿。
利益冲突
没有宣布。
补充材料1:ICD 9/10代码。
XLS文件(Microsoft Excel文件)，25kb
补充资料2:选取的预测变量。
DOCX文件，17kb
补充资料3:训练和测试数据集中患者的所有预测变量。
DOCX文件，21 KB参考文献
- 王晓明，王晓明，王晓明，等。心力衰竭住院治疗的全球健康和经济负担:从住院心力衰竭登记中吸取的经验教训。中华心血管病杂志，2014;33 (6):1133 -1133 [J]免费全文] [CrossRef] [Medline］
- Heidenreich PA, Albert NM, Allen LA, Bluemke DA, Butler J, Fonarow GC，等。预测美国心力衰竭的影响:美国心脏协会的政策声明。中国心脏衰竭杂志2013;6(3):606-619 [j]免费全文] [CrossRef] [Medline］
- 廖利，Allen LA, Whellan DJ。老年人心力衰竭的经济负担。药物经济学2008;26(6):447 - 462。［Medline］
- 金海杰，朴敏，申智，朴杰，金达，全杰，等。心力衰竭与COVID-19易感性和严重并发症的关联:一项全国性队列研究[J]中华医学杂志，2021,05:1138-1145 [J]免费全文] [CrossRef] [Medline］
- 杨建军，刘建军，李建军，等。心力衰竭对COVID-19结局的影响——荟萃分析和系统评价中华医学杂志[J]; 2009; 16 (6): 591 - 591 [J]免费全文] [CrossRef] [Medline］
- Monteiro F, Meloni F, Baranauskas JA, Macedo AA。重症监护病房死亡率预测:多变量特征选择。[J]中国生物医学工程学报，2010;27 (1):344 - 344 [J]免费全文] [CrossRef] [Medline］
- 克拉默AA, Dasta JF, Kane-Gill SL. ICU内死亡率对总成本的影响。危重护理，2017;45(9):1457-1463。［CrossRef] [Medline］
- 刘建军，刘建军，刘建军。远程医疗在重症监护中的应用。[J]中华医学杂志，2013;36(12):1377-1384。［CrossRef] [Medline］
- 姜伟文，金俊，金德奎，吴凯，朱光华，金永成，等。机器学习算法预测持续肾替代治疗患者的死亡率。Crit Care 2020 Feb 06;24(1):42 [免费全文] [CrossRef] [Medline］
- 刘超，刘翔，毛忠，胡鹏，李翔，胡健，等。用于预测ICU横纹肌溶解患者死亡率的可解释机器学习模型。Med Sci Sports exercise 2021 Sep 01;53(9):1826-1834。［CrossRef] [Medline］
- Pirracchio R, Petersen ML, Carone M, Rigon MR, Chevret S, van DLMJ。用超级ICU学习算法(SICULA)预测重症监护病房的死亡率:一项基于人群的研究。柳叶刀呼吸医学2015;3(1):42-52 [j]免费全文] [CrossRef] [Medline］
- 潘鹏，李毅，肖毅，韩波，苏磊，苏敏，等。用机器学习方法评估重症监护病房COVID-19的预后:模型开发和验证。[J]医学互联网研究，2020,11,22(11):e23128 [J]免费全文] [CrossRef] [Medline］
- 李建军，李建军，李建军。医院死亡率可解释机器学习预测模型的比较分析。《中华医学会医学杂志》(英文版);22(1):53 [j]免费全文] [CrossRef] [Medline］
- 王凯，田健，郑超，杨华，任军，刘勇，等。基于机器学习和SHAP的冠心病心力衰竭患者3年全因死亡率的可解释性预测中国生物医学工程学报(英文版);2009;37 (3):391 - 391 [j]免费全文] [CrossRef] [Medline］
- zizhni E, Madai VI, Livne M, Galinovic I, Khalil AA, Fiebach JB，等。打开临床决策支持人工智能的黑匣子:一项预测中风结果的研究。PLoS One 2020;15(4):e0231166 [j]免费全文] [CrossRef] [Medline］
- eICU合作研究数据库。URL:https://eicu-crd.mit.edu/[2022-07-20]访问
- Pollard TJ, Johnson AEW, Raffa JD, Celi LA, Mark RG, Badawi O. eICU合作研究数据库:一个免费的多中心重症监护研究数据库。Sci Data 2018 Sep 11;5:18 078 [j]免费全文] [CrossRef] [Medline］
- 李凯，石强，刘松，谢勇，刘杰。基于梯度增强决策树的ICU脓毒症患者住院死亡率预测。Medicine (Baltimore) 2021 May 14;100(19):e25813 [免费全文] [CrossRef] [Medline］
- Abraham WT, Fonarow GC, Albert NM, Stough WG, Gheorghiade M, Greenberg BH, OPTIMIZE-HF研究协调员。心衰住院患者住院死亡率的预测因素:来自有组织的心衰住院患者启动救生治疗项目(OPTIMIZE-HF)的见解[J]中华医学杂志，2008;29 (5):347-356 [J]免费全文] [CrossRef] [Medline］
- Fonarow GC, Adams KF, Abraham WT, Yancy CW, Boscardin WJ，粘附科学咨询委员会，研究小组，研究者。急性失代偿性心力衰竭住院死亡率的风险分层:分类和回归树分析。美国医学杂志2005;02;293(5):572-580。［CrossRef] [Medline］
- Knaus WA, Draper EA, Wagner DP, Zimmerman JE。APACHE II:一种疾病严重程度的分类系统。危重护理医学1985;13(10):818-829。［Medline］
- 张建军，李建军，张建军，张建军，张建军，美国心脏协会心衰治疗指南。来自美国心脏协会的心衰患者住院死亡率的有效风险评分与指南项目一致。中国心血管质量评价2010年1月3日(1):25-32。［CrossRef] [Medline］
- 王志强，王志强，王志强。[J] .中国农业大学学报(自然科学版);2004;32 (1):1 - 7 [J]免费全文] [CrossRef］
- Muthukrishnan R, Rohini R. LASSO:机器学习预测建模中的特征选择技术。2016年发表于:IEEE国际计算机应用进展会议(ICACA);10月24日;印度哥印拜陀。［CrossRef］
- 张建军，张建军，张建军，等。肾内科数据缺失的多重补全方法研究。肾国际杂志2021;99(1):68-74。［CrossRef] [Medline］
- Lundberg SM, Lee SI。解释模型预测的统一方法。第31届神经信息处理系统国际会议论文集。2017年发表于:NIPS'17;12月4 - 9日;长滩，加利福尼亚州第4768-4777页。
- Van Calster B, Wynants L, Verbeek JFM, Verbakel JY, Christodoulou E, Vickers AJ，等。报告和解释决策曲线分析:调查人员指南。Eur Eur Eur 2018; 12;74(6):796-804 [免费全文] [CrossRef] [Medline］
- 李建军，李建军，李建军，李建军。应用一种新的机器学习框架，利用监测、流行病学和最终结果(SEER)数据库预测男性非转移性前列腺癌特异性死亡率。柳叶刀数字健康2021年3月3(3):e158-e165 [j]免费全文] [CrossRef] [Medline］
- 侯宁，李敏，何磊，谢波，王磊，张锐，等。预测MIMIC-III型脓毒症-3患者30天死亡率:使用XGboost的机器学习方法中华医学杂志2020年12月07日;18(1):462 [J]免费全文] [CrossRef] [Medline］
- 刘军，吴军，刘松，李敏，胡凯，李凯。基于XGBoost模型预测ICU急性肾损伤患者死亡率。科学通报，2011;16(2):0246306 [j]免费全文] [CrossRef] [Medline］
- 张震，何明明，洪宇。机器学习预测少尿急性肾损伤危重监护患者容量反应性。重症监护2019年4月08日;23(1):112 [免费全文] [CrossRef] [Medline］
- Adler ED, Voors AA, Klein L, Macheret F, Braun OO, Urey MA，等。利用机器学习改进心力衰竭的风险预测。中华心力衰竭杂志[J]; 2010;22(1):139-147 [J]免费全文] [CrossRef] [Medline］
- Angraal S, Mortazavi BJ, Gupta A, Khera R, Ahmad T, Desai NR，等。机器学习预测保留射血分数心力衰竭患者的死亡率和住院率。心脏衰竭[j] .中华心脏杂志;2010;31 (1):1 - 12 [j]免费全文] [CrossRef] [Medline］
- 血液尿素氮作为心衰患者神经激素激活的生物标志物的出现。中华心血管病杂志，2010,01(5):694-700。［CrossRef] [Medline］
缩写
| AUC:曲线下面积 |
| 包子:血尿素氮 |
| DCA:决策曲线分析 |
| eICU-CRD:eICU合作研究数据库 |
| 心力衰竭:心脏衰竭 |
| 加护病房:加护病房 |
| 套索:最小绝对收缩和选择算子 |
| LR:逻辑回归 |
| 射频:随机森林 |
| 世鹏科技电子:沙普利加法解释 |
| 支持向量机:支持向量机 |
R库卡夫卡编辑;提交18.03.22;徐丽、张志同行评议;对作者的评论31.05.22;07.07.22收到修订版本;接受15.07.22;发表09.08.22
版权©李继丽，刘思茹，胡云迪，朱凌峰，毛玉佳，刘嘉林。最初发表于医学互联网研究杂志(//www.mybigtv.com)， 2022年8月9日。
这是一篇在知识共享署名许可(https://creativecommons.org/licenses/by/4.0/)下发布的开放获取文章，该许可允许在任何媒介上不受限制地使用、分发和复制，前提是原始作品首次发表在《医学互联网研究杂志》上，并适当引用。必须包括完整的书目信息，到//www.mybigtv.com/上原始出版物的链接，以及版权和许可信息。