这是一篇在知识共享署名许可(https://creativecommons.org/licenses/by/4.0/)条款下发布的开放获取文章,该许可允许在任何媒介上不受限制地使用、分发和复制,前提是原始作品(首次发表在JMIR Medical Informatics上)被适当引用。必须包括完整的书目信息,到http://medinform.www.mybigtv.com/上原始出版物的链接,以及版权和许可信息。
确保研究人群的代表性在生物医学研究中至关重要,以确保高普遍性。在这方面,使用多机构数据在医学上具有优势。然而,由于生物医学数据的机密性会导致隐私问题,因此很难对数据进行物理合并。因此,在使用多机构医疗数据进行研究时,有必要采用方法学方法来开发模型,而不需要在机构之间共享数据。
本研究旨在开发一种基于权重的多机构数据集成预测模型,该模型不需要机构之间的迭代通信,通过增加模型在隐私保护条件下的泛化性来提高平均预测性能,而无需共享患者级数据。
基于权重的集成模型为每个机构模型生成一个权重,并基于这些权重构建多机构数据的集成模型。我们进行了3次模拟,以显示权重特性,并确定获得稳定值所需的权重重复次数。我们还使用真实的多机构数据进行了实验,以验证所开发的基于权重的集成模型。我们从电子重症监护病房合作研究数据库中选择10家医院(共2845个重症监护病房),用11个特征预测重症监护病房的死亡率。为了评估我们的模型的有效性,与合并10家医院的所有数据开发的集中式模型相比,我们使用了比例重叠(即0.5或更小表示在0.05水平上存在显著差异;2表示2个CIs完全重叠)。两个模拟和实验分别采用标准和第五逻辑回归模型。
这些模拟结果表明,每个机构的权重由两个因素决定(即每个机构的数据大小以及每个机构模型与整体机构数据的匹配程度),并且每个机构需要重复生成200个权重。实验中,集中式模型和基于权重的综合模型的受试者工作特征曲线下估计面积(AUC)和95% ci分别为81.36%(79.37% ~ 83.36%)和81.95%(80.03% ~ 83.87%)。基于权重的综合模型与集中式模型的AUC ci的比例重叠约为1.70,除1例外,11例估计比值比的重叠均大于1。
在使用真实多机构数据的实验中,我们的模型与没有机构间迭代通信的集中式模型的结果相似。此外,与集中式模型相比,我们基于权重的集成模型通过整合10个过拟合或欠拟合的模型,提供了一个加权平均模型。所提出的基于权重的集成模型有望提供一种高效的分布式研究方法,因为它增加了模型的可泛化性,并且不需要迭代通信。
多机构研究有许多优点,因为它们可以增加临床结果的普遍性和可重复性。利用多机构数据对地理上和人口上不同的人口进行的研究越来越普遍,而且有必要提高概括性[
共享多个机构积累的数据,发挥大数据在医学领域的潜力。生物医学大数据网络,如以患者为中心的可扩展国家有效性研究网络临床数据研究网络[
然而,如此大量数据的可用性与隐私问题有关。当敏感的生物医学数据被用于研究目的时,必须保护隐私,这需要实施几项保障措施[
在使用分布式计算的方法中,联邦学习最近被认为是一种很有前途的解决方案。它是一种分布式计算方法,其中多个客户端在中央服务器的协调下协同训练共享的全局模型[
非迭代方法聚合了构建全局模型所需的中间结果,而不需要迭代过程。一种典型的方法是元分析[
在本研究中,我们专注于开发一种非迭代算法,该算法可以从不同的来源构建预测模型,而无需共享水平分区数据,其中患者级别的数据被划分为相同的医疗信息。所提出的模型被称为基于权重的集成模型,是一种在不损害隐私的情况下反映多个机构中不同人群特征的预测模型。我们从两个方面对所提出的基于权重的综合模型进行了评价:(1)为了验证所提出的综合模型是否能够提供一个涵盖多机构数据所有特征的加权平均模型,我们从预测能力和参数估计两方面对其与综合所有机构数据的集中式模型的相似性进行了评价,并与不同机构的模型进行了比较。(2)为了验证所提出的基于权重的综合模型是否通过构建具有概括性的预测模型来提高平均预测性能,我们通过外部验证将基于权重的综合模型的预测能力与中心模型以及用于构建基于权重的综合模型的各机构模型的预测能力进行了比较。
建议的基于权重的综合模型包括四个步骤(
(A)基于权重的综合模型总体流程。(B)基于权重的综合模型的步骤3,展示了在逻辑回归模型中以对数损失作为衡量模型性能的标准计算权重的过程。
随机分割
在
在哪里
为了使权重随着损失的减小而增大,我们定义
的
在哪里
基于权重的综合模型计算的权重由两个因素决定:一方的数据大小(即数据大小与中心数据的比例)和一方的模型与其他各方数据的拟合程度(即每一方模型对所有各方的拟合优度)。以防聚会
在基于权重的综合模型过程中,还可以根据权重估计模型的参数。在步骤3中,的模型和权重
我们进行了3次模拟。第一个模拟旨在验证权重的最佳重复次数。通过第二次和第三次仿真,展示了基于权重的综合模型计算的权重的特点,并与其他加权方法进行了比较。所有模拟均采用标准逻辑回归模型,设置5个特征。从二项(1,0.5)中采样3个特征,从正态(0,1)中采样2个特征。结果从二项(1,
在第一次模拟中,要设置一个最优
通过调整每一方的数据大小和模型的拟合优度2个因素,进行第二次仿真,以确定权重的变化规律。在这个模拟中,我们考虑了两种场景。在第一个场景中,我们生成了数据大小为1000的3个参与方(A、B和C)。通过调整采样参数,生成了一个带有偏置特征的三方。甲乙双方的6个参数均设置相同。通过设置5个参数条件,从参数1到参数5,从参数1调整到参数5,丙方的偏倚程度增加。A方和B方的6个参数在5个条件下均设为1,C方的参数在参数1条件下设为1,在参数2条件下设为0.5,在参数3条件下设为-0.5,在参数4条件下设为-1,在参数5条件下设为-2。即在数据量相同的情况下,通过对有偏差的c方的整个数据的拟合优度逐渐恶化来确定权重的变化程度。在第二种场景中,在将3方中的一方设置为偏倚后,我们改变数据量的条件,根据数据量来检查权重的变化程度。A、B方6个参数设为1,C方全部设为-2。
在第三个仿真中,我们将基于权重的集成模型的权重与其他可比较的权重方法进行了比较,以显示基于权重的集成模型的独特特征。本次仿真的目的是验证使用每种加权方法的集成模型的预测性能与集中式模型的预测性能的相似程度。我们参考了一种方法[
我们在相同的条件下进行了200次模拟。构建4个方(A、B、C和D)来构建预测模型,另外构建4个验证方来测量预测性能。此外,我们假设了2个场景,类似于第二个模拟,以显示每个权重的特征。通过调整相同数据规模下各方的数据特征,以及相同数据特征下各方的数据规模,我们观察了各加权方法的权重变化规律和预测性能。在第一个场景中,4方的数据大小都设置为500。6个参数,[
4个验证方的数据量均固定为500,数据特征与第一种和第二种场景的每个条件相同。例如,将第一个场景条件(1)的4个验证方的参数与A、B、C、d方相同设置为[0,2,2,2,2],测量4个验证方的受试者工作特征(ROC)曲线下的平均面积(AUC),比较各加权方法的性能与集中式模型的相似度。
我们使用了重症监护病房(eICU)电子合作研究数据库[
拟应用的模型为基于权重的综合模型,采用logistic回归模型预测ICU入院后死亡率。作为特征,考虑了急性生理、年龄和慢性健康评估(APACHE)分类系统中的27个变量。APACHE评分是一种疾病严重程度分类系统[
我们从208家医院200,859个ICU住院日中选取10家医院共2845个ICU住院日作为我们水平分割的数据集(
医院和重症监护病房(ICU)住院的选择程序。
在建立预测模型时,事件数量与预测者数量的比较是决定逻辑回归模型性能的关键因素[
模拟数据采用逻辑回归模型,真实数据采用第五逻辑回归模型。为了计算2种逻辑模型的损失,我们按照详细的过程进行
为了评价基于权重的综合模型,我们比较了基于权重的综合模型和采用eICU数据库中10家医院的集中式模型在11个特征上的ROC曲线、AUC和估计OR的结果。此外,我们使用了Hosmer-Lemeshow检验[
根据95% ci的重叠比例评估两种模型的auc和or的比较。重叠比例定义为两个95% CI在误差范围内的重叠之比,即长度较长的95% CI的半宽。如果一个CI非常短,并且包含在另一个要比较的CI中,那么根据较短的CI计算的重叠比例为2,无论较长的CI值如何,这两个CI之间都是完美匹配的。因此,基于较长的CI计算重叠比例,以获得更保守的评价标准。对于独立小组来说
基于11个特征的OR估计结果,我们比较了基于权重的综合模型和传统meta分析的结果(对于使用效应估计方差的倒数作为权重的固定效应模型)。虽然meta分析的权重计算方法与基于权重的综合模型有所不同,但它与基于权重的综合模型相似,即通过设置机构特定权重并根据权重平均每个机构的OR来估计多机构的OR。我们比较了基于权重的综合模型和荟萃分析的集中式模型的95% CI的比例重叠和点估计的相对偏差。
为了进行外部验证,我们在选择10家医院作为中心数据后,选择前5家医院作为外部验证医院(即死亡率高、ICU住院率低于90%且27个特征全部缺失的医院)。通过总结外部验证结果的AUC,我们确认基于权重的综合模型对各外部验证医院的预测性能是否与集中式模型相似。我们还通过5次外部验证的平均AUC,评估了基于权重的综合模型与单一医院的模型相比,是否最终提高了平均预测性能。此外,采用CS-Avg、n-Avg和Avg 3种加权方法进行外部验证,并与基于权重的综合模型进行比较。
采用r3.6.0 (R Foundation for Statistical Computing)软件对实际水平分区数据进行仿真研究和实验。
在模拟1中,提出最优的重复
根据大小为200,400,600,800和1000的重复次数计算3方的权重。垂直线代表200次重复。
为了确认使用基于权重的综合模型计算的权重的特征,在3个参与方中,C方被认为是有偏见的一方。
根据中心数据的拟合优度改变权值模式(模拟2场景1),调整规模为1000的A、B、C三方的5个特征参数。
的结果显示
根据数据量与中心数据的比例(模拟2场景2)、调整后的丙方数据量、甲、乙、丙方数据量与集中数据的比例,改变权重模式。
仿真2的两个结果表明,基于权重的综合模型的权重不仅考虑了中心数据的拟合优度,而且考虑了数据大小与中心数据的比值。
第一个场景的结果显示在
第二个场景的结果总结在
共安排10家医院ICU住院2845例(死亡525例,活着2320例)。在2845例ICU住院病例中,共有
总共200个日志丢失值
每个机构10个模型的AUC、对数损失和权重(N=2845)。
医院数量 | n / n (%) | AUC一个(95%置信区间) | 200次重复的日志丢失 | 重量 | |
中位数 | (最小,最大) | ||||
1 | 510/2845 (17.93) | 83.81% (79.99% - -87.63%) | 575.18 | (535.45, 668.13) | 0.1188 |
2 | 387/2845 (13.60) | 82.14% (76.82% - -87.47%) | 577.40 | (536.59, 754.68) | 0.1181 |
3. | 268/2845 (9.42) | 86.67% (81.57% - -91.78%) | 616.63 | (547.65, 755.15) | 0.1109 |
4 | 338/2845 (11.88) | 86.48% (81.43% - -91.53%) | 617.14 | (552.61, 787.62) | 0.1109 |
5 | 231/2845 (8.12) | 86.29% (80.19% - -92.4%) | 723.90 | (572.31, 1814) | 0.0929 |
6 | 316/2845 (11.11) | 80.93% (74.02% - -87.83%) | 626.65 | (539.71, 978.16) | 0.1076 |
7 | 308/2845 (10.83) | 85.95% (78.23% - -93.67%) | 665.89 | (561.92, 1071.16) | 0.1024 |
8 | 197/2845 (6.92) | 83.81% (75.88% - -91.73%) | 712.29 | (569.31, 7280.35) | 0.0912 |
9 | 165/2845 (5.79) | 86.63% (79.2% - -94.05%) | 758.66 | (566.39, 1774.99) | 0.0890 |
10 | 125/2845 (4.39) | 92% (86.66% - -97.34%) | 1008.64 | (634.35, 13722)。 | 0.0583 |
一个AUC:接收机工作特性曲线下的面积。
Hosmer-Lemeshow拟合优度检验表明,基于权重的综合模型和集中式模型与中心数据拟合较好,各医院的10个模型与各医院的数据拟合较好
接收器工作特性曲线下的面积(AUC), 200次重复的对数损失和权重。WIM:基于权重的集成模型。
共选择535个ICU病房作为5家外部验证医院。外部验证医院1、2、3、4、5的发病频次和死亡率分别为20/155(12.9%)、19/67(28.36%)、24/226(10.62%)、11/47(23.4%)和8/40(20%)。
集中模型、WIM和各医院10个模型的外部验证AUC结果(误差条:95% CI)。黑色、深灰色、浅灰色分别表示WIM、集中式模型、各医院10个模型。AUC:接收机工作特性曲线下面积;WIM:基于权重的集成模型。
第5个逻辑回归模型中11个特征的估计OR和95% CI的比较:(A) OR < 1的特征和(B) OR < 0 1的特征。图右侧的数字是WIM和集中式模型之间95% CI (OR)的比例重叠。AUC:接收机工作特性曲线下面积;BUN:血尿素氮;FiO2:吸入氧的分数;GCS:格拉斯哥昏迷量表;OR:优势比;PaO2:氧分压;pCO2:二氧化碳分压;PR:脉搏率; WIM: weight-based integrated model.
通过与荟萃分析的比较,基于权重的综合模型与荟萃分析在95% CI的比例重叠和相对偏倚(
该模型(基于权重的集成模型)是为了在不需要物理数据共享的情况下,从水平分区的数据中构建一个集成的预测模型。基于权重的集成模型是一种不需要迭代过程的算法,并且可以通过引入分区模型的柔性权重概念来扩展模型的应用。与以往在隐私保护条件下建立中心数据模型的方法不同,该模型具有以下新颖之处。
首先,基于权重的集成模型不需要迭代通信来构建接近集中式模型的模型。使用分布式计算的方法需要在机构和中央服务器之间反复交换信息,这在实践中是耗时和劳动密集型的[
其次,基于权重的综合模型的权重是由数据大小和各方模型对整个数据的拟合优度两个因素(
第三,基于权重的集成模型在应用模型的可扩展性方面是一种灵活的算法。由于所提出的模型是独立建立各个划分模型,然后根据权重进行整合,因此只需根据模型的不同,改变步骤2的参数形式和步骤3的损失函数。
与集中式模型相比,我们在预测能力和参数估计方面评估了基于权重的综合模型的有效性。实际水平分割数据的实验结果表明,基于权重的集成模型与集中式模型接近,提高了平均预测性能。
在预测能力方面,基于权重的综合模型与基于ROC曲线和AUC结果的集中式模型基本相似。基于权重的集成模型通过对每个过拟合或欠拟合的分区模型进行积分,与集中式模型(
在参数估计方面,基于比例重叠的结果(0.5及以下表示差异显著,显著性水平为0.05;2表示两个CI完全重叠),95% CI为OR (
在使用真实数据的实验中与meta分析的比较结果表明,对于11个特征中4个特征的OR估计,基于权重的综合模型的相对偏差略小于meta分析的相对偏差。基于权重的综合模型在ORs的估计方面与meta分析的结果大致相似。然而,根据不同的特征,由于meta分析和基于权重的综合模型在权重计算上的差异,95% CI的比例重叠和相对偏倚存在差异。meta分析的权重具有机构特异性。然而,由于它是根据OR估计量的方差进行调整的,因此即使对于同一机构,根据估计的特征OR也会产生不同的权重。相比之下,由于我们提出的基于权重的综合模型中的权重分配给了每个机构的模型,即使待估计的特征不同,也会给同一个机构赋予相同的权重。虽然meta分析的权重比基于权重的综合模型的权重具有更多的特征特异性特征,但与基于权重的综合模型不同,它并不代表机构模型的权重。因此,不能将其视为包含构建预测模型目的的权重。
在应用基于权重的综合模型时,需要考虑以下几点:为了计算基于权重的综合模型中各机构的权重,将各机构的数据分为
基于权重的综合模型与MCCG算法类似[
通过与其他可比较的加权方法(CS-Avg、n-Avg和Avg)的对比分析,我们论证了基于权重的综合模型的权重特征[
在基于权重的集成模型中,在相同数据规模下,权重随各方数据特征的变化而调整,在相同数据特征下,权重随各方数据规模的变化而调整。相比之下,Avg总是分配一个固定的权重,并不反映各方的不同特征和数据量,n-Avg分配的权重只反映各方数据量的变化。此外,CS-Avg并没有反映数据大小的变化,而是反映了各方之间数据特征的变化。由于CS-Avg将权重为0的一方分配给其他各方绩效最低的一方,因此该权重为0的一方未被纳入模型。因此,与其他权重相比,CS-Avg的预测性能与集中式模型的预测性能差异最大。基于权重的集成模型的权重区别于其他权重,反映了中心数据中各方在数据规模和各方数据特征方面的特征。结合这些特征的基于权重的综合模型,与其他加权方法相比,可以构建出与集中式模型预测性能相近的模型。
在我们使用真实数据的实验中,基于权重的综合模型与其他加权方法的外部验证结果差异不大,每种加权方法赋予10家医院的权重仅略有差异(
指出基于权重的集成模型是一种不需要迭代过程的模型,具有新颖性。然而,由于在真实的分布式环境中缺乏迭代过程,我们没有对其效率进行评估。此外,本研究使用2个逻辑回归模型验证了所提出的方法,我们没有使用其他模型来验证基于权重的综合模型的有效性。结果显示胆红素的OR值
在本研究中,我们开发了一个基于权重的集成模型,该模型可以构建机构间非迭代通信的集成预测模型。基于权重的集成模型采用每个机构的权重概念,是一种可以减轻分布式计算负担,提高外部验证机构平均预测性能的隐私保护分析方法。所提出的基于权重的集成模型为提高多机构数据的利用率提供了一种高效的分布式研究算法。
10家医院的总事件、Z(1)和Z(2)的发生频率和发生率。
集中式模型、基于权重的综合模型、实验中各医院10个模型使用真实数据进行OR估计。
采用Hosmer-Lemeshow拟合优度检验评估权重综合模型和中心数据集中式模型以及各医院10个模型的校准情况。
5家外部验证医院的平均AUC、集中模型、权重综合模型和10家医院各10个模型中每家外部验证医院的AUC (95% CI)。
基于权重的综合模型与meta分析的11个特征的OR (95% CI)比较结果。
将模拟研究结果与其他加权方法进行比较,根据相同数据规模下数据特征的变化进行加权。
将仿真研究结果与其他加权方法进行比较,根据相同数据特征下数据大小的变化进行加权。
采用eICU数据加权法对外部验证结果进行对比分析。
急性生理、年龄和慢性健康评估
接收机工作特性曲线下的面积
电子重症监护病房
网格二元逻辑回归
加护病房
多中心协作网关
优势比
接收机工作特性
本研究由韩国健康技术研发项目通过韩国健康产业发展研究所(KHIDI)资助,由大韩民国卫生和福利部资助(批准号HI19C1015)。
没有宣布。