发表在23卷, No . 2(2021): 2月

本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/25120,首次出版
使用先进的隐私增强技术革新医疗数据共享:技术、法律和伦理综合

使用先进的隐私增强技术革新医疗数据共享:技术、法律和伦理综合

使用先进的隐私增强技术革新医疗数据共享:技术、法律和伦理综合

的观点

1卫生伦理与政策实验室,卫生科学与技术系,Eidgenössische瑞士z rich高等理工学院

2澳大利亚阿德莱德弗林德斯大学商业、政府和法律学院

3.瑞士洛桑大学医院精准医学组

4数据科学组,洛桑大学医院,瑞士洛桑

5数据安全实验室,计算机与通信科学学院,École瑞士洛桑理工学院,洛桑

6生命科学学院,École瑞士洛桑理工学院,洛桑

7瑞士生物信息学研究所宿主-病原体基因组学实验室,洛桑,瑞士

通讯作者:

James Scheibner, BComp,法学学士,博士

商业、政府和法律学院

弗林德斯大学

环路,贝德福德公园

阿德莱德,5042

澳大利亚

电话:61 (08)82013196

电子邮件:james.scheibner@flinders.edu.au


多站点医疗数据共享在现代临床实践和医学研究中至关重要。面临的挑战是如何进行数据共享,同时保护个人隐私和数据效用。传统的隐私增强技术的缺点意味着机构依赖于定制的数据共享合同。这些合同导致的冗长的程序和管理增加了数据共享的效率低下,并可能阻碍重要的临床治疗和医学研究。本文综合了两种新的高级隐私增强技术——同态加密和安全多方计算(统称为多方同态加密)。这些增强隐私的技术为隐私提供了数学保证,与单独使用同态加密或安全多方计算相比,多方同态加密提供了性能优势。我们认为,多方同态加密符合欧盟通用数据保护条例下医疗数据共享的法律要求,该条例为数据保护设定了全球基准。具体来说,使用多方同态加密处理和共享的数据可以被认为是匿名数据。我们解释了多方同态加密如何减少对机构之间定制契约措施的依赖。拟议的方法可以加快医学研究的步伐,同时为卫生保健和研究机构采用通用数据互操作性标准提供额外的激励。

[J] .中国医学信息学报,2013;23(2):559 - 561

doi: 10.2196/25120

关键字



当前生物医学研究范式的特点是从机构内研究转向在机构间、国家或国际层面开展多地点研究项目的多个合作机构;然而,尽管研究障碍明显消除,但各个司法管辖区的道德和法律要求之间仍然存在差异[1]。有许多组织策略已经被用来解决这些问题,特别是对于国际学术联盟。

例如,国际癌症基因组联盟(International Cancer Genome Consortium)致力于在云环境中收集与非癌症序列配对的癌症基因组,称为全基因组的癌症分析。由于美国和欧盟数据隐私法之间的冲突,国际癌症基因组联盟的数据访问合规办公室无法在全基因组癌分析项目下建立国际云[2]。随着欧盟法院(CJEU)宣布美国-欧盟隐私保护协议无效,这些冲突可能会加剧。这项决定将防止私人研究机构在没有组织保障的情况下将个人资料从欧盟转移到美国。[3.]。此外,COVID-19大流行使得共享临床试验和研究数据势在必行。然而,一系列因无法获得数据而被撤稿的2019冠状病毒病论文强调了共享数据以鼓励监督的必要性[4]。此外,在欧洲联盟内部,各国在如何管理与健康有关的个人数据处理方面可能存在差异[5]。根据欧盟法律的不同分支,处理与健康有关的数据也有不同的理由。《临床试验条例》和《欧盟一般数据保护条例》(GDPR)对处理与健康有关的数据要求不同的同意标准,具体取决于这些数据是否作为临床试验方案的一部分收集。这种差异的影响是,如果没有获得适当的同意,为一个目的(例如试验方案)收集的数据可能无法用于次要研究目的。[6]。最后,由于研究的限制,可能不可能在机构或司法管辖区之间共享数据[7]。尽管已提议对欧盟数据保护法进行改革,以鼓励科学数据共享[8],目前可用的最佳解决办法仍然是合同和技术措施。

在本文中,我们描述了依赖于传统隐私增强技术的传统数据共享方法如何受到管理医疗使用和数据共享的各种法规的限制。我们描述了两种新的隐私增强技术,同态加密和安全多方计算,扩展了研究人员进行隐私保护多站点研究的能力。然后,我们转而分析监管对使用这些新型隐私增强技术进行医疗和研究数据共享的影响。特别是,我们认为这些增强隐私的技术保证了欧盟GDPR规定的匿名性,因此是医疗数据共享的关键推动因素。我们关注GDPR,因为它目前代表了数据保护法规的全球基准。我们认为,使用这些技术可以减少对定制数据共享合同的依赖。多方数据处理使用标准化协议,配合增强隐私的技术,可以减少研究的瓶颈。最后,我们转向解决如何将这些新的隐私增强技术集成到现有的监管框架中,以鼓励增加数据共享,同时保护数据隐私。


概述

在研究新的隐私增强技术之前,有必要研究一下为研究目的交换医疗数据的主要模型,以及目前用于减少重新识别风险的传统隐私保护机制的局限性。我们将数据共享模型分为三类,并分析了它们的主要技术问题(图1).

图1所示。三种主要数据共享模型的概述:(A)集中式,(B)分散式(站点级元分析)和(C)分散式(联邦学习)。
查看此图

集中式模型:可信经销商

集中式模型要求愿意彼此共享数据的医疗站点(即数据提供者)将其个人级别的患者数据汇集到单个存储库中。数据存储库通常由一个医疗站点或外部第三方(例如云提供商)托管,扮演可信经销商的角色。该模型的主要优点是,受信任的经销商使授权的调查人员能够访问数据清理和进行统计分析所需的所有患者级信息。此外,由于数据存储和计算外包,这种数据共享模型最大限度地降低了医疗站点的基础设施成本。然而,从数据隐私的角度来看,中心化模式往往难以实现,特别是当医疗和遗传数据应该在不同的司法管辖区之间交换时。托管数据存储库的中心站点表示数据共享过程中的单点故障。所有参与的网站都必须信任这样的单一实体来保护他们的患者级数据[9]。

为了最大限度地减少数据泄露造成的敏感信息泄露,传统的匿名化技术包括抑制个人病历中的直接识别属性,以及泛化、聚合或随机化准识别属性。特别是,k-匿名隐私模型[10是一种完善的隐私保护模式,旨在减少针对个人的重新识别攻击的可能性。具体来说,k-匿名模型保证对于每一个准(或间接)标识符的组合,至少存在一个k具有相同属性的个体。

然而,鉴于重新识别攻击越来越复杂,[10-16]以及患者数据的维数(临床和遗传属性的数量)不断上升,上述对策不足以确保适当的匿名化水平并保持可接受的数据效用。因此,这些传统的个人患者数据匿名化技术在实践中很少使用。研究人员更倾向于依赖简单的假名化技术(例如用假名代码代替直接标识符),并结合法律措施定义各方在数据传输、访问和使用方面的责任。这一过程产生的管理费用减慢了生物医学研究的步伐。此外,尽管旨在遵守数据保护条例,但合同保障措施可能无法消除个人被重新识别的风险[17]。正如我们下文所述,将传统的假名化机制和治理策略相结合,符合假名化的法律标准,但不符合GDPR下的匿名化标准。

分散模型:站点级元分析

与集中式数据共享模型相反,分散式模型不需要将患者级数据从医疗站点的信息技术基础设施中物理传输出来。医疗站点控制其个人级别的患者数据,并定义自己的数据治理原则。对于每项临床研究,统计分析首先在局部数据集上进行计算。然后将所得的本地统计数据发送到负责最终荟萃分析的网站,汇总每个数据提供者的单独贡献[18],得到最后的分析结果。在此模型下,执行元分析的站点受到所有其他站点的信任,以保护其本地统计数据。由于局部统计数据相对于个人层面的数据具有明显较低的维度,因此在分散的数据共享模型中,重新识别的风险较低。

然而,仅共享汇总级数据本身并不能保证患者的隐私。对于某些亚群体(如罕见疾病患者),一些总体水平的统计数据可能过低,可以认为是个人识别。此外,在某些情况下,可以利用来自本地分析的聚合级数据来检测原始数据集中目标个体的存在。例如,攻击者可能已经持有一个或多个目标个人的个人数据[19-23]。这些成员信息随后可以用来推断目标个体的敏感属性,有时甚至是污名化属性。例如,检测艾滋病毒阳性队列中的个体成员可以揭示他们的艾滋病毒状况。这些攻击背后的直觉是,通过从研究数据集计算的统计数据和从一般人群计算的统计数据来衡量个人层面目标数据之间的相似性。攻击者对目标在数据集中的隶属关系的确定性随着目标数据与从研究数据集中派生的统计数据的相似性而增加。

为了应对这些推理攻击,临床站点可以通过使用混淆技术来匿名化其本地统计数据,该技术主要包括在聚合级数据上添加一定数量的统计噪声,然后再传输给第三方。此程序使资料提供者得以实现私隐的正式概念,例如差别私隐[2425]。在统计隐私社区中,差异隐私目前被认为是保证从聚合级统计数据的发布中重新识别的可能性可以最小化到一个可接受的值。与个人级数据的匿名化技术类似,统计混淆技术降低了聚合级数据的效用。因此,应该仔细校准由数据混淆引入的噪声量,以在实用性和隐私性之间达到理想的折衷。通常,当每个数据提供者为达到可接受的隐私水平而添加所需数量的噪声时,由元分析产生的汇总结果过于扭曲而不可靠[26]。

除了隐私方面的考虑外,这种方法还缺乏灵活性,因为参与分析的医疗站点必须在选择要考虑的参数和协变量之前进行协调。这种协调通常依赖于人工审批,从而阻碍了分析本身的速度。最后,与集中方法相反,结合汇总统计或局部分析结果的荟萃分析结果的准确性可能受到交叉研究异质性的影响。这可能导致不准确和误导性的结论[27]。

分散模型:联邦分析和学习

联邦模型是基于站点级元分析的分散式模型的演进。与共享本地分析的结果不同,参与的数据提供者合作以交互式和迭代的方式执行联合分析或机器学习模型的训练,仅共享模型参数的更新。参与多中心研究项目的一个医疗站点(通常是负责统计分析的站点)成为参考站点(或中心站点),并定义要训练的模型(或要执行的分析),并对分布在整个网络上的数据执行。这个模型被称为全局模型。每个参与的网站都会得到一份模型的副本,以便在他们自己的个人层面数据上进行训练。一旦模型经过几次迭代在本地进行了训练,站点就只向中心站点发送其更新版本的模型参数(聚合级信息),并将其个人级数据保存在其站点中。中心站点汇总来自所有站点的贡献并更新全局模型[28]。最后,更新后的全局模型参数再次与其他站点共享。该过程迭代重复,直到全局模型收敛。

相对于基于站点级元分析的分布式数据共享方法,这种联邦方法对于跨不同站点的数据异构分布更加健壮,因此产生的结果精度与使用集中式模型进行相同分析获得的结果相当。此外,这种方法不会遭受传统荟萃分析在统计能力上的损失。尝试采用联合方法分析和共享生物医学数据的著名项目是DataSHIELD项目[29]和人脑工程医学信息平台[30.]。

联邦数据共享方法结合了其他两种方法的最佳特性。然而,尽管与集中式方法相比,重新识别的风险降低了,但联邦方法仍然容易受到与元分析方法相同的推理攻击。这些推理攻击利用协作期间释放的聚合级数据[31-34]。与基于元分析的方法相比,推理攻击的可能性甚至增加了。这是由于数据处理的迭代和协作性质,允许对手观察模型随时间的变化和特定的模型更新。Melis等[35[]表明,在协同训练阶段传递的模型参数的更新可以用来推断目标个体在训练数据集中的隶属关系,以及与训练数据的特定子集相关的一些属性。如果数据发布的上下文使攻击者能够轻松访问有关目标个人的一些辅助个人级信息,则这种推断是可能的。在法律术语中(如下所述),这些聚合级数据可能被视为个人数据。至于元分析方法,混淆技术可以用于在每次迭代中匿名化模型的更新。然而,所需的扰动会严重影响最终模型的性能[26]。

最后,无论分布式数据共享模型的类型如何,用于匿名聚合级数据的混淆技术由于其对数据效用的影响而很少在医学研究实践中使用。因此,这些技术隐私限制通常通过额外的法律和组织机制来解决。对于DataSHIELD项目,访问权限仅限于已同意DataSHIELD使用条款并已寻求适当的伦理批准以参与DataSHIELD分析的组织[36]。因此,实施该平台将需要与政府和机构合作,以便他们能够放心地将敏感数据暴露给平台[29]。然而,正如我们在下面讨论的那样,先进的技术也可以保证数据隐私。


概述

在过去几年中,一些加密隐私增强技术已经成为解决上述数据保护挑战的重要潜在进展,这些挑战仍然影响着分散模式下的医疗数据共享。尽管可以设想基于硬件的方法用于此目的,但它们通常是针对集中式场景进行定制的,并引入涉及硬件提供者的不同信任模型。此外,它们还依赖于对硬件平台安全性假设的有效性,而硬件平台的新漏洞不断被发现。在本文中,我们重点讨论了两种最强大的基于软件的隐私增强技术:同态加密和安全多方计算。两者都依赖于数学证明的数据保密性保证,分别基于加密难题和非共谋假设。

同态加密

同态加密[37[]是一种特殊的加密类型,它支持对加密数据(密文)进行不解密的计算。由于这个特性,同态加密的数据可以安全地分发给第三方,第三方可以在不了解其内容的情况下对其执行有意义的操作。完全同态加密方案,或允许对密文进行任意计算的方案,由于它们引入的高计算和存储开销,仍然被认为是不可行的。目前的实际方案只允许对密文进行有限数量的计算(例如多项式运算),已经达到了允许在实际场景中使用的成熟程度。

安全多方计算

安全多方计算[38-42协议使多方能够根据他们的私人输入共同计算函数,而不会向其他各方披露更多关于彼此输入的信息,而不是从计算输出中推断出的信息。这类协议在保护隐私的分布式分析平台中特别有吸引力,因为它们支持多种安全计算。然而,这种灵活性包含了一些阻碍其采用的缺点,包括高网络开销和要求各方在计算期间保持在线。

多方同态加密

提出了安全多方计算与同态加密相结合的方法,克服了各自的开销和技术局限性;我们称之为多方同态加密[43-46]。多方同态加密通过在使用同态加密执行的加密本地计算和交互协议(安全多方计算)之间有效地转换,实现了灵活的安全处理。它可以用于为给定工作流中的每个步骤选择最有效的方法,利用一种技术的特性来避免另一种技术的瓶颈。此外,多方同态加密保证了底层同态加密方案的秘密密钥永远不存在。相反,它将解密过程的控制权分配给所有参与的站点,每个站点都持有密钥的一个片段。所有参与的站点必须同意解密任何数据,并且没有任何一个实体可以单独解密数据。

与同态加密或安全多方计算不同,多方同态加密提供了有效、可扩展和实用的解决方案,用于解决影响数据共享的分布式或联合方法的隐私保护问题。例如,Helen [47], MedCo [48],或波塞冬[49]采用多方同态加密,保证站点间交换的所有信息始终以加密的形式进行,包括模型参数、模型更新等汇总数据,只有最终结果(计算出的模型或基于该模型的预测结果)才会向授权用户透露。最后,多方同态加密减少了使用混淆技术来保护聚合级数据免受推理攻击的需要。此外,数据实用程序可以得到显著改进,而仅依赖于混淆技术的保护隐私的分布式方法通常会丢失数据实用程序。由于在分析或训练阶段跨参与站点的聚合级数据传输和处理始终是加密的,因此只能将混淆应用于发布给数据分析师的分析的解密最终结果,而不是应用于每次迭代中的所有本地模型更新。因此,对于相同级别的重新识别风险,多方同态加密可以实现更低的效用退化。


概述

在本节中,我们将重点介绍欧盟数据保护法在加密和数据共享方面的特点。我们之所以关注GDPR,是因为尽管GDPR通过了,但成员国的法律仍然存在国家分歧。特别是,《通用数据保护条例》规定成员国可以引入进一步的条件,包括对处理基因数据、生物特征数据或健康相关数据的限制。这些例外情况存在于可以处理特殊类别的个人数据(如遗传数据、生物特征数据或与健康有关的数据)的狭窄情况之外[6]。这种灵活性增加了国家法律分歧的可能性,这需要不同欧盟成员国机构之间的定制合同[5]。

数据匿名化和假名化

GDPR定义了个人资料关于一个可识别的自然人。因此,假名化的数据(所有标识符都已从这些数据中删除)仍然是个人数据。然而,GDPR的规定不涉及匿名数据或已处理的数据,因此个人不再可识别。特别是,匿名数据可以用于研究或统计处理,而无需遵守GDPR。

斯宾德勒和施米谢尔[50我注意到,对个人数据和匿名数据进行分类有两种相互冲突的方法。第一种是绝对方法,即使理论上存在重新识别的可能性,匿名数据也构成个人数据。这种做法代表了法国等少数欧盟成员国的国内法状态[51]。第二种方法是相对方法,即在合理可能不存在重新识别个人身份的方法的情况下,匿名数据不再是个人数据。[50]。这种方法代表了爱尔兰等国的国家法律状况,爱尔兰数据保护委员会(Irish Data Protection Commission)认为,如果当前技术不太可能用于重新识别这些数据,则对这些数据进行匿名处理[52]。同样,德国联邦经济事务和能源部认为,数据(包括与健康有关的个人数据)在《Bundesdatenschutzgesetz德国联邦数据保护法)在作出合理努力后仍无法重新识别个人的情况下[53]。在这两个司法管辖区,如果需要作出不合理的努力来重新识别匿名数据,则该等数据将不再属于个人数据[50]。

在超国家层面上,前第29条工作组(现为欧洲数据保护委员会)更倾向于相对匿名化,而不是绝对匿名化。首先,第29条工作组认为,“指合理可能”一词表明,理论上重新识别的可能性并不足以使该等资料成为个人资料[54]。工作组随后的意见加强了对相对方法的支持,并比较了不同的匿名化或假名化技术。例如,用密钥加密数据意味着密钥持有者可以解密数据。因此,对于这一方来说,数据将是假名数据。但是,如果一方没有密钥,数据将被匿名化。同样,如资料被聚合至足够高的水平,该等资料便不再属个人资料[55]。然而,根据第29条工作组的裁决,任何单一的匿名化技术都不能完全防范重新识别的正交风险[56]。

数据处理

GDPR的规定适用于数据控制者,或确定处理个人数据的目的和方法的实体。这一定义既包括卫生保健机构,也包括研究机构。数据控制者必须保证个人数据处理的合法性、相称性,并保护数据主体的权利。特别是,GDPR规定,当个人数据的处理目的与收集目的不同时,应使用加密作为保护措施。尽管GDPR没有定义加密,但第29条工作组将加密等同于从个人数据中剥离标识符。GDPR还将加密列为一种可以保证个人数据安全的策略。此外,GDPR强调,在采取安全措施时,数据控制者应考虑最新技术以及与处理相关的风险。GDPR还规定,用于科学目的的数据处理应遵循数据最小化原则。该原则要求数据处理者和控制者使用非个人数据,除非研究只能使用个人数据完成。如果需要个人数据来完成研究,应使用假名或汇总数据,而不是直接识别数据。

GDPR规定了数据控制者在数据传输方面的义务,特别是在欧盟以外。具体来说,GDPR要求接收方在数据控制者将数据转移到接收方之前提供足够的隐私保护。否则,数据控制者必须确保组织安全措施到位,以确保数据得到相当于gdpr的保护。此外,数据控制者必须考虑机构之间交换数据的后果,以及这些是联合控制者还是控制者-处理者安排。根据GDPR,数据主体的权利可以在共同控制协议中对任何和每个控制方行使。此外,控制者必须有一份规定处理条款的协议。相比之下,数据控制器-处理器关系存在于控制器指示数据处理器代表控制器执行处理的地方,例如云服务提供商。GDPR规定,任何处理合同都必须定义处理的主题、持续时间和目的。合同还应界定处理的个人数据类型,并要求处理者保证处理的机密性和安全性。

高级隐私增强技术和欧盟数据治理要求

在本节中,我们认为多方同态加密,或同态加密和安全多方计算协同使用,符合GDPR下数据匿名化的要求。此外,我们认为使用多方同态加密可以显著减少对自定义合约的需求,以管理机构之间的数据共享。我们将重点放在遗传和临床数据共享上,因为在处理与健康有关的数据方面可能存在国家减损。然而,我们关于使用多方同态加密或同态加密和安全多方计算进行数据共享的技术和法律要求的结论可能适用于其他部门,具体取决于监管要求[57]。

根据GDPR,分离假名数据和标识符类似于分离解密密钥和加密数据。就假名化的资料而言,任何实体可实际或合法存取该等身分代号,即属拥有该等个人资料[58]。为此,Spindler和Schmechel [50表明加密数据对于持有解密密钥的实体来说仍然是个人数据。加密后的资料仍属个人资料,任何第三者可透过合法途径取得解密匙。将此方法应用于同态加密,如果一方有权访问与用于同态加密数据的加密密钥相对应的解密密钥,则该方将有权访问个人数据。同样,如某一方合法查阅作为安全多方计算的一部分而共同处理的数据,该等数据仍将是该方的个人数据[59]。

使用先进的增强隐私技术进行数据处理的一方是否有权合法访问数据或解密密钥,取决于双方之间的法律关系。就共同控权而言,欧洲法院最近的判例法已订明,当事人即使无法取得个人资料,亦可成为共同控权人[60-62]。高等法院裁定,在Facebook上托管的粉丝页面的管理员是一名共同控制人,尽管他只可访问第38段所述的汇总数据。[60];然而,GDPR第26条第1款[63]要求共同控制者建立一份合同,分配处理个人数据的责任。使用安全多方计算处理患者数据的医院或研究机构共同决定如何处理这些数据。这些实体将被归类为联合控制者,至少在进行秘密共享(作为数据处理的共同目的)时是这样。这些实体需要达成协议,以确定只有对患者数据具有物理访问权限的实体才能访问这些数据。如果向不拥有这些数据的医院或研究机构提出请求,则必须将该请求转介给拥有这些数据的实体。

将这些原则应用于隐私增强技术的处理中,对于同态加密,没有解密密钥就不可能在数学上解密数据。当数据处于静止状态,或者当数据通过安全操作(如同态加法或乘法)在加密空间中处理时,这一点都成立。作为安全多方计算或多方同态加密的一部分处理的数据是否仍然是个人数据,取决于实体是否分别有权合法访问个人数据或解密密钥。如果实体只能访问他们作为联合控制人协议的一部分实际持有的个人数据,那么通过安全多方计算在秘密共享期间交换的数据片段就不是个人数据。同样,在多方同态加密下,每个单独的实体只能访问解密密钥的一个片段,该片段只能在持有剩余片段的所有其他实体的批准下重新组合。GDPR序言第57段加强了这一论点[63],它规定禁止识别个人的控制者不需要收集识别信息以遵守GDPR。

因此,我们认为同态加密和安全多方计算,无论是单独使用还是通过多方同态加密一起使用,都可以在符合GDPR的情况下共同计算与健康相关的数据。即使使用多方同态加密处理数据的实体是联合控制器,这些数据仍然是匿名的。此外,出于三个原因,使用先进的增强隐私技术应成为处理健康相关数据的最佳标准。首先,第29条工作组建议协同使用加密和匿名化技术,以防止正交隐私风险并克服单个技术的局限性[55]。其次,GDPR强调使用最先进的技术来保证敏感数据的处理。同态加密、安全多方计算和多方同态加密被认为是最先进的技术,因为它们具有对隐私的数学保证。第三,第29条工作组认为数据控制者有责任证明数据已经并将继续匿名化[55]。这一论点的进一步支持来自瑞士联邦最高法院审理的一个案件[64];在第5.12段中,联邦最高法院认可了一种相对的匿名化方法,但也将建立匿名化的责任放在了数据控制者身上。瑞士不是欧盟成员国,不需要遵守GDPR。然而,瑞士与欧盟的紧密关系意味着瑞士联邦数据保护法已经被修订。这些修订确保瑞士与欧盟国家之间继续自由交换数据。[65]。

因此,我们认为多方同态加密涉及在欧盟数据保护法下处理匿名数据。尽管同态加密、安全多方计算和多方同态加密并没有消除对联合控制权协议的需求,但它们减轻了数据共享所需的管理负担。此外,它们促进使用标准加工协定,有助于减轻欧洲联盟内外国家差异的影响。因此,我们认为多方同态加密以及其他形式的先进隐私增强技术应该代表低信任环境中健康数据处理的标准[66]。这种处理可以包括对敏感形式的数据进行计算,例如在不透露患者整个序列的情况下提供基因组诊断[67]。此外,同态加密和安全多方计算的加密输出在数学上是私有的,因为它们不会泄露任何个人数据[68]。最后,多方同态加密涉及处理匿名数据的事实扩大了健康相关数据的使用目的。例如,作为临床试验方案的一部分,可以通过患者的个人设备收集数据。这些设备既可以在本地存储这些数据,也可以将它们传输到医院。然后,作为研究项目的一部分,可以以匿名形式查询数据,而无需寻求根据数据保护法对处理这些数据所要求的额外同意[69]。重用存储在患者个人设备上的数据的能力也有助于支持创新形式的临床试验,例如远程患者监测。使用新的隐私增强技术(如多方同态加密)处理的数据的各种状态显示在图2表1说明个人资料在不同处理阶段的状况。

图2。比较基于传统增强隐私技术(例如聚合和假名化)的分布式方法和基于多方同态加密(例如同态加密和安全多方计算)的分布式方法下个人数据的状况。
查看此图
表1。数据在不同处理阶段的状态。
场景 描述 根据场景设置数据的状态
一个 医院/研究机构实际持有个人资料 个人资料
B 医院/研究机构对解密密钥/个人数据有合法访问权 Pseudonymized数据
C 医院/科研机构结合解密密钥/个人数据进行数据处理 匿名数据
D 第三方(云服务提供商)进行处理,医院共享加密密钥 匿名数据

缺乏对自定义合同的依赖可能会鼓励机构将其数据格式与通用的国际互操作性标准保持一致。在下一节中,我们将讨论这些高级隐私增强技术的标准化问题。


目前,监管文书对以注重隐私的方式处理医疗数据所需的不同类型的隐私增强技术提供了有限的指导。然而,本文中描述的技术可能代表了未来为临床或研究目的处理医疗数据的最佳标准。由于这两种技术的新颖性,同态加密和安全多方计算的标准化正在进行中,2018年发布了第一个社区标准[70]。

此外,数据保护机构发布了许多文件,可以帮助制定此类指导方针。例如,全国信息和自由委员会法国数据保护局)在《一般资料保护条例》通过后,就如何保障个人资料发表了一套指引。本文件就何时应使用加密提供建议,包括数据传输和存储[71]。同样,Española de Protección de Datos通讯社西班牙数据保护局)已建议使用同态加密作为机制,根据《通用数据保护条例》第25条的规定,在设计上实现数据私隐[72]。

然而,任何标准都需要不断更新以应对新的技术变化。例如,完全同态加密最显著的缺点之一是计算的复杂性。这种计算复杂性使得很难预测运行时间,特别是对于可穿戴设备和智能手机等低功耗设备。在可预见的未来,这可能会限制可以使用完全同态加密的设备[73]。因此,可能需要制定专门的标准,以便在医疗环境中的低功耗设备上使用同态加密。具体来说,这些标准必须符合患者自己访问和共享数据的法律要求,包括GDPR第20条中包含的数据可移植性权利[54]。虽然同态加密和安全多方计算提供了隐私保证,但仍然存在从聚合级结果中重新识别个人的正交风险,这些结果最终被解密并可能被推理攻击利用[19212774]。然而,如前所述,多方同态加密或安全多方计算的使用使得统计混淆技术能够应用于聚合级结果的匿名化,并且比传统的分布式方法更好地权衡了隐私-效用,从而促进了端到端匿名数据工作流的实现。

最后要考虑的是存在于同态加密、多方计算和多方同态加密是否涉及处理匿名或个人数据之外的伦理问题。首先,根据数据保护法,对个人数据进行加密的行为构成对这些数据的进一步处理。因此,保健和研究机构必须征求患者或研究参与者的知情同意[50]。机构必须考虑如何以可理解的方式解释这些技术,并使患者能够行使其在数据保护法下的权利。其次,持有数据的机构必须有适当的程序来管理谁可以访问使用先进的隐私增强技术加密的数据。机构还应确定由哪个内部实体负责管理访问请求。这些实体可包括道德检讨委员会或资料查阅委员会[2]。


医学数据共享对现代临床实践和医学研究至关重要。然而,传统的基于数据扰动的隐私保护技术,以及集中式和分散式的数据共享模型,都存在固有的隐私风险,并可能对数据的效用产生很大的影响。这些缺点意味着,研究和医疗机构需要将这些传统的隐私保护技术与合同机制结合起来,以管理数据共享并遵守数据保护法。这些合同机制取决于具体情况,需要研究机构和卫生保健机构之间的信任环境。尽管联邦学习模型可以帮助减轻这些风险,因为只有总体级别的数据在机构之间共享,但从部分结果间接重新识别患者对隐私的风险仍然存在正交风险[66]。此外,判例法的变化(例如最近已提及的美欧私隐护盾失效)[3.])可能会破坏与欧盟以外的研究伙伴的数据共享。在本文中,我们演示了如何通过使用多方同态加密来解决这些隐私风险,同态加密是同态加密和安全多方计算的有效组合。特别是,我们演示了如何使用同态加密和安全多方计算来计算精确的联邦分析,而无需传输个人数据。将这些技术(多方同态加密)结合起来用于医疗数据共享,可以改善隐私增强技术的性能开销,同时降低不符合GDPR的风险。此外,在使用多方同态加密进行处理时,个人数据不会离开存储它们的托管机构。因此,缺乏多方同态加密的个人数据传输将鼓励机构之间增加数据共享和标准化。数据保护机构以及卫生保健和研究机构应促进多方同态加密和其他先进的增强隐私的技术,使其广泛用于临床和研究数据共享。

致谢

我们要感谢Dan Bogdanov, Brad Malin, Sylvain msamtile和Pierre Hutter对本手稿早期版本的宝贵反馈。本研究部分由个性化健康及相关技术项目资助(资助2017-201;项目:数据保护和个性化健康),得到瑞士联邦理工学院理事会的支持。

利益冲突

没有宣布。

  1. Dove ES, Knoppers BM, Zawati MH.国际基因组学研究的伦理安全港?中华医学杂志;2013;5(11):99 [j]免费全文] [CrossRef] [Medline]
  2. 王晓明,王晓明,王晓明,等。基因组学:数据共享需要一个国际行为准则。Nature 2020 Feb 05;578(7798):31-33 [免费全文] [CrossRef]
  3. 案件C-311/2018,法院(大分庭)2020年7月16日判决。数据保护专员诉Facebook爱尔兰有限公司和maximilian Schrems。请求高等法院作出初步裁决(爱尔兰)。初步裁决参考-关于个人数据处理的个人保护-欧盟基本权利宪章-第7,8和47条-法规(EU) 2016/679 -第2(2)条-范围-出于商业目的向第三国转移个人数据-第45条-委员会充分性决定-第46条-在适当保障下转移-第58条-监管机构的权力-为国家安全目的处理第三国公共当局传输的数据-评估第三国保护水平的充分性-决定2010/87/EU -关于向第三国转移个人数据的保护标准条款-数据控制者提供的适当保障-有效性-实施决定(EU) 2016/1250 -欧盟-美国隐私保护提供的保护充分性-有效性-数据从欧盟转移到美国的自然人的投诉)。Eur-Lex。URL:https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A62018CJ0311[2021-02-10]访问
  4. 备受瞩目的冠状病毒撤稿引发了对数据监管的担忧。Nature 2020; 6;582(7811):160-160 [j]免费全文] [CrossRef] [Medline]
  5. 陈静。最完美的计划是如何出错的:《通用数据保护条例》中适用法律的(未解决)问题。2016年12月10日;6(4):310-323 [免费全文] [CrossRef]
  6. 李建军,李建军,李建军,等。《通用数据保护条例》如何改变科研规则。苏黎世联邦理工学院,2019年7月https://www.research-collection.ethz.ch/handle/20.500.11850/391622[2021-02-12]访问
  7. Murtagh MJ, Demir I, Jenkings KN, Wallace SE, Murtagh B, Boniol M,等。保护数据经济:在DataSHIELD的发展中翻译隐私和制定安全。公共卫生基因组学2012;15(5):243-253 [j]免费全文] [CrossRef] [Medline]
  8. 彭文杰,彭文杰,李文杰,李文杰。如何解决GDPR给全球生物医学研究带来的挫折。Science 2020 Oct 02;370(6512):40-42 [j]免费全文] [CrossRef] [Medline]
  9. 电子健康记录:连接欧洲的医疗保健。计算机法律安全,2011年9月16日;27(5):503-515 [j]免费全文] [CrossRef]
  10. 杨建军,杨建军,李建军,等。医疗数据再识别攻击的系统分析。PLoS One 2011;6(12):e28071 [j]免费全文] [CrossRef] [Medline]
  11. 林忠,欧文AB,奥特曼RB。基因组研究和人类受试者隐私。Science 2004; 07;305(5681):183 [免费全文] [CrossRef] [Medline]
  12. Gymrek M, McGuire AL, Golan D, Halperin E, Erlich Y.通过姓氏推断识别个人基因组。Science 2013 Jan 18;339(6117):321-324 [j]免费全文] [CrossRef] [Medline]
  13. 李建军,李建军,李建军,等。利用全基因组测序数据进行性状预测的个体鉴定。中国科学d辑,2017 (9):10166-10171 [j]。免费全文] [CrossRef] [Medline]
  14. El Emam K, bukeridge D, Tamblyn R, Neisa A, Jonker E, Verma A.来自纵向人口统计的加拿大人再识别风险。中国医学杂志2011年6月22日;11(1):1-12 [j]免费全文] [CrossRef] [Medline]
  15. 卢基德斯,邓杰,马林柏。诊断代码的披露可能会侵犯研究参与者的隐私。中华医学杂志,2010;17(3):322-327 [J]免费全文] [CrossRef] [Medline]
  16. 刘建军,刘建军,李建军,等。基于数据集的实验室结果再识别风险分析。[J]中华医学杂志,2013;20(1):95-101 [J]免费全文] [CrossRef] [Medline]
  17. 奥斯汀L,李D.安全共享网站。法学学报,2019;94(4):581-623 [j]免费全文]
  18. Bot BM, Wilbanks JT, Mangravite LM。评估分散生物医学研究的后果。大数据Soc 2019, 6(1):1-6 [j]免费全文] [CrossRef]
  19. 霍默N, Szelinger S, Redman M, Duggan D, Tembe W, Muehling J,等。使用高密度SNP基因分型微阵列解决个体贡献微量DNA到高度复杂的混合物。科学通报,2008;4(8):e1000167 [j]免费全文] [CrossRef] [Medline]
  20. 李建军,李建军,李建军,等。基因组隐私与个体检测的关系。地理学报2009 Aug 23;41(9):965-967 [j]免费全文] [CrossRef] [Medline]
  21. shingarpure SS, Bustamante CD.基因组数据共享信标的隐私风险。[J]中国医学杂志,2015年11月5日;97(5):631-646 [J]免费全文] [CrossRef] [Medline]
  22. 李建平,李建平,李建平,李建平,等。处理信标重新识别攻击:量化和减轻隐私风险。中华医学杂志,2017;24(4):799-805 [J]免费全文] [CrossRef] [Medline]
  23. 刘勇,万志,夏伟,Kantarcioglu M, Vorobeychik Y, Clayton EW,等。在表型汇总数据中检测个体的存在。中国生物医学工程学报,2018;18 (3):759 -769 [j]免费全文] [Medline]
  24. 李建军,李建军,李建军,等。数据分析中噪声对灵敏度的影响。编辑:Halevi S, Rabin T。密码学理论。柏林,海德堡:施普林格出版社;2006:265 - 284。
  25. 吴建军,张建军,张建军,等。差别隐私:非技术读者的入门书。《中华人民共和国法律》(英文版);2009;31 (1):391 - 391 [免费全文]
  26. 贾亚拉曼,李建平。基于深度学习的私有机器学习方法。2019年发表于:第28届USENIX安全研讨会;2019年8月14日至16日;圣克拉拉p. 1895-1912https://www.usenix.org/conference/usenixsecurity19/presentation/jayaraman
  27. Nasirigerdeh R, Torkzadehmahani R, Matschinske J, Frisch T, List M, Späth J,等。sPLINK:一个联合的、隐私保护的工具,作为全基因组关联研究的一个强大的替代选择。BioRxiv。预印本于2020年6月6日发布。[免费全文] [CrossRef]
  28. Kairouz P, McMahan H, Avent B, Bellet A, Bennis M, Bhagoji A,等。联邦学习的进展和开放性问题。出来了。预印本发布于2019年12月10日。[免费全文] [CrossRef]
  29. Gaye A, Marcon Y, Isaeva J, LaFlamme P, Turner A, Jones EM,等。DataSHIELD:对数据进行分析,而不是对数据进行分析。国际流行病学杂志,2014;43(6):1929-1944 [J]免费全文] [CrossRef] [Medline]
  30. Melie-Garcia L, Draganski B, Ashburner J, Kherif F.多元线性回归:人脑工程医学信息学平台分布式和大数据的贝叶斯推理。BioRxiv。预印本发布于2018年1月5日。[免费全文] [CrossRef]
  31. Rigaki M, Garcia S.机器学习中的隐私攻击调查。出来了。预印本于2020年7月15日在线发布。[免费全文]
  32. 宋涛,刘春华,刘春华,宋涛。神经网络中非有意记忆的评估与测试。2019年发表于:第28届USENIX安全研讨会;8月14 - 16;圣克拉拉网址:https://www.usenix.org/conference/usenixsecurity19/presentation/carlini
  33. 李建军,李建军,李建军,等。基于深度学习的深度学习模型研究。2017年ACM SIGSAC计算机与通信安全会议论文集。2017年在:ACM计算机与通信安全会议(CCS) 2017;10月30日至11月3日;达拉斯603-618页。[CrossRef]
  34. Nasr M, Shokri R, Houmansadr A.深度学习的综合隐私分析:针对集中式和联邦式学习的被动和主动白盒推理攻击。2019年IEEE安全与隐私研讨会;5月19号;旧金山739-753页https://ieeexplore.ieee.org/abstract/document/8835245CrossRef]
  35. 梅丽丽,宋辰,De CE, Shmatikov .基于非预期特征泄漏的协同学习。2019年IEEE安全与隐私研讨会;5月19号;旧金山,第691-706页https://ieeexplore.ieee.org/abstract/document/8835269CrossRef]
  36. Wallace SE, Gaye A, Shoush O, Burton PR.流行病学研究中的个人数据保护:DataSHIELD和英国法律。公共卫生基因组学2014;17(3):149-157 [j]免费全文] [CrossRef] [Medline]
  37. 计算加密数据的任意函数。通讯学报,2010;53(3):97-105 [j]免费全文] [CrossRef]
  38. 姚a .安全计算协议。1982年发表于第23届计算机科学基础年会;11月3 - 5;Chicago . p. 160-164https://ieeexplore.ieee.org/abstract/document/4568388CrossRef]
  39. Bogdanov D, Laur S, Willemson J. Sharemind:一个快速隐私保护计算框架。编辑:Jajodia S, Lopez J。计算机安全欧洲计算机安全研究研讨会。柏林:施普林格;2008:192 - 206。
  40. 李建军,李建军,李建军,等。一种基于加密的多方计算方法。In: Safavi-Naini R, Canetti R,编辑。密码学进展,计算机科学,第7412卷。柏林:施普林格;2012:643 - 662。
  41. damgamatrd I, Keller M, Larraia E, Pastro V, Scholl P, Smart N.实用的秘密安全MPC不诚实多数-或:突破SPDZ限制。编辑:Crampton J, Jajodia S, Mayes K。计算机安全欧洲计算机安全研究研讨会。柏林:施普林格;2013:1-18。
  42. Keller M, Pastro V, Rotaru D. Overdrive:让SPDZ再次伟大。In: Nielsen JB, Rijmen V,编辑。密码学进展EUROCRYPT讲义在计算机科学卷10822。Cham: Springer International Publishing;2018:158 - 189。
  43. 陈志强,陈志强,陈志强,陈志强。多方同态加密:从理论到实践。密码学电子打印档案。2020年12月22日。URL:https://eprint.iacr.org/2020/304[2021-02-12]访问
  44. 李建军,李建军,李建军,等。基于阈值同态加密的多方计算。编辑:Pfitzmann B。密码学进展,2001年,计算机科学,第2045卷。柏林:施普林格;2001:280 - 300。
  45. 王晓东,王晓东,王晓东,王晓东。基于阈值FHE的低通信、计算和交互的多方计算。In: Pointcheval D, Johansson T,编辑。密码学进展,EUROCRYPT 2012,计算机科学vol 7237讲义。柏林:施普林格;2012:483 - 501。
  46. Boneh D, Gennaro R, Goldfeder S, Jain A, Kim S, Rasmussen P,等。从阈值全同态加密的阈值密码系统。编辑:Shacham H, Boldyreva A。密码学进展,计算机科学,第10991卷。Cham: Springer International Publishing;2018:565 - 596。
  47. 郑伟,Popa R, Gonzalez J, Stoica I. Helen:线性模型的恶意安全合作学习。2019年IEEE安全与隐私研讨会;5月19号;San Francisco p. 724-738https://ieeexplore.ieee.org/abstract/document/8835215CrossRef]
  48. raasaro JL, Troncoso-Pastoriza JR, Misbach M, Sousa JS, prervand S, Missiaglia E,等。MedCo:实现分布式临床和基因组数据的安全和隐私保护探索。[j] .计算机科学与工程学报,2019,31(4):1328-1341。[CrossRef]
  49. 李建军,李建军,李建军,等。隐私保护联合神经网络学习。出来了。预印本发布于2021年1月8日。[免费全文]
  50. G, Schmechel P.欧洲通用数据保护条例中的个人数据和加密。[J]知识产权法;2016;7(2):163 [J]免费全文]
  51. Finck M, Pallas F.他们必须不被识别-根据GDPR区分个人和非个人数据。国际数据私隐法2020年2月1日;10(1):11-36 [免费全文] [CrossRef]
  52. 关于匿名和假名的指导。Coimisiún Chosaint Sonraí数据保护委员会。2019。URL:https://www.dataprotection.ie/sites/default/files/uploads/2019-06/190614%20Anonymisation%20and%20Pseudonymisation.pdf[2021-02-12]访问
  53. 研究方向与发展方向。德国联邦政府经济与能源基金。2018年11月https://www.bmwi.de/Redaktion/DE/Downloads/M-O/orientierungshilfe-gesundheitsdatenschutz.pdf?__blob=publicationFile&v=16[2021-02-12]访问
  54. 第二十九条数据保护工作组。关于个人资料概念的第04/2007号意见欧洲委员会,2007。URL:https://ec.europa.eu/justice/article-29/documentation/opinion-recommendation/files/2007/wp136_en.pdf[2021-02-18]访问
  55. 第二十九条数据保护工作组。关于匿名技术的第05/2014号意见。欧盟委员会,2014年4月。https://ec.europa.eu/justice/article-29/documentation/opinion-recommendation/files/2014/wp216_en.pdf[2021-02-18]访问
  56. 匿名和假名在欧盟数据隐私规则下的作用:超越“全有或全无”的方法。法律技术学报,2015;6(2):1-28 [J]免费全文]
  57. Nissim K, benbenek A, Wood A, Bun M, Gaboardi M, Gasser U,等。弥合计算机科学和隐私法律途径之间的差距。法学学报,2018;31(2):2017-2780 [J]免费全文]
  58. 2016年10月19日法院(第二分庭)C-582/14号案件判决(请求德国联邦议院作出初步裁决)- Patrick Breyer诉德国联邦共和国。Eur-Lex。URL:https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A62014CA0582&qid=1614053861638[2021-02-10]访问
  59. Mondschein C, Monda C.欧盟通用数据保护条例(GDPR)的研究背景。见:Kubben P, Dumontier M, Dekker A,编辑。临床数据科学基础。可汗:施普林格;2019:55 - 71。
  60. 2018年6月5日法院(大分庭)对C-210/16号案件的判决(要求德国联邦州法院作出初步裁定)- Unabhängiges Landeszentrum f Datenschutz schenschutz石勒苏威格-荷尔斯泰因诉Wirtschaftsakademie石勒苏威格-荷尔斯泰因有限公司Eur-Lex。URL:https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A62016CA0210&qid=1613633585608[2021-02-18]访问
  61. 2018年7月10日第C-25/17号案件(大分庭)判决(请求芬兰korkein hallinto-oikeus作出初步裁决)- Tietosuojavaltuutettu提起的诉讼。Eur-Lex。URL:https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A62017CA0025&qid=1613633621924[2021-02-18]访问
  62. 2019年7月29日第C-40/17号案件(大分庭)判决书(要求德国塞尔多夫Oberlandesgericht dselseldorf初步裁定)- Fashion ID GmbH & Co. KG诉Verbraucherzentrale NRW eVEur-Lex。URL:https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A62017CA0040&qid=1613634205133[2021-02-18]访问
  63. 2016年4月27日欧洲议会和理事会条例(EU) 2016/679,关于在个人数据处理和此类数据自由流动方面保护自然人,并废除指令95/46/EC(一般数据保护条例)。Eur-Lex。URL:https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32016R0679&qid=1613633727166[2021-02-18]访问
  64. 4 a_365/2017。联邦法庭。URL:https://www.bger.ch/ext/eurospider/live/fr/php/aza/http/index.php?lang=fr&type=show_document&highlight_docid=aza://26-02-2018-4A_365-2017[2021-02-18]访问
  65. 小马DN。瑞士数据保护法。见:Moura Vicente D, de Vasconcelos Casimiro S,编辑。互联网中的数据保护:国际比较法学研究第38卷。Cham: Springer International Publishing;2020:397 - 408。
  66. 陈建军,马可夫斯基,陈建军,陈建军。医学成像中的安全、隐私保护和联合机器学习。物理学报,2020;2(6):305-311 [j]免费全文] [CrossRef]
  67. Jagadeesh KA, Wu DJ, Birgmeier JA, Boneh D, Bejerano G.在不披露患者基因组的情况下进行基因组诊断。Science 2017 Aug 18;357(6352):692-695 [免费全文] [CrossRef] [Medline]
  68. Munn L, Hristova T, Magee L.云数据:隐私和加密的承诺。Big Data Soc 2019;6(1):1-16 [j]免费全文] [CrossRef]
  69. Grishin D, Raisaro J, Troncoso-Pastoriza J, Obbad K, Quinn K, Misbach M,等。以公民为中心,可审计和保护隐私的人口基因组学。bioRxiv。预印本发布于2019年10月10日。[免费全文] [CrossRef]
  70. Albrecht M, Chase M, Chen H, Ding J, Goldwasser S, Gorbunov S,等。同态加密标准互联网报告编号。939.cryptoology ePrint Archive. 2019 8月17日。URL:https://eprint.iacr.org/2019/939[2021-02-12]访问
  71. 有关个人资料安全的新指引。全国信息和自由委员会。2018年4月4日。URL:https://www.cnil.fr/en/new-guide-regarding-security-personal-data[2021-02-12]访问
  72. 加密与隐私III:同态加密。Datos通讯社Española de Protección。2020。URL:https://www.aepd.es/en/prensa-y-comunicacion/blog/encryption-privacy-iii-homomorphic-encryption[2021-02-12]访问
  73. Laine K.同态加密。主编:蒋欣,唐华,编辑。负责任的基因组数据共享的挑战和方法。剑桥:学术出版社;2019:97 - 122。
  74. Vinterbo SA, Sarwate AD, Boxwala AA。在研究设计中保护计数查询。中华医学杂志,2012;19(5):750-757 [J]免费全文] [CrossRef] [Medline]


CJEU:欧洲联盟法院
COVID-19:2019冠状病毒病
GDPR:(欧盟)一般资料保护条例
艾滋病毒:人类免疫缺陷病毒


G·艾森巴赫编辑;提交19.10.20;由B Knoppers, S Palmdorf, R Hendricks-Sturrup同行评审;对作者07.12.20的评论;收到订正版06.01.21;接受16.01.21;发表25.02.21

版权

©James Scheibner, Jean Louis Raisaro, Juan Ramón Troncoso-Pastoriza, Marcello Ienca, Jacques Fellay, Effy Vayena, Jean- pierre Hubaux。原发表于医学互联网研究杂志(//www.mybigtv.com), 2021年2月25日。

这是一篇在知识共享署名许可(https://creativecommons.org/licenses/by/4.0/)下发布的开放获取文章,该许可允许在任何媒介上不受限制地使用、分发和复制,前提是原始作品首次发表在《医学互联网研究杂志》上,并适当引用。必须包括完整的书目信息,到//www.mybigtv.com/上原始出版物的链接,以及版权和许可信息。


Baidu
map