RWD-Cockpit:真实世界数据质量评估的应用

简介

背景

真实世界数据(RWD)定义为在随机对照试验(rct)之外生成的医疗保健数据[1］．关于药物的使用、益处和风险的真实证据(RWE)是通过对RWD的全面分析和验证获得的。RWD的例子包括电子健康记录、处方和账单数据、保险索赔、遗传和分子生物库、医疗相关产品、疾病登记，以及通过各种来源和可穿戴设备和智能手机等数字设备收集的患者生成的健康数据[2，3.］．RWD是通过广泛使用与健康相关的应用程序、在医院实施电子健康记录以及常规基因检测而出现的。最近，这些数据被认为是生物制药公司减少研发支出的宝贵资源，这主要由监管机构在医疗产品上市后分析中实施[4］．

RWE可以补充并经常作为监管决策的主要数据，如替代药物适应症，并用于孤儿和肿瘤疾病研究[5］．为了应对这一趋势，美国食品和药物管理局(FDA)和欧洲药品管理局(EMA)等监管机构已经实施了将RWD和RWE纳入其医疗数字化监管方法的战略，以便为监管决策提供信息，如后期不良反应或根据美国21世纪治愈法案对临床试验人群进行分层[6]和EMA监管科学至2025战略[7］．多项研究表明，使用RWD来确定患者的健康状况，特别是在进行性或慢性疾病如阿尔茨海默病和帕金森病的情况下，可以极大地影响当前的诊断和预后，并优化疾病管理[3.，8］．RWE的使用对于评估RCT中不能适当处理的过程(如外科手术)的安全性和有效性也至关重要[9］．监管机构正在进行的努力已经看到RWD的实际实施，并作为rct的替代方案获得监管机构的批准。例如，他克莫司(他克莫司)，一种最初被批准用于预防肝脏移植中的器官排斥反应的药物，已获得FDA批准用于肾脏和心脏移植[10]及欧洲的类似批准[11］．这些案例和其他案例反映了根据FDA和EMA法规，依赖于适合用途的RWD的精心设计的研究是如何被认为是充分的[12］．为了最大限度地实施RWE，目前的一个重要挑战是找到为生物制药公司和监管机构提供最合适测量的数据[13］．

目标

RWD的来源和类型是多种多样的，从药物订单到患者生成的(例如，PatientsLikeMe和careity)，数字收集(健身追踪器)和社交媒体数据[14］．然而，与传统的随机对照试验相比，生物制药行业用于为不同应用选择适当数据集的标准尚不清楚[12］．此外，数据来源、多样性和复杂性使RWD质量难以持续排名和评估[15］．数据集之间缺乏标准化和结构，这增加并延长了确定合适RWD和生成有意义分析的过程[16］．需要精心策划、验证、标准化和高质量的数据来生成被广泛接受的RWE，从而弥合标准化rct与现实世界之间的知识差距。迄今为止，既没有明确的标准，也没有可用的工具来评估RWD质量[17］．为应对这些挑战(图1)，我们已经创建了一个易于使用，可访问的web应用程序工具，使用可自定义选择的标准变量评估RWD数据集RWD-Cockpit（图2而且3.)．

‎ 查看此图

‎ 查看此图

‎ 查看此图

方法

概述

总共选择了106个RWD数据集作为目标样本组，用于开发RWD- cockpit中的评分方法，以评估RWD数据集。对这些数据集和出版物的元数据进行了数据质量调查，以设计一种评分方法来评估RWD的质量。评分方法考虑了数据质量评估的七个可变指标:

1. 可管理性指定用户对数据集可能拥有或不拥有的访问权限，以及数据是否已发表在同行评审的期刊上。
2. 复杂性定义了数据集是单变量、多变量还是纵向的。
3. 样本量定义给定数据集的样本量。
4. 隐私与责任根据数据使用上下文规定了隐私规则。
5. 可访问性指定如何访问数据集以及访问粒度。
6. 周期性指定数据集更新的频率。
7. 标准化指定数据集是否遵循任何特定的技术或元数据标准。

对于每个变量，都有几个相关联的变量描述符定义了数据集的特定特征。中详细解释了描述符表1．RWD计分公式随后对给定数据集的变量的表现进行平均，以分配最终分数。为每个变量的描述符分配一个特定的分数(0到100)。每个变量可以有>1个描述符(例如，数据集包含纵向和多元数据)，并对每个变量取平均分。在复杂性变量，多变量或单变量可以选择。随后，计算所有变量的累积平均值。这个累积平均值被标准化为从1到5的分数，其中5是数据集的最佳质量。这个分数被称为质量标识符，显示出来并与每个数据集相关联。归一化是通过将累积分数除以7(描述符的数量)，然后除以100，再乘以5来执行的。中显示了用于2个数据集的评分方法的示例表2．

RWD-Cockpit系统基于一个数据库，该数据库管理可用数据集以及数据集的评分。使用数据库对象关系为数据集分配描述符。在查询数据集时，会自动为每个数据集提取相关标志;同时计算数据集得分，然后显示给用户。如果变量或分数发生变化，这种同步评分机制允许评估随时间动态变化。此外，个人数据集和应用程序未提供的数据集也可以通过帮助链接到应用程序中。用户可以单击启用分数计算器并且可以轻松地为数据集选择适当的描述符，然后自动生成分数。

此外，还设计了一个统计页面，用于在应用程序中提供基于互联网的数据集图表，以跟踪来自多个来源(例如Kaggle)的RWD质量评估的全球趋势。显示了所有可用数据集和每种类型(分子、表型和社会)的全球平均质量标识符得分。在技术方面，RWD-Cockpit系统是在Loopback服务器上开发的Angular web应用程序，数据存储在MongoDB数据库中。这种体系结构非常健壮，易于部署和维护。RWD-Cockpit web应用程序是免费使用的，鼓励用户输入他们的数据集描述并将他们的数据集添加到数据库中。对于与出版物相关联的数据集，将引用出版物引用。

以De Novo-Generated RWD为例

测量是用一个装有电极的缎带进行的，缎带被放在床上与胸部高度一致的床单下面。电极定量测量睡眠期间的湿度，湿度与汗液有关。多媒体附件1)．此外，传感器测量色带和室内的温度使用印刷电路板(多媒体附件2而且多媒体)．整个晚上，电阻和温度测量由带内的2个电极进行，收集的值被传输到连接到印刷电路板的湿度传感器(多媒体附件4)．

结果

一个简单的网络工具，用于评估RWD数据集

许多挑战[33]和信息参数来指导RWD对研究问题的适当性[34］．然而，一个转换信息的框架(例如，量化参数，如纵向数据的重要性、可访问性和作为质量指标的出版物)[34])的评估框架仍然缺失。我们创建了RWD-Cockpit [35]，一个简单的网络工具，使用标准和可定制的变量评估RWD数据集(图2而且3.)．该web应用程序提供了一个搜索和查看质量评分RWD数据集的平台。此外，它还为新用户获取的RWD数据集提供了灵活的基准数据质量评分工具。用户可以搜索满足用户选择的质量变量和评分标准的RWD数据集，以及设置同一机构内或跨机构或监管机构的其他用户可以使用的标准。目前，通过RWD- cockpit可以获得来自各种来源和地区的106个质量评分的RWD数据集，并且还在不断添加更多数据集。随着关于RWD使用的新指导方针和法律的通过，管理员可以根据需要添加新的变量和描述符。

在RWD- cockpit中，基于7个变量对RWD数据集进行了评分，这些变量被确定为确定数据质量的重要指标，以解决在采用RWD进行监管决策时面临的挑战[11，36］．建议的变量为可管理性，复杂性，样本量，隐私和责任，可访问性，周期性，而且标准化、详细描述了表1．每个变量包含3到5描述符描述应用于数据集的特定特征，例如多元或纵向测量(表1)．每个变量都是根据其对数据整体可用性的影响来确定的。由于RWD潜在用例的广泛前景，确定的变量不考虑特定于案例的适用性或内容，而是创建一个通用的框架来评估RWD。可管理性是一个重要的必要变量，因为广泛的多样性和几乎不存在对数据识别为RWD (表1)．数据管理水平[36]可能与数据的总体质量和可信度有关。对于同行评议的数据集或在数据管理方面需要额外努力的数据，建议获得更高的分数。的复杂性的数据扩展了数据集的用例覆盖范围。单变量数据可能为解决单个研究问题提供基础，但缺乏潜在的深入见解。一个提议的选项，以实现一个增加的分数复杂性是提供或生成不同的数据，使数据能够集成到更广泛的用例领域。的变量样本大小非常重要，因为RWD旨在展示真实世界的洞察力。与单个个体的信息相比，来自大量个体的数据可以更好地反映现实世界的行为。的样本大小如果数据采集的环境(例如使用的设备)对每个数据点保持不变，则数据集的总容量可以随时增加。对给定数据隐私法规的遵从程度，如变量所示隐私和责任，可进一步了解数据的质量和可信度。没有数据保护措施的开放式RWD数据很可能是模拟数据，而可靠的数据源必须遵守给定的法规。数据匿名化或加密措施的应用以及遵守欧盟标准(《通用数据保护条例》)或美国标准(《健康保险可携带性和责任法案》)的情况会导致较高的分配分数。当打算从RWD中提取RWE时，数据传输和存储的状态起着相关的作用;因此，变量可访问性已被确定为一个相关因素。数据的硬拷贝可能提供广泛的内容，但增加了预处理工作，并需要从模拟到数字的转换。实现可访问性变量的最有效方法是通过应用程序编程接口提供数据。使用应用程序编程接口允许用户具体地查询感兴趣的数据，而且还提供对数据的直接数字访问。类似于复杂性而且样本大小，周期性由于信息的深度，已被确定为相关参数。单个个体的快照反映了急性状态，而在同一个体的不同时间点获得的数据可以产生更深入的见解，这表明了方法的可重复性。根据确定的时间计划反复收集个人数据有两方面的好处:首先，能够对个人进行平均概述，其次，能够识别与时间相关的模式或进展。最后一个变量标准化要求进一步提高可信度和实用性。将最先进的医疗保健数据标准应用于RWD，可以更直接地使用数据，而非结构化数据或遵循非常规标准的数据则需要在理解和使用方面付出更多努力。以获得更高的分数标准化，建议确定潜在的社区标准或框架，并将其应用于数据集。

RWD-Cockpit应用程序中所有数据集的总体平均分为2.80分，其中社会数据集得分2.90分，分子数据集得分2.86分，表型数据集得分2.83分。

案例研究

为了提供一个关于使用RWD-Cockpit的好处的实际例子，质量指标在两个案例研究中计算:(1)一个使用睡眠期间温度数据的实际案例研究，以及(2)数据库中两个公开可用的数据集。

为了评估RWD- cockpit web应用程序对从头生成数据的适用性和可用性，我们进行了一个案例研究，以生成睡眠时的温度RWD [37］．RWD生成器被要求在他们的数据集上使用RWD- cockpit应用程序，确定应用程序提供的价值，并使用它来找到对他们公司有用的质量评分数据集。他们的初步数据集得分为3.74(满分为5分)，这是确定的好在应用程序内(表2)．在这个分数的基础上，数据生成器确定了数据集中可以改进的变量，例如增加样本量、在同行评审的期刊上发表数据、加密数据以及根据官方认可的标准(如健康等级7)组织数据。这些进展将提高他们的数据集的质量，使其更有可能在医疗保健环境中被采用为一种新型的健康数字生物标志物，并被接受为一种健康工具。此外，数据生成器在RWD- cockpit应用程序中确定了几个与睡眠和健康相关的评分RWD数据集，这些数据集是有意义的，并且是独立收集的，用于进一步开发他们的产品。这个案例研究验证了RWD-Cockpit web应用程序的用途和价值。

我们选择了2个不同的医疗保健相关数据集并对其进行评分，以演示它们各自的分数如何反映RWD的低质量和高质量表2而且表3．第一个数据集命名为身高重量单一变量数据，研究一个人的身高和体重之间的关系，从身高和体重的列表中预测给定身高的概率体重[26］．第二个RWD数据集，2013-2014年全国健康与营养调查，由美国疾病控制和预防中心的官员在两年的时间内对全国约5000人进行的健康测量和调查(如人口统计和实验室测量)[27］．这些数据包括医生和实验室进行的测量，以及自我报告的测量。当比较两个数据集之间的质量标识符时，第二个数据集的得分为3.67，高于第一个数据集的1.47表3．两组数据之间的主要差异主要体现在7个变量中的5个:可管理性、复杂性，样本大小，周期性，和s高压氧科．第一个数据集只包含35个不同的样本，而第二个数据集收集了5000个不同样本的数据，因此得分更高。关于复杂性，第一个数据集为单变量，而第二个数据集两者都是纵向而且多元，因此得分高于第一个数据集。描述符和分数的其他差异在表1．

身高体重单变量数据集的得分可以在各个方面得到提高。数据集可以通过增加个体来扩展样本大小变量的小来媒介，与这些个人有关的进一步信息也可以用作数据集的扩展。此外，可以应用结构化计划来测量数据集在特定时间点上所需的信息，进一步提高周期性数据集的得分。的周期性Variable为数据提供者提供了不受约束地定义时间范围和独立测量的数量的能力，允许对同一天的测量进行分级反复甚至是临时的。此外，当对同一个体进行多次重复测量时，会导致测量结果不一致复杂性分数也会受到影响，从单变量来纵向．在对数据集进行添加的基础上，可以创建一个全面的数据字典，以改进标准化来自当前的分数结构化来self-metadata．扩展的数据集可以进一步用于对数据集进行研究，授予对数据集进行同行评审的选项或移动数据集可管理性分数从免费的要么由于或同行评议．关于隐私和责任而且可访问性，匿名而且下载在为这类数据集适当覆盖变量的同时，已经提供了高分;因此，不一定需要进一步改进。

对数据集所描述的调整和添加可能会对数据集的总体得分产生重大影响。身高重量单变量数据集可以从1.47增加它的得分，被认为是一个可怜的数据由平台设置，达到3.60，达到分类好．除了提高分数之外，所提出的调整还大大提高了数据集的可用性和可靠性。数据集可以覆盖更广泛的用例，并获得涉众的信任。中显示了对数据集的潜在改进的完整概述表3．

RWD的这种简单评分使调查人员和卫生保健利益相关者能够总体了解数据集与数据将影响的决策相关的适用性。它还允许用户应用相同的标准来评估RWD质量。对于影响大的健康相关决策，RWD应具有高质量，并对其有效性进行审查。向任何变量添加新的潜在描述符或添加全新变量的能力使RWD-Cockpit具有动态和适应性。此外，通过添加新的变量，新的政府法规可以很容易地实施。评分可以根据每个国家的规定或特定的法规或行业特定的要求进行调整。通过使用RWD- cockpit，可以实现对RWD质量的快速评估，并根据满足的要求对数据集进行评分，以供进一步考虑。

讨论

制定RWD标准:机遇与挑战

数字技术的进步，例如测量数字生物标记物[13]，电子健康记录的广泛实施和使用，以及社交媒体已经产生了大量与健康相关的数据，可以利用这些数据产生有价值的RWE。生物制药公司已经开始收集大量数据，并将这些数据用于新药应用和各种疗法的上市后分析[4］．RWD的整合是有价值的，有可能在不降低证据标准的情况下减少巨大的卫生保健支出成本[38］．FDA或EMA等监管机构在监管决策和药物批准中考虑RWD产生的RWE时面临挑战[2，11］．一些挑战[33这些机构必须克服的问题与确保数据质量和提供考虑框架有关。在没有指导性法规的情况下，目前RWD在研究中的广泛使用[26，39没有遵循行业标准。此外，数据集的健壮标准必须遵循可查找性、可访问性、互操作性和可重用性(FAIR)原则[40］．然而，这些原则与RWD质量评估上游的数据有关，联邦机构没有关于如何标准化数据集或单个数据点的指导方针。观察性医疗结果伙伴关系、前哨系统和国家以患者为中心的临床研究网络等组织正在进行一些尝试，通过使用通用数据模型等系统部分解决标准化问题，这些系统将术语标准化，并将数据库转换为类似的格式和表示[41］．另一个策略是评估生成RWD的应用程序。42，43];然而，这将转化为质量评估过程中的差异，反映疾病和可用性应用领域的具体步骤。相比之下，社区中关于RWD质量的信息主要以表征的形式报道[34)，它缺乏度量标准的形式。

通过为行业和其他医疗保健利益相关者提供标准，RWD的复杂性可以大大降低。RWD要被主流生物制药管道所接受，监管机构必须首先开始定义和制定标准，确定哪些数据可以被认为是有效的，可用于健康相关的决策。到目前为止，还没有提供用于RWD质量评估的工具。此外，RWD的生成仍然相对孤立，行业赞助的研究是主要贡献者[39］．为了利用更广泛社区的创造力(例如，本身没有资源生成此类数据的学术中心)，必须简化RWD质量的识别和评估过程[13］．然而，考虑RWD作为临床或监管决策的证据来源是一个正在发展的过程。在作出与健康相关的决定时，考虑RWD的不同变量很重要，需要为各种最终用途分析适当确定这些变量。此外，参与RWD研究的参与者和患者必须提供完整和可信的信息。在rct之外收集RWD数据集时，必须保证数据的可靠性、完整性、可用性，以及完整性。RWD- cockpit提供了一个易于使用和可跟踪的RWD质量的首次综合评估，适用于各种各样的数据集。目前的法规没有提供足够的框架，将RWD纳入调查孤儿病或肿瘤疾病以外疾病的研究[44-46］．然而，在整个产品生命周期中考虑RWD而不是仅在上市后授权时考虑RWD的价值和可能性在各个疾病领域都得到了认可。RWD- cockpit使卫生保健利益相关者能够通过RWD数据集获得初步的质量信息。用户可以在搜索和选择调查中需要考虑的特定数据集时使用这一初步标准。基于web的RWD- cockpit应用程序可能会为监管部门提供一个初步的标准蓝图，以考虑在不同环境下使用RWD的初步批准。

RWD- cockpit允许用户独立地对数据集进行评分，他们可以根据RWD公式评估得分，并进一步选择是否希望在RWD- cockpit中发布这些数据集。此外，案例研究的结果证明了RWD-Cockpit应用程序对更广泛社区的适用性和可用性。在进一步选择和分析之前，RWD- cockpit或RWD质量评估框架的未来版本还可能考虑关于数据生成过程的额外信息，包括关注已使用设备或固件的变量。此外，还可以包括关于数据是由单个机构或个人集中还是由多个来源分布和组合的信息。RWD-Cockpit的另一个潜在改进可能来自评分过程的自动化。与目前由个人手动评分相比，自动化的机器评分机制可能会增加一致性。另一个潜在的未来有用功能是使用户能够根据自己的标准对自己的RWD数据集进行评分，并在单个机构或多个机构中应用这些质量标准。

结论

RWD- cockpit web应用程序旨在建立一个快速可靠的评分系统，用于评估RWD数据集的多指标质量。它旨在减少与RWD质量评估相关的初步问题，简化有价值的RWD数据集的发现，并具有应用于临床的潜力。正如案例研究所证明的那样，该工具在RWD环境下的应用是多样化和可扩展的。随着数字医学的出现以及RWD数据和元数据标准面临的日益严峻的挑战，迫切需要开发框架和工具，以度量、可理解和可跟踪的方式表示RWD质量，并可以作为跨数据源和疾病领域的标准。RWD-Cockpit代表了这个方向上的第一个度量建议;然而，迫切需要进一步的社区努力。