严格进行的随机对照试验提供了最高水平的科学证据，使医疗从业人员能够为患者提供更好的护理，并最终改善公共卫生。可用的、可发现的和可获取的临床研究结果对于成功地将发现转化为循证实践和进一步研究是必要的[gydF4y2Ba 1gydF4y2Ba］．近年来，临床试验注册的改进意味着根据各种元数据可以发现和搜索的试验比以往任何时候都要多。然而，注册并没有提供有关研究执行和结果的重要方面的详细信息，例如结果的说明和所有结果出版物的指针[gydF4y2Ba 2gydF4y2Ba］．由完成的临床试验产生的科学出版物提供了一种全面传播研究结果的手段，这对于支持后续的临床试验、增加研究合作的可能性以及推进医疗实践和研究至关重要[gydF4y2Ba 3.gydF4y2Ba］．除了研究结果外，在出版物中提供的关于研究方法的详细信息对于临床实践中评估临床证据的有效性、可靠性和适用性也至关重要[gydF4y2Ba 4gydF4y2Ba］．gydF4y2Ba

尽管发表很重要，但许多临床试验从未发表。试验发表率的估计值因医学领域和随访时间长短而异。总体而言，发表率在52%至77%之间[gydF4y2Ba 5gydF4y2Ba-gydF4y2Ba 8gydF4y2Ba］．在临床试验完成后30个月的较短随访期的基础上，该比率往往较低，约为11%至46% [gydF4y2Ba 3.gydF4y2Ba，gydF4y2Ba 6gydF4y2Ba，gydF4y2Ba 9gydF4y2Ba］．如果结果不公布、大大推迟，或根据研究结果的方向或强度有选择地公布，则卫生保健专业人员和消费者根据现有全部证据作出知情决定的能力就会受到阻碍[gydF4y2Ba 10gydF4y2Ba，gydF4y2Ba 11gydF4y2Ba］．证据基础上的这种差距可能导致使用无效或有害的干预措施，并可能浪费稀缺的卫生保健资源。Eyding等人的一项研究[gydF4y2Ba 12gydF4y2Ba研究人员发现，当荟萃分析纳入未发表的研究时，抗抑郁药瑞波西汀在治疗重度抑郁症方面的不良反应更多，但疗效并不比安慰剂更好，这与只纳入已发表的研究时的结果不同。一些研究人员也提出了更多的伦理问题[gydF4y2Ba 7gydF4y2Ba，gydF4y2Ba 13gydF4y2Ba]，强调在不发表的情况下，试验参与者仍然面临参与的风险，但没有研究结果传播带来的社会效益。gydF4y2Ba

在这项工作中，我们通过基于大量临床试验数据集和相关文献的临床试验发表结果预测建模工具，探索影响单个临床试验结果发表的因素。采用这种方法提供了一种机制，既可以预测给定试验的发表结果，也可以确定驱动这些结果的关键因素。gydF4y2Ba

在我们的工作中，我们使用了两个主要资源:最大的临床试验注册表ClinicalTrials.gov和MEDLINE，一个学术期刊文章的书目数据库。对于这两个数据源，我们使用了截至2020年8月研究开始时可用的XML数据转储[gydF4y2Ba 40gydF4y2Ba，gydF4y2Ba 41gydF4y2Ba］．为了找出哪些临床试验实际上被发表了，我们采用了一个两步程序，并对每一步中发现的临床试验发表链接进行联合。第一步是识别所有直接列在临床试验注册表中的PubMed文章id。然而，由于一些临床试验缺乏这方面的信息，我们也在出版物本身中寻找临床试验相关的信息(第二步)。我们在数据库列表中找到MEDLINE中的信息，从中检索临床试验标识符，前提是数据库名称等于“clinicaltrials.gov”。要考虑一个已发表的试验，我们要求MEDLINE中至少有一个与之相关的出版物。如果一个试验有多个相关的出版物，则为每个出版物创建额外的对。gydF4y2Ba

最终结果是临床试验ID和PubMed文章ID值之间的映射(gydF4y2Ba trial-publication地图gydF4y2Ba)．在我们的数据集中，有相关出版物的临床试验数量为74,394个，约有275,000个临床试验没有出版物，总计约349,000个试验(数据集A)。我们在中说明了数据创建过程gydF4y2Ba 图1gydF4y2Ba．我们公开了该地图，以促进关于这一主题的进一步工作。gydF4y2Ba

在我们的工作中使用的数据字段和模型特征的完整列表如表S1所示gydF4y2Ba 多媒体附件1gydF4y2Ba［gydF4y2Ba 42gydF4y2Ba］．虽然大多数特征直接从试验文件中获得，但研究地点的数量和主要或次要结果的数量等信息并没有明确说明。因此，我们添加了这些特征，因为它们与临床试验设计有关，并且可能包含预测发表状态的重要信号。gydF4y2Ba

我们在描述性分析和预测建模中使用的数据集(gydF4y2Ba 数据集BgydF4y2Ba)是基于选择满足一些附加标准的实例。具体来说，我们过滤掉了不满足以下两个条件的数据实例:(1)研究已经开始并且已经完成gydF4y2Ba 完成gydF4y2Ba，起始和结束日期已知，没有“预期”状态(由于临床试验的信息在注册后可能会多次更新，如更新登记字段，显示计划参与人数，因此完成后信息保持稳定，从而增加了代表性);和(2)gydF4y2Ba 完成日期gydF4y2Ba该研究的时间晚于2006年(剔除信息不完整的较老研究)，但早于我们收集数据前3年(为发表留出时间，与Jones等人类似[gydF4y2Ba 7gydF4y2Ba]和罗斯等人[gydF4y2Ba 3.gydF4y2Ba])。gydF4y2Ba

执行这些步骤可以大大减小数据的大小。结果数据集用于获得描述性统计。gydF4y2Ba

此外，我们还限定了研究的类型gydF4y2Ba 介入gydF4y2Ba要获得用于预测建模的数据集(gydF4y2Ba 数据集CgydF4y2Ba)．我们决定排除观察性研究，因为它们不太常见，并且具有与介入性研究不同的几个特征。gydF4y2Ba

为了模拟预测未来试验可发表性的现实场景，我们对数据进行了分区，使测试集中所有试验的完成日期晚于训练数据集中的完成日期。这也使任务更具挑战性，因为我们可以预期在测试集中出现以前未见过的干预。最后，我们从每个试验记录中删除了在试验注册时不知道的所有特征，如试验持续时间和结果。尽管包括它们会简化预测，但也会使任务变得不那么现实。通过对比，我们注意到，在Lo等人的药品审批预测工作的相关ML任务中[gydF4y2Ba 33gydF4y2Ba]，作者假设临床试验的信息相同gydF4y2Ba 是gydF4y2Ba可访问。由于这些特征被发现是药物批准的强预测因素，在没有这些信息的更现实的情况下，预测性能可能会受到影响。gydF4y2Ba

由于数据集C中未发表的临床试验数量远远大于已发表的临床试验数量，我们对未发表的临床试验进行了随机低抽样，用于我们的发表预测实验。我们通过对每个完成年份进行分层来进行不足抽样，每年保持积极和消极标签的大致相同百分比。注意，我们只对训练集执行了这一步，在测试集中保留了真实世界的标签偏差，再次使任务尽可能忠实于现实。gydF4y2Ba

前面提到的数据构建方法提供了一个大规模的数据集，允许我们使用ML模型大规模地分析和预测出版状态。然而，正如我们在文献中提到的，临床试验和出版物之间的一些联系可能是不完整的gydF4y2Ba 现有工作及贡献gydF4y2Ba部分。因此，我们从先前发表的3项研究中收集了数据[gydF4y2Ba 3.gydF4y2Ba，gydF4y2Ba 18gydF4y2Ba，gydF4y2Ba 20.gydF4y2Ba]，其中包括手动发布状态注释(参见gydF4y2Ba 表1gydF4y2Ba对于统计数据)。尽管这些注释的规模小于我们自动构建的数据集，但由于人为的努力，临床试验的发表不太可能被忽视。我们使用该数据集作为额外的测试集，并在原始作者的许可下将其公开。gydF4y2Ba 43gydF4y2Ba］．gydF4y2Ba

为了研究与发表状态相关的因素，并学习预测临床试验是否可能被发表，我们为我们的模型创建了3种类型的特征:数值特征、分类特征(两者都可以被视为结构化输入)和文本特征。文本特征编码了丰富的信息，这些信息增强了结构化信息，并有可能改进预测建模，但它们也可能更嘈杂。可以指示发布状态的文本字段的一个示例是包含和排除标准。Elkin和Zhu指出，资格标准、样本量、显著效应和发表状态之间可能存在联系[gydF4y2Ba 27gydF4y2Ba］．NLP技术允许我们在预测模型中提取和表示这些信息，并突出显示哪些文本特征是重要的。gydF4y2Ba

作为一个简单的基线，我们使用了一个k近邻分类器，它只使用数字和分类特征(没有基于文本的特征)。在测试时，分类器预测其中的优势标签gydF4y2Ba kgydF4y2Ba在欧几里得距离方面最接近测试实例的训练实例。通过对各种值的随机搜索gydF4y2Ba kgydF4y2Ba，我们决定gydF4y2Ba kgydF4y2Ba= 460。gydF4y2Ba

我们训练并评估了2个包含文本特征的不同模型:随机森林(RF)分类器和神经网络(NN)。gydF4y2Ba

对于射频，包含文本输入的标准方法是将它们转换为数字字向量，同时提取字母和字母。这些术语使用术语频率-文档频率逆(Schütze等[gydF4y2Ba 44gydF4y2Ba])，其中一个术语在文档中的出现频率除以该术语在数据集中出现的文档的比例，再除以常用术语的权重。我们通过选择2万个最常用的词汇来设置词汇的阈值。我们使用单热编码方法来表示分类特征，并在没有额外调整的情况下包含数值特征。我们报告其他射频细节gydF4y2Ba 多媒体附件2gydF4y2Ba．gydF4y2Ba

在神经网络中，使用在训练过程中随机初始化和更新的权重矩阵嵌入分类特征。文本输入(示例包含在gydF4y2Ba 表2gydF4y2Ba)是使用预训练的语言模型嵌入的，该语言模型输出与上下文相关的令牌激活[gydF4y2Ba 39gydF4y2Ba]，下文将更详细地解释。gydF4y2Ba

我们评估了使用文本特征的RF和NN分类器与不使用文本特征的RF和NN分类器的比较，其中仅使用结构化特征。gydF4y2Ba

我们选择了2种不同的编码器:变压器(BERT)的双向编码器表示[gydF4y2Ba 39gydF4y2Ba]，预训练一般领域的英语语料库，以及科学文本的BERT (SciBERT) [gydF4y2Ba 38gydF4y2Ba]，接受过生物医学领域的预培训。我们使用了和Adhikari等人相同的想法[gydF4y2Ba 45gydF4y2Ba]，将句子级分类级别的隐层输出作为文档的表示。此外，我们使用了最后3层的隐藏输出[gydF4y2Ba 46gydF4y2Ba]作为分类器顶部密集层的输入。为了完善模型的表征能力，我们加入了2个额外的信息源:位置信息源和分段信息源。第一个是可训练的位置嵌入[gydF4y2Ba 47gydF4y2Ba]，每个令牌都是唯一的，添加到令牌向量中，使模型具有语序感。对于第二个，可训练的段嵌入帮助编码器区分多个独立的文本字段(表S1)gydF4y2Ba 多媒体附件1gydF4y2Ba)作为一个长文本字符串传递给模型。我们发现了图S1所示的可互换段方案gydF4y2Ba 多媒体附件1gydF4y2Ba工作得最好。另一种变体用不同的段嵌入表示每个文本字段，但效果不太好，尽管差异很小。此外，位置嵌入的另一种方案是，在每个文本字段中重新启动嵌入索引，从而产生类似的结果。我们从Herzig等人那里获得了灵感[gydF4y2Ba 48gydF4y2Ba]，他在表解析的上下文中使用位置嵌入来增强输入结构。gydF4y2Ba

原始BERT体系结构的一个限制是它只能接受最多512个令牌的序列。因此，我们需要截断超过这个限制的文本输入。我们从第一个n=512/开始gydF4y2Ba TgydF4y2Ba每个字段的标记(gydF4y2Ba TgydF4y2Ba是要编码的文本字段的总数)。由于一些文本字段可以更短，我们逐步提高gydF4y2Ba ngydF4y2Ba遍历所有字段，直到达到最大令牌数量。最后，编码器的参数与我们的出版结果预测数据集上的剩余NN参数一起进行微调，最小化训练期间的交叉熵损失。gydF4y2Ba

除了在神经网络中采用标准BERT模型外，我们还研究了训练机制的两种适应:一种特殊情况下，编码器参数在训练期间保持不变(在结果表中称为“冻结”)，另一种模型接收带大小写的文本作为输入(“带大小写的”;例如，之前没有小写的文本)，后者是最常见的做法。最后，对于射频，我们测试了一种自适应，使用之前在文本中诱导的语言模型表示，而不是术语频率逆文档频率编码器。这些表示在整个训练和测试阶段都是固定的。gydF4y2Ba

我们评估了预测性能使用gydF4y2Ba FgydF4y2Ba_1gydF4y2Ba-分数测量(gydF4y2Ba FgydF4y2Ba_1gydF4y2Ba= 2 × [P × R / (P + R)])，为精度的谐波平均值(P = TP / [TP + FP];在所有预测中，TP为真阳性，FP为假阳性)和召回率(R = TP / [TP + FN];预测已发表的试验占所有已发表试验的比例，其中FN为假阴性)。我们还报告了接收器工作特征曲线下的面积(它本身表明了在不同阈值与预测概率之间的召回率和假阳性率之间的权衡)，这对于总结分类器通过单个优点数字区分类别的能力是有用的。gydF4y2Ba

虽然我们的工作在规模上建立了与较高发表率相关的各种属性，以及在预测框架中包括临床试验的文本描述的积极影响，但一些额外的考虑是必要的。gydF4y2Ba

ML模型的定性性能对用于训练和测试的底层数据的质量很敏感，预测发布成功也不例外。在构建我们的数据集时，我们注意到试验注册条目中存在不正确的信息(例如，估计的完成年份可能设置为2099年)。此外，研究的当前状态(例如，正在进行、完成或终止)可能并不总是最新的，这与其他注册信息类似。在文献中检查了ClinicalTrials.gov中的不完整和不正确信息[gydF4y2Ba 7gydF4y2Ba，gydF4y2Ba 54gydF4y2Ba-gydF4y2Ba 56gydF4y2Ba]，但它的确切程度是未知的，难以估计，需要大量的手工工作来揭示它。我们将噪声视为从大型数据收集中学习的一个组成部分，类似于相关工作(gydF4y2Ba 现有工作及贡献gydF4y2Basection)使用结构化资源，如ClinicalTrials.gov [gydF4y2Ba 27gydF4y2Ba-gydF4y2Ba 29gydF4y2Ba，gydF4y2Ba 32gydF4y2Ba-gydF4y2Ba 34gydF4y2Ba]以及在远方监督下的学习工作[gydF4y2Ba 57gydF4y2Ba-gydF4y2Ba 59gydF4y2Ba］．由于我们的分类器使用了大量的训练实例，并且每个实例都使用多个特征来表示，因此偶尔噪声的影响被认为很小。gydF4y2Ba

在我们自动构建的数据集中，另一个潜在的噪音来源可能来自临床试验及其出版物之间的链接，这是自动建立的，因此，容易出现不正确或遗漏的链接。数据集也仅限于公开可用并在公共资源中编入索引的研究。尽管会议摘要和其他灰色文献资源可以提供试验结果的额外背景，但它们通常不被视为正式出版物，需要特别的收集策略，这超出了我们的研究范围。总的来说，所提出的结果反映了基于可获得资源的可能的最现实的情况。gydF4y2Ba

最后，发表结果建模的一个更普遍的限制是，很难捕捉和量化试验登记中无法获得但在其他情况下有用的因素的影响，特别是对于理解非发表，例如，研究人员是否没有足够的时间发表而专注于其他任务，合著者之间是否存在利益变化或分歧，研究人员是否认为某家期刊不太可能接受他们的工作，以及财务问题或其他合同问题是否阻碍了发表[gydF4y2Ba 15gydF4y2Ba，gydF4y2Ba 60gydF4y2Ba-gydF4y2Ba 62gydF4y2Ba］．虽然原则上可以从研究作者那里获得这些信息，但要大规模地进行此类信息获取将是极其困难的，而且目前在公共资源中无法获得。gydF4y2Ba

在这项研究中，我们试图模拟一个真实世界的情况，在这个情况下，人们希望对临床试验的发表结果进行前瞻性估计。为此，我们对新创建的数据集进行了一系列实验，这些数据集将2007年至2016年的临床试验记录与其出版物(如果存在)联系起来，并进行了4年的随访。得到的数据集是迄今为止最大的此类集合。我们已经展示了异质特征(包括来自临床试验注册记录的文本特征)的组合如何导致>0.7 AUC的分类性能;这意味着，如果随机选择一个阳性病例(即最终将导致发表的审判)，至少有70%的几率该病例也被归类为阳性病例。该技术具有较强的试验设计潜力。在临床试验的早期阶段，当研究设计和环境的特性已经已知时，它可以提供对可发表性的前瞻性估计，更广泛地给出试验可行性的指示。该工具可以在不必要地浪费资源之前，向试验开发人员揭示表明发表机会降低的不同领域(并且，推而广之，他们的研究价值降低)。在未来的工作中，我们将探索将该模型整合到一个系统中，该系统可以毫不费力地以人类友好的方式为给定的试验提供导致特定结果的突出特征，并表明分类器决策的可靠性，以支持试验计划和决策。gydF4y2Ba