根据世界卫生组织的定义，药物不良事件(ADE)是指在使用药物产品治疗期间可能出现的任何不良事件，但不一定与治疗有因果关系[gydF4y2Ba 1gydF4y2Ba]。根据Howard等人进行的一项调查[gydF4y2Ba 2gydF4y2Ba]，在全球所有住院人数中，不良事件约占3.7%。这一问题已通过上市前和上市后药品安全监督制度得到解决。然而，上市后措施比上市前临床试验发挥更重要的作用，因为上市后措施也可以检测到罕见的反应、长期影响和药物-药物/药物-食品相互作用[gydF4y2Ba 3.gydF4y2Ba]。上市后监测的一个主要来源是临床医生、药剂师和制药行业自发或自愿报告的疑似不良反应。然而，由于传入的“信号”量很大，即使是少数可靠报告的识别也是劳动密集型的[gydF4y2Ba 4gydF4y2Ba]。因此，开发一个自动化系统来确定和分类临床ade相关报告的相对重要性将是相当有益的。gydF4y2Ba

现有的自动化研究针对不同的来源材料，反映了现实世界上市后监测处理的广泛信号。这些输入包括电子健康纪录[gydF4y2Ba 5gydF4y2Ba，gydF4y2Ba 6gydF4y2Ba]、病人报告[gydF4y2Ba 7gydF4y2Ba]、医疗用品[gydF4y2Ba 8gydF4y2Ba，gydF4y2Ba 9gydF4y2Ba]，以及社交媒体上的帖子[gydF4y2Ba 10gydF4y2Ba，gydF4y2Ba 11gydF4y2Ba]。本研究的重点是医疗用品，因为它们在许多国家占了上市后监测的很大一部分。制药公司自愿向监管机构提交基于医学文章的报告[gydF4y2Ba 4gydF4y2Ba]。gydF4y2Ba

不同国家及地区规管向规管机构汇报环境污染指数的政策各不相同[gydF4y2Ba 12gydF4y2Ba]。一般来说，报告可能是精确的或基于回忆的。在美国实施的前一种方法中[gydF4y2Ba 13gydF4y2Ba]和欧洲联盟[gydF4y2Ba 14gydF4y2Ba]，疑似严重药物不良反应(adr)迅速报告。严重的不良反应对应于某些事件与药物之间存在合理因果关系的不良反应。在基于召回的报告中，任何可能的不良事件都必须立即报告。不良事件包括不能排除药物与有害事件之间存在因果关系的情况[gydF4y2Ba 15gydF4y2Ba]。然而，这种策略可以引入大量的假阴性或大量的噪音。处理所有可能的ade的大量报告大大增加了手动分类的负担。总的来说，利用有限的人力很难完成基于回忆的报告。gydF4y2Ba

日本采用并实施了以召回为基础的药物警戒[gydF4y2Ba 15gydF4y2Ba]。它的主要信息来源是医药公司的自发报告，这些报告的基础是医学文章。这个过程通常包括第一次(初始)筛选，然后是第二次筛选。在第一次筛选中，医学文章被人工分类和优先排序。例如，如果一篇文章提到致命或致命的ade，它将获得最高优先级。第二次深入筛查由医学专家进行，并评估报告的ADEs的优点。在参与本次调查的日本制药公司中，每年必须监测数千篇文章，每份报告至少需要10分钟的评估时间。这个过程需要大量的人工成本。此外，在第一次筛查中使用的标准可能是主观的(因此根据进行筛查的人而有很大差异)。因此，监测过程可能会不必要地拖延。gydF4y2Ba

为了解决日本的药物警戒问题，我们开发了一种自动化系统，通过提取含有ade的物品来取代第一次筛选。对于第二次筛选，我们还邀请了医学专家的服务来识别文章中提示ade的句子。我们的系统结合了文档级和句子级的分类模型。它对日本医学文章进行分类，提取那些包含ADEs的文章，然后将其作为第二次筛选的候选对象(gydF4y2Ba 含ade物品提取gydF4y2Ba)。它还对ade进行了分类，建议必须由医学专家仔细审查的句子(gydF4y2Ba ade提示句子提取gydF4y2Ba)。gydF4y2Ba

为此，我们实现了自然语言处理(NLP)技术。我们的系统由简单的机器学习方法组成，这些方法很容易被制药公司内部应用和管理。针对日语医学论文也提供了对医学领域内语言资源很少的非英语论文的有效管理方法的见解。gydF4y2Ba

提供了一家日本制药公司用于上市后监测的日本医疗用品，供随后分析之用。大多数文章与该公司调查的选定药物范围有关，但不限于特定的临床领域或疾病。每种药物在数据中出现的频率报告于gydF4y2Ba 多媒体附录1gydF4y2Ba。文章随机抽样，使用WinReader PRO version 15.0 (NTTDATA NJK Corporation)通过光学字符识别(OCR)从PDF文档中提取文本数据[gydF4y2Ba 16gydF4y2Ba]。由于OCR软件难以识别这种格式的文本，因此包含2个或更多栏目的文章被排除在外。随后的过滤生成了509篇医学文章。某些符号，如“$”和“^”，通常不会出现在日本医学文章被删除。gydF4y2Ba

预处理后，根据ade的出现对所有句子进行过滤。这些是根据以下标准来判断的:gydF4y2Ba

匹配的句子被标记为gydF4y2Ba 正面暗示gydF4y2Ba。这个决定是通过考虑多个句子做出的。因此，暗示ade的名称可能跨越了几个句子。gydF4y2Ba

包含任何提示ade的句子的医学文章被指定gydF4y2Ba 正面包含gydF4y2Ba。在这里，300/509篇文章(58.9%)被标记为含有ADE。gydF4y2Ba 表1gydF4y2Ba显示每篇医学文章中包含ade的平均句子数和字符数。gydF4y2Ba

语料库由一位医学工程师注释。为了评价标注质量，Cohen κ [gydF4y2Ba 17gydF4y2Ba]是使用由医学工程师和没有医疗经验的作者生成的并行注释数据计算出来的。后者单独标注了数据集的51/509(10.0%)。51/509(10.0%)样本中句子级标注的Cohen κ值为0.638，文档级标注的Cohen κ值为0.841。这两种方法都满足计算语言语料库的标准质量标准。因此，本研究采用医学工程师编写的完整注释。gydF4y2Ba

图1gydF4y2Ba给出了系统架构的概述。该系统由预处理、疾病和药物名称识别、疾病和药物名称规范化和可解释ADE候选检测子模块组成。gydF4y2Ba

含ade物品提取的平均交叉验证结果为F1 = 0.903 (SD 0.0165)。对于提示ade的句子提取，F1显著降低;F1 = 0.413 (sd 0.0247)。gydF4y2Ba

具有最高F1的验证集的精确召回率曲线如图所示gydF4y2Ba 图2gydF4y2Ba。对于含ade的文章提取，我们取得了较高的精密度和召回率。相比之下，ade暗示句子提取的准确率和查全率都相对较低。gydF4y2Ba

我们进行了消融研究，这是一种评估方法，通过去除每个特征来量化该特征的影响。我们去掉每个特征组，得到平均ߡF1分数。gydF4y2Ba

表3gydF4y2Ba和gydF4y2Ba 4gydF4y2Ba显示了对每个模型中含有ade的文章提取和含有ade的句子提取进行消融研究的结果。对于这两种模型，对应句子中的词袋特征(词标记)贡献最大。标准疾病和药品名称对分类效果无影响(gydF4y2Ba 表4gydF4y2Ba)。同样，标准疾病和药物名称的上下文特征对分类性能没有影响(gydF4y2Ba 表4gydF4y2Ba)。gydF4y2Ba

我们在ade提示句子提取方面取得了相对较差的性能。因此，我们研究了ade暗示句子提取模型的分类错误，并使用所有特征进行定性系统输出分析。gydF4y2Ba

表5gydF4y2Ba显示系统分类的示例。对于每个例子，第一个句子是前一个句子，其余的是相应的句子。请注意，术语“金标准”和“系统预测”表示相应的句子标签。在本节中，我们分析被系统错误分类的案例(c) - (f)。gydF4y2Ba

情况(c)和(d)是需要前一句中的信息来对句子进行分类的例子。如果只考虑以下句子，每个例子都不会被视为提示ade的句子。但是，如果将前一句也考虑在内，则将后一句视为ADE，因为其中提到的症状可能是指前一句中提到的药物引起的ADE。当我们添加前句和后句的特征时，出现了分类错误。gydF4y2Ba

情况(e)和(f)是将一般陈述与实际情况混淆的例子。每个例子对应的句子描述了药物引起的一般疾病。然而，一般陈述和实际情况在表达方面是相似的。因此，产生了错误。gydF4y2Ba

虽然我们的系统检测含有ade的文章具有较高的准确率和召回率，但是ade暗示句子的提取性能相对较差。这种糟糕的表现可能有3个原因。第一个原因是上下文的范围。我们的系统只能考虑两个连续句子的上下文，这可能会增加假阴性。为了在更广泛的上下文中检测ade，需要其他方法，如段落分类和顺序标记，例如，CRF和隐马尔可夫模型。gydF4y2Ba

第二个可能的原因是过度拟合。gydF4y2Ba 图3gydF4y2Ba显示了几种训练数据大小的F1分数。所有训练集F1分数设置为100%。相比之下，验证集的那些是低的。这种过拟合的发生是因为训练数据的大小相对于模型的复杂性来说很小。在含有ade的句子提取中，由于上下文特征的存在，我们使用的特征数量是含有ade的文章提取的3倍。虽然上下文特征包含了大量的信息，但大多数都是关于不相关的单词，这可能会导致过拟合。gydF4y2Ba

ade提示句子提取效果不佳的第三个可能原因是OCR错误。OCR可以省略或误读字母、字符和单词，从而扩大词汇量。对于多列的日文科学论文，OCR精度的提高有望加快预处理的速度和便捷性。gydF4y2Ba

许多研究已经通过nlp确定了医学文章中报道的ADEs [gydF4y2Ba 8gydF4y2Ba，gydF4y2Ba 9gydF4y2Ba]、电子健康纪录[gydF4y2Ba 5gydF4y2Ba，gydF4y2Ba 6gydF4y2Ba]，以及社交媒体上的帖子[gydF4y2Ba 10gydF4y2Ba，gydF4y2Ba 11gydF4y2Ba]。为医学文章中的病例报告创建了一个用于ADEs自动检测的带注释的语料库[gydF4y2Ba 26gydF4y2Ba]。一些研究试图通过使用该语料库来检测ade [gydF4y2Ba 23gydF4y2Ba，gydF4y2Ba 27gydF4y2Ba，gydF4y2Ba 28gydF4y2Ba]。可以使用各种方法来检测ade。然而，以往的研究主要采用关系分类和实体分类。相比之下，我们的方法是基于文档和句子分类。gydF4y2Ba

每种方法在标注成本、覆盖范围和任务难度方面各有优缺点。关系和实体分类方法提供了关于ade的精确信息，但它们的标注成本很高。这一限制严重限制了它们对日语等小语种的应用，因为精通这些语言的医学专家相对较少。相比之下，文档和句子分类可以以相对较低的标注成本进行。然而，它们只能探测到全局现象，提供的关于ade的信息相对较少。为了弥补这些方法的缺点，我们的系统集成了文档和句子分类。gydF4y2Ba

在这里，我们开发了一个系统来监控日本的药品上市后监控。我们的新方法基于文档和句子分类，识别与ade相关的文章并提供ade暗示句子。由于该系统实现了简单的分类算法，可以方便地在制药公司内部应用和管理。gydF4y2Ba

实验结果表明，该系统能够准确地提取与ADEs相关的文章。它采用了NLP技术，可以减轻日本制药公司的一些体力劳动。gydF4y2Ba

我们的目标是将该系统应用于实际的上市后监测，并评估其在实际监测中的效率和有效性。展望未来，我们将探索更复杂的分类算法，以检测更广泛的ade。gydF4y2Ba