检索PubMed单语子集的搜索引擎:法语的概念证明和评价gydF4y2Ba

介绍gydF4y2Ba

MEDLINE是由美国国家医学图书馆(NLM)创建的，是世界上使用最多的医学书目数据库。目前(截至2014年9月3日)，它包含21,515,657次引用[gydF4y2Ba1gydF4y2Ba]，来自全球81个国家的5650种索引期刊。每个MEDLINE记录都用NLM的受控词汇，医学主题标题(MeSH) [gydF4y2Ba2gydF4y2Ba]。gydF4y2Ba

MEDLINE是PubMed的最大组成部分[gydF4y2Ba3.gydF4y2Ba]，免费访问的生物医学期刊引文和摘要在线数据库。除了MEDLINE引用，PubMed还包含[gydF4y2Ba4gydF4y2Ba]：gydF4y2Ba

1. 尚未用MeSH索引并添加到MEDLINE的引文(在过程中的引文或由出版商提供的电子引文);gydF4y2Ba
2. 一些“旧MEDLINE”引用尚未更新为当前词汇表并转换为MEDLINE状态;gydF4y2Ba
3. 向PubMedCentral提交全文并接受NLM定性审查的其他生命科学期刊的引用;和gydF4y2Ba
4. 美国国立卫生研究院资助的研究人员发表的文章的作者手稿引文。gydF4y2Ba

在同一天(2014年9月3日)，PubMed收录了24157837次引用[gydF4y2Ba5gydF4y2Ba]。gydF4y2Ba

语言可能是访问PubMed及其包含的所有信息的障碍[gydF4y2Ba6gydF4y2Ba]。此外，对母语文章的需求仍然存在[gydF4y2Ba7gydF4y2Ba]。Lu列出的28种不同的PubMed访问方式[gydF4y2Ba8gydF4y2Ba]，只有两个帮助非英语母语人士用他们的母语查询PubMed/MEDLINE: BabelMeSH [gydF4y2Ba9gydF4y2Ba，gydF4y2Ba10gydF4y2Ba和PICO (Patient, Intervention, Comparison, Outcome)语言学家[gydF4y2Ba10gydF4y2Ba]。我们开发了一个链接到PubMed的法语MeSH浏览器[gydF4y2Ba11gydF4y2Ba];每天有超过500名用户使用它，法国一半的医学院都在教授它。这三种工具依靠多种语言的MeSH翻译来简化查询[gydF4y2Ba12gydF4y2Ba]，还依赖于现有用户语言中可用的一些元数据来简化浏览结果。然而，这3个工具缺少PubMed的大部分功能(例如，高级查询生成器、过滤器、引文传感器);事实上，它们只是缺乏功能。gydF4y2Ba

一个多语言搜索引擎，可以访问任何非英语语言(例如法语、德语、西班牙语或挪威语)的PubMed/MEDLINE子集，具有高级功能，对于任何不熟悉英语的用户来说都是非常有兴趣的。本文的目标是提出这样一个工具(多语种PubMed)，并评估使用法语版本对信息检索任务性能的潜在提高。gydF4y2Ba

方法gydF4y2Ba

材料gydF4y2Ba

要创建一个有效的多语言搜索引擎，首先必须明确指定基本框架。在这个项目开始之前，已经开发了几个工具。自1995年以来，法语在线卫生资源目录和索引(CISMeF=目录和索引网站和法语 语言档案)，一个质量控制的卫生门户[gydF4y2Ba13gydF4y2Ba]，使用MeSH词库描述和索引法文的主要机构卫生网络资源(文件和站点)。2000年开发了一个搜索引擎Doc 'CISMeF，以允许对该网关进行查询。2007年，CISMeF开始使用几个术语/本体，以便更容易和更准确地进行索引。CISMeF小组因此发展了一个多术语入门网站(法文/英文)[gydF4y2Ba14gydF4y2Ba]，它与搜索引擎互操作。2012年，过渡建立了一个名为健康术语/本体门户(HeTOP)的跨语言门户，提供23种不同的语言[gydF4y2Ba15gydF4y2Ba，gydF4y2Ba16gydF4y2Ba]。gydF4y2Ba

最近，Doc 'CISMeF在两个方面进行了重大更新:(1)它已经成为一个能够集成任何元数据模型及其相关数据的通用工具;因此，该工具能够描述和索引Web资源以及PubMed引文。(2)搜索引擎现在已经发展成为一个可靠的多语言工具，它能够通过使用多种语言的多个术语/本体进行搜索。gydF4y2Ba

Doc ' s cismef的这两项改进允许搜索任何语言的PubMed引文。将Doc的cismef转换为所需的每种语言的每个PubMed子集的多语言访问(Multilingual PubMed或Multilingual PubMed-French)的最后步骤是为非英语使用者访问英语以外语言的文献而设计的，包括(1)完成MeSH描述符和MeSH限定符的翻译，以及(2)翻译接口。gydF4y2Ba

对于本研究的5种基础语言，在统一医学语言系统中可获得MeSH描述符的翻译[gydF4y2Ba17gydF4y2Ba]。一些机构已经帮助我们翻译了剩余的MeSH限定符和接口术语(见致谢)。gydF4y2Ba

然而，开发一个搜索引擎需要对所使用的语言有很好的了解。作为一个法国团队，我们不能假设所有其他语言的表现都等同于法语的表现。gydF4y2Ba

Doc 'CISMeF中与MeSH词库相关的两个改进可用于多语言PubMed [gydF4y2Ba18gydF4y2Ba]：gydF4y2Ba

1. CISMeF医学图书馆员定义了双语(法语和英语)预定义查询(n=389)(例如，CISMeF术语“钠血症”自动转换为MeSH预定义查询“钠/血”)。这些预定义的查询将不得不被翻译，以应用到这个项目的其他欧洲语言。gydF4y2Ba
2. 超概念(或元术语;n=126)是医学(次)专业或生物科学学科(如心脏病学或细菌学)，由CISMeF总图书管理员选择。对于每个超概念，使用一个或多个MeSH描述符和限定符创建一个语义链接。例如，元术语gydF4y2Ba精神病学gydF4y2Ba是否与MeSH描述符相关gydF4y2Ba精神病学gydF4y2Ba和gydF4y2Ba精神病院gydF4y2Ba它们属于MeSH中完全不同的树结构。超概念的创建是为了优化信息检索和克服MeSH描述符的相对限制性。这些超概念也需要翻译，但是超概念和MeSH描述符之间的基本语义链接是与语言无关的。gydF4y2Ba

预先订定的查询词及元术语的列表，可于HeTOP的跨语言术语/本体论入门网站[gydF4y2Ba15gydF4y2Ba]。gydF4y2Ba

还有其他一些基于所有可用元数据的改进。可以执行分面浏览[gydF4y2Ba19gydF4y2Ba]。facet列出了引用特征，可以用来优化结果。它基于元数据(例如，年份，国家，资源类型)工作。Doc 'CISMeF的默认排名是基于相关性评分，而在PubMed中，最近的文章排名第一:后进先出(LIFO)。Doc ' cismef解释用户的查询，以识别有意义的单词和与健康术语(如MeSH)匹配的医学描述符。然后返回与这些单词和描述符相对应的结果。它使用几个标准对结果进行评分和排序:标题中出现的查询词、主要主题中出现的描述符、出版日期和描述符的来源，因为它们可能是由图书管理员分配的，也可能是由计算机通过编程为不太重要的资源分配的。如果标题词和主要主题与用户的查询完全匹配，则得分为100%，并因此排名。根据单词和描述符的数量，不完美匹配的得分会降低(例如，MeSH次要主题)。对于分数相等的结果，以发表日期为决定标准。gydF4y2Ba

以前在Doc 'CISMeF中开发的其他一些改进尚未在多语言pubmed -法语搜索引擎中实现(参见讨论)。gydF4y2Ba

体系结构gydF4y2Ba

CISMeF通用信息系统分为5层(gydF4y2Ba图1gydF4y2Ba）:gydF4y2Ba

1. 关系数据库层，保证了数据的持久性和结构化查询语言的查询处理;通过动态分区和本地索引优化执行计划。gydF4y2Ba
2. 缓存层，用于集群数据分布。它基于随机存取存储器，分布在多个服务器之间;因此，它是非常快的。此外，它避免了崩溃后的数据丢失。gydF4y2Ba
3. 业务组件层主要由处理业务逻辑的CISMeF Java库组成。gydF4y2Ba
4. 承载依赖于业务组件的Web服务的服务层，这些服务反过来又由信息系统的每个客户机应用程序使用。gydF4y2Ba
5. 表示层，包括网关、基于web的用户界面、富Internet应用程序和服务层的任何客户机应用程序。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

数据源gydF4y2Ba

本文测试的第一个也是唯一的多语种PubMed版本是法语版本:多语种PubMed-法语搜索引擎。尽管如此，整个框架应该能够像管理法语一样管理任何语言。为了进行这项研究，从PubMed中提取所有法语PubMed引文，并使用特定的解析器将其包含在多语言PubMed-法语语义搜索引擎中。一些PubMed引文也被提取为其他语言(如德语、西班牙语、葡萄牙语和挪威语)，以确保我们的多语言框架假设并非不切实际。gydF4y2Ba

所有MeSH描述符和MeSH限定符由法国国家卫生研究所技术和科学信息部翻译成法语[gydF4y2Ba20.gydF4y2Ba]。CISMeF小组通过以下内容大大丰富了这一翻译:gydF4y2Ba

1. 25501个同义词和689个歧义缩略词;gydF4y2Ba
2. 163个MeSH修饰词同义词;gydF4y2Ba
3. 翻译了20,887个MeSH补充概念(总共209,326个);gydF4y2Ba
4. MeSH补充概念同义词27,295个;gydF4y2Ba
5. 6037个由MeSH描述符定义组成的MeSH作用域注释的翻译;和gydF4y2Ba
6. 3918“另见”MeSH描述符之间的关系。gydF4y2Ba

评价gydF4y2Ba

这类工具的两个主要限制因素是响应时间，响应时间必须很低才能被最终用户接受，以及结果质量(是否有任何结果，它们是否相关?)通过测量20个查询的前20个结果的响应时间和相关性来评估它们。gydF4y2Ba

查询是从经常在Doc 'CISMeF(日志分析)上运行的查询中选择的。从检索结果中随机选择20个查询，这些查询在过去100天内运行了50次以上，并且不涉及高级语法。gydF4y2Ba

每个查询都在多语种PubMed- french、BabelMeSH和PubMed上运行;我们的日志中准确的句子被贴在每个搜索引擎上。语料库仅限于每个搜索引擎的法语文章。对于PubMed，第二个查询在音译title (TT)字段上启动，以下称为PubMed TT策略。最后，对2种PubMed算法进行了结果排序测试:经典的LIFO算法和最近提出的相关性排序算法[gydF4y2Ba21gydF4y2Ba]，这可能更类似于多语言PubMed-French排序算法。因此，我们测试了5种策略:BabelMeSH、多语种PubMed-法语、PubMed LIFO、PubMed相关性和PubMed TT。查询的示例可在gydF4y2Ba表1gydF4y2Ba。PICO linguist没有被评估，因为它的工作原理基本上类似于Babel MeSH，但它有一个PICO接口(即，为患者、干预、比较和结果设计的结构化字段)，这是为特定查询设计的。PubMed TT策略仅使用后进先出排序进行研究，因为相关性排序是基于发现术语的领域[gydF4y2Ba21gydF4y2BaPubMed的TT策略只涉及一个领域:音译标题。根据我们的数据，PubMed LIFO和PubMed相关性排名共享45%的结果。对于PubMed TT策略，这一比例上升至88%。gydF4y2Ba

前20次被引的PubMed identifier (PMID)和总被引次数由NG记录。对于多语种pubmed -法语，只记录了响应时间。一位医学图书管理员(GK)使用三模态李克特量表对引文相关性进行了评估。他对检索待评估资源的搜索策略一无所知。因此，可以估计每个工具的精度(即相关结果在结果中的比例)。gydF4y2Ba

利用Pearson相关系数研究了反应时间与被引次数的关系。进行了两项分析:对于严格的分析，只有评估为完全相关的引用被认为是真阳性;对于宽松型，完全相关和部分相关的引文都被认为是真阳性。gydF4y2Ba

结果gydF4y2Ba

技术可行性gydF4y2Ba

表2gydF4y2Ba显示欧洲主要语言(不包括英语)的PubMed引文数量。作为概念证明，不同语言的PubMed引文被纳入CISMeF信息系统:法语(n=665,359)、德语(n=7102)、葡萄牙语(n=4497)、西班牙语(n=4297)和挪威语(n=3764)。最终用户可以选择一种语言，然后用同一种语言执行查询。感谢我们在致谢中提到的同事，多语言PubMed界面被翻译成法语、德语、葡萄牙语、西班牙语和挪威语。在PubMed数据库中默认显示的相同的主要元数据类似地显示在多语言PubMed搜索引擎中，以及索引MeSH描述符和限定符(gydF4y2Ba图2gydF4y2Ba)。最终用户也可直接获得同一语文文章全文的链接(gydF4y2Ba图2gydF4y2Ba)，通常透过数码物件识别码[gydF4y2Ba22gydF4y2Ba]。创建一个从PubMed中提取的几种语言的书目数据库，并以一种特定语言提供，这一目标随后作为概念验证完成。gydF4y2Ba

在以前的CISMeF网关中，响应时间的目标如下:所有包含1个或2个术语的查询都应少于2秒。自2001年以来，CISMeF信息系统中包含的101,000个Web资源已经实现了这一目标。PubMed在法语中的引用数量大约是CISMeF Web资源的6倍。所有查询的响应时间均低于2秒的限制(gydF4y2Ba表3gydF4y2Ba)。正如预期的那样，响应时间与检索到的引文数量(gydF4y2BargydF4y2Ba=。73.95% CI .42-.89). According to linear regression coefficient, this would lead to an unacceptable response time for queries that collect more than 20,000 citations. This evaluation of response time is an important step in determining the feasibility of this Multilingual PubMed-French search engine to create a bibliographic database in French for health professionals. The current version of Multilingual PubMed-French is available on the Internet [23gydF4y2Ba]。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

绩效评估gydF4y2Ba

表4gydF4y2Ba显示每个策略的每个查询的覆盖率。PubMed TT策略比其他4种策略检索到的引用少得多，总共有10716次点击。Babel MeSH、多语言PubMed- french和常规PubMed查询分别检索了50,894、42,384和34,047个引用。Babel MeSH和Multilingual PubMed- french检索到的引文明显多于relevance/LIFO PubMed(两者都是)gydF4y2BaPgydF4y2Ba= .03点;Mann-Whitney测试)。gydF4y2Ba

对检索到的前20条引文测量的精度列出:(1)考虑到被评估为高度相关的引文-严格分析;(2)考虑到高度和轻微相关的引文，宽松分析(gydF4y2Ba表5gydF4y2Ba)。结果与多语言PubMed- french和PubMed TT这两种策略相似，它们在精确度方面优于其他3种策略。这两种策略达到了90%以上的准确率，PubMed TT (gydF4y2BaPgydF4y2Ba=。002，Fisher test), whereas the other 3 barely reached 80% in the relaxed analysis.

讨论gydF4y2Ba

主要结果gydF4y2Ba

多语言PubMed-French策略允许检索法语PubMed引文，具有高精度和高覆盖率。尽管在CISMeF信息系统中引入了60多万篇PubMed引文，但平均服务器端响应时间仍然低于阈值时间(即2秒)，根据我们的经验，这对于普通卫生专业人员来说是可以接受的。多语种pubmed -法语搜索引擎现已在互联网上免费提供[gydF4y2Ba23gydF4y2Ba]。gydF4y2Ba

Babel MeSH允许用户访问法语PubMed数据库。它提供了许多精度较低的结果，因此对讲法语的人不太感兴趣。此外，搜索引擎的功能在任何地方都没有详细说明;只能生成由Babel MeSH自动翻译的粗略的自由词查询。Babel MeSH接口是有限的;在短时间内执行许多查询是不可能的。gydF4y2Ba

对于讲法语的人来说，《PubMed》的经典用法并不令人满意，这并不奇怪，因为它应该适用于英语，而不是法语。相对较高的平均覆盖率掩盖了巨大的异质性(从0到超过12,000次引用)。精确度低于多语言PubMed- french或PubMed TT。然而，相关性排序始终比后进先出排序对前20个结果提供更好的精度。没有证据表明后进先出是违约。gydF4y2Ba

使用PubMed TT比使用多语言PubMed- french提供更精确的结果。PubMed TT的工作方式就像一个自由文本搜索引擎，只查看引文的标题。因此，精度高是合乎逻辑的。然而，基于覆盖范围的巨大差异和精确度的微小差异，PubMed TT的召回率一定低于多语种PubMed-法语的召回率。此外，多语种PubMed- french和Babel MeSH不断提供20多个结果，而PubMed则没有;有些查询提供很少甚至没有结果。PubMed TT的低覆盖率可能是由于难以处理法语的特殊性(例如省略、撇号、重音)。gydF4y2Ba

限制gydF4y2Ba

这项研究有几个局限性。首先，这个可行性研究只包括服务器端响应时间。总体响应时间还取决于最终用户的计算机类型和浏览器类型。第二，MeSH词典翻译不完全。MeSH描述符和限定符经常被翻译，但对于MeSH补充概念却不是这样。因此，在MeSH补充概念级别的准确性查询目前是不可能在自己的语言。即使使用自然语言处理工具，翻译所有MeSH补充概念也需要大量的工作[gydF4y2Ba24gydF4y2Ba]。最后，到目前为止，英语是科学医学出版物最常用的语言，其他语言的出版物相对减少。然而，后者是重要的，因为它们更容易适应国家情况，更容易为更广泛的当地受众所理解。英文文章的自动可理解翻译肯定会解决这个问题，但这远远超出了当前的技术[gydF4y2Ba25gydF4y2Ba]。gydF4y2Ba

对于“心绞痛/咽炎”的查询，出现了一个意想不到的问题:PubMed (LIFO和相关策略)没有找到任何结果，并自动将查询翻译为具有不同含义的“心绞痛”。这影响了这些策略的精度，使其偏向于零。我们进行了三个敏感性分析来评估偏倚重要性:(1)将“引擎”查询排除在分析之外，(2)认为“引擎”查询为PubMed LIFO和PubMed相关策略提供了零结果，(3)认为该查询为PubMed LIFO/相关策略返回的20条引文是完全相关的。在每种情况下，与PubMed LIFO/相关策略相比，多语言PubMed- french和PubMed TT的精度明显更好。因此，有可能得出一个非常有限的偏差。gydF4y2Ba

展望与未来挑战gydF4y2Ba

多语种PubMed的优势之一在于多语种的CISMeF信息系统。因为MeSH词库已经被翻译成多种语言，所以很容易为这些语言制作多语言PubMed。然而，CISMeF团队并不熟悉用法语以外的其他语言解释用户查询所需的语言处理;因此，其他版本的多语种PubMed不太可能取得与这里观察到的结果相当的结果。我们目前正在与几个国际团队合作，将多语言PubMed扩展到德语，西班牙语，葡萄牙语和挪威语。根据PubMed的引用次数(参见gydF4y2Ba表1gydF4y2Ba)对于主要的欧洲语言，这个可行性研究可以推断为积极的其他语言的PubMed引用少于法语(即西班牙语，意大利语，葡萄牙语和挪威语)和三分之一的德语。gydF4y2Ba

与搜索引擎中的MeSH索引相关的其他几个改进尚未在PubMed引文中实现;特别是，MeSH修饰词与MeSH补充概念的关联，用MeSH概念进行索引，以及MeSH修饰词与MeSH概念的关联[gydF4y2Ba26gydF4y2Ba]。由于法语PubMed引文语料库的规模(n=665,359)，手动执行这些任务是不可行的。因此，CISMeF质量控制健康网关中使用的自动索引工具将需要得到增强，以便应用于多语言pubmed -法语搜索引擎。gydF4y2Ba

如引言所述，在CISMeF信息系统中可以管理多种资源。最终用户现在可以请求混合结果:来自CISMeF的Web资源和来自Multilingual PubMed的PubMed引文。此外，多语言PubMed未来发展的一个有趣途径是整合来自其他来源的书目数据。与爱思唯尔-马松和两家法国小公司的合作现在已经启动。爱思唯尔将提供MEDLINE/PubMed引文的额外元数据(特别是法语摘要)，这些元数据目前尚未在MEDLINE/PubMed数据库中提供。此外，Elsevier-Masson将提供未被PubMed收录，但被其他书目/文献计量数据库收录(如Web of Science、EMBASE和BIOSIS)的期刊元数据。gydF4y2Ba

除了比竞争对手更高效之外，在我们看来，Multilingual PubMed更加用户友好，提供了更多的功能。尽管如此，PubMed或其他工具中仍有许多有趣的功能(如相关引用、历史管理)。gydF4y2Ba8gydF4y2Ba(图形表示)，这在多语言PubMed中没有实现。未来的工作可能会解决这些问题。gydF4y2Ba

结论gydF4y2Ba

本研究的目的是建立一个多语言搜索引擎来查询单语言PubMed子集。它在法语方面取得了成功，并将扩展到其他主要的欧洲语言。来自非英语出版物的参考书目现在可以使用来自PubMed数据库和MeSH词汇表的多语言数据在母语友好的界面中进行搜索。gydF4y2Ba

总的来说，这个多语言PubMed工具对于无法访问PubMed的非英语卫生专业人员来说是有价值的。gydF4y2Ba