协同元数据存储库(CoMetaR) Web应用程序:定量和定性可用性评估gydF4y2Ba

介绍gydF4y2Ba

元数据的重要性gydF4y2Ba

如果没有元数据来描述其内容的特征和上下文，原始数据是无用的。一个数字如果没有它所描述的参数的信息是没有意义的(例如，血压)，一个发现如果没有它的背景是没有用处的(例如，作为合并症的败血症与作为死亡原因的败血症)。元数据本身总是需要上下文(例如，它所描述的概念)。在许多情况下，元数据仅仅是由表格数据库的列标题和少数使用数据库的人的隐式知识所暗示的。许多信息科学家研究了元数据领域，例如，Wilkinson等[gydF4y2Ba1gydF4y2Ba]，他发布了FAIR(可查找性、可访问性、互操作性、可重用性)原则，这是设计良好的元数据的指导方针。每当数据被重用(用于分析、有效性检查等)时，必须将相应的元数据附加到实际数据上。因此，明确表述、丰富和全面的元数据对于任何可持续的研究项目都是必不可少的[gydF4y2Ba2gydF4y2Ba］．目前，大多数数据处理是由计算机自动完成的，这就要求所有元数据都以机器可读的形式提供[gydF4y2Ba3.gydF4y2Ba］．除了数据处理之外，元数据还用于向更广泛的受众(如国内或国际研究界)描述数据集。BioPortal [gydF4y2Ba4gydF4y2Ba例如，它是一个生物医学本体的综合存储库，将全球的研究人员联系在一起。此外，有多种方法可将现有的各种数据和元数据资料库记录在公共登记册内[gydF4y2Ba5gydF4y2Ba，gydF4y2Ba6gydF4y2Ba］．gydF4y2Ba

数据集成领域的元数据gydF4y2Ba

概述gydF4y2Ba

特别是在大型研究网络中的数据集成背景下，全面的元数据是必不可少的。"数据整合是指将不同来源的数据结合起来，并向用户提供这些数据的统一视图" [gydF4y2Ba7gydF4y2Ba］．尽管导出、转换和加载数据的过程是一项艰巨的任务，但这是一个非常简单的过程gydF4y2Ba统一的视图gydF4y2Ba这本身就是一项成就。在医学信息学中，数据整合的目的是促进转化研究，并获得更大的数据池，用于回顾性数据分析和前瞻性患者招募。集成数据的数量和呈现给用户的方式决定了它们的可接受性和可访问性。如果存储库涵盖的概念太少，或者集成的数据实例太少，那么研究人员就没有足够的分析基础。如果元数据无法呈现，用户就会认为应用存在缺陷，而不是投入时间进行探索。这尤其适用于入门级用户，在大多数情况下，会导致拒绝使用该软件。gydF4y2Ba

数据集成:主要组件和角色gydF4y2Ba

软件驱动的数据集成涉及多个技术组件:各种gydF4y2Ba异构源数据库gydF4y2Ba协调并整合成一个gydF4y2Ba集合数据存储库gydF4y2Ba。所有受影响的参数，更准确地说是这些参数背后的规范概念，都在单独的gydF4y2Ba元数据存储库gydF4y2Ba。两个存储库通过标识符[gydF4y2Ba8gydF4y2Ba-gydF4y2Ba10gydF4y2Ba］．gydF4y2Ba配置文件gydF4y2Ba将不同源数据库模式的协调过程定义为目标模式。这些配置文件的格式和语法各不相同，但它们都是用正式的计算机可读语言编写的[gydF4y2Ba11gydF4y2Ba-gydF4y2Ba14gydF4y2Ba］．gydF4y2Ba

从用户的角度来看，这些组件由以下角色管理和细化:gydF4y2Ba数据提供商gydF4y2Ba了解他们数据的含义和获取过程。在医学信息学中，这种知识对于数据协调至关重要，因为列名或表单标签等标签并不总是足够具体。根据Nadkarni和Marenco [gydF4y2Ba15gydF4y2Ba),”[…］column names may be quasi-gibberish, heavily abbreviated, and their names may follow arbitrary conventions that are idiosyncratic to the system designer or organization.” Rahm and Bernstein [16gydF4y2Ba表明即使是自动模式匹配也只能提供映射候选。映射规则的制定由gydF4y2Ba本地和中央数据管理器gydF4y2Ba(分别负责源数据库和集合数据库存储库)，因为他们具有维护正式编写的配置文件所需的技术背景。gydF4y2Ba数据协调员gydF4y2Ba详细阐述元数据存储库的内容，结合不同范围和研究重点的多个研究和注册。这个过程包括对相关性、协调、注释、管理和聚类进行评级。元数据的聚类和分层组织对用户界面的表示有直接影响。它决定了如何直观地发现和使用信息。gydF4y2Ba

信息获取障碍gydF4y2Ba

为了向数据仓库提供全面而准确的数据，不同的角色需要访问驻留在所描述的数据集成系统中的不同类别的信息。我们确定了3个案例，其中访问障碍阻碍了用户贡献他们的专业知识[gydF4y2Ba17gydF4y2Ba，gydF4y2Ba18gydF4y2Ba]：gydF4y2Ba

1. 所有用户都需要访问数据仓库中表示的所有数据元素的列表。这些注释和上下文信息可以从元数据存储库派生出来，并且必须是可视化的。gydF4y2Ba
2. 数据管理人员，特别是数据提供者，需要完全访问数据协调的映射规则。它们只以正式语言提供，这需要相应的信息技术背景。数据提供者通常不具备这方面的知识。gydF4y2Ba
3. 数据协调者需要访问元数据的来源信息才能对其进行管理。“特别是在协同元数据开发中，一个关于‘谁贡献了什么、何时贡献了什么、为什么贡献了什么’的全面注释是必不可少的”[gydF4y2Ba17gydF4y2Ba］．gydF4y2Ba

在大多数情况下，屏障(1)是通过元数据浏览器解决的[gydF4y2Ba4gydF4y2Ba，gydF4y2Ba19gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba］．对于数据集成背景下的元数据存储库，障碍(2)和(3)通常会在用户和所需信息之间形成巨大的鸿沟。gydF4y2Ba

协同元数据存储库的实现gydF4y2Ba

德国肺研究中心(德语:Deutsches Zentrum f r Lungenforschung [DZL])采用协作元数据开发和FAIR元数据仓库的原则，实现了协作元数据存储库(CoMetaR) [gydF4y2Ba1gydF4y2Ba，gydF4y2Ba17gydF4y2Ba，gydF4y2Ba18gydF4y2Ba，gydF4y2Ba21gydF4y2Ba］．它基于开放和常用的标准。DZL元数据构成了一个专门为肺研究开发的高度指定的词库，截至2021年7月，它包含了3.474个不同的概念。CoMetaR支持以基于简单知识组织系统(SKOS)和都柏林核心(DC)知识组织系统的资源描述框架(RDF)格式存储单个词库[gydF4y2Ba22gydF4y2Ba-gydF4y2Ba24gydF4y2Ba］．ISO/IEC 21526 [gydF4y2Ba25gydF4y2Ba标准明确地“要求使用SKOS来提供用户界面表面的内容分类”。版本控制通过Git进行，它还提供了不同版本之间的变化信息[gydF4y2Ba26gydF4y2Ba，gydF4y2Ba27gydF4y2Ba］．最新的同义词典版本加载在三重存储中，并可通过SPARQL协议和RDF查询语言(SPARQL)接口访问[gydF4y2Ba28gydF4y2Ba］．此接口可用于提取元数据信息，并在我们的示例中，在数据仓库中设置树状元数据[gydF4y2Ba29gydF4y2Ba］．提取的元数据信息也可以用来生成一个可视化的元数据表示，类似于我们的用户前端，CoMetaR web应用程序。这个前端的开发是为了消除所有用户角色的访问障碍，从而支持他们贡献他们的专业知识。然而，CoMetaR web应用程序是否满足元数据管理和数据集成支持的要求还有待科学证明。gydF4y2Ba

本研究评估了为数据集成和元数据维护领域的常见任务而构建的3个模块的可用性。gydF4y2Ba

方法gydF4y2Ba

研究设计gydF4y2Ba

概述gydF4y2Ba

可用性评估是(1)大声思考法和(2)可用性问卷的组合。通过结合这两种方法，我们想要测量可观察的和可感知的可用性。执行包括两个阶段:(1)针对各自用户角色的屏幕共享支持的培训;(2)参与者通过随后的回顾解决给定的任务，包括完成可用性问卷。所有评估均由同一实验人员进行。gydF4y2Ba

大声思考法gydF4y2Ba

这种方法通常应用于web界面的可用性评估[gydF4y2Ba30.gydF4y2Ba，gydF4y2Ba31gydF4y2Ba］．“大声思考”方法背后的理念是，参与者在执行给定任务时用语言表达他们的想法。他们的表情被记录下来，然后根据解释模型进行转录和分析。gydF4y2Ba

我们决定不记录参与者，而是记录他们的表情以及他们的应用程序使用行为。这些笔记主要关注可用性、功能和方法问题。这种方法的优点是一方面为用户提供了更舒适的环境，另一方面为实验者减少了工作量。缺点是潜在的信息丢失，因为实验者已经过滤了信息。gydF4y2Ba

作为我们的解释模型，我们使用了ISO 9241-110 [gydF4y2Ba32gydF4y2Ba:任务的适宜性、用户期望的符合性、学习的适宜性、个性化的适宜性、自我描述性、可控性和容错性。gydF4y2Ba

系统可用性量表gydF4y2Ba

我们使用Brooke在1996年发明的系统可用性量表作为应用程序可用性的测量工具gydF4y2Ba又快又脏gydF4y2Ba但一个有意义的用户体验测量工具gydF4y2Ba33gydF4y2Ba，gydF4y2Ba34gydF4y2Ba］．它由10个问题组成，回答范围从0到4。所有问题都有多种语言版本，包括我们在评估中使用的德语。gydF4y2Ba

材料gydF4y2Ba

CoMetaR模块gydF4y2Ba

CoMetaR web应用程序分为概念树导航区和模块区。可以在右上角的模块菜单中选择模块，如图gydF4y2Ba图1gydF4y2Ba。在下面的段落中，我们将简要描述三个评估模块的功能gydF4y2Ba核心模块gydF4y2Ba，gydF4y2Ba出处模块gydF4y2Ba,gydF4y2Ba数据集成模块gydF4y2Ba。在gydF4y2Ba介绍gydF4y2Ba在第一部分中，我们描述了数据集成过程中涉及的3个用户角色:数据管理员、数据提供者和数据协调者。一个用户可以执行多个角色。每个角色都使用核心模块，而数据集成模块和来源模块则更加特定于角色(请参阅任务部分)。gydF4y2Ba

CoMetaR web应用程序的核心模块功能(gydF4y2Ba图1gydF4y2Ba)涉及浏览所有元数据概念并显示相应的详细信息。用户可以通过展开节点来导航概念树，并通过单击节点来检索详细信息。他们还可以使用搜索功能来检查一个概念是否以及在同义词库中的位置。模块区域显示了概念细节。它们包括核心信息，如标签、备选标签、数据类型、代码、状态(gydF4y2Ba在草案gydF4y2Ba是或否)，和单位。此外，我们还介绍了作者、描述和概念规范。一个专门的面板显示了对所选概念所做的所有更改的历史记录。一个按钮允许以CSV格式导出包含基本信息的概念及其所有子概念。gydF4y2Ba

由于我们的元数据随着时间的推移不断增长和发展，有许多参与者参与其中，因此我们决定提供出处模块，使用户能够跟踪所有更改。这些更改可能是添加、移动或删除概念树中的概念，也可能是修改它们的注释。当选择来源模块(gydF4y2Ba图2gydF4y2Ba)，受影响的概念树元素接收图标，表示它们在给定时间范围内的变化。默认的时间跨度是从当前日期起1个月，可以在模块中进行调整。模块本身以垂直顺序显示与元数据更改有关的所有日期。附在这样一个日期上的水平条表示单次上传，它们的宽度表示变化的量。单击日期或单个上传栏将加载相应的更改，并将其显示在相应概念下面的概念树中。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

我们的数据集成过程由数据集成模块支持。单个数据源的集成过程分为4个部分。(1)从源系统导出数据;(2)为集成软件准备数据;(3)配置集成软件;(4)执行集成软件。由于配置文件是用软件解释的正式语言编写的，因此缺乏所需技术背景的人无法访问它。为了验证配置，各个数据提供者必须能够访问制定的规则。对于这个任务，他们可以将配置文件上传到数据集成模块(gydF4y2Ba图3gydF4y2Ba)。然后，所有规则都显示在概念树中相应概念的下面。此外，如果任何规则引用的概念(不再存在)或被重新引入，我们会在模块区域打印通知。在这种情况下，可以根据元数据的正式文档自动确定正确的引用。随后，提供配置文件的更新版本供下载。注意，此过程不调用任何类型的数据上传;它仅用于验证配置本身。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

任务gydF4y2Ba

CoMetaR旨在支持数据集成任务。在德国肺研究中心，我们从2016年开始进行数据整合，并识别出数据整合专家非常感兴趣的信息。例如，为了将源数据的元素匹配并映射到集成数据，制定规则的人员需要知道哪些元素是集成元数据的一部分，它们的确切特征是什么(度量方法、比例、分类等)，以及如何唯一地标识它们。当这些特性发生变化时，需要对映射规则进行调整。对于各种流程，人们通常希望元数据以Microsoft Excel格式可用，从而产生对各自导出功能的需求。针对这些及其他情况，我们确定了10项任务，以验证CoMetaR在肺部研究领域的适用性。以下任务由2位专家组成，他们在国际数据集成领域活跃了50年。写作过程包括头脑风暴、讨论，最后达成共识。为了给每个参与者分配模块，我们考虑了他们的用户角色以及他们的日常任务。所有用户必须解决核心模块任务，所有数据协调器必须解决出处模块任务，所有上传数据的数据管理器必须解决数据集成模块任务。gydF4y2Ba

前4个任务的目标是使用核心模块。他们测试了搜索和找到特定同义词库元素及其注释的能力，以及导出数据的能力:gydF4y2Ba

1.指定哪个参数gydF4y2Ba从未吸烟者gydF4y2Ba和gydF4y2Ba机会吸烟者gydF4y2Ba是DZL元数据的一部分。gydF4y2Ba

2.指示肺活量测定参数的代码、数据类型和单位(gydF4y2Ba残gydF4y2Ba)。gydF4y2Ba

3.关于最后一个概念的改变gydF4y2Ba并发症gydF4y2Ba，注明日期和所作的修改。gydF4y2Ba

4.的子树，详细描述您将采取哪些单独的步骤来打印gydF4y2Ba生物统计数据gydF4y2Ba以表格的形式。gydF4y2Ba

以下2个任务旨在使用出处模块。他们测试追踪同义词典变化的能力:gydF4y2Ba

5.指出上个月增加、移动或删除了哪些概念。gydF4y2Ba

6.选择一个在上次上传中修改了注释的概念。指出谁在哪个日期执行了此更改。gydF4y2Ba

最后4个任务的目标是使用数据集成模块。它们测试验证个人上传客户端配置的能力:gydF4y2Ba

7.检查配置中是否存在错误映射的概念。gydF4y2Ba

8.检查正确映射的概念的配置。gydF4y2Ba

9.检查元数据中没有映射到配置中但可以提供的概念。gydF4y2Ba

10.更新本地配置以满足已更改的概念引用。描述你的方法。gydF4y2Ba

任务7、8和9必须被视为具有3个子任务的一个任务。参与者被要求使用他们自己的配置文件来上传他们管理的数据。一些配置文件包含数百个映射规则。根据某些数据源的大小和覆盖范围，完成任务需要花费相当多的时间。在现场评估期间，参与者被要求完成这3个任务中的每一个，以便能够填写系统可用性量表问卷。他们以异步方式完成任务，并在完成后报告结果。gydF4y2Ba

配置文件gydF4y2Ba

对于4个数据集成模块任务中的3个，我们要求参与者使用他们自己的配置文件进行分析。这些规则包括定义如何将本地概念映射到中央数据仓库中的概念的规则。文件格式为XML。配置文件用于数据转换和上传客户端软件。配置文件不包含任何实例数据。通过使用真实的配置文件而不是人工的例子，我们能够在一个真实的场景中测试我们的应用程序，并识别出错误的映射。此外，这种设置允许参与者使用熟悉的信息。gydF4y2Ba

实验者的笔记gydF4y2Ba

实验者在评估过程中填写了一张笔记表。它的结构为每个参与者包含一行和以下列:gydF4y2Ba经验水平gydF4y2Ba，gydF4y2Ba英语水平gydF4y2Ba，gydF4y2Ba年龄gydF4y2Ba，gydF4y2Ba职业gydF4y2Ba，gydF4y2Ba角色gydF4y2Ba(见gydF4y2Ba介绍gydF4y2Ba部分),gydF4y2Ba评估日期gydF4y2Ba，gydF4y2Ba训练开始时间戳gydF4y2Ba，gydF4y2Ba培训结束时间戳gydF4y2Ba，gydF4y2Ba培训注意事项gydF4y2Ba。3个模块中的每个模块包含以下列:gydF4y2Ba模块任务gydF4y2Ba(说明任务是否成功解决)，gydF4y2Ba模块完成时间戳gydF4y2Ba，gydF4y2Ba模块注意事项gydF4y2Ba，gydF4y2Ba时间戳模块问卷填写gydF4y2Ba。gydF4y2Ba

系统可用性量表问卷gydF4y2Ba

交给参与者的问卷包含10个可用性问题，定义在系统可用性量表中。它们被放入Microsoft Excel表格中，每一行对应一个问题，每一列对应0到4的值。10道题的最终得分在表格内计算。每个评估模块发给参与者一张纸。gydF4y2Ba

定量分析表gydF4y2Ba

使用电子表格收集每个参与者的得分和模块计算定量分析参数，即:gydF4y2Ba范围从gydF4y2Ba，gydF4y2Ba范围gydF4y2Ba，gydF4y2Ba平均评分gydF4y2Ba,gydF4y2BaSDgydF4y2Ba。这4个参数是根据参与者的经验水平额外计算的，使用以下公式:gydF4y2Ba

经验加权得分= Score−4 ×(经验等级−1)gydF4y2Ba

经验等级由1至5，按经验加权得分最多相差16分，这与以往的调查结果相符[gydF4y2Ba35gydF4y2Ba］．除了问卷的得分、相应的经验水平和计算值外，表格中没有输入与参与者相关的信息。gydF4y2Ba

设置gydF4y2Ba

为了评估我们的web应用程序，我们决定与参与者进行远程交互(参与者没有被邀请到本地测试实验室)和同步交互(评估者和参与者实时执行测试会话)。对于一个非常耗时的任务类型，我们有一个例外，某些参与者是异步完成的。就准备工作、旅行时间和感染SARS-CoV-2的风险而言，这种方法似乎是最有效的。一项全面的研究表明了它的适用性:Bastien [gydF4y2Ba36gydF4y2Ba]总结了多项研究，指出远程评估产生的结果与当地实验室评估相当。尽管他发现自动记录每个用户与应用的互动可以提供更多关于应用可用性的见解，但这种设置非常耗时，只有在参与者人数较多的情况下才合理。参与者是在2020年4月和5月接触的。数据收集于2020年5月和6月进行。数据分析于2020年7月进行。gydF4y2Ba

作为交流平台，我们使用了LogMeIn的GoToMeeting网络会议软件[gydF4y2Ba37gydF4y2Ba］．它允许参与者通过电话或软件应用程序拨号。后者还提供屏幕共享功能，除了一位有技术问题的参与者外，其他参与者都可以使用。gydF4y2Ba

抽样gydF4y2Ba

CoMetaR的目标受众是作为数据提供者、数据管理人员或数据协调者参与数据集成任务的专家。我们的CoMetaR的实施致力于肺部研究。因此，在本次评估中，我们纳入了德国肺研究中心和合作组织的成员。所包括的参与者应涵盖广泛的角色和责任。这些特征决定了他们可以有效地工作的模块。例如，将数据加载到数据仓库的数据管理器拥有数据集成配置文件，并且可以使用数据集成模块。核心模块与所有用户角色相关。相反，溯源模块主要与数据协调器和数据管理器相关，而数据集成模块主要与数据管理器和数据提供者相关。除了他们的用户角色、职业、年龄和英语水平外，我们还询问了参与者使用该应用程序的经验。英语和经验水平按1到5的等级进行测量。gydF4y2Ba

Bastien [gydF4y2Ba36gydF4y2Ba引用的研究表明，大多数可用性问题可以在5-15个参与者中找到。就像Virzi [gydF4y2Ba38gydF4y2Ba]显示，只需要4到5个参与者就可以识别80%的可用性问题，而这个数字足以揭示最严重的问题。因此，我们计划在web app的每个方面至少招募5名参与者。我们总共接触了13名潜在参与者，其中12人同意参与。gydF4y2Ba

道德的考虑gydF4y2Ba

所有方法均按照相关指南和规定进行。这项研究获得了德国吉森尤斯图斯-李比希大学医学院伦理委员会的伦理批准豁免。所有参与者都获得了参与研究的知情同意。gydF4y2Ba

所有与患者相关的数据均匿名记录。它涵盖了年龄、职业、角色、评估模块、英语水平和使用应用程序的经验。数据进一步粗化，使用10年的年龄级别，以防止参与者被重新识别。gydF4y2Ba

程序和数据收集gydF4y2Ba

概述gydF4y2Ba

在任何评估之前，我们执行了一个屏幕共享支持的培训，具体到各自的用户的角色，不管以前的经验与应用程序。这个培训的目标是为参与者提供平等的基本知识，关于web应用程序的结构和功能。我们询问了参与者以前使用该系统的经验，这可能会影响评估结果[gydF4y2Ba35gydF4y2Ba］．培训结束后，参与者分享他们的屏幕并完成评估者给出的任务。在使用模块后，参与者填写了系统可用性量表问卷。这也给了他们回顾和与实验人员简短对话的机会，潜在地揭示了更多的可用性问题。gydF4y2Ba

指令gydF4y2Ba

在对每个参与者进行应用功能的入门培训后，他们可以选择提问和澄清误解。接下来，对于每个测试模块，他们被要求逐一完成每个任务。任务是通过言语传达的。实验者要求参与者在评估过程中用语言表达他们的想法，并在他们忘记的时候提醒他们。在参与者解决了一个模块的任务后，实验者要求他们填写我们之前通过电子邮件发送给他们的可用性问卷。此外，还邀请他们参加回顾性对话，再次指出调查结果。gydF4y2Ba

实验者的角色gydF4y2Ba

实验者扮演一个被动的角色。在评估过程中，除了提醒参与者用语言表达他们的想法外，他不应该说话。在参与者陷入困境的情况下，实验者给出提示，引导他们获得必须从应用程序中接收的信息。同时，实验者完成了结构化的笔记表，记录了参与者的口头想法、自发反应和他们的应用程序使用行为，重点是前面提到的可用性类别[gydF4y2Ba32gydF4y2Ba］．gydF4y2Ba

录音和转录gydF4y2Ba

传统的“大声思考”方法需要记录整个评估过程，并抄写。正如研究设计中提到的，我们没有记录会话，因为转录发生在会话期间。gydF4y2Ba

分析gydF4y2Ba

定量分析gydF4y2Ba

为了进行定量分析，我们计算了总分(gydF4y2Ba范围从gydF4y2Ba，gydF4y2Ba范围gydF4y2Ba，gydF4y2Ba平均评分gydF4y2Ba,gydF4y2BaSDgydF4y2Ba)基于系统可用性量表问卷。我们还计算了考虑经验水平的相同聚合。这一调整的动机是先前的研究结果，研究表明可用性得分根据参与者的经验水平变化高达16分[gydF4y2Ba35gydF4y2Ba］．例如，没有经验(1级)的用户具有相同的基础和调整分数，而具有70分和经验级别4(5级)的用户具有58分的调整分数。通过计算这些缓和分数，我们希望能够更好地了解应用的可用性，特别是关于进入门槛。所有计算均使用Excel进行(见gydF4y2Ba材料gydF4y2Ba部分)。由于样本量太小，我们省略了按英语水平、年龄和职业进行的亚组分析。gydF4y2Ba

定性分析gydF4y2Ba

我们对评估期间收集的信息进行了专题分析，以确定可用性问题模式，并对用户体验进行描述性描述。在熟悉了所有的注释之后，我们再次浏览了所有的注释，并生成了可用性问题声明。我们采用了一种潜在的方法，这意味着我们解释数据以创建更有意义的语句。例如，任务2要求参与者指出肺量测定参数的属性gydF4y2Ba残gydF4y2Ba。在一种情况下，与会者使用搜索功能输入gydF4y2Ba斯皮罗残gydF4y2Ba，这导致没有结果(实验者的结构化笔记文件中的注释)。我们的结论不是我们的应用无法找到特定的模式，而是用户期望更强大的搜索功能，正如大型互联网公司所知道的那样(主题)。在生成可用性问题主题后，我们将类似的语句组合在一起，并通过检查是否所有的注释仍然由这些语句很好地表示来检查它们。然后将它们分配到ISO 9241-110中描述的7个可用性类别中的1个[gydF4y2Ba32gydF4y2Ba:任务的适宜性、用户期望的符合性、学习的适宜性、个性化的适宜性、自我描述性、可控性和容错性。分类是由与所有参与者一起进行评估的同一个人进行的。之后，这些分组与另一位专家进行内部讨论，并可能进行调整。gydF4y2Ba

软件gydF4y2Ba

对于文档和分析，我们只使用Microsoft Excel和Microsoft Word。gydF4y2Ba

质量保证gydF4y2Ba

系统可用性量表问卷由10个问题组成，其中5个问题表示积极可用性，5个问题表示消极可用性。由于一些问题包含否定，我们假设可能存在误解。因此，我们立即检查每个问卷的异常值，并询问我们何时发现潜在的误解。在询问时，我们再次指出，我们不坚持更高的分数，而是坚持有效的答案。gydF4y2Ba

我们希望确保正确和全面的分类，以及用于定性分析的明确措辞。另一个熟悉研究设计和可用性方面的人检查了所有的分类。生成的表格是深入对话的结果。gydF4y2Ba

结果gydF4y2Ba

参与者gydF4y2Ba

本次评估的所有参与者目前都在德国肺研究中心工作或与之合作。他们的操作领域和职责各不相同，但都有助于数据集成任务。gydF4y2Ba表1gydF4y2Ba显示所有12个参与者的详细信息。他们的年龄(28-63岁)、系统经验(1-4分，1-5分)、英语水平(2-5分，1-5分)和专业(医学文献工作者、医学信息学专家、毕业生物学家、生物信息学专家、研究协调员和数据管理人员)各不相同。gydF4y2Ba

定量分析gydF4y2Ba

时间消耗gydF4y2Ba

培训时间在10到30分钟之间，具体取决于展示了多少模块以及参与者有多少问题。训练结束后，核心模块的任务完成时间在8到26分钟之间(平均14分钟，标准差6)。来源模块耗时3到20分钟(平均9分钟，SD 5分钟)。配置模块耗时21到51分钟(平均37分钟，SD 12分钟)。对于后者，我们没有包括异步完成任务所花费的时间。gydF4y2Ba

可用性gydF4y2Ba

每个参与者解决一个或多个CoMetaR模块(核心模块n=12，来源模块n=10，数据集成模块n=5)的任务。随后，他们分别为每个模块完成了一份系统可用性量表问卷。根据班戈等人[gydF4y2Ba39gydF4y2Ba]，平均得分为50.9或更高，可视为gydF4y2Ba好吧gydF4y2Ba在美国，平均得分在71.4分及以上的学生gydF4y2Ba好gydF4y2Ba，平均分数在85.5分及以上gydF4y2Ba优秀的gydF4y2Ba;平均分数在70分以上表示该接口可以接受。系统可用性量表评分结果见gydF4y2Ba表2gydF4y2Ba。为gydF4y2Ba经验加权gydF4y2Ba，我们根据用户自己的感知体验减去最多16分。gydF4y2Ba

功能的适用性gydF4y2Ba

所有的参与者都成功地完成了所有给定的任务。共有12名参与者解决了48个核心模块任务，10名参与者解决了20个来源模块任务，5名参与者解决了20个数据集成模块任务。在任务2的情况下，2个参与者没有找到正确的树节点，需要提示。在出处模块任务中，1名参与者因为从多个模块中加载了太多信息而丢失了跟踪。他需要一个提示来重置应用程序以解决任务5。总共有97%(85/88)的任务是独立解决的。gydF4y2Ba

定性分析gydF4y2Ba

我们的主题分析产生了24个可用性问题主题，涵盖了实验中发现的所有功能不足和复杂性。我们将这些主题分为ISO 9241-110 (gydF4y2Ba文本框1gydF4y2Ba-gydF4y2Ba5gydF4y2Ba)。由于应用程序不提供个性化的可能性，各自的类别gydF4y2Ba适合个性化gydF4y2Ba没有出现在此评估中。观察到的问题都不属于这一类gydF4y2Ba可控制性gydF4y2Ba。gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

共有12名参与者参与了CoMetaR web应用程序最多3个模块的评估，每位参与者完成最多10个任务;97%(85/88)的任务能够独立成功解决。核心模块和数据集成模块的可用性平均分均为81分，可用性较好，接近优异。对于没有经验的用户，我们估计平均可用性得分为73，这证明了良好和可接受的可用性。来源模块的平均可用性得分约为72，这意味着良好和可接受的可用性。对于没有经验的来源模块用户，我们估计平均可用性得分为63，这表明不可接受的可用性。我们确定了应用程序的24个问题，我们根据ISO 9241-110将其分为5个可用性类别。从我们的观点来看，特别要注意的是(1)概念树中显示的信息可能会让人眼花缭乱，特别是如果同时显示来自多个模块的信息。(2)对于很多用户来说，出处模块及其功能是不可访问的。许多选项，如按时间跨度过滤或上传包，需要大量的介绍和学习时间。 (3) The search functionality can output far more hits than expected because every literal information about concepts is considered. Some sort of categorization or filtering may be useful.

优势与局限gydF4y2Ba

我们研究设计的优势在于努力和结果之间的关系。虽然我们省略了记录每个会话的音频和视频的步骤，但由于系统可用性量表问卷，我们发现了相当多的可用性问题汇编和我们测试模块的明确定量分类。所有的测试环节均由一名实验者完成。为了进行专题分析，又咨询了一名科学家。gydF4y2Ba

回顾性地，我们发现了关于评估方法的4个问题。在这次评估中使用的网络会议软件总是可见的，在某些情况下，在浏览器窗口中重叠了关键信息。第二，一个人试图通过苹果产品参与，但由于缺乏技术知识而无法建立屏幕共享。第三个问题与沟通后勤有关，特别是围绕由评估者口头传达的任务指示。一些参与者错过了任务的重要方面，因为他们注意力不集中，或者在指令完成之前就开始解决任务。最后，有些任务的制定不够详细。例如，对于任务5，参与者认为阅读各自的上传描述就足够了，但我们希望他们明确地详细列出所有更改。gydF4y2Ba

我们没有记录音频和视频，因此我们可能会错过单个的语言和观察。因此，我们不能声称我们的可用性问题列表是100%完整的，这是不可能的。此外，实验者在测试过程中已经过滤了信息，这可能会对定性分析结果产生偏差。我们仍然假设我们发现了大多数可用性问题，特别是最严重的问题，因为实验人员能够在所有会话中毫无困难地遵循每个动作。gydF4y2Ba

由于所有任务都是在我们的生产环境中执行的，因此上载历史以及添加、移动、删除或修改的概念集合各不相同。这可能导致了参与者之间不同的结果。我们假设这些差异在可用性评估中可以忽略不计。gydF4y2Ba

与以往工作的比较gydF4y2Ba

2009年，Bangor等人研究了317个web应用程序[gydF4y2Ba39gydF4y2Ba发现网页应用的平均可用性得分为68.2，这证实了我们应用的可用性高于平均水平。由于对可用性的认识不断提高，这些值可能会发生变化，但我们没有发现最近的可用性得分元分析。据我们所知，我们为没有经验的用户计算另一个分数的方法以前没有做过。它允许没有经验的用户或新用户评估可用性分数，即使一些参与者已经有了应用程序的经验。gydF4y2Ba

对于大声思考的方法，通常是记录和转录所有的用户会话。其他研究表明，这消耗了相当多的时间和劳动力，这通常是由多个科学家完成的。此外，我们没有计算抄本中的代码数量，因为这通常是在专题分析中完成的。我们采用了ISO标准中最高级别的主题，而不是自己创建它们。gydF4y2Ba

影响及未来工作gydF4y2Ba

在评估我们的应用后，我们能够通过解决所有发现的可用性问题来改进它。首先，这将改善肺研究领域的研究，因为肺研究特定元数据的可用性和可及性将得到改善。德国其他健康研究中心已经在考虑这款应用。我们希望能够普遍改善健康研究领域。gydF4y2Ba

其次，我们采用了一种方法，允许对元数据管理应用程序进行可用性评估，在时间和人力上都相当低。以一种适当的形式，这种方法可以应用于类似的应用程序。虽然我们评估的前4个任务是专门针对肺研究领域的内容，但它们与内容无关的目的是检查是否可以从应用程序中检索到基本信息。这包括概念的存在性和可寻性(任务1)，概念注释的识别(任务2)，其随时间的发展(任务3)，以及导出关于概念单元的信息(任务4)。数据集成模块的应用程序编程接口是特定于我们的数据集成配置文件格式的，但任务表示验证这种配置文件所要采取的关键步骤。该项目的下一步可能是将这种评估方法应用于类似的应用程序，以批准其可靠性并发现常见的可用性问题。gydF4y2Ba

我们也希望我们的定性分析结果能提高其他开发者对自己应用中可能存在的缺陷的认识。例如，他们可能还计划在概念树中可视化地注释概念，在这种情况下，我们强烈建议不要一次显示太多的信息。gydF4y2Ba

对“大声思考”方法的一个潜在替代或补充方法是由可用性专家执行启发式评估。Yen和Bakken研究了这两种方法的优缺点[gydF4y2Ba30.gydF4y2Ba］．gydF4y2Ba

我们在使用网络会议软件时遇到了一些问题，它的控制面板有时会与用户显示器上的关键信息重叠。对于进一步的远程和同步执行的评估，我们建议确保所有相关的web应用程序内容始终可见，例如，通过选择不同的会议软件。gydF4y2Ba

我们发现，对于没有经验的用户，假设的平均可用性得分比原始平均得分低了大约8分。这意味着，一方面，应用中存在准入障碍。另一方面，这些障碍至少可以部分地被经验所克服。对于那些提供比现有信息检索方法更有效的替代方案的应用程序来说，测量这样的分数可能是特别有趣的。进入壁垒可能导致整个软件被迅速拒绝。gydF4y2Ba

结论gydF4y2Ba

我们的目标是找到CoMetaR web应用程序的可用性问题，并衡量实际用户对其可用性的感知。我们确定了24个问题，这将是应用改进的起点。平均而言，这款应用在可用性方面被评为不错，在某些方面近乎优秀。我们的方法被证明在努力和结果方面是有效和高效的。未来的研究应该改进我们的应用程序并评估类似的解决方案。我们邀请其他对评估生物医学元数据存储库感兴趣的研究人员采用我们的方法。所有源代码都可以在GitHub下公开访问[gydF4y2Ba40gydF4y2Ba］．德国肺研究中心元数据存储库的生产实例是可公开访问的[gydF4y2Ba41gydF4y2Ba］．gydF4y2Ba