用于评估卫生信息系统质量的标准、过程和工具:系统文献综述gydF4y2Ba

介绍gydF4y2Ba

信息系统的质量代表了一组特征和属性，这些特征和属性决定了这些系统的有用性和存在性[gydF4y2Ba1gydF4y2Ba(例如，安全性、可用性、可伸缩性等)。质量可被解释为产品或服务所具有的一套特性，以及满足新的和复杂的用户需求的能力(例如，医疗记录的安全性)[gydF4y2Ba2gydF4y2Ba])。这意味着产品或服务符合其所设计的规格，并且必须符合用户和客户所表达的规格。[gydF4y2Ba3.gydF4y2Ba]。一些研究，如Owens和Khazanchi [gydF4y2Ba4gydF4y2Ba]，将质量与(1)明确陈述的功能和性能需求，(2)完整文档化的开发标准，以及(3)任何专业开发系统所期望的隐含特征联系起来。另一方面，IEEE(电气和电子工程师协会)将质量定义为系统、组件或过程满足特定要求和客户或用户的需要或期望的程度[gydF4y2Ba5gydF4y2Ba]。这两个定义都表明，质量的重点是体系的具体要求和对顾客满意的追求。gydF4y2Ba

卫生资讯系统的质素是指系统的内部及外部规格，以及持份者的期望是否得到满足。[gydF4y2Ba6gydF4y2Ba]。信息学和技术的发展使卫生专业人员能够处理大量数据和信息，并能顺利地传输这些数据和信息。反过来，来自HISs的信息可用于推动决策、政策、研究，并最终推动健康结果[gydF4y2Ba7gydF4y2Ba]。在这方面，卫生信息技术的使用提高了卫生保健的质量和效力。此外，它促进个人和公众健康，并提高诊断的准确性[gydF4y2Ba8gydF4y2Ba]。gydF4y2Ba

医疗卫生服务的质量可以用几种形式来衡量，其中主要指标是与病人护理和系统组成和结构有关的指标[gydF4y2Ba9gydF4y2Ba]。质量标准使用方法对已开发的系统进行设计、编程、测试和分析，其目的是提供(1)符合用户要求的更高可靠性和可维护性，以及(2)控制系统的质量，以提高其有效性和效率[gydF4y2Ba10gydF4y2Ba]。一般来说，一旦系统被确认满足了指定的主要功能需求，用户就会执行验收测试，以便将系统部署到生产环境中。gydF4y2Ba

HISs需要评估其质量的方法和过程，因为这些系统将卫生系统的多样性映射为明确的算法功能，以软件系统为代表，这不可避免地会在临床医生的工作和日常活动的效率或有效性方面产生问题[gydF4y2Ba11gydF4y2Ba]。传统上，保健服务被认为是独立的服务，病人在不同级别(即初级、二级和三级)接受不同类型的医疗服务。这种独立性最终导致各服务之间缺乏沟通和协调，从而影响卫生系统的效率[gydF4y2Ba12gydF4y2Ba]。因此，质量标准使我们能够评估和规范HISs，以满足临床需求，明确流程，减少管理问题，并以高质量的标准发展HISs。虽然信息系统质量标准的范围一般来说相当广泛，但几乎没有证据表明有任何汇编工作系统地识别、评估和描述与信息系统质量标准有关的初步研究的证据。这种情况使人们难以全面了解在高质量卫生系统中使用和应用质量标准的最相关方面。gydF4y2Ba

在一些文献综述中探讨了高质量评价在HISs中的重要性和相关性。Villamor Ordozgoiti等[gydF4y2Ba13gydF4y2Ba]进行了一项与保健信息和通信技术质量标准有关的文献审查。作者的结论是，明确卫生保健系统需求的质量评估，包括管理、临床、诊断或监测，应该面向作为软件用户、客户和购买者的机构的角度。索萨和洛佩斯[gydF4y2Ba14gydF4y2Ba讨论了卫生保健系统的可用性问题，以及这个问题如何影响系统的质量。出于这个原因，作者对电子健康工具的可用性进行了系统的回顾。审查结果表明，电子健康工具的可用性差影响了采用这类系统的可能性。Azad-Khaneghah等[gydF4y2Ba15gydF4y2Ba结合灰色文献和学术文献综述来评估移动健康(mHealth)应用程序的可用性和质量。作者指出，目前大多数手机应用质量评级标准都不是针对大众开发的。Nouri等[gydF4y2Ba16gydF4y2Ba对移动医疗应用程序的质量评估进行了系统审查。由于这项研究，作者提到了不同研究中移动健康应用程序评估标准的巨大差异。这可能是由于研究人员的各种质量评估或每个标准的不同定义。Triantafillou [gydF4y2Ba17gydF4y2Ba]对电子健康记录(EHRs)的质量管理方法进行了述评。本综述的结果表明，有大量证据表明电子健康档案系统在各种方面有助于改善质量管理。尽管在一些卫生保健系统中对质量评估一直很感兴趣，但据我们所知，很少有研究明确指出用于评估卫生保健质量的标准、过程和工具。gydF4y2Ba

在本文中，我们报告了系统文献综述(SLR)的结果，用于评价HISs质量的方法。本综述的主要目的是识别、描述和描述主要研究，这些研究补充了用于评估HIS质量的标准、过程和工具的最新技术。我们回顾了超过782篇文章，从中我们选择了17篇(2.2%)主要研究。我们分析、分类和描述了每一项初步研究，以讨论对HISs质量评估的建议。基于我们的主要目标，我们定义了以下研究问题:哪些标准和认证被用于认证HISs的质量?哪些过程被用来认证软件产品?健康软件提供商使用哪些工具来认证已构建的软件产品?gydF4y2Ba

第一个研究问题涉及允许我们描述模式、模型或基准来测量或评估HISs质量的技术和方法。第二个研究问题主要集中在描述能够评估HIS质量的阶段或活动集。最后，第三个研究问题涉及促进标准、认证和流程实际应用的技术。gydF4y2Ba

方法gydF4y2Ba

识别gydF4y2Ba

我们使用了PRISMA(系统评价和荟萃分析的首选报告项目)声明[gydF4y2Ba18gydF4y2Ba]进行我们的单反(gydF4y2Ba图1gydF4y2Ba）.此外，我们采用了Petersen等人提出的PICO(人口、干预、比较和输出)结构[gydF4y2Ba19gydF4y2Ba根据人口、干预、比较和输出来定义搜索字符串。以下几点描述了PICO结构的关键词:gydF4y2Ba

1. 人口:与HISs和同义词(“健康信息系统*”或“电子健康”或“电子健康”或“健康软件”)相关的文章。gydF4y2Ba
2. 干预:与HISs质量评估相关的文章和同义词(“认证”或“测试”或“验证”或“验证”或“评估”或“合法化”或“质量”)。gydF4y2Ba
3. 比较:由于我们的目标和目标不相同，之前没有关于该主题的研究可以作为比较的基线。gydF4y2Ba
4. 输出:在质量评估中应用的标准、工具或过程(“过程”、“标准”或“工具”)。gydF4y2Ba

我们使用“与”和“或”运算符将这些概念连接起来，得到以下搜索字符串:(“健康信息系统*”或“电子健康”或“电子健康”或“健康软件”)和(“测试”或“评估”或“验证”或“验证”或“认证”)和(“过程*”或“标准*”或“工具*”)。我们探索了7个电子数据库——scopus、ACM(美国计算机协会)、ScienceDirect、Google Scholar、IEEE Xplore、Web of Science和pubmed——来搜索和选择主要研究。gydF4y2Ba

‎gydF4y2Ba 查看此图gydF4y2Ba

筛选gydF4y2Ba

我们使用纳入和排除标准筛选初步研究。我们采用了以下入选标准:gydF4y2Ba

• 这篇文章与健康有关gydF4y2Ba
• 本文提供了his的相关内容和综合研究成果gydF4y2Ba
• 这篇文章引用或展示了一个标准、过程或工具gydF4y2Ba
• 本文讨论了一些质量属性gydF4y2Ba
• 本文介绍了HISs的评价方法。gydF4y2Ba

另一方面，我们采用了以下排除标准:gydF4y2Ba

• 发现了“健康”和“信息系统”这两个词，但它们与我们的研究无关gydF4y2Ba
• 使用了“健康认证”这一短语，但其含义与安全有关gydF4y2Ba
• 本文与研究领域中的标准、过程或工具无关gydF4y2Ba
• 本文讨论了互操作性的质量属性。gydF4y2Ba

质量评估gydF4y2Ba

质量评价的目的是评价每个选定文件的重要性。虽然质量评估并未影响初步研究的选择[gydF4y2Ba20.gydF4y2Ba]，我们描述评价主要是为了反映所选研究的效度。根据每个研究问题的答案，我们对每篇论文进行了2分、1分或0分的评估。然后，我们选择那些超过50%阈值的论文。通过评估选择的研究将确保我们从提取的数据中得出的结论有足够的资源支持(见gydF4y2Ba多媒体附录1gydF4y2Ba有关质素评估准则的详情)。gydF4y2Ba

结果gydF4y2Ba

概述gydF4y2Ba

我们确定了发表在期刊和会议论文集上的17项主要研究[gydF4y2Ba21gydF4y2Ba-gydF4y2Ba37gydF4y2Ba]。每个选定的主要研究的分数说明了我们研究结果的质量和可信度。平均得分为74% (SD 0.11%)，这意味着我们的研究的平均质量是可以接受的(见gydF4y2Ba多媒体附录2gydF4y2Ba有关质素评估结果的详情)。gydF4y2Ba

该研究的发表年份从2004年到2020年不等。我们没有发现发表于2005年、2006年、2008年、2011年、2012年或2014年的研究。我们没有发现在研讨会论文集或书籍章节中发表的初步研究(gydF4y2Ba多媒体附录3gydF4y2Ba）.gydF4y2Ba

在17项主要研究中，59% (n=10)与在欧洲进行的研究相对应。另一方面，24% (n=4)、12% (n=2)和6% (n=1)的研究分别对应于在亚洲、美洲和大洋洲进行的研究(见gydF4y2Ba多媒体附录4gydF4y2Ba有关主要研究的更详细描述)。gydF4y2Ba

标准与认证gydF4y2Ba

初步研究描述了HISs中使用的几种标准和认证类型(gydF4y2Ba表1gydF4y2Ba）.gydF4y2Ba

65%(11/17)的初步研究涉及与HISs质量管理相关的标准。一些主要的研究，如研究1、4、5和10(编号为)gydF4y2Ba表1gydF4y2Ba)，确定质量是基于确定的任何卫生保健组织必须满足的目的和要求以及满足其服务对象的需要。更确切地说，卫生保健的质量必须允许对影响人口及其个人的卫生问题或情况作出有效反应，无论他们是否发现这些问题;HIS质量还必须建立或应用必要的诊断和治疗标准、程序和方案，以验证所使用的医疗器械和手段。研究11和12指出，将质量政策转化为HIS可能会面临从质量管理到HIS实施标准的各种挑战。gydF4y2Ba

此外，35%(6/17)的研究提出了允许表征标准的度量。这些指标并不完全代表特定的标准或认证，而是支持远程医疗数据控制的评估(研究2)、电子病历的认证(研究3)、基于健康的移动应用程序的可靠性(研究11、15和17)以及医疗平台的数据管理(研究16)。gydF4y2Ba

总共有24%(4/17)的主要研究从系统角度讨论了标准，12%(2/17)讨论了定义模型，6%(1/17)讨论了设计原则，6%(1/17)分析了过程。在这些研究中，讨论了HISs的质量模型和设计，但没有深入讨论这些建议的含义。gydF4y2Ba

流程gydF4y2Ba

一般来说，主要的研究讨论了很少关于认证软件产品质量的过程的信息。一些研究，例如研究17，指出没有文档化或描述的过程案例来证明软件的一些原因是过程的成本。gydF4y2Ba

研究3提到了ISO 9126(国际标准化组织)标准定义的过程来评价电子病历的质量。该ISO标准从内部和外部的角度评估软件产品的所有特征。根据软件产品质量的相同观点，研究6提到，一些科学研究描述了在互联网上冲浪以在线获取与健康有关的信息的用户数量有相当大的增加。由于这个原因，web上的信息搜索行为导致需要确保基于web的门户满足基本质量标准。因此，研究6描述了将ISO/IEC 25010(国际电工委员会)质量评估过程应用于e-埃博拉意识系统(一个在线健康意识门户)的经验。流程结果提供了一些对门户使用质量产生负面影响的问题的见解，这些问题需要引起注意和改进。gydF4y2Ba

受ISO 9241-210标准的启发，研究11提出了一个新颖的建议。本研究提出一种以人为中心的设计方法来设计互联医疗设备，以确保在整个设计过程中都考虑到用户的需求。根据作者的说法，HCD是一个多阶段的过程，允许设计的多次迭代和随后的需求更新。此外，研究11通过描述用于评估和开发可用性的技术以及智能手机设计和最终用户和利益相关者参与的人为因素，说明了HCD的实现。gydF4y2Ba

工具gydF4y2Ba

共有29%(5/17)的初步研究使用知名工具来认证健康软件的质量。研究6和11使用系统可用性量表(SUS)工具[gydF4y2Ba38gydF4y2Ba]。这个量表为测量可用性提供了一个快速可靠的工具。它由一份10项的问卷组成，受访者有5个答案选项，从“非常同意”到“非常不同意”。gydF4y2Ba

除了使用SUS之外，研究11还使用了情景后问卷(ASQ)工具[gydF4y2Ba39gydF4y2Ba]。该问卷使用三个陈述来评估用户在可用性测试中对任务的感知难度。研究1、10和15涉及尼尔森启发式[gydF4y2Ba40gydF4y2Ba]，这是通过人机交互来衡量可用性的10条准则。这些启发式方法旨在创建尽可能用户友好的系统。gydF4y2Ba

此外，研究1、9和10使用了其他简明指定的工具。研究9提出了一种称为终端用户版移动应用评级量表(uMARS)的工具，该工具包括对终端用户版本的移动应用评级量表(MARS)的可靠性测试[gydF4y2Ba21gydF4y2Ba]。gydF4y2Ba

讨论gydF4y2Ba

概述gydF4y2Ba

关于标准(研究问题1)和过程(研究问题2)，质量管理和度量集中了大量的初步研究。这些研究将质量作为卫生系统管理的一部分，这意味着关于卫生系统如何处理质量标准的细节很少。此外，没有证据表明使用有助于管理HIS质量标准的流程。此外，四项主要研究(研究2、15、16和17)阐述了度量标准的不同视角，并没有深入讨论他们将度量标准应用于HISs的过程类型。其他主要的研究，如研究7、9和13，讨论了与过程、设计原则和模型定义相关的标准，但没有讨论支持这些标准的过程。gydF4y2Ba

关于过程(研究问题2)和工具(研究问题3)，同样值得注意的是，在初步研究中对这些主题的讨论很少。与研究9不同的是，研究3、6和11明确地描述了他们用来评估HIS质量的工具，并将它们包括在过程中(即ISO/IEC 25010和ISO 9126)。然而，大量的初步研究并没有完全解决质量评估工具和支持过程。gydF4y2Ba

一些初步研究(如研究9、14、15和17)描述的另一个方面是，许多临床医生现在正在利用移动应用程序的潜力来解决特定的健康问题。这意味着必须有工具来评估手机应用的可用性。其中一些工具表明，在患者中使用移动应用程序时，用户可接受、易于使用和识别风险。gydF4y2Ba

主要研究结果gydF4y2Ba

我们关于卫生信息系统质量评估的研究结果表明，要有效实现卫生信息系统的质量目标，存在一些技术和社会挑战。更准确地说，医疗卫生系统质量评估提供了一种评估系统中体现的临床过程变化影响的方法。一般来说，HIS代表了一组有组织的临床功能，包括人员、数据、活动和整体物质资源。这些元素相互作用以处理数据和信息，包括手动和自动过程，以便根据其目标在给定的组织或实体中最适当地分发数据和信息。gydF4y2Ba

扩大卫生信息系统的质量信息，需要开发有效的测量仪器。本文的初步研究描述了一些指标，如SUS、Nielsen指标、ASQ等;然而，这些指标只关注质量的一个方面:可用性。HISs和卫生部门的可用性是一个关键属性。可用性被定义为一种度量，衡量特定用户在特定环境中如何有效、高效和令人满意地使用产品或设计来实现既定目标[gydF4y2Ba40gydF4y2Ba]。gydF4y2Ba

其他初步研究，如研究15和17，表明可以通过用户如何使用卫生信息系统来衡量质量。在这方面，可用性是衡量HIS质量的一种方法。初步研究提到了一些质量标准和流程，如ISO 9126、ISO/IEC 62366:2015和ISO/IEC 25010，用于评估HIS质量。这些标准由多维属性组成。例如，ISO/IEC 25010标准考虑了以下八个类别:(1)功能充分性，(2)性能效率，(3)兼容性，(4)可用性，(5)可靠性，(6)安全性，(7)可维护性，(8)可移植性。反过来，标准的每个类别又被划分为更多的质量属性。考虑到这个例子，很自然地要问如何使用ISO/IEC 25010标准作为参考来评估HIS质量。将这个问题扩展到一个更普遍的场景，另一个问题是什么质量属性与HISs相关。gydF4y2Ba

初步研究提供了评价HIS质量的程序和方法。然而，我们注意到的一个方面是，没有关于如何将这些标准转化为实践的精确描述。以ISO/IEC 25010标准为例，有一组相当多的质量属性允许在HISs中建立质量。然而，关于成功案例、案例研究或其他经验研究的信息很少，这些研究描述了在HISs中应用质量标准的经验教训。这种信息的缺乏不允许在其他HISs中复制结果，以建立与HISs质量相关的知识体系。此外，初步研究非常谨慎地描述了他们从将质量标准应用于HISs中学到的经验教训。嘘声不仅涉及技术方面，也涉及社会方面。质量标准解决了卫生信息系统质量的技术方面，但将卫生信息系统质量的社会方面留给了解决。gydF4y2Ba

在结果部分，我们描述了在主要研究中报告的指标。然而，这些度量处理了信息系统可用性的一般方面。尽管这些指标极大地有助于评估HIS的可用性，但它们并没有解决与临床医生相关的其他临床方面的问题。一些指标，如NISTIR 7804(国家标准与技术机构间/内部报告)和Health- itues(卫生信息技术可用性评估量表)，衡量特定HISs(如电子病历)的可用性，但这些研究再次缺乏衡量可用性。因此，为了扩大质量评价的边界，有必要确定哪些质量属性与评价HIS质量最相关。一旦确定了这些属性，就可以进行研究，确定评估HIS质量的精确度量。世界卫生组织等机构提出了各种工具来评估HISs的不同方面，如组织、临床人员、技术等。gydF4y2Ba

本综述中确定的发现提供了关于卫生信息系统质量评估所涉及的新挑战的第一印象。HISs是复杂的，因此，需要相当大的努力来评估一个复杂系统的质量。毫无疑问，应该提出不止一个度量来评估所有的HIS组件，无论是社会的还是技术的。然而，也希望分享关于开展卫生信息系统质量评估的经验教训。通过这种方式，可以复制结果，以帮助卫生保健机构评估其HISs，从而提高对患者的护理质量。gydF4y2Ba

此外，我们的综述揭示了试图增加卫生保健质量评估知识体系的研究路线。与识别、描述和描述评估HIS质量的相关质量属性相关的挑战;创建和验证准确的质量指标和工具;报告关于医疗卫生系统质量评估的成功案例和经验证据只是社区可以解决的一些可能的研究挑战。此外，创建多维度量来评估HISs的质量也被认为是一个挑战。鉴于HISs由几个不同的组成部分组成，提出一个以跨维度方式评估质量的度量标准需要进一步的研究。gydF4y2Ba

使用流程来评价和认证HIS质量的好处是积极的。根据爱和李[gydF4y2Ba41gydF4y2Ba]，其中一个主要好处是提高了临床过程的效率和效果。这意味着向患者提供的临床服务质量很高。从内部管理的角度来看，这些流程有助于提高内部沟通能力(即临床服务)，并使临床机构的不同部门能够共同努力，以满足患者的需求和期望。然而，我们的研究结果显示，最初的研究并没有深入讨论使用过程来认证HISs。在这一点上，爱和李[gydF4y2Ba41gydF4y2Ba提到，应用质量认证过程可能要求很高。例如，应用HIS质量评估过程的成本很高，因此这种评估通常仅限于拥有评估资源的组织。此外，还需要大量专业人员进行这些评估。这意味着组织必须有资源来雇用专业人员并成功地进行评估过程。在这些情况下，由于卫生保健机构将其资源主要分配给临床和院内管理以照顾患者，因此HIS评估不一定是管理者优先考虑的事项。gydF4y2Ba

限制gydF4y2Ba

我们严格审查了对我们研究有效性的威胁。由于我们进行了单反，因此本研究可能存在搜索结果不完整和一般发表偏倚的问题。为了分析影响我们研究有效性的因素，我们使用了Wohlin [gydF4y2Ba42gydF4y2Ba]，其中描述了分类和减轻有效性威胁的指导方针。gydF4y2Ba

对内部效度的威胁对应于可能影响研究结果的因素。在这方面，研究选择的偏倚与在slr中搜索文章的潜在偏倚有关。为了减轻这种威胁，我们对系统和软件使用了强有力的文献审查过程[gydF4y2Ba20.gydF4y2Ba]。此外，我们定义了严格的纳入和排除标准来选择主要研究。另一方面，我们知道本综述中获得的研究样本较少(N=17)。然而，我们与三个外部合作者进行了多次交叉检查验证，以验证和评估每个主要研究。值得注意的是，这款单反关注的是HIS质量，而不是健康质量。因此，在评估了700多项研究后，我们确定17项主要研究符合我们的质量标准。gydF4y2Ba

对外部有效性的威胁与允许结果普遍化的限制有关。主要的威胁是，这些初步研究是否代表了高等医疗卫生系统的质量标准。为了减轻这一威胁，我们邀请了智利国家卫生信息系统中心(CENS)的卫生专业人员讨论和分析每项初步研究，以获得反馈。gydF4y2Ba

关于建构效度的威胁，这些威胁对应于结果对SLR执行背后概念的概括。主要的威胁是我们的结果的主观性。为了减轻这种威胁，我们邀请了三个外部合作者来支持我们执行SLR的主要步骤，并独立比较结果。gydF4y2Ba

结论gydF4y2Ba

在本文中，我们描述了单反的结果对HIS质量标准。我们定义了一个严格的过程来识别、描述和评估这些学术文献。结果，我们获得了17项初步研究。gydF4y2Ba

我们将标准分为五类。这些类别是模型、设计原则、度量、管理和过程的定义。大多数的初步研究集中在管理范畴。我们还意识到，关于可用于评估HIS质量的过程的信息很少。一些初步研究描述了ISO标准评估过程的证据，如ISO 9126和ISO/IEC 25010，但大多数没有详细说明其信息。最后，最初的研究没有明确描述他们使用什么工具来证明HIS质量。在初步研究中发现的工具证据表明，这些工具是可用性评估。gydF4y2Ba

我们的发现表明，初步研究一致认为，评估HIS质量是为患者提供优质护理的一个相关方面。然而，一些挑战损害了质量评估。这些挑战对应于(1)卫生信息系统质量认证和标准的实施，(2)卫生信息系统质量衡量指标的描述不足，以及(3)卫生信息系统质量评估对资源的高需求。为了应对这些挑战，卫生保健机构必须了解不断评估卫生保健质量的重要性。定义评估质量的标准、指标和流程为HISs提供了无数的好处，并有助于创建确保患者接受适当治疗的护理质量模型，从而最大限度地减少错误的可能性。gydF4y2Ba