我们使用了多种方法来收集定量和定性的评估数据。通过2019年12月至2020年6月COVID-19封锁措施之前和期间的虚拟(电话和视频)和亲自访问的综合利用数据，以及对精神卫生服务提供者的提供者经验调查，收集了定量数据。定性数据是通过开放式的提供者经验调查问题、精神卫生部门的提供者焦点小组以及对医院行政和执行工作人员的访谈收集的。根据质量改进项目伦理评估流程(批准号:2019-0191-E)，获得了女子学院医院研究伦理委员会的伦理批准。

这项研究在女子学院医院进行，这是一家位于安大略省多伦多的学术流动医院。多伦多是一个城市中心，拥有大约600万人口[ 30.]。多伦多居民有资格获得省和公共资助的医疗保健[ 31]。这项研究是作为妇女虚拟战略的一部分进行的，妇女虚拟战略是一项全医院战略，旨在实施和广泛采用虚拟和数字卫生技术。2019年12月，该战略在精神卫生部门进行了试点。心理健康服务提供者通过Zoom视频会议技术提供视频访问[ 32]通过电子病历EPIC患者门户网站MyHealthRecord [ 33]。患者需要在MyHealthRecord上自行注册，才能使用并启动与医疗服务提供者的视频访问。试点本身是由整个医院的利益相关者团队(例如;，the information technology [IT], legal, and privacy staff teams), as well as within the mental health department itself including clinic managers and physician leads. Following March 2020, billing codes for phone, in addition to existing billing codes for video visits, were also available for physician providers.

2019年12月，随着视频参观试点的实施，数据收集工作也开始了。采用有目的的抽样方法，向精神卫生部门的所有提供者发出电子邮件邀请，邀请他们参加一个焦点小组，讨论他们在试点项目中进行视频访问的经验，并确定改进的机会。2020年1月(covid -19大流行前)举行了两次面对面焦点小组讨论，并收集了提供者的同意。

在2020年3月2019冠状病毒病大流行和相关的封锁措施之后，在整个组织广泛采用包括电话和视频访问在内的虚拟护理之后，于2020年6月与供应商举行了另外两次焦点小组讨论。在该部门临床冠军的协助下，通过电子邮件有目的地招募了精神卫生部门的所有提供者。在获得同意后，焦点小组参与者被分成两组，一组只有医生参与者，另一组有非医生心理健康提供者(如社会工作者和心理治疗师)，以便根据专业角色定制问题。对精神卫生诊所的行政工作人员和负责医院整体虚拟护理实施的工作人员进行了额外访谈。这些人是通过有目的的滚雪球抽样来招募的。所有收集的定性数据均录音并转录。

除了焦点小组和访谈外，还于2020年5月(在2019冠状病毒病大流行期间)在组织层面启动了一项提供者经验调查，以收集有关规模背景下虚拟护理经验的数据，包括精神卫生部门提供者的观点。调查包括封闭式和开放式问题。还收集了2019年12月(新冠肺炎封锁措施实施前3个月)至2020年6月(新冠肺炎封锁措施实施后3个月)精神卫生部门和整个医院的数字虚拟电话、视频和亲自访问的综合利用数据。

对总体利用数据进行了一般性描述性分析，以了解2020年3月实施COVID-19封锁措施前3个月和后3个月的虚拟医疗利用趋势。同样，从调查中收集的定量数据使用Stata SE Version 15进行分析[ 34]。从调查、焦点小组和访谈中收集的开放式问题数据采用定性描述方法进行分析[ 35， 36]来识别数据中的共同主题。两名编码员(SB, JF)独立编码NVivo的所有调查数据，焦点小组和访谈记录[ 37(定性数据分析软件)，并开会讨论代码和差异。通过讨论归纳建立了一个代码本，并通过推导参考不采用、放弃以及对规模扩大、传播和可持续性(NASSS)框架的挑战来完善代码本[ 38]和医学研究所的医疗保健质量框架的6个领域[ 39]。通过密码本，突出和反复出现的主题，副主题。由SB、JF、PA和GM确定、讨论和改进了它们之间的关系。主题和子主题也用于解释在利用率和调查数据中观察到的趋势。

2020年3月9日至3月15日这一周，电话和视频就诊的使用率迅速增加，这与宣布新冠肺炎封锁措施以及两种方式的新省级医生计费代码( 图1）.在此之前，在试点阶段(12月至3月)，心理健康部门的电话和视频访问的使用率与亲自访问相比仍然很低;医生的报酬只适用于视频访问。在2020年4月6日至4月12日这一周之后，电话访问开始超过亲自访问，并且之前的趋势发生了逆转。对于视频访问，在2020年5月25日至2020年5月31日这一周，面对面访问与视频访问的趋势发生了逆转。在这段时间内，精神健康就诊总量总体呈下降趋势，这可能是同一时期实施的公共卫生封锁措施的产物。

共有7名心理健康提供者参加了COVID-19前的焦点小组，共有14名提供者参加了COVID-19期间举行的焦点小组(在该部门共有44名心理健康提供者中，不包括研究员、住院医师和学生)。提供者包括医生、护士和社会工作者(也包括心理治疗师)。共采访了3名行政和执行工作人员。在精神卫生部门的34名提供者中，有30名提供者(包括医生、心理治疗师、社会工作者)完成了提供者经验调查(回复率为88%)。 表1提供提供者应答者的基线特征。随后介绍了描述提供者和行政及执行人员经验的定性数据和调查数据中的关键主题。

访谈参与者就影响他们在大流行前试点期间和大流行期间大规模采用和使用电话和视频访问的因素提供了重要见解(见 多媒体附录1用于说明性引用)。以下部分描述了提供虚拟医疗的主要挑战。

还描述了视频访问采用和使用的主要促进因素。这些内容将包含在以下各节中。

总体而言，完成调查的心理健康提供者中有43%(13/30)强烈同意或同意他们认为他们可以通过视频访问提供与亲自访问相同质量的护理，43%(13/30)强烈同意或同意电话访问。精神卫生提供者进一步描述了他们对虚拟护理在试点和大流行期间对护理质量的影响的看法，这将在医学研究所优质护理领域的后续章节中进行描述[ 39]。

该评估深入了解了提供者和工作人员在大流行前试点阶段和COVID-19期间更大规模实施阶段提供精神卫生虚拟医疗服务的经验。利用数据显示，在安大略省采取COVID-19封锁措施之前(2020年3月之前)，精神卫生部门的虚拟就诊率较慢，而在采取COVID-19封锁措施期间(2020年3月之后)，电话和视频就诊率有所增加。心理健康提供者和诊所工作人员强调了在操作和行为层面使用该技术的持续障碍，包括需要改变工作流程和日程安排、初始设置、故障排除和其他与技术相关的挑战，以及增加提供者的努力。在操作、文化和系统/政策层面上的促进因素包括拥有预先存在的基础设施和IT支持，以实现广泛采用、医生计费代码以及提供者和员工对虚拟护理的接受。大部分描述的提供者经验集中于对精神卫生保健服务质量的感知影响，包括对提供适当和以患者为中心的护理的看法，对虚拟护理有效性的看法，以及对患者公平获得护理的看法。

这一评价的结果提供了关于与“四重目标”目标的一致性的见解，特别是关于获得卫生保健服务和提供者经验的见解。结果提供了对提供者经验的见解，特别是可以改进的持续障碍，以加强虚拟护理的使用，当它是患者的最佳模式，并作为面对面护理的补充。例如，虽然84%的受访提供者同意或强烈同意他们用于进行视频访问的技术易于使用，但这与提供者的共同观点形成鲜明对比，即他们在技术方面面临持续挑战，将虚拟护理融入临床工作流程，以及所需的总体努力。这可能是因为该技术本身并不难使用，而是它在已建立的临床工作流程中的集成取决于其他个人、组织和政策层面的因素，以实现最佳效率[ 41， 42]。集体考虑工具(技术)、团队(提供者和临床工作人员)和常规(临床工作流程)可能会增强积极的体验[ 43]。此外，工作人员建议，在COVID-19之前，精神卫生部门的试点举措为大流行期间的大规模使用做好了准备。这可能是由于在试点期间为提供者和诊所工作人员的实施、培训和工作流程适应提供了大量支持。这种支持可能最终缩短了提供者的学习曲线，增加了虚拟护理技能的发展，从而减少了作为使用障碍的提供者的不适和缺乏经验。 26]。然而，尽管有这些支持和延长的使用时间，当虚拟护理扩大规模时，持续的挑战仍然存在，可能归因于最初向虚拟护理的过渡。

这项研究的优势是双重的。首先，我们检查了在大流行发生之前就已经提供虚拟护理的精神卫生提供者的经验，以及在医院大规模使用虚拟护理期间的经验。这提供了一个机会来了解一群接受过扩展培训和接触过虚拟护理服务的提供者的经验和看法，使我们能够了解尽管采用了消除已知障碍的组织方法，但仍然存在的一致的促进因素和持续的挑战。其次，我们使用多种方法来检查提供者的经验和虚拟护理的使用，包括焦点小组、调查和综合利用数据。我们还收集了来自实施和管理人员的数据，以收集关于虚拟护理实施和采用的总体观点。最后，本研究提供了在试点和更大规模采用心理健康虚拟护理中的提供者和工作人员经验的见解，提供了关于障碍、促进因素以及大规模使用的提供者和工作人员经验的初步证据，填补了文献中关于试点证据报告是规范的空白[ 41]。我们研究的局限性在于，由于意外的COVID-19大流行直接导致规模和范围的变化，与更全面的实施相比，试点阶段的评估目标略有不同。这降低了我们直接比较和对比提供者经验的能力，尽管它提供了一个机会来描述当虚拟护理被使用较长时间时提供者的经验。此外，为了避免与患者隐私相关的伦理问题，我们没有纳入可能导致讨论个人健康信息(如特定患者诊断)的问题，因此，本评估没有收集和探讨这些信息。未来的研究可以探索可能依赖于特定患者诊断的障碍和促进因素。此外，由于可行性限制，我们无法在评估中纳入患者的观点，但将在评估的未来阶段收集这些观点。虽然本次评估展示了在宣布首次COVID-19封锁后3个月的结果以及提供商和工作人员的经验，但我们预计，在首次COVID-19封锁后的1年，目前的利用率和经验可能会有所不同。这可能是由于持续使用虚拟护理和持续的提供者学习如何通过电话和视频提供护理，以及不断改进工作流程和技术流程以减少经历的挑战。

在这次评估中，提供者一直关注的是在电话和视频访问期间建立治疗关系的能力以及对护理质量的影响，这与一些通过虚拟护理建立精神卫生服务有效性的研究形成对比[ 44- 47]。然而，其他调查提供者提供精神卫生保健经验的研究实际上也报告了类似的发现，包括无法完全评估非语言线索和损害患者隐私的可能性[ 23]。这些限制可能会阻碍虚拟就诊的治疗质量，导致在安全的情况下倾向于返回亲自护理[ 23]。一些研究还发现了临床医生对建立治疗关系的关注以及技术问题的挑战[ 18， 25， 27， 28， 44]。研究显示，发展一套特定的技能(“网上方式”)，对 48])可能对提供虚拟护理至关重要，需要提供者的知识、适应能力、实践以及最终的舒适和信心，才能大规模使用虚拟护理[ 26， 48]。这可以包括增加提供者对虚拟护理有效性的了解，并为提供者提供安全的环境，以建立提供虚拟护理的能力和信心[ 18]。在初始学习阶段提供高水平的支持和培训可能还有助于缩短提供者的学习曲线，同时指导如何最好地在虚拟护理和面对面护理模式之间进行分类。我们预计，有了这些支持，未来将出现一种以患者为中心和适当护理的混合模式，可以选择面对面、视频和电话访问，以满足患者和临床需求。 45， 48]。

总而言之，本次评估提供了关于提供者和工作人员在COVID-19大流行之前和期间使用虚拟护理的经验的见解，突出了持续存在的障碍、一致的促进因素以及对精神卫生领域优质护理提供的感知影响。我们已经阐明了在其他情况下采用虚拟护理的挑战，如工作流程的变化、提供者对如何提供护理的适应、技术相关问题以及提供者对护理质量的看法。这项工作正在当地用作制定克服这些挑战的战略的基础，并可能在其他情况下使用。当地正在开展的举措包括为虚拟护理实施、培训、技能、知识和扫盲发展以及工作流程调整提供支持。未来的研究可以继续探索心理健康虚拟护理服务的有效性，并探索可以提高护理服务质量的策略，包括了解患者的观点，以补充这项工作。本小组未来的工作将集中在治疗关系和使用虚拟护理时的公平考虑，这将是有益的，特别是结合患者和家庭护理者的观点，以进一步了解促进因素、挑战以及对虚拟护理质量的感知和实际影响。