管理肿瘤设置的关键患者报告的结果措施:系统开发和回顾性研究

介绍

背景

作为常规临床护理的一部分，越来越多地收集患者报告的结果(PROs)，包括患者自我报告的症状、功能和生活质量。他们支持促进医患沟通的目标，相互理解患者的偏好，并使共同决策对治疗决策产生影响[1-7]。PRO数据收集对肿瘤患者群体，特别是临床试验患者尤为重要，因为迫切需要跟踪与癌症治疗相关的症状性不良事件，这些不良事件对患者的临床结局和生活质量有重大影响[5，8-14]。此外，还依靠专业人员来管理医疗保健使用[4，8，11]。只有当患者准确及时地完成调查时，PRO数据才有价值。有限的调查完成率降低了从稀疏填写的数据中得出临床结论的能力[15]。研究表明，临床医生通过患者教育或外展参与实施PRO项目的过程，对患者参与有直接的积极影响[16-18]。医疗服务提供者在审查数据过程中的脱离可能会使患者不愿完成他们的PRO评估[19]。因此，临床医生必须对患者进行随访，以简化和及时的方式报告任何重大结果。

与许多其他临床应用一样，将pro集成到临床工作流程中一直很有兴趣;然而，有证据表明成功有限[14，20.-24]。病人产生的健康数据的来源，例如评价，相对于标准的护理实践来说是比较新的，而且并不总是有一个标准的机制，供临床医生以不同的实施策略适当地处理评价[9]。与此同时，如果存在阻碍沟通的工作流程障碍，例如审查过多的PRO回复，则通知临床医生所有患者的反应并不总是导致及时随访患者[25-27]。

警报的概念对卫生保健来说并不新鲜，长期以来一直应用于药物-药物相互作用的临床决策支持系统[28，29]、不良事件监测[20.，30.，31]、化验结果异常[25，32-36]，以及其他许多人[37]。PRO警报的思想不同于上述标准的临床警报，因为它涉及患者和护理团队成员之间的异步中断和非中断通信，以及系统内护理团队成员之间的协调。一些研究提到了在PROs的背景下使用基于警报的功能;然而，他们都没有讨论与患者的沟通方面，分析对工作量的影响，并描述这种报警系统的详细设计[8，9，38-40]。

鉴于包括COVID-19大流行期间使用PRO数据在内的远程监测方案越来越受欢迎，已经有几项关于方案评估的热情研究，预计在COVID-19大流行后的几年中，远程监测方案的采用将会增加[41-44]。远程监控程序本身是新颖的;因此，作为本研究的一部分，重要的是要考虑工作管理系统的设计方面，以及时处理关键结果。此外，了解与临床访问异步运行此类项目的影响，以分配适当的资源以响应标准工作人员工作时间以外的患者特定需求，这对项目监控和管理具有重要意义。

目标

到目前为止，在肿瘤标准护理实践中使用pro进行远程症状管理的兴趣已经普遍存在，但对关键患者症状反应的管理以及临床工作人员参与患者反应的审查以适当地解决这些问题知之甚少。鉴于在标准肿瘤实践中越来越多地采用PRO，我们确定需要设计一个强大的PRO警报管理和通信系统，该系统可以随着临床患者数量的增加和患者对异步通信的需求而扩展。考虑到潜在的临床中断，量化这样一个新系统对临床工作量的影响是很重要的。在本研究中，我们设计并实现了与电子健康记录(EHR)分离的警报和通信系统，但与关键结果紧密集成。不知道这样一个系统需要哪些特点，也不知道工作人员采用和参与这样一个系统是否会成功。本文中的发现为考虑实现处理所报告的关键PROs的机制的任何组织提供了对体系结构设计的见解和详细的特性列表。

在本文中，我们展示了基于pro的警报和通信系统设计的结果，总结了关键的定量结果，并反思了更广泛地扩展采用该技术的影响。据我们所知，这是第一篇报道设计、实施和使用闭环警报管理和通信系统的论文，专门用于管理癌症护理中的PRO数据。

方法

伦理批准

该回顾性队列研究由纪念斯隆凯特琳癌症中心(MSK)机构审查委员会(批准号19-090)批准，将于2016年9月至2021年1月进行。

设置

这项研究是在纽约市及其附近的一个大容量国家综合癌症网络进行的，涵盖了所有的护理地点，包括门诊诊所、住院服务、门诊手术中心、住院手术和紧急护理。通过由跨学科临床、行政和技术团队组成的单独管理的PRO项目，将PRO数据收集和警报系统作为多组癌症患者的标准护理实施。值得注意的是，几乎所有来MSK就诊的患者都使用了新型COVID-19筛查问卷和COVID-19症状问卷。参加这些项目的患者与那些更倾向于接受癌症治疗的患者具有相似的特征。报告的所有数值结果均适用于整个研究期间(2016年9月至2021年1月)。患者的中位年龄为61岁，在参与本研究的所有患者队列中，总体器械依从性为36.89%(447,562/1,213,271)。

Engage系统概述

从2016年9月到2017年8月，我们启动了一个试点项目，我们在我们的PRO应用Engage中逐步添加了警报功能，并推出了康复跟踪器，这是一项基于PRO -不良事件通用术语标准的电子术后症状调查[45]，在门诊手术病例后分配10天。调查由患者在家中通过患者门户帐户通过web浏览器或我们的移动应用程序完成。Engage虽然不是本研究的重点，但却是本研究中讨论的警报通知和通信系统的基础支柱。我们在Engage中共推出了86项PRO调查工具，包括标准护理表格，如摄入表格、筛选问卷、短期症状评估、长期随访问卷和基于研究的问卷。Engage是作为一款独立应用开发的;它与MyMSK(在MSK患者门户网站内部开发)，患者-临床安全消息传递系统和EHR系统紧密集成[7，46]。Engage在图1它由4个关键子系统(调查配置和部署、警报通知系统、患者和临床医生用户界面以及安全消息传递系统)组成。Engage与上游数据库进一步集成，以支持队列识别和调度。它还与现有临床医生和支持人员工作流程中的下游临床信息和文档系统集成，以支持临床图表和升级工作流程。除了技术方面，该系统还包括一个监督关键设计和计划决策的治理委员会，称为eForms委员会。本研究的重点是展示警报通知系统的设计、开发和实施背后的过程，以及它与上游(如调查库、目标队列和复杂调度)和下游系统(如电子病历)的集成。Engage(我们的PRO系统)的设计超出了本研究的范围。

‎ 查看此图

系统治理

为了推动警报通知系统的决策和正式治理，我们利用了电子表单委员会(eForms committee)，该委员会每月召开一次会议。该委员会于2016年启动PRO计划时成立，负责监督PRO仪器的开发，评估患者负担，讨论对临床医生工作流程的影响，审查监管和法律影响，并批准临床用户组要求的功能重大变更。它是一个多学科委员会，由卫生信息学专家、应用程序开发团队成员、患者参与专家、临床医生、研究人员、生物统计学家、卫生信息管理人员和医院管理人员组成。除了电子表格委员会外，还为每项调查工具设立了PRO工作小组，他们更频繁地开会讨论“参与”系统的管理和实施方面的考虑，并经常就系统设计建议提供反馈。PRO工作组还举行会议，决定设置初始警报标准并根据需要调整阈值。

警报通知系统设计步骤

我们试图设计并实施一个强大而灵活的基于pro的关键结果警报系统，当肿瘤护理环境中发生有临床意义的患者反应时，该系统会实时通知患者和整个护理团队。设计的目标之一是提供促进患者和护理团队之间关于异常结果的安全非结构化通信的能力，并在相同的工作流程中解决异常结果。本研究的第二个目的是描述警报量、反应时间和分诊模式，以了解在所有癌症患者中广泛实施PROs系统的规模和可行性。除了系统设计和实现之外，我们还基于缩放敏捷框架创建了一个围绕系统增强和内容修订的反馈和治理结构。反馈是通过与所有项目涉众(包括最终用户、项目经理、临床医生和系统开发人员)的一系列定期会议收集的。

由于缺乏现有的方法来管理与临界值相关的PRO(例如，在手术事件发生后几天报告的非常严重的症状)，我们通过回顾文献，参考了基于异常实验室或放射检查结果的关键结果沟通模型，以确定我们基于PRO的警报通知系统的初始理想系统组件和功能。我们对PubMed中现有的临床决策支持干预措施进行了文献回顾，以确定实现临床警报生成和管理所必需的关键系统组件。样本搜索词包括“关键警报管理”、“临床警报通知”、“关键结果通知”和“异常结果管理”。我们确定了警报通知系统中启用的5个关键功能:警报规则配置、警报消息传递、确认、分类和EHR文档中的警报导出。一旦在试验期间启用了警报组件，它们就会被其他7个基于pro的项目所采用，详见多媒体附录1．

总体而言，8份问卷配置了警报功能，针对更急性的症状评估，在最近的临床事件之后，作为目标队列的触发因素。在这些情况下，MSK的最佳实践期望是在临床事件发生后2个工作日内回电话，并辅以自动症状评估。这些队列中的患者被定义为最近接受过手术、放射治疗、化疗或COVID-19诊断的患者。

图2显示护理团队成员遵循的警报管理工作流程。警报被定义为由于患者提交的调查而发送给护理团队成员的通知。患者可以在设计为连续数天重复出现的调查中报告多个警报事件(例如，在10天的调查中连续出现10个事件;每次调查都会产生一个警报)。此外，我们实现了面向患者的警报通知，当患者的响应触发相关症状时，通过屏幕上的弹出窗口通知患者。通知建议患者如果担心症状恶化，就打电话给医生办公室。与此同时，这触发了一条警告信息，并将其发送到医生的收件箱。在查看该信息后，护理团队成员可以选择直接打电话给患者，对任何相关症状进行随访或回复该信息。然后，他们还可以选择将消息标记为级别更高的护理团队成员的升级指示器。接受肿瘤治疗的患者的标准护士电话包括治疗后随访的问题(例如，症状评估和对PRO反应的澄清，这些反应可能令人担忧或需要详细说明)。 Nursing teams also handled triage of any patient concerns as they arose during phone call conversations, including providing patient education materials, facilitating referrals for prescription refills, and referring patients to urgent care facilities or specialty treatment referrals. The decision to call the patient was based on the guidance established by each clinic and the clinical judgment of the care team members. Finally, users have the option to send the message to the EHR to further document it in a clinical note by clicking the “ClinDoc” button.

‎ 查看此图

应用个人、任务和技术框架之间的契合度

在2016年9月至2017年8月的试点期间，我们参加了由一线工作人员(包括医生、护士和高级从业人员)组成的双周PRO工作组会议;办公室工作人员;和行政人员就护理团队成员审查关键的PRO结果并与患者沟通所期望的系统特性征求意见。我们将这些特征映射到个人、任务和技术(FITT)框架中。我们选择FITT框架是因为它考虑了成功的系统采用的社会技术方面，使我们能够理解导致成功采用的用户、技术和任务的属性。它还允许我们考虑所有3种属性类型的交互，以设想一个更全面的解决方案。在整个实施期间，我们继续使用该框架，以阐明对于工具、任务和执行任务的人员来说非常重要的附加功能，这些功能是专门为pro确定的关键结果通知框架的每个组件所考虑的[47]。此外，我们还讨论了症状警报和临床决策过程管理的工作流程方面。通过这些会议，我们阐明了设计一个以pro为中心的警报管理系统的关键人物和任务属性。我们将该模型展示给我们的信息学工作组，该工作组由信息学专家、系统开发人员和产品经理组成，在那里我们讨论了这些功能的任务和工具相关属性。在每次反馈会议之后，我们将针对前一节中确定的关键系统功能的特性、成功标准和干预记录到FITT框架中，并将它们绘制到与工具、任务和人员相关的桶中。

数据收集与分析

系统使用数据通过查询底层报告数据库收集以下变量(定义在文本框1)获取2016年9月至2021年1月期间的数据:患者采用率、患者参与度、警报量、警报率、警报类型、消息传递状态、分诊和升级标志、响应时间和临床医生参与。数据查询使用DBeaver软件(DBeaver Corporation)。描述性统计和数据可视化是使用Tableau软件(Tableau software, Inc .)开发的。

结果

概述

研究结果解释了我们的系统是如何设计的，在FITT框架内确定的功能，我们的系统如何创建和安排警报，警报的管理和交付，以及警报管理和护理团队成员采用的描述性统计数据。

警报通知系统组件和功能

用于识别和沟通关键PRO响应的主要系统框架组件，我们根据FITT框架对其进行了评估，并随后在我们的患者门户和安全消息传递系统中的生产PRO工具中实施，见图3在文本框2．

图3从高层描述警报系统的概述。从源系统Engage开始，在该系统中构建问卷、配置警报并捕获和存储患者调查响应。一旦患者提交了一份调查问卷，听者就会审查这些回答，看它们是否超过了预定义的阈值。然后，当检测到指定警报消息时间的触发事件时，将识别目标接收者(这是在基于覆盖率的患者队列定义阶段预先捕获的)，并将消息路由到适当的通信通道。在我们的示例中，这被路由到一个安全的消息传递系统，但是我们配置了一个全通道通信策略。消息被发送到邮箱，由护理团队成员审阅，他们可以选择将其升级到其他护理团队成员，或者在下游EHR临床记录中记录对话。

‎ 查看此图

FITT框架结果:按人员、任务和工具划分的警报特征

在我们参加了每两周一次的PRO工作组之后，我们将期望的功能和用户需求绘制成一个修改过的FITT框架，该框架根据文献综述中确定的每个主要组件分层，如下所述文本框2．这产生了一个项目管理流程和系统需求的综合列表，并在开发和随后的应用程序推出期间通知了我们的用户验收测试场景。结果总结在表1．

警报创建和调度

在由每个服务采用的最新临床实践标准指南组成的PRO工作组建立警报规则后，系统管理员负责实施这些标准。警报创建是通过警报源系统中的配置工具完成的，允许系统管理人员根据患者对单个问题或问题组合的响应配置复杂的规则。护理团队还要求能够为特定的临床环境指定不同的警报规则(例如，根据特定的外科手术、诊断或治疗方案触发警报)，并根据临床事件和患者完成问卷的时间间隔进行变化(例如，在手术后一天报告疼痛时不发出警报，而在第3天开始发出警报)。警报配置组件，见图4，系统管理员可以在其中配置警报消息的主题和通知消息的正文，包括使用可视颜色指示器和其他基于HTML和层叠样式表的消息正文文本格式化选项来指定严重性级别。临床医生在花了几个月的时间对未标记的信息做出回应后，要求使用颜色标签功能作为强调严重性的机制。向消息主题添加指示严重程度的彩色标签，使护理团队成员能够适当地对这些通知进行分类。还可以将临床背景整合到警报通知的主体中。在问卷级别配置警报规则之后，设置阈值和方向性(大于、等于或小于)是下一个功能，定义为警报触发时必须越过的级别。接下来，我们开发了一个触发机制，这是一种技术方法，用于配置和同步基于业务规则发送通知的计划。

‎ 查看此图

警报传递和管理工作流

一旦警报信息准备好发送给目标(定义为在分配调查时照顾患者的初级临床医生)，其他护理团队成员就可以订阅初级临床医生的安全收件箱，以代表整个护理团队查看和响应患者信息。中显示了警报消息的屏幕截图图5．这个收件箱建立在我们的患者门户中，工作人员可以安全地与患者进行双向通信。收件箱的主要用户是支持诊所的护理和行政办公室工作人员。在收件箱中，如果其他人正在治疗该患者，用户可以将消息重新分配给不同的提供者。打开消息后，工作人员可以通过将其标记为完整来确认消息，直接回复患者，或将消息升级到临床医生的办公室工作人员，通常是护士。除了数字工作流程外，工作人员还可以通过电话跟踪患者并将信息标记为完成，从而采取手动路线。对警报消息采取操作后，用户可以选择将消息线程发送到EHR，以便将其导入到注释中。最后一个导入步骤关闭了警报管理生命周期上的循环。

图5演示警报配置的输出，这是显示在护理团队收件箱中的消息。消息主题表示警报严重级别，正文包含红色或黄色症状指示器，显示触发警报的症状。消息主体还包括一些关于患者的上下文信息以及他们的联系信息(如果有的话)，以便护理团队成员在消息紧急时可以直接联系。消息控件在顶部可用，支持重新分配给不同的护理团队成员、直接回复患者、将消息转发到电子邮件、按角色将消息标记给不同的人、将消息标记为完成、将消息发送到EHR (ClinDoc)，最后打印消息。

‎ 查看此图

数字收养

通过配置报警功能的8份问卷，7.82%(36,838/470,841)的患者每完成一次症状评估发出警报，13.28%(10,965/82,544)的患者在接受至少一次调查的患者中发出至少一次警报。这意味着92.28%(434,003/470,841)的患者调查没有触发警报;因此，他们的反应不需要由护理小组审查。警报由191个不同的护理小组管理，由501名工作人员组成。每个护理团队都配置了自己的邮箱，该邮箱设置在医生诊所、服务或诊所位置级别。工作人员订阅护理团队邮箱，并有权查看患者消息，对其进行分类，并对患者做出回应。管理每个邮箱的中位数为5名工作人员，护理小组人数从最少1名到最多75名工作人员不等。每个护理团队收件箱的警报中位数为35 (95% CI 0-145)。

警报管理模式

关于消息分类和升级，4.4%(1631/36,838)的警报被重新分配给其他护理团队，16.7%(6156/36,838)的警报被标记为其他护理团队成员审查。收到重新分配的信息的护理团队成员通常位于不同的校园，更接近患者最近的治疗地点，而不是最初引发调查的事件的地点。在信息管理方面，护理团队成员回复了24.6%(9057/36,838)的信息，并将40.9%(15,069/36,838)的信息标记为已完成(标记为已阅读)而没有回复，34.5%(12,712/36,838)的信息按照下文所示的流程进一步记录在电子病历中的临床记录中图2．就数量而言，61.6%(22,692/36,838)的警报为黄色，13.3%(4896/36,838)为红黄色，12.4%(4561/36,838)为红色，12.7%(4689/36,838)未标记颜色，此处简称为无标号警报．

在比较警报状态和警报级别时，我们看到随着警报级别的提高，护理团队的文档活动有所增加，这为警报阈值的有效性提供了基于护理团队的验证信号。记录的警报级别最低的是未标记警报，占记录的所有未标记警报的27.68%(1298/4689)，而记录的警报级别最高的是红色警报，其中56.83%(2592/4516)被记录在电子病历中。

我们通过三个不同的时间窗口分析了响应警报的周转时间表2:(1)营业时间内(周一至周五上午8点至下午6点)，(2)营业时间外(工作日下午6点至第二天早上8点，周日至周一和周五至周六除外)，以及(3)周末(周五下午6点后至周一上午8点)。营业时间内的响应时间中位数为1小时，响应时间因警报严重程度而异;红色警报的响应时间不到一小时，未标记警报的响应时间中位数为2小时。在工作时间之外收到的警报需要更长的时间来审查，并且响应时间的中位数为6小时，表明响应时间随着严重程度的增加而减少，这表明护理团队成员使用颜色标签作为有效的分诊机制，可以更快地响应最关键的警报。

讨论

主要研究结果

本研究是第一批报道癌症治疗中PRO关键结果管理和沟通系统的设计、实施和操作结果的研究之一。尽管许多研究报道了PRO系统的发展，但没有一个研究深入关注结果的管理。我们的研究结果表明，应该有一个适当的机制来及时处理患者报告的关键结果，以便患者可以与护理团队讨论他们的症状。为此，我们加强了现有的安全消息传递系统，以方便患者与其护理团队之间的异步通信。鉴于护理团队的规模和组成可能因班次不断变化而有所不同，我们的研究结果显示，护理团队的中位数为5人;其他研究人员也报告了类似的发现[48，49]。开发一个解决方案是很重要的，在这个解决方案中，整个护理团队都可以看到之前与患者的互动，从而无缝地接起另一个护理团队成员中断的对话。标记功能对于通知高级团队成员需要他们注意的消息非常有用。虽然使用频率较低，但将患者重新分配到不同的护理团队的能力允许团队之间的顺利交接。

设置有临床意义的警报阈值

在患者队列中建立有临床意义的阈值是至关重要的，在治疗后的任何一天设定一个“正常”症状的基线定义。警报阈值是一个非常有争议的话题，并在每个仪器的后期生活期间多次重新审视。决策是在每个计划工作组中做出的，团队讨论了打开警报的含义和对工作负载的预期影响。这些决定是基于处理治疗后症状报告的经验。临床护理团队由精通通过电话收集患者症状数据的护士组成;因此，他们知道在手术等事件发生后的特定一天会听到哪些症状，并根据临床判断做出决定。随着时间的推移，卫生保健系统了解患者的结果，能够调整阈值是很重要的。工作人员通过摘要仪表板审查警报率，使团队成员能够反映工作人员的警报工作量负担，并确定缓解战略。通过检查仪表板，管理层注意到手术后一天报告的疼痛等症状的警觉率很高，这被确定为正常的临床事件。因此，警报规则被调整为在手术后2至3天内不针对特定问题发出警报。 Setting thresholds such as “red” and “yellow,” which indicate severe and moderate symptoms, respectively, created visual indicators for the care team members within the subject as well as the body of the message. Notably, we saw a substantial difference in response times for the alerts that were marked as “red,” suggesting that the alert color label was effectively used as a triage mechanism. With this approach, by focusing on the alerts that are marked as “red,” we can reduce clinician burnout by minimizing the cognitive load associated with reading patient messages.

PRO管治的重要性

与其他有关PRO管治重要性的研究类似[50]，本研究还表明，治理委员会(eForms committee, 35人)在pro的设计和实施中发挥了重要作用。该委员会每月召开一次会议，讨论整个系统设计的最佳实践和新功能发布的影响，并决定在不同的患者群体中建立有临床意义的警报阈值。临床医生、护士、患者教育专家和行政人员作为协作的思想领袖，通过对所设定的警报阈值进行严格评估，不断努力减少患者负担和员工警报疲劳。以临床为重点的PRO工作组(40人)更定期地每两周召开一次会议，以确定员工的工作流程和职责，提供系统设计的反馈，将警报与现有的消息传递工作流程相结合，为患者开发教育材料，为员工创建培训材料，并通过实时仪表板反映汇总数据。围绕护理团队成员的角色和职责制定了政策，以确保及时响应信息。毫无疑问，护理人员和办公室工作人员在审查反应、分诊和直接回应患者方面发挥了重要作用，这与护士主导的患者参与项目的类似发现产生了共鸣[17，51-54]。除了有一个项目有专门的工作人员在周末审查病人的信息外，病人被告知，信箱在正常营业时间之外无人值守，他们被鼓励在出现紧急症状时打电话给他们的医生。

PRO集成到临床工作流程

将pro集成到临床工作流程中一直是一个挑战，而让临床医生审查并根据数据采取行动又是另一个挑战。建立警报系统，仅通过警报通知临床医生有临床意义的患者反应，这是朝着更好的方向迈出的一步，临床医生只需要审查经临床专家共识认为具有临床意义的警报。考虑到正在出现的临床医生职业倦怠问题，部分原因是信息超载，通过使用该警报系统，护理团队审查了7.82%(36,838/470,841)的患者回复，并且无需审查超过92.28%(434,003/470,841)的回复，同时保持收集有价值的PRO数据以研究患者对治疗的长期结果。在同一工作流程中与患者沟通的无缝机制是朝着正确方向迈出的又一步，并且与文献研究结果一致[27]。它不仅向病人发出信号，表明他们正在得到持续的照顾，鼓励他们继续完成评估，而且还可以用来早期解决症状，防止任何不必要的急诊室就诊。

未来的研究机会

尽管PRO数据可以成为共享决策和弥合两次访问之间的护理差距的宝贵工具，但只有在患者完成评估后才能使用这些数据。COVID-19大流行期间采用远程监测方案[55-57暴露了仅仅依靠数字干预的项目所造成的数字鸿沟。不熟悉技术的患者或主要语言与调查工具的语言不同的患者可能不太可能完成他们的症状评估。当我们扩展基于pro的远程症状监测程序时，我们必须考虑研究完全数字化干预的社会技术方面。关于适当设置有意义的警报阈值，对未来的研究机会有几个影响。在MSK，围绕设置有临床意义的阈值的讨论随着时间的推移而演变，最终，通过负责响应警报的护理人员和负责患者结果的医生之间的协议来决定。此外，分析患者特征(如人口统计学、疾病分期或疾病类型)对警报反应模式和与护理团队成员的沟通的影响将是很有趣的。随着我们积累了更强大的PRO数据集并监测临床医生的分类，我们有机会建立机器学习模型，根据患者对特定PRO的反应、反应模式和临床环境(如疾病阶段和进展)来预测患者何时需要干预。此外，可以开发基于人工智能的自动聊天机器人来促进与患者的对话，从而减轻护理人员的负担。进一步研究护士在电子病历中的后续活动，如转诊、药物订单或与其他护理团队成员的沟通，可以为聊天机器人对患者的响应提供改进信息。

限制

本研究有一定的局限性。首先，我们报告了来自一个机构的研究结果，这可能无法推广到所有环境。此外，由于我们有一个内部开发的患者参与系统，我们可以灵活地设计和实施最适合护理团队工作流程的警报管理系统，这可能不是其他医疗机构负担得起的灵活性。此外，选择为其PRO程序实施警报功能的护理团队高度参与了系统开发生命周期，并在整个过程中提供了充足的反馈，这可能不适用于资源有限的机构。大多数功能的系统设计特性是通过与试点工作小组的讨论得知的，并且本质上是定性的，我们没有执行正式的定量评估。

结论

通过开发一个关键症状警报和通信系统，我们设计了一个系统，支持基于PRO数据的关键结果实时传递给适当的护理团队成员，包括患者和临床工作人员以非结构化、基于文本的安全通信格式进行警报沟通的能力。我们能够标准化患者生成的警报消息的处理，使临床工作流程中以标准格式呈现临床有意义的PRO数据，并监测临床工作人员的响应时间。这使我们能够为他们的护理团队成员设定一个适当的患者期望反应时间框架，或者为每个患者和他们所接受的手术提供替代的沟通指导。