随时回答医院护理人员的问题:法国医院基于人工智能的聊天机器人的概念验证研究

介绍

背景

医院是一个特别复杂的环境，必须维持每周7天不间断的保健活动。要实现长期护理，同时确保工作人员具备适当的临床和药学知识，工作人员的高轮调是必不可少的。在2019冠状病毒病危机期间更是如此，当时许多护理人员不得不重新组织自己并适应照顾患者。此外，越来越多的上市药物及其特异性(即药物的可得性、供应链、剂量、相容性、稳定性和给药技术)导致必须处理的可用信息越来越多，远远超出了大多数护理人员和患者的实际使用和知识[1］．此外，每家医院可能在流程、组织和用药系统方面都有自己的特点。当出现关于药物的问题时，卫生保健人员，包括护士，需要能够找到一个完整、可靠和准确的答案，以确保适当和安全的护理。除了现有的工作量外，这项研究往往必须在很短的时间内进行，这使研究过程进一步复杂化[2］．此外，准确的信息可能不容易获得，特别是在夜班期间，因为卫生保健单位的人员较少。文档记录不佳的网站可能最终成为获取信息的最后选择。在2019冠状病毒病危机期间，这一点尤为重要，因为许多网站和论坛上充斥着医疗错误信息，尤其是关于疫苗的错误信息。3.］．在这种情况下，缺乏获得准确信息的途径可能导致用药错误[4，5］．特别是在医院环境中，这些错误中的任何一个都可能对患者造成严重的临床后果。

医院药房是当时提供药学咨询的主要中介。然而，打电话到药房可能导致药剂师越来越多的任务中断，特别是如果这些问题变得重复，由于高人员轮换，这在护士中尤其频繁。药师对这些问题的回答也可能有所不同，这取决于药师的经验(高级、实习生)、他/她的专业以及参考资料来源等各种因素。因此，医院药师需要寻找一种新的方法来集中、规范和内部验证护理人员提出的所有药物相关问题的答案的科学有效性。一种计算机化的工具可以利用人工智能的潜力，为护理人员生成自动答案，从而解决这些问题。

事实上，虚拟助手，也被称为聊天机器人，已经在人类健康领域得到了应用。这是一个非常易于使用的工具，用户可以通过短信、智能手机、电脑或其他连接设备访问(它需要互联网连接才能运行)。它看起来像一个经典的对话窗口，用户和聊天机器人都可以用人类语言进行讨论。用户可以直接在专用字段中询问他/她的问题，或者单击特定按钮。聊天机器人已被证明在为慢性病患者提供信息和建议方面是有用和有效的[6-8]以及提倡健康的生活方式[9］．它们还用于肿瘤学应用，诊断和症状筛选，患者或治疗监测，以及心理健康咨询或情感支持[10-13］．然而，目前还没有专门针对护理人员关于药物和药房组织的问题的聊天机器人。我们认为，在医院内部网中实现一个具有药学验证数据库的聊天机器人，可以在日常实践中为护理人员提供可访问且经过事实验证的答案。

目标

我们的目标是开发和实现一个聊天机器人，专注于药物和药房组织，每天24小时回答医院护理人员的问题，然后对其进行评估。

方法

设置

该概念验证研究于2021年至2022年(1年)在一家大型私立非营利性法国医院(包括592张床位)进行。该项目由3名医院药剂师、2名创新与转型部成员和1名IT服务提供商组成的多学科团队完成。

聊天机器人设计

教学设计

我们使用了ADDIE(分析、设计、开发、实施和评估)模型[14在医院设置聊天机器人工具——这是一个教学系统设计模型，分为5个连续迭代的阶段。

分析

在2021年2月为期1个月的时间里，我们对来自5个科室的医院护理人员，特别是护士和药剂师，在日常工作中最常见的关于药物和药房组织的问题进行了调查。然后我们综合结果，将适当的项目集成到聊天机器人中。

设计与开发

根据前面的需求分析，我们在聊天机器人中设计并引入了相关的话题。为了提供可靠和清晰的答案，对不同来源的信息进行了交叉核对。以下是我们在法国可以使用的各种药学专业工具:从产品特性摘要中获得的药学参考资料;当地药品监督管理委员会对该机构的建议;卫生当局的出版物，如药品、医疗设备和治疗创新观察站、法国国家药品和医疗产品安全局和法国国家卫生局;和参考网站，如Stabilis。每一份工作文件都由相关领域的医院药剂师进行审查和科学验证，然后实施到聊天机器人中。对于药物名称，我们在聊天机器人中集成了国际非专利名称和品牌名称，因此该工具可以理解这两种配方。

然后，通过与IT服务提供商的定期交流，我们使用node.js运行时环境和typescript语言开发了聊天机器人本身。为了使聊天机器人能够理解人类语言并能够回答问题，我们还使用了沃森的应用程序编程接口(IBM公司)。因此，聊天机器人使用自然语言处理和机器学习来理解用户并从他们之前的交互中学习。它还使用了与It提供商一起开发的自动完成引擎来帮助用户编写药物名称。因此，当用户输入药物名称的第一个字母时，就会显示一个匹配建议列表。此外，我们还集成了模糊匹配功能，以避免拼写差异和错误。

实施与评估

我们在4个测试科室的医院内网实现了聊天机器人，对其进行了评估。因此，在所有医院护理单位实施该工具之前，在2022年1月至2月期间进行了beta测试。它包括在医院护理服务部门组织的20分钟的试验环节，在试验结束时，测试者(护士长、护士、药房助理、药学专业学生和同意参加的实习生)被要求完成一份关于他们自己和他们使用聊天机器人的体验的问卷。他们必须对聊天机器人的速度、可用性和外观进行评分，并要求他们用5分的李克特量表(从“非常不满意”到“非常满意”)来评估他们对聊天机器人的满意度。他们还被问及他们想要在聊天机器人中加入哪些缺失的话题来改进这个工具。此外，我们还从IT提供商的后台办公室测量了该工具的性能。在与聊天机器人的每次互动结束时，用户被邀请提供积极或消极的反馈(拇指向上或向下)。聊天机器人的相关性被定义为积极反馈的数量与总表达反馈的数量之比，我们也计算了未表达反馈的数量。

伦理批准

鉴于聊天机器人不属于欧盟第2017/745号法规中医疗设备的定义，并且法国立法(公共卫生法)不要求对此类工作进行伦理批准，因此本研究不需要伦理批准。

结果

需求分析

第一步包括收集和分析未来用户的需求，于2021年2月在医院进行。共收集33名护士、3名护士长和助理护士提出的50个问题，分为7类。五个不同的保健单位包括:肿瘤门诊服务、肿瘤住院服务、肿瘤住院服务(WIOS)、肺肿瘤服务和新生儿服务。我们还考虑了5家医院药师关于药物回路和抗癌药物的建议。注射用药物的相容性、稳定性和给药方法是这些问题的主要内容。其他主题包括治疗等效性和抗癌药物，如表1。

设计与开发

在需求分析期间指出的50个专题导致编写了按项目收集的32份工作文件。从工作文档中，我们创建了41个技能到聊天机器人中，聊天机器人形成了具有相应资源文档的数据库。对于每种技能，我们还构建了一个会话树，它构成了一个决策算法，以确定聊天机器人如何与用户交互以提供所请求的响应(图1）.例如，根据所问问题的类型，聊天机器人可能会要求用户提供进一步的信息，直接回答，或者提供一个web链接，以便在可靠的网站上找到正确的答案。中详细介绍了聊天机器人如何处理有关药物可用性的请求多媒体附录1。这个聊天机器人被设计成使用法语。我们没有提供该工具的名称，因为它打算稍后集成到一个全局聊天机器人(meta-bot)中;我们就叫它“药房聊天机器人”。

我们还在聊天机器人中加入了一个初始对话，以便在常见问题上更快地引导用户，并使用了称为“模糊匹配”和“自动完成”的技术解决方案来帮助用户制定他们的请求，并使聊天机器人能够理解他们(图2）.

‎ 查看此图

‎ 查看此图

实施与评估

该聊天机器人工具的beta测试于2022年1月至2月进行。总共有来自4个不同服务部门(肿瘤门诊、WIOS、肺肿瘤服务和药房)的20名护理人员在测试期间尝试了聊天机器人的概念验证版本。共有14名护士和护士长参与，6名药学人员参与。beta测试引发了214次对话，测试者被邀请完成一份满意度调查问卷，其结果显示在图3。

总的来说，20名测试者中有8名(40%)每周给药房打1到5次电话，11名(55%)打得更多。只有一位经验丰富的护士长说，她从来没有给药房打电话。聊天机器人的速度评分为8.2分(满分为10分)，其人体工程学评分为8.1分(评分范围为5-10分)，其外观评分为7.5分(评分范围为4-10分)图4。有一个人没有给聊天机器人打分。总体而言，20个用户中有14个(70%)对该工具感到满意或非常满意。在后台，估计相关度(即，有积极反馈的对话)在未中断的交互中为76%(146/214,68%的对话)。

在beta测试结束时，测试者提出的主要改进与人体工程学(n=5, 25%的测试者)以及数据库的实施(n=7, 35%的测试者)有关，其中包括与医疗器械(n=4, 20%的测试者)，药物不良反应(n=4, 20%的测试者)和药物价格(n=2, 10%的测试者)相关的答案，如图所示图5。

‎ 查看此图

‎ 查看此图

‎ 查看此图

讨论

主要研究结果

据我们所知，我们设计的聊天机器人是第一个专门针对医院医护人员，回答与药物回路和药房组织有关的问题的机器人。目前，专门针对医院环境的聊天机器人类型解决方案很少，而且几乎所有现有文献都涉及与患者相关的聊天机器人[15，16］．医生对聊天机器人工具的感知已经被研究过了[17］．在这种情况下，聊天机器人可以提供处方援助，也可以提供药物信息，就像我们的聊天机器人一样。特别是，作者得出结论，聊天机器人将完全适合日常医疗实践，并得到医生的积极认可。但是，这项工作的主要限制仍然是数据库中缺乏资料。

在测试期间，测试人员发现我们的聊天机器人速度快，用户友好，美观。总体满意度和聊天机器人的实际性能都被认为是不错的(所有得分都高于7分(满分10分))，所有测试者都解释说，如果它的数据库扩大，他们会继续使用这个工具。他们还宣布，在COVID-19危机期间，聊天机器人可以帮助他们获得有关疫苗接种的可靠信息，并轻松回应患者的请求。因此，数据库得到了改进，以考虑测试人员的建议，并在这样做的过程中，扩大了聊天机器人的能力范围。因此，我们增加了关于药物价格、药物副作用和抗癌药物的一些问题的主题。根据法国致畸物参考中心的建议，我们还增加了有关孕妇疫苗接种管理的最新数据。

因此，在我们医院开发和实施的聊天机器人解决方案似乎是一个有用和可靠的工具，可以解决护士和其他医院护理人员在执业过程中任何时候遇到的常见药物和药房相关问题。它是可访问的，在医疗专业人员习惯使用的医院内部网中实现，并且易于使用。

限制

考虑到分配给聊天机器人系统的有限资源(人力和技术)，我们试图在聊天机器人系统中包含尽可能多的数据来回答护理人员的问题。因此，少量的beta测试者(n=20)是我们工作的一个限制，并且还有其他数据需要集成到聊天机器人中。最常见的要求之一是药品的稳定性。为了提供答案，我们包含了简洁、极其密集且不太友好的交叉表。另一个解决方案是将用户重定向到一个可靠的网站，比如专门的网站，但这将迫使用户转录他们的信息并使用另一个工具，这极有可能导致对聊天机器人的支持丧失。最后，医疗器械的课题也在研究中;然而，主要的困难仍然是复杂的命名法和单个设备可能具有的极其多变的名称。这个话题还没有被包括在聊天机器人的范围内，目前，聊天机器人只是邀请用户问一个关于它的问题，专门联系在这个领域工作的药剂师或药房助理。

聊天机器人工具的另一个技术限制是，由于不兼容的应用程序编程接口，无法将聊天机器人与我们的业务软件连接起来。随着软件公司考虑到对流互操作性的需求，这种限制在未来可能会发展。

在解释结果时，同样重要的是要注意，在beta测试期间评估的相关性评分可能被高估，因为在研究结束之前测试人员中断了交互。这些终止的交互不会记录在后台办公室的性能比率中。

在用户方面，对计算机工具的掌握程度通常决定了对聊天机器人的处理和接受程度。还有人抵制改变，因为使用聊天机器人目前还不是员工的习惯和日常工作的一部分。因此，有必要尽可能地促进其使用，并且应在使用的早期阶段证明其相关性，以促进其融入护理人员的实践。从长远来看，护理人员只有在明确证明聊天机器人在搜索可靠信息时的有效性和节省时间的潜力时，才会在实践中使用聊天机器人。如果它不能证明这些能力，欺骗效应很可能占上风，除了“新奇效应”之外，照顾者可能会对项目失去兴趣。

视角

定期更新数据库内的资料是保持高度可靠性的一个中心问题。这需要指定一个直接负责管理聊天机器人的人。因此，可以将这项任务委托给药房实习生，实习生可以每周咨询未解决的问题，并将相应的信息整合到聊天机器人中。我们希望根据信息修改的频率及其关键程度，每月或每两年实施一次这些更新。此外，聊天机器人管理员还可以使用“编程事件”功能，实时通知用户重大突发事件或重要新闻。它由一个横幅(在聊天机器人启动时出现)组成，以显示重要信息。但是，这需要与医院药房的采购部门密切合作。

在未来，也有可能进一步扩展聊天机器人的技能范围，例如，包括医院可用的医疗设备列表。然而，由于参考文献的数量非常庞大，需要实现一个相对有效的索引或搜索系统，以便在复杂多样的标签中更好地引导用户。聊天机器人未来的另一个主要元素是在两家医院的网站上部署，以便所有医院的护理人员都可以使用它。为此，必须考虑到每个场址的具体情况;例如，药物供应。在另一个更新中，我们还可以包括一个经过验证的最新网站列表，以将此工具转换为对抗医疗错误信息的武器。在健康危机的背景下，聊天机器人可能是向我院所有护理人员传递同质信息的相关信息手段。开发不同类型的界面，如智能手机或语音转文本选项，也可能是改善护理人员的人体工程学和依从性的相关视角。

最后，聊天机器人可以成为药房技术人员的有效培训工具。事实上，聊天机器人可以让他们自己回答各种各样与药物有关的问题，而且更容易，而不必询问参考药剂师。当然，关于病人的诊所或药物的特定成分的问题总是需要药学专业知识，但我们相信聊天机器人可以让药剂师优化他们的时间来完成增值任务。该工具也可作为培训新工作人员和为组织目的可能在护理单位之间调动的人员的基本要素。

结论

聊天机器人似乎是医院护理人员的一个有用的工具，帮助他们获得他们需要的关于药物和药房组织的信息。据我们所知，这是第一次为医院护理人员设计这样的工具。因此，使用测试和实现附加数据来继续开发它以改进其性能是至关重要的。有几个方面仍然需要改进，特别是在聊天机器人的技能范围方面。最终，这项技术可以与其他机构共享，甚至可以与网站共享，比如那些学术团体。聊天机器人还可以成为培训新医护人员的重要组成部分，并在不同部门因组织目的而进行人员变动时使用。