具有自然语言搜索能力的基于web的参考数据库的性能:使用沃森对DynaMed和Micromedex进行可用性评估gydF4y2Ba

介绍gydF4y2Ba

背景gydF4y2Ba

以准确、有效和高效的方式回答医疗保健提供者的药物和疾病问题可能具有挑战性。提供商面临的常见信息搜索问题包括:难以在大量信息中导航，不知道最佳通用搜索结果所需的特定措辞，以及需要花费过多的时间和精力来找到答案[gydF4y2Ba1gydF4y2Ba-gydF4y2Ba3.gydF4y2Ba]。解决办法可能包括使用护理点信息(POCI)工具，例如使用循证信息帮助临床医生解决药物和疾病问题的基于网络的数据库[gydF4y2Ba4gydF4y2Ba]。被认为是POCI工具的常用药物和疾病信息系统包括UpToDate、DynaMed、Micromedex和BMJ Best Practice []gydF4y2Ba4gydF4y2Ba，gydF4y2Ba5gydF4y2Ba]。POCI工具提高了医生及时回答临床问题的能力，这可以改善患者的整体安全和护理[gydF4y2Ba4gydF4y2Ba]。然而，由于各种原因，如使用者不知道何时停止搜索或不知道POCI工具如何倾向于询问临床问题等，可能会出现难以获得满意答案的情况。[gydF4y2Ba6gydF4y2Ba]。人工智能可用于加强POCI工具，并已与电子健康记录和临床决策支持系统相结合，以协助提供者改善患者和药物安全[gydF4y2Ba7gydF4y2Ba]。通过将自然语言处理(NLP)等人工智能功能与POCI工具的全面性相结合，与人工搜索相比，有可能快速回答临床医生的问题并减少精神疲劳[gydF4y2Ba8gydF4y2Ba]。NLP在医疗保健的各种应用中得到应用，并已被证明有助于更有效地检索信息[gydF4y2Ba9gydF4y2Ba-gydF4y2Ba11gydF4y2Ba]。gydF4y2Ba

DynaMed和Micromedex与Watson的组合解决方案，现在被称为DynaMedex，是一种POCI工具，包括药物和疾病信息，并具有用于信息检索的人工智能功能[gydF4y2Ba12gydF4y2Ba，gydF4y2Ba13gydF4y2Ba]。EBSCO与IBM Watson Health(现称为Merative)合作开发了该组合工具，旨在帮助临床医生使用循证信息回答临床问题[gydF4y2Ba14gydF4y2Ba，gydF4y2Ba15gydF4y2Ba]。该系统将现有的工具DynaMed、Micromedex和Watson Assistant结合成一个一体化的web平台[gydF4y2Ba16gydF4y2Ba]。DynaMed是一个医学状况知识数据库，包含循证研究、指南、临床照片和其他附加资源的摘要[gydF4y2Ba17gydF4y2Ba]。DynaMed为28个专业提供同行评审的临床内容，内容涉及疾病主题、健康状况、异常发现、疾病评估、鉴别诊断和疾病管理[gydF4y2Ba16gydF4y2Ba]。Micromedex是一个药理学知识库，有专家为临床意义整理的文献支持[gydF4y2Ba18gydF4y2Ba]。Micromedex是最大的基于网络的药物信息参考数据库之一，提供有关药物-药物相互作用、药物专著和药物反应管理的详细信息[gydF4y2Ba16gydF4y2Ba，gydF4y2Ba18gydF4y2Ba]。卫生系统经常使用Micromedex来支持临床医生进行药物治疗管理和患者教育[gydF4y2Ba8gydF4y2Ba]。DynaMed与Micromedex结合的目的是将药物和疾病内容整合到一个单一来源中，可用于帮助临床医生做出明智的临床决策[gydF4y2Ba12gydF4y2Ba]。沃森助手是一个基于人工智能的对话代理，由IBM的DeepQA超级计算机沃森提供支持，它通过自然语言处理和机器学习的结合来帮助用户检索信息[gydF4y2Ba19gydF4y2Ba]。目前，NLP在医疗保健领域的其他研究和应用侧重于从患者记录中提取重要信息，以帮助决策，而沃森助手则是一个回答用户问题的会话代理[gydF4y2Ba9gydF4y2Ba，gydF4y2Ba11gydF4y2Ba，gydF4y2Ba20.gydF4y2Ba]通过挖掘循证信息数据库，与药物信息、药物相互作用和静脉相容性相关[gydF4y2Ba8gydF4y2Ba，gydF4y2Ba16gydF4y2Ba]。药物信息主题包括药物类别、剂量、给药、药物安全性、作用机制和药代动力学[gydF4y2Ba7gydF4y2Ba]。之前的一项研究表明，沃森助手有可能回答临床医生的问题;据报道，在沃森助手的知识领域内，80%的查询被对话代理正确分类[gydF4y2Ba7gydF4y2Ba]。本文还详细介绍了Micromedex的系统架构，包括Watson Assistant。gydF4y2Ba

目标gydF4y2Ba

本研究的目的是收集临床医生的反馈，并直接观察他们对联合工具的使用情况，以确定潜在的改进领域，并评估参与者的看法，为进一步的发展提供信息。具体来说，我们关注的是提供者角色是否对他们使用DynaMed和Micromedex与Watson的体验产生了影响。对于医疗保健提供者来说，这些类型的工具的用户交互和可用性方面的研究很少。我们评估了组合工具的可用性，以确定用户在效率、有效性和满意度方面达到搜索目标的程度。我们要求参与者在整个测试过程中使用通用搜索功能和沃森助手来测试组合工具，以评估使用任何一种功能来搜索信息所带来的好处和挑战。根据这些发现，我们总结了不同角色的提供者观察到或提出的关键主题。在这样做的过程中，我们提出了在使用该工具时改善临床医生体验的建议。gydF4y2Ba

方法gydF4y2Ba

概述gydF4y2Ba

这项总结性的可用性研究收集了参与者如何使用DynaMed和Micromedex与沃森一起完成一组临床场景的信息搜索任务的数据。我们报告了定量可用性指标，并描述了在角色和参考工具的经验中观察到的用户体验差异[gydF4y2Ba21gydF4y2Ba-gydF4y2Ba23gydF4y2Ba]。IBM为该工具提供了免费订阅，以进行可用性测试。gydF4y2Ba

伦理批准gydF4y2Ba

本研究项目由麻省总医院布里格姆机构审查委员会(2021P000139)审查并批准。gydF4y2Ba

知情同意gydF4y2Ba

所有参与研究的个体均获得口头知情同意。作为招募的一部分，参与者被书面告知，他们从录音和录像中获得的未识别数据将用于研究。gydF4y2Ba

招聘gydF4y2Ba

临床医生从美国马萨诸塞州波士顿的两家学术医疗中心(布里格姆妇女医院和马萨诸塞州总医院)的住院和门诊医院招募。从2021年8月10日至2021年12月16日，向以下专业的医生、药剂师、注册护士(RNs)、执业护士(NPs)和医师助理(PAs)发送招聘邮件:内科、神经病学、心脏病学、肿瘤学或血液学、传染病和内分泌学。参与者群体是根据该工具的预期用户选择的。为了在每个角色的临床医生中获得足够的样本量，还招募了普通护理注册护士和药剂师。临床医生被招募使用目的和网络抽样策略。参与者因参与而获得补偿。gydF4y2Ba

在测试之前，参与者被问及他们的临床角色、实习年数、他们是在门诊还是住院实习，以及他们是否有使用DynaMed和Micromedex与沃森的经验。参与者被分配了一个参与者ID，用于所有研究和数据收集材料[gydF4y2Ba21gydF4y2Ba]。gydF4y2Ba

场景和脚本开发gydF4y2Ba

该研究的研究药剂师(HHE, DLS和MGA)编制了一份由临床药剂师提供的现实世界问题清单，这些药剂师来自不同的专业领域，包括住院和门诊设置。然后根据专业和临床领域对这些问题进行评估和分类。药剂师确定每个问题是否可以准确地回答与沃森使用的DynaMed和MicromedexgydF4y2Ba通用搜索gydF4y2Ba函数或gydF4y2Ba沃森助理gydF4y2Ba。选择了一组可以回答的问题，并将其改写为可用性测试的临床场景(gydF4y2Ba多媒体附录1gydF4y2Ba)。情景题内容根据专业发展与常见情况相关。每个可用性环节包括7个场景，涵盖一系列不同的临床领域(gydF4y2Ba表1gydF4y2Ba)。gydF4y2Ba

总共为可用性测试创建了56个场景。创建了8种独特的脚本:心脏病学、内分泌学、血液学或肿瘤学、传染病学、内科、神经学、护理学和普通药学(gydF4y2Ba多媒体附录1gydF4y2Ba)。对于所有脚本，以下问题类别要求用户使用沃森助手功能启动他们的搜索:药物不良反应或毒性，相互作用(药物或草药或实验室或疾病)，怀孕或哺乳。所有其他问题类别都要求临床医生使用通用搜索功能来找到该方案的答案。医生、NP和pa根据他们的专业分配了一个脚本。药剂师被分配了一个一般的药房脚本或一个专业脚本，以便为每种脚本类型提供足够的样本量。给注册护士分配一份护理脚本。gydF4y2Ba

引导测试gydF4y2Ba

为了完善测试程序，我们进行了一次试点可用性测试。参与的临床医生得到了一个版本的内科可用性脚本，其中包含场景和任务后问题。对参与者感到困惑的场景进行了回顾和改写，以避免误解。gydF4y2Ba

可用性测试流程gydF4y2Ba

每次可用性会议都是远程进行的(即通过Zoom [Zoom视频通信公司])，以解决COVID-19大流行期间的安全和调度问题。参与者被告知研究的性质以及场景测试程序，并有机会提出与测试相关的问题。他们还被告知主持人作为中立观察员的角色和研究助理在记录数据方面的角色。口头知情同意记录Zoom会话的音频和视频。研究人员向参与者询问了一系列人口统计问题，以及他们使用疾病和药物管理参考数据库(gydF4y2Ba多媒体附录1gydF4y2Ba)。接下来，主持人(PMG)使用Zoom的聊天功能，将使用Watson工具访问DynaMed和Micromedex的网址发送给与会者。参与者被要求打开网页并开始屏幕共享。主持人没有提供有关该工具的培训，但确实确保与会者知道在哪里找到通用搜索功能和沃森助手(gydF4y2Ba图1gydF4y2Ba)。接下来，主持人要求参与者大声朗读每个场景，并使用常规搜索功能或任务中详细介绍的沃森助手搜索答案。当参与者使用工具时，他们被鼓励用语言表达他们的思维过程，对特定功能的期望，以及对工具中元素的反应。如果参与者能够找到答案，他们通知主持人答案，他们已经完成了任务。参与者可以在任何时候结束任务。gydF4y2Ba

如果参与者遇到意外的可用性问题，导致他们无法继续当前任务或后续任务，主持人会提供提示，帮助参与者发现他们遇到问题的原因。这些帮助并不是为了帮助参与者浏览内容，而是在多次尝试使用阻止他们访问内容的特定工具功能失败后提供的;例如，为那些无法继续执行任务的参与者提供帮助，因为他们不知道在每次搜索开始时有必要清除沃森助手上的过滤器，以确保会话代理在搜索信息时包含正确的关键字。gydF4y2Ba

当参与者完成任务后，他们被要求回答2个任务后问题，通过Zoom的投票功能进行管理。第一个任务后问题要求参与者在7分的李克特量表上对找到答案的难易程度进行评分，范围从1=gydF4y2Ba非常困难的gydF4y2Ba7 =gydF4y2Ba非常容易gydF4y2Ba。下一个任务后问题要求参与者用7分李克特量表评价他们对答案的满意度，范围从1=gydF4y2Ba非常不满意gydF4y2Ba7 =gydF4y2Ba非常满意gydF4y2Ba。参与者被要求解释他们每个分数的原因。最后，对参与者进行了半结构化的测试后访谈(gydF4y2Ba多媒体附录1gydF4y2Ba)。参与者能够提供他们喜欢、不喜欢、推荐和其他关于他们使用该工具的经验的意见。测试后访谈问题的答案由研究助理在参与者回答问题时记录下来。gydF4y2Ba

‎gydF4y2Ba

分析gydF4y2Ba

在可用性测试阶段，数据被记录到Excel (Microsoft Windows 7;微软公司)电子表格，并按参与者身份和任务编号进行组织。可用性会议的记录由评论者(PMG、MM、JC和SD)分析，他们被分配观察和记录与任务成功、任务时间、导航和搜索行为相关的指标。每个任务的开始时间被标记为当参与者读完场景并提出任何澄清性问题时。当参与者找到答案或决定自己结束任务时，就会标记结束时间。技术问题或外部中断从总任务时间中删除。为了分析导航和搜索行为，我们捕获了参与者所采取的操作的类型和数量(例如，使用gydF4y2Ba在页面上查找gydF4y2Ba或Ctrl-F，文本输入到常规搜索功能或沃森助手对话框，或点击搜索结果或左侧导航菜单项)。对测试后的访谈回答进行内容分析。对每个问题的相似回答进行分组和统计。将所有定量和定性数据汇编成包含所有参与者的所有指标的数据集。然后根据临床问题类别和3个角色类别(医生、NP和PA)分析指标、任务后问题得分和测试后访谈答案;药剂师;和RN)。我们将医生、孤立的NP和pa归为一类，因为他们都直接与患者一起诊断和治疗健康状况。报告了所有定量指标的描述性统计。gydF4y2Ba

结果gydF4y2Ba

参与者人口gydF4y2Ba

43名参与者完成了可用性测试，他们平均练习了10年(gydF4y2Ba表2gydF4y2Ba)。在14名药剂师中，5名(36%)获得了专业处方(n=3, 60%具有心脏病学专业，并分配了心脏病学处方;N = 1,20%专门从事传染病;n=1(20%为血液学或肿瘤学专业)，其余9(64%)为普通药房。在2名注册护士中，1名(50%)在住院环境中执业，1名(50%)在门诊环境中执业。其余27名临床医生中，21名(78%)为内科医生，1名(4%)为NP, 5名(19%)为PAs，其专业包括心脏病学(n= 2.7%)、内分泌学(n= 6,22%)、内科(n= 6,22%)、感染性疾病(n= 4,15%)、血液学或肿瘤学(n= 4,15%)和神经学(n= 5,19%)。gydF4y2Ba

大多数药剂师(12/14,86%)报告每天或每周至少使用一次Micromedex，而医生、NP和PAs报告在他们目前的实践中每周使用Micromedex少于一次(22/27,82%)。在21名医生中，有1名(5%)报告每天在手机上使用联合溶液(gydF4y2Ba表3gydF4y2Ba)。gydF4y2Ba

易于找到和满意的答案gydF4y2Ba

所有参与者(N=43)完成了7个场景共301个任务。一位参与者因为技术问题而无法使用沃森助手;因此，他们只使用一般搜索功能完成了所有7个场景。总体平均找到答案的容易程度为5.68 (SD 1.57)(医生，NP和PAs: 5.57, SD 1.64;药师:5.98,SD 1.38;RNs: 5.07, SD 1.69)。在71%(5/7)的临床问题类别中，药师对找到答案的容易程度的评价高于医师、NP和PAs (gydF4y2Ba表4gydF4y2Ba)。药师评分(平均6.36,SD 1.34)与医师、NP和PA评分(平均5.19,SD 1.92)在药物不良反应或毒性类别(gydF4y2Ba表4gydF4y2Ba)。gydF4y2Ba

总体而言，对答案的平均满意度为5.97(标准差1.54)(医生，NP和PAs: 5.82，标准差1.6;药师:6.31,SD 1.34;RNs为5.57,SD为1.79;gydF4y2Ba表5gydF4y2Ba)。药剂师对除2个问题类别(疾病和给药或动力学)外的所有问题都给出了>6的评分。医生、NP和PAs的平均评分范围从疾病类别的5.33 (SD 1.69)到药物选择、适应症或治疗问题的6.19 (SD 1.21)。与平均轻松程度一样，医生、NP和PAs满意度评分差异最大的问题类别是药物不良反应或毒性(平均5.89,SD 1.67)和药剂师(平均6.71,SD 0.83)。gydF4y2Ba表5gydF4y2Ba)。gydF4y2Ba

对整体轻松程度和满意度的回应因专业而异(gydF4y2Ba表6gydF4y2Ba)。传染病专家(药剂师:1/ 14.7%，内科医生:4/ 21.19%)认为找到答案的容易程度为4.89 (SD 1.62)，而心脏病专家的平均容易程度最高(6.11,SD 1.51)。使用普通药房脚本的药剂师对答案的平均满意度最高(6.44,SD 1.24)，而内科专家对答案的满意度为5.31 (SD 1.88)。gydF4y2Ba

完成任务的时间gydF4y2Ba

在所有任务中找到答案的总平均时间为1分57秒(标准差1分32秒;范围00分15秒-11分36秒)。药剂师需要更长的时间来完成所有问题类别的任务。药师(4分8秒，SD 4分钟)与医师、NP和PAs(1分33秒，SD 39秒)在疾病问题类别和药物选择或适应症或治疗类别上的平均时间差异最大(药师:3分17秒，SD 1分43秒;医师、NP和PAs: 1分32秒，SD 54秒;gydF4y2Ba表7gydF4y2Ba)。gydF4y2Ba

搜索和导航行为gydF4y2Ba

药师为寻找问题的答案而采取的平均行动(5.14次，SD 3.48次)多于医师、NP和PAs(4.2次，SD 3.44次)，并使用Ctrl-F键gydF4y2Ba在页面上查找gydF4y2Ba在30%(29/98)的场景中出现，而在医生、NP和PAs的场景中出现的比例为15.3% (29/189)(gydF4y2Ba表8gydF4y2Ba)。此外，在31%(25/81)由医生、NP和PAs完成的场景中，以及36%(15/42)由药剂师完成的场景中，他们从Watson Assistant切换到主页查看内容以获得额外的细节，或者因为他们无法在Watson Assistant中找到满意的答案。对于医生、NP和PAs，每个场景中分别有28.7%(31/108)和27%(22/81)的场景出现了多个常规搜索条目和多个Watson Assistant条目。在41%(23/56)的任务中，药剂师在每个场景中输入多个一般搜索条目。gydF4y2Ba

测试后访谈反应gydF4y2Ba

总体而言，81%(35/43)的参与者认为所提供的信息是准确可靠的。在14名药剂师中，8名(57%)更喜欢联合溶液而不是他们目前的系统，10名(71%)会向他们的同事推荐该溶液，而在27名医生，NP和pa中，9名(33%)更喜欢联合溶液，13名(48%)会推荐给他们的同事(gydF4y2Ba表9gydF4y2Ba)。gydF4y2Ba

参加者意见及反馈gydF4y2Ba

大声思考和观察用户行为突出了组合工具的可用性问题。参与者在通用搜索功能和沃森助手为他们的搜索提供精确匹配的能力方面都遇到了挑战。参与者经常会遇到这样的问题:搜索词拼写错误，使用了首字母缩写或缩写，使用了无法识别的同义词，或者输入了太多的单词。另一类可用性问题与内容页面的格式和组织有关。在浏览内容的过程中，参与者提出了一些建议，以帮助定位页面上的信息(更多的图表、表格、嵌入式链接、视觉提示和格式一致性)。其他问题是沃森助手特有的，特别是与参与者在关闭对话框和理解与语音助手的交互时遇到的挑战有关gydF4y2Ba清晰的gydF4y2Ba按钮和搜索条件。gydF4y2Ba

在回答任务后的访谈问题时，参与者都表示他们喜欢将特定疾病的知识与详细的药物信息相结合。他们还喜欢通过超链接提供指南和引文。此外，参与者喜欢一般搜索中的预测性文本和上下文建议。沃森助手的药物-药物相互作用功能，以及沃森助手以一种缩小答案范围的方式提示他们的能力，经常被提及为他们喜欢的东西。gydF4y2Ba

参与者报告了他们认为信息准确可靠的原因。原因包括:答案符合他们在临床环境中的先前知识或经验，该工具引用了临床试验和指南等循证研究，证据似乎不受制药公司的影响，该工具全面，答案深入。gydF4y2Ba

参与者不喜欢通用搜索功能和沃森助手都需要特定的单词或短语来返回快速和相关的结果。他们还表示不喜欢冗长的文本，描述了找到答案所需的时间长度。参与者报告说，他们感觉好像无法找到需要更多亚专业特定知识的问题的答案。gydF4y2Ba

讨论gydF4y2Ba

主要研究结果gydF4y2Ba

具有支持搜索技术的基于web的医学信息资源很常见，但很少有研究评估或改进其可用性，或评估此类工具回答问题的能力。我们评估了用户与DynaMed和Micromedex与Watson组合解决方案的交互，并确定了优势以及潜在的改进机会。我们发现在每个任务上花费的时间有相当大的差异。其中一个原因是参与者在消费信息的方式上存在差异;一些人对额外的细节和参考资料更感兴趣，而另一些人则对一个笼统的答案感到满意。这种行为与先前的一项研究一致，医生报告说，使用电子资源的障碍与知道何时停止搜索答案的困难有关[gydF4y2Ba6gydF4y2Ba]。完成任务的时间也可能受到参与者先前使用POCI工具的影响，因为据报道，参与者先前的经验与回答时间以及对答案的信心和满意度之间存在联系[gydF4y2Ba4gydF4y2Ba]。因此，使用这些工具的经验水平也可以解释参与者在任务容易程度和满意度方面的一些差异。gydF4y2Ba

总体而言，药剂师发现DynaMed和Micromedex与Watson相比更容易使用，并且对答案更满意(gydF4y2Ba表5gydF4y2Ba)。药剂师通常有更多使用Micromedex的经验，这可能是这些发现的部分原因。使用Micromedex经验丰富的药剂师可能更了解如何最好地阐明临床问题，以便进入通用搜索功能以获得有用的答案。此外，药剂师花更多的时间在任务上，采取更多的行动来寻找他们的答案。这种额外的努力可以反映他们的临床作用，药剂师通常使用POCI工具来帮助其他临床医生回答药物信息问题。相比之下，医师、NP和PAs的体验不同，他们倾向于在<2分钟内完成任务，平均轻松度和满意度评分低于药剂师。内科医生对他们的回答最不满意。在实践中，医生因使用电脑而受到相当大的时间限制和认知负担[gydF4y2Ba24gydF4y2Ba，gydF4y2Ba25gydF4y2Ba]。医生观察到的和描述的问题包括扫描文本、内容页面的组织和视觉层次的挑战，以及对更多对临床实践有用的知识的渴望。这些结果表明，与执业医师、专科医师和执业医师相比，临床药师可能需要不同的要求来满足需求。这些因素可能解释了为什么更多的药剂师会向他们的同事推荐联合工具，而不是医生，NP和pa。这也可以解释为什么更多的药剂师更喜欢使用组合工具，而不是他们目前使用的医生，NP和pa。gydF4y2Ba

然而，一些改变可能会使医生和注册护士更容易获得这种联合解决方案。搜索功能，支持更广泛的差异，在临床医生的临床问题形成一般搜索将是有利的。一项研究显示，住院医生很难提出"可回答的问题"，以提供最相关的证据[gydF4y2Ba6gydF4y2Ba]。沃森助手还将受益于能够适应临床医生使用的更多自然语言，如缩写词、首字母缩略词和同义词。先前的一项研究表明，Watson Assistant会话代理能够匹配会话代理可回答的80%查询的意图[gydF4y2Ba7gydF4y2Ba]。我们的研究能够通过一组已知可由DynaMed和Micromedex与Watson回答的标准场景来检查不同临床角色与组合解决方案的用户交互。我们发现，尽管参与者是成功的，并且通常能够最终找到答案，但超过一半的参与者(24/ 42,57%)必须多次在Watson Assistant中输入搜索词，略多于三分之二的参与者(29/ 42,69%)至少一次查看Watson Assistant之外的网站内容以获取更多信息。此外，对于许多参与者(28/43,65%)，特别是药剂师来说，使用Ctrl-F功能在内容页上查找信息是他们成功的关键。关于这些工具可用性的研究和临床医生使用情况的观察很少。我们只发现了一项密切相关的研究，重点比较了DynaMed和UpToDate两种工具的效率、满意度和准确性[gydF4y2Ba4gydF4y2Ba]。研究发现，临床医生对UpToDate更满意，并且更快地找到答案，尽管使用这两种工具的答案准确性相似。作者假设，对UpToDate的更熟悉可能影响了这些结果[gydF4y2Ba4gydF4y2Ba]。我们的研究旨在揭示潜在的可用性问题或角色使用模式，这可以帮助解释这些工具在满意度和效率方面的差异。如果发现的问题与用户共享并在产品增强中得到解决，那么研究与系统更详细的交互可以为临床医生带来重要的好处。gydF4y2Ba

限制gydF4y2Ba

本研究有几个局限性。首先，用户可能会认为他们遇到的可用性问题与DynaMed和Micromedex与Watson组合工具的设计或性能无关，而是因为用户自己不熟悉该工具[gydF4y2Ba26gydF4y2Ba]。这就解释了为什么用户很难找到答案，但在回答任务后的问题时仍然给出了很高的评分。其次，我们对同一组织的临床医生进行了可用性测试，这可能会影响我们的发现在使用DynaMed和Micromedex与Watson的其他机构的推广。临床医生的信息寻求行为可能会因年龄、技术经验、医疗经验、地理位置和资源获取等多种因素而有所不同[gydF4y2Ba27gydF4y2Ba]。测试更多的参与者和更多的用户分组可能会为推广研究结果提供更有效的方法[gydF4y2Ba28gydF4y2Ba]。因此，在广泛的临床医生中继续进行可用性测试是很重要的，以确保所有的用户体验都能被识别和处理。gydF4y2Ba

第三，虽然我们试图通过临床问题的类别和类型来规范脚本，但脚本仍然存在差异(如问题的难度和措辞)。这些差异可能会影响参与者在理解和回答问题时的体验。此外，为特定角色(注册护士和药剂师)以及特定专业创建个人脚本会导致与特定参与者使用哪种脚本相关的一些不一致，例如，专业药剂师使用专业脚本而不是通用药房脚本进行访谈。这样做是为了为较难招募的专业提供足够的样本量。然而，这被证明有助于深入了解结果是否受到专业的影响。第四，也是最后一点，我们的研究是在COVID-19大流行期间进行的，这导致为每个专业招募更多参与者的挑战。对于感兴趣的注册护士参与者来说尤其如此，他们的可用性因患者护理所需资源的需求增加而大大减少。为了解决安全和时间安排问题，可用性测试是远程进行的，与现场测试相比，这可能会影响结果[gydF4y2Ba29gydF4y2Ba]。与不同专业的临床医生进行额外的测试，可能会对与他们的实践、交互行为和这些专业的工作流程考虑相关的问题类型提供有意义的见解，这有助于确定并优先考虑对组合工具的定制改进。gydF4y2Ba

结论gydF4y2Ba

这项研究是第一个测试DynaMed和Micromedex与Watson联合解决方案的可用性的研究之一，现在被称为DynaMedex。这也是第一个比较不同内容类别和临床医生角色的问题回答的容易程度和满意度的研究之一。我们发现，尽管应用程序总体上表现良好，但药剂师能够最有效地使用它来寻找答案，而医生和注册护士在寻找所需信息方面则遇到更多困难。我们确定了可以对该工具进行的多个更改，以提高其可用性，特别是对于没有经验的用户。了解信息寻求行为的决定因素是帮助医生在护理点上找到药物和疾病管理问题的答案的关键。gydF4y2Ba