为了分析医疗保健专业人员的在线搜索行为，我们使用了UpToDate的2年使用日志，从2011年1月到2012年12月。我们使用文本挖掘和统计方法相结合的方法来分析这些日志，以确定搜索的总体趋势，发现搜索词与后续访问UpToDate主题页面(“主题视图”)的时长之间的关联，以及主题视图序列中的模式，并监测卫生保健专业人员对FDA警报的吸收情况。在接下来的小节中，我们将描述搜索日志的结构、文本挖掘方法和分析UpToDate用户行为的方法，以及识别搜索和主题视图中的模式的方法。

单个UpToDate用户事件的日志由以下部分组成:(1)查询字符串，(2)惟一会话ID，(3)搜索位置，(4)搜索的时间戳，以及(5)操作类型(例如，当用户单击UpToDate页面中的链接时，在网站搜索栏中进行的字符串搜索，主题视图或子主题视图记录)。

我们限制了这个数据集，只考虑在美国购买了UpToDate许可证的网站上执行的搜索或页面浏览量(即，我们排除了UpToDate的试用版或营销版用户，以及在美国以外的计算机上执行的搜索)。使用的数据集包含2.12亿个搜索查询及其对应的主题视图。

我们使用之前描述的文本处理工作流的变体处理所有自由文本搜索[ 27， 28］．我们使用Unitex语料库处理器，使用从生物医学本体和术语编译的包含300多万个术语的词汇库对搜索字符串进行注释，其中术语和概念通过同义词和父子关系进行映射。这个注释过程的输出是每个查询字符串的术语列表，每个查询字符串都映射到一个或多个生物医学概念。词典中的概念依次映射到四种语义类型中的一种——疾病和症状、药物、医疗设备和程序。

使用文本处理管道的输出，我们计算了所有使用日志中每个术语出现的频率，并使用这些频率来分析医疗保健专业人员搜索UpToDate的方式。我们首先使用以下特征分析了搜索行为:季节性、搜索时间长度、身体系统、医疗概念类别，以及2011年和2012年关于医疗条件的费用和出院率的全国统计数据。我们使用与每个搜索相关联的时间戳来按月和年聚合搜索。我们使用术语中的概念映射来标识10个主要身体系统的术语集:心血管、呼吸、消化、内分泌、血液和免疫、皮肤、肌肉骨骼、口腔和下颌、神经和泌尿生殖系统。使用这些术语集，我们统计了包含与给定身体系统相关的任何术语的搜索次数。使用术语中的概念映射，我们确定了最常搜索的疾病/症状、药物、设备和程序术语，并对每个身体系统的这些类别的分布进行量化，以评估作为数据源的搜索日志的全面性。

为了探索搜索行为和美国医疗状况的全国趋势之间的关系，我们从对应于医疗成本和利用项目(HCUP)临床分类系统(CCS)代码的词典中创建了自定义术语集。我们从构成每个CCS代码的国际疾病分类第9版(ICD-9)代码开始，收集了每个ICD-9代码的统一医学语言系统(UMLS)元词概念。然后，我们在更大的词汇库中利用术语-概念映射来扩展与这些概念相关的术语集(参见 图1)，并手动检查术语集，以删除过于宽泛或不正确的术语。我们使用这些策划的术语集来识别UpToDate中与医疗条件或程序相关的搜索，这些医疗条件或程序的全国数据可从HCUP全国住院患者样本中获得。

我们使用所有搜索和主题视图的时间戳来确定在给定搜索之后的主题视图持续时间。主题视图持续时间是通过计算一个主题视图事件的时间戳与下一个事件的时间戳之间的差值来计算的——要么是搜索，要么是查看完全不同的主题。如果会话中的最后一个事件是一个主题视图，那么该主题视图事件将被排除在我们的分析的这一部分之外，因为如果没有后续用户操作的日志时间戳，就无法计算该主题视图的持续时间。根据在搜索后花费在所有主题页面上的时间的日志归一化分布，我们使用日志归一化持续时间值的平均值(转换回秒)作为决策边界，对花费在给定主题页面上的时间量进行分类。小于此边界的持续时间被分类为 短的点击，超过这一界限的持续时间被分类为 长点击．

我们将发起一个给定主题视图的所有搜索分组，以计算每个主题的长点击和短点击的比例，并确定导致一个主题视图的唯一搜索词的数量。我们还将来自一个独特搜索词的所有主题进行分组，以计算源自该搜索词的长点击和短点击的比例，以及每个搜索词引发的主题数量。

UpToDate内容结构为主题，每个主题都有一个专门的页面，其子部分包含更具体的信息。除了分析搜索文本之外，我们还使用日志来研究UpToDate用户在会话中如何从一个主题进展到另一个主题，并分析启动主题视图序列的搜索词。 图2总结我们的方法。我们首先根据它们唯一的会话标识符对搜索进行分组，并根据时间戳对条目进行排序。对于每个包含两个或多个主题视图的序列，我们计算该序列出现的次数，以及在该序列之前出现的搜索词及其出现频率。

2011年8月24日，FDA发布了一份警告，描述了与高剂量西酞普兰(商品名Celexa)相关的不良心血管事件的风险。我们检查了UpToDate日志中与同一时间段的消费者在线媒体活动相关的此警报的接收情况。我们使用大量的在线媒体收集来比较在UpToDate搜索日志和在线新闻媒体中与Celexa相关的词汇的相对频率。网络媒体集合包括2009年至2014年间发布在网络上的超过60亿篇在线新闻文章、新闻连线和博客文章[ 29， 30.］．单个条目包括文章的标题、时间戳、URL以及文章内容。为了获取文档，我们使用了Spinn3r Web服务[ 31]，该系统每天监测2000多万个互联网来源，检索约320万份新文件。这本书几乎代表了美国在线媒体空间的全貌。

我们从UpToDate日志中获得了新闻媒体集合中celxa相关搜索词的每日提及计数，以及特定一天中所有celxa相关搜索查询的每日累计计数。利用这些数据，我们计算出与Celexa相关的每日搜索查询总数的7天移动平均值。同样，我们计算了包含celex相关术语的在线媒体文章的日计数和7天移动平均值。为了支持UpToDate和在线新闻计数的覆盖，我们将UpToDate计数扩大了10⁷．我们认为偏离2年时间内的平均发生次数是一个信号。

UpToDate的使用主要是对疾病状况和症状的搜索，并且显示出显著的季节性变化。查询量高的疾病和症状并不是对美国医疗保健系统负担最大的。例如，在研究期间，头痛和病毒感染是搜索最多的20种医疗状况之一，但它们的相对总成本和出院率较低。我们还发现，一些总费用较高的医疗条件和程序查询量较低，如心脏病发作和情绪障碍。按查询量排名前1%的机构负责美国约21%的查询，每家机构平均发出170万次查询。其余的问题在全国范围内广泛分布，其中一些问题来自50个州的每个州。

我们以三种方式总结了搜索和随后的主题视图。对于主题，我们发现停留时间比平均时间长(也称为 长点击)的初始搜索词明显少于停留时间低于平均水平的人( 短的点击)．对于搜索词，我们发现由给定的搜索词发起的主题视图，平均来说，要么比平均主题视图持续时间长(即，搜索词总是导致长时间的点击)，要么平均比平均主题视图持续时间短(即，搜索词总是导致短时间的点击)。最后，我们阐明了经常出现的搜索和主题视图序列的模式，它们通常从搜索一个疾病术语开始，以与该疾病的治疗方法相关的主题结束。

然后，我们描述了卫生专业人员对2011年FDA药品警报的“反应”——服用大剂量西酞普兰(Celexa)时心脏节律异常的风险——在寻求信息行为方面的变化。我们将UpToDate网站上关于西酞普兰(Celexa)的搜索量与2011年FDA警告后新闻网站上这些术语的提及量进行了比较，发现医疗保健专业人员在日常工作中对警告的理解与普通公众明显不同。在FDA发出警告、新闻网站首次出现提及西酞普兰的次数激增10多天后，UpToDate上有关西酞普兰的搜索量达到了峰值，但持续的时间要长得多。

为了描述用户搜索和消费UpToDate内容的方式，我们分析了用户执行的搜索与查看作为这些搜索结果返回的UpToDate主题所花费的时间之间的关系。正如方法部分所描述的，我们使用主题视图持续时间的分布来决定截止持续时间(143.79秒)来将每个主题视图分类为 短点或者一个 长按．然后我们确定每个主题的长时间点击比例。左面板 图6显示跨主题的长点击比例分布。我们使用异常值的Hampel标识符来确定长点击的高(0.70)和低(0.19)比例的阈值(如左面板中的虚线所示) 图6)．

长时间点击比例高的主题来自于明显少于短时间点击的主题的独特搜索。长时间点击比例高的主题平均有10.37个唯一初始搜索词(SD 22.13)，中位数为4个(四分位范围[IQR] 2)。这明显低于平均29.29 (SD 50.22)和中位数12 (IQR 8)个具有高比例短点击的主题的初始搜索词( P<措施;曼-惠特尼U检验)。

相比之下，搜索的长时间点击比例(由给定搜索词发起的长时间点击的主题视图的比例)的分布明显是双峰的(右图) 图6)．搜索结果要么没有长时间的点击，要么大多是长时间的点击。这表明，虽然主题通常有许多搜索词，让用户在该主题上停留很长一段时间，但给定的搜索词要么总是导致长时间的点击，要么总是导致短时间的点击。 表1列出总是导致短点击的前10个搜索词(按日志中的频率排列)。搜索结果总是很短的点击可能是过于具体的术语，无法返回有用的内容或包含排版错误(例如，“嗜铬细胞瘤”和“probencid”分别是疾病嗜铬细胞瘤和药物probenecid的拼写错误)，但有些可能被添加到UpToDate内容中。 表2列出总是导致长时间点击的前10个搜索词(按日志中的频率排列)。

表3列出长度为3和4的最常观察的主题序列，以及发起它们的搜索。我们发现，长于4的主题序列有很高的主题“切换”比例(在两个主题之间反复交替)，因此没有显示。这些主题序列有一个共同的模式:疾病或病情概念的主题视图之后是该疾病的药物或治疗的主题视图。

最后，我们使用UpToDate日志中的用户搜索活动来监测医疗保健专业人员对FDA警报的响应。具体来说，我们测量了抗抑郁药物西酞普兰(商品名Celexa)在2011年8月24日FDA警告使用西酞普兰时心脏节律异常风险之前和之后的相对搜索量。如方法中所述，我们将UpToDate中的相对查询量与在线媒体中药物提及的相对量进行了比较 图7而且 多媒体附件1)．

在线媒体显示，在警报发布的同一天，与celex相关的词汇出现了小幅飙升，在随后的几天里急剧上升，大约在10天左右达到峰值。相比之下，Celexa的UpToDate查询量直到10天才增加 后但在接下来的大约60天里，在一般在线媒体上与celex相关的活动恢复到基线水平很久之后，查询量一直很高。

在发出警告后，发起celexa相关主题视图的唯一搜索词的数量要高得多 表4)，但这些主题的长时间点击比例在警报后有所下降。如果只考虑预警前后2个月(数据未显示)，这种差异甚至更明显。Celexa页面的平均主题浏览时长在FDA警报后也显著降低(警报前约9个月为842.31秒，警报后约9个月为744.36秒)。

在FDA发出警告后，搜索特异性也有所增加。“西酞普兰”或“Celexa”与“长qt期”、“心脏”或“节律”的搜索数在警报前只有2次，在警报后只有34次，证明了FDA警报的效果。

这是第一个利用专门的循证医学信息资源分析医疗专业人员在线搜索行为的研究。我们的发现可以为UpToDate等资源的设计更改提供信息。例如，只导致短点击的搜索词(表明搜索结果对搜索者没有用处)潜在地确定了对新内容或新搜索词的需求，而只有高比例长点击的搜索词和主题表示覆盖广泛的主题。在搜索量上有季节性变化的搜索，例如流感和相关药物的搜索，可以在适当的季节突出显示，以使内容更容易获得。这样的分析可以通过考虑用户行为(消费者网络公司经常进行的一项活动)来提高内容的利用率。

最近在挖掘医疗领域Web日志方面的工作涉及使用消费者日志进行药物警戒[ 13， 16， 32］．这些研究使用统计方法从消费者搜索日志中检测出显著的单药和多药不良事件关联信号，考虑到药物搜索与不良事件之间的时间长度，并使用已知的药物诱发不良事件作为金标准来评估其方法的性能。例如，对消费者搜索日志的分析显示，通过量化同时搜索普伐他汀和帕罗西汀时出现高血糖的搜索的歧化程度，与只搜索其中一种药物时同时出现高血糖的搜索相比，可以发现高血糖、普伐他汀和帕罗西汀之间存在多种药物不良事件关联的证据[ 32］．第二项研究表明，与单独使用任何一种来源相比，将FDA不良事件报告系统(FAERS)的数据与消费者搜索日志相结合，将药物不良事件检测的准确性提高了19% [ 16］．我们在这项工作和最近一项初步研究中的发现[ 33]表明，将医疗保健专业人员的搜索日志纳入药物警戒是一种有前途的方法。

2011年FDA对西酞普兰的警报被清晰地反映在UpToDate日志中，显示了该数据源作为评估疗效和衡量卫生保健专业人员对FDA警报的吸收的一种手段的潜力。这一发现也得到先前工作的支持，该工作演示了对监测流感流行的UpToDate使用日志的分析[ 24］．结合最近发表的从最近FDA标签更改和警告中提取的药物不良反应时间索引参考集[ 34， UpToDate日志可以大规模分析医生对FDA标签更改和警告的反应。我们的数据提取(2011-2012年)与时间索引的标签变化不重叠。然而，通过获取最近的数据，这样的分析有可能让FDA更广泛地了解他们的警报的有效性。

通过测量关于器官系统、疾病和药物的搜索量随时间的变化，以及通过量化搜索量变化和相关事件之间的关系，搜索日志分析可能为监视提供额外的机会。这种监测可以监测传染病暴发，或观察对卫生保健系统构成重大负担的健康状况的流行变化。开发监测这些变化的方法是可能的，并且先前已经通过使用消费者互联网搜索日志来预测医疗保健利用、检测流感爆发和跟踪处方药使用证明了这一点。使用卫生专业人员搜索日志来改进此类使用案例是一个研究领域，它有可能通过疾病爆发的早期预警来改善公共健康，并通过监测医生对FDA通信的响应来评估其疗效，从而改善药物安全监测。

我们的方法有几个限制。虽然UpToDate搜索和主题视图的位置、时间和相关用户许可是已知的，但我们没有UpToDate用户身份的信息。我们预计绝大多数获得UpToDate许可的用户是医疗保健专业人员(即，医生、护士从业人员和/或研究人员)，但也有可能有些日志捕获了患者或其他类型的消费者使用UpToDate的情况。类似地，一个唯一的会话标识符将搜索和主题页面视图联系起来，但是在一个会话中有可能存在多个具有不同信息需求和行为的用户。依靠原始日志，我们无法识别会话内的用户切换，结果可能是由不同用户实际执行的关联搜索和主题视图，因此它们是不相关的。然而，已经有研究致力于开发自动确定Web日志数据会话边界的方法(包括用户切换)。 - - - - - -例如，在Göker和He [ 35和默里等人[ 36——这可以用来解决这个潜在的缺点。此外，正如方法中提到的，我们忽略了作为会话中最后事件的主题视图事件，因为不可能计算这些主题视图的页面查看持续时间。这使得可供分析的主题视图事件数量减少了22%;剩下的78%的主题浏览量跨越了所有会话的63%。最后，我们的发现是基于2年的相对较短的监测周期——对较长时间的日志进行分析可以揭示新的关联或不同强度的关联。

更普遍地说，应用于web规模搜索数据的数据挖掘方法可能存在方法论上的缺陷。2013年初，人们发现谷歌流感趋势系统高估了流感流行率，预测的值远远高于美国疾病控制中心的估计。如果没有重新校准方法以调整有外部原因的时间波动，例如媒体对不寻常的2012-2013流感季节的报道导致更多与流感相关的搜索，就可能出现此类不准确性[ 37］．对谷歌流感趋势数据的分析发现，其每周的预测误差彼此相关，并表现出季节性[ 38]，表明额外的混杂变量(包括谷歌搜索算法本身的变化)可能是观察到的搜索词流行率变化的部分原因。在解释我们的FDA警告发现时，应该考虑这些潜在的混杂因素，但由于我们无法访问UpToDate搜索引擎功能或排名算法，所以不能将这些混杂因素包括在我们的分析中。

我们的结果表明，挖掘UpToDate搜索日志为医疗保健专业人员的信息寻求行为提供了独特的见解，以及这种行为与与疾病状态相关的医疗保健利用之间的关系。我们的结果使我们能够了解卫生专业人员在日常工作中的信息需求，以及搜索词和主题视图之间的关系——其中很大一部分包括一个疾病或病情概念，然后是该疾病的药物或治疗方法。最后，我们能够使用UpToDate来量化FDA对严重药物不良事件警报的吸收，说明了分析搜索行为在国家层面上监测FDA警报响应的新用法。