我们的数据集由未识别的移动互联网搜索日志组成，这些日志代表了2015年3月至2015年5月期间，百度搜索引擎的950万搜索用户进行的超过10亿次搜索，这些数据在一个合作研究计划下可供作者访问。搜索日志包含搜索文本(中文)、时间戳和搜索位置(经纬度)，表示从中国境内的位置进行的搜索。根据在靠近医院的移动设备上搜索的证据来确定医疗保健利用情况，容易出现假阳性和假阴性。搜索用户可能在医院内部或附近工作，或者可能经过医院，并且在他们从医院附近的位置进行搜索时可能不是医疗保健资源的消费者。类似地，搜索用户可以作为患者访问医院，但在访问期间不进行搜索。我们承认，如果仅仅根据在医疗设施的地理范围内进行的搜索来分配标签，就不可能完全消除假阳性和假阴性。然而，通过显式过滤掉“弱”标签，我们成功地减少了数据中的误报数量。

在上述日期之间发生的所有搜索中，我们排除了在医院200米范围内搜索的搜索用户，但他们在该地点出现的证据少于900秒。我们还排除了一个月内在医疗设施附近搜索超过15次的用户，因为这些用户可能是在附近居住或工作的人，或者他们可能是医疗保健专业人员。最后，我们排除了在不同医疗机构附近一个月内搜索超过五次的用户。其余400万搜索用户的搜索日志被视为访问医疗设施的证据，并从中随机抽取150万不同的搜索用户。我们从所有不在已知医疗设施地理范围内的搜索中抽取了一个按比例随机样本，以获得800万没有访问医疗设施证据的不同搜索用户，从而得出950万搜索用户的总数。在缺乏相关用户信息的情况下，我们对可用搜索日志的天数进行了匹配控制。

因为我们有兴趣研究搜索日志的时间特征，最终以访问医疗设施为终点，我们选择了那些在最后一次访问医疗设施之前的42天或更长时间内都有搜索日志的人(我们发现，更高的阈值将显著减少我们的队列规模，并对统计能力产生不利影响)。在本文的其余部分中，我们将这一群体称为“患者”。

我们将患者和对照组的搜索日志按搜索日进行分区，其中搜索日 n是 n在搜索用户可使用日志的天数序列中，位于端点之前的天数。对于患者，我们将终点定义为他们第一次到医疗机构就诊的日期。对于控件，端点是从每个用户的搜索日志中随机选取的。在排除访问医疗机构的最后一天之后，我们可以定义一个分析窗口，其中包含41个连续的患者搜索日。我们定义了一个类似的分析窗口，包括41个连续搜索日，以第一个搜索日为终点。 图2说明了搜索日志数据的纵向分区，如前所述。

我们选择了三类特征来研究在连续的搜索日中患者和对照组的搜索日志中的歧视性模式。类，如 表1，在分析窗口中表示每个搜索日的搜索日志的一般属性、搜索文本的语义属性和搜索日志的位置属性。我们还创建了基于在整个分析窗口上聚合的搜索日志属性计数的聚合特性。

有研究表明，网络搜索的语言结构会影响从网络搜索引擎中检索信息[ 17]。在一项比较来自移动设备和来自pc的搜索特征的研究中，Jadhav等[ 18]显示，健康搜索查询往往比一般搜索查询更长。我们选择在常规特性中包含与文本搜索长度和搜索会话持续时间相关的属性。一个搜索会话表示通过搜索结果中返回的最突出的主题链接在一起的几个搜索，较长的会话可能表明搜索用户的兴趣从一般到更具体的概念的演变。我们还将搜索次数和与医疗保健相关的搜索次数包括在我们的汇总功能和每日功能中，因为用户对医疗保健问题的关注程度可能与他们为寻求安慰或补救而搜索信息的次数相关。

早期关于互联网用户健康信息寻求行为的研究已经研究了搜索行为与搜索用户健康关注之间的关系。例如，有研究表明，根据特定网站的平均页面浏览时间来评估，医生的信息寻求行为与一般的在线媒体活动不同[ 19]。病人的健康焦虑也被证明与特定的搜索模式有关，例如紧张的搜索活动被平静的时期所打断[ 20.]。为了在我们的数据中捕获利用率者和非利用率者之间这种模式的差异，我们计算了一个间隔减少分数(请参阅 多媒体附录1)，为每名用户的每一个查册日( 图3)。

对于两次或更少搜索的搜索日，间隔减少得分为1。我们用不同的w值进行了实验，当w值很小，接近0.1，并且在一个搜索日中只考虑与医疗保健相关的搜索时，我们得到了最好的结果。

我们数据集中搜索查询的语言对我们的分析提出了一个独特的挑战。一方面，我们可以利用汉语的优势，如缺乏动词变位和复数形式。此外，这使我们能够捕捉到习语背后的含义，而这些习语可能很难翻译。另一方面，英语符号将使我们能够使用更广泛的现有语言分析工具。因此，我们平衡了这两种方法，分析了我们的中文标记，并进行了翻译，并进一步分析了英文标记。

对于我们的中文语义分析，我们使用带有Bonferroni校正的Fisher检验确定了患者和对照组使用的丰富标记。我们还评估了在任何给定日期搜索每个标记的患者和对照组的数量，并比较了患者和对照组之间的术语频率。我们从这两个分析中获得令牌的联合，并且在手动检查过程工件的特征之后，将性能最好的100个令牌作为特征包含在后续分析中。在此分析之后，来自医疗保健查询的所有标记都被从中文翻译成英文，用于下游分析( 图4)。

为了模拟患者和对照组在搜索日之间搜索内容的变化，我们进一步选择使用一种在临床文本挖掘研究中得到验证的方法来明确表征搜索文本中的医疗内容。

尽管搜索文本的形式和结构与患者记录中的自由文本有着根本的不同，但我们注意到，从语言学的角度来看，两者的某些方面惊人地相似。直观地说，人们可以利用这种相似性，使用经过验证的工具和技术来描述前者的词汇覆盖，从而实现与后者相似的目标。特别是，在搜索文本和临床文本中，使用格式错误的句子、缩写和拼写错误是常见的，这促使我们选择生物医学术语来识别和描述搜索文本中医学术语的使用。我们决定使用来自统一医学语言系统(UMLS)和biopportal的22个临床相关本体的广泛术语[ 21]。该词典代表了310多万个术语，这些术语映射到近120万个概念，基于该词典的临床文本注释的功能评估显示，它与更复杂的基于自然语言处理的方法是等价的[ 22]。由于UMLS提供了从每个概念到一个或多个语义类型的映射，通过将相关的语义类型合并到表示疾病、药物、设备或过程的组中，可以通过确定它们的组成员关系来实现搜索词的细粒度特征。然而，由于UMLS语义网络定义的语义类型代表了生物医学概念之间的关键关系，因此使用这些语义类型推断搜索文本的医学语义可能会有噪声。我们最初的实验结果显示，由于词典的领域特异性，出现了许多错误归因的例子。例如，搜索文本中常见的术语(例如，dame, gift, blade)被映射为医学概念，分别分为药物(d - ala2 -蛋氨酸脑啡肽)，程序(输卵管移植中的配子)和设备。为了解决这个问题，我们调查了这种错误归因是否在某些语义组中比其他语义组更明显。我们根据翻译文本中的标记是否映射到前面提到的四个高级语义组中的任何一个，将训练集中的搜索文本分为医疗保健和非医疗保健类别。然后，我们将隔离与基于百度知识图的独立分类进行了比较。然后，我们重复了这个实验，每次都去掉四个语义组中的一个，以便对搜索文本进行医疗保健分类。

我们观察到，忽略器械亚组导致两种分离之间的总体一致性得到改善(从所有四组的15.2%到仅使用药物、疾病和程序时的40%)，而忽略其他组则没有表现出改善。因此，我们使用单个搜索的成员计数到分组药物、疾病和程序中，以指示在给定搜索日查询中医疗内容的性质的特征。我们注意到，药物、疾病和程序的语义组代表了UMLS中最大的概念组[ 23- 25，因此，在基于词典的语义分析方法中，它们可能是最相关的组。类似地，跨整个分析窗口的成员计数产生与医疗内容相关的聚合语义特征。

已知医学搜索所返回的信息会影响与健康有关的关注，而健康又会调节随后的搜索行为[ 20.]。对常见症状的关注已升级为对严重和罕见疾病的搜索[ 26对健康的焦虑可能会影响医疗保健的使用意图[ 3.]，可能会促使他去医疗机构。因此，我们感兴趣的是模拟搜索的演变，从关于症状的一般查询发展到关于严重健康状况的特定查询。我们选择使用搜索中最具体术语的信息内容分数作为搜索主题普遍性的指标。信息内容评分利用医学本体的层次结构来确保特异性的单调非递减度量，并且可以基于语料库中术语的文档级频率来计算。对于映射到医学术语的搜索词，我们从分段搜索文本中计算会话级信息内容分数。与其他语义特征一样，我们为给定搜索日的所有搜索选择最高的单日得分，以衡量搜索特异性。

为了构建位置特征，我们将位置标签附加到搜索的纬度和经度坐标。我们使用了Gecko Landmarks (Gecko Landmarks Ltd, Espoo, Finland)应用程序接口(API)，它以纬度和经度作为输入，并输出10个距离这个参考位置最近的地标，以及每个地标的名称和类别标签。例如，对于纬度39.903651 E, 116.415505 N给出的参考位置，Gecko API返回北京医院作为最近的地标，类别标签为“医院”。

我们将每个地理坐标四舍五入到小数点后四位，然后进行唯一性过滤。这导致了少于1000万的坐标对，而精度却没有明显的损失。精确到小数点后四位的坐标代表了大约11米的精度，我们认为这足以满足我们的位置特征。然后，我们获得了访问Gecko服务器的速率限制实例的权限，并对我们唯一的分类坐标进行了批量转换，以获得各自的位置标签( 图5)。地标的批量列表被合并并映射回原始位置坐标，我们以此为基础构建特征矩阵。具体来说，这些特征是用户对给定地标类(如健康、餐馆)的搜索次数。我们还根据位置名称中的单个单词创建了功能。例如，从一栋教育大楼进行的搜索可以在Gecko API识别的位置名称中包含单词“小学”或“大学”。虽然大学和小学都有“教育”的类别标签，但它们在预测住院率方面的作用相反;在患者的搜索日志中，前一个术语是丰富的，而后者则略有减少。我们使用二进制(0,1)变量指示搜索位置名称中是否存在单词标记。基于位置名称中的单个令牌的特性捕获了额外的粒度，而无需预先对位置名称施加结构。

我们基于聚合和日特征构建了各种有监督的机器学习模型。在拟合我们的模型时，总特征集和每日特征集被分为80%用于训练，剩下的20%用于测试。考虑到特征的稀疏性和相关性，我们主要关注于使用正则化模型来降低特征集的维数并避免过拟合。所有机器学习分析均使用R 3.2.0 (R Development Core Team, Vienna, Austria)进行。我们选择了线性、非参数和集合方法来评估最适合我们数据的方法。对于线性模型，我们使用“glmnet”软件包构建了套索、山脊和弹性网模型。对训练集进行五重交叉验证，以确定lasso和ridge分类的最佳调谐参数lambda。对于弹性网，通过网格搜索确定lambda和alpha。在产生最小交叉验证误差的lambda的1个标准误差范围内的lambda被选择用于这些模型，以防止过拟合。除了线性模型之外，我们还使用高斯核(使用e1071)和随机森林模型(使用“randomForest”包)构建了支持向量机(SVM)模型。 For our SVM models, gamma was set to 1 divided by the number of features, and the cost was chosen via cross-validation. To evaluate the performance of our models, we constructed receiver operating characteristic (ROC) curves. We used the area under the curve (AUC) of the ROC curve to compare the performance of our classifiers in the held-out test sets.

正如特征工程部分所描述的，我们最初的特征设计选择是根据之前工作中产生的见解以及我们挖掘医学内容的经验来指导的。我们的三个特性类别分别尝试基于一般搜索使用、搜索内容和搜索位置来区分利用者和非利用者。从位置标签中学习空间轨迹模式和从嵌入式搜索文本中学习语言模式需要使用机器学习中不同子领域的方法，每个子领域本身都是一个活跃的研究领域。为了指导特征设计和改进的进一步工作，我们测量了三种特征类别中每一种对预测性能的单独贡献。我们在三个不同的特征矩阵上训练了三个模型，每个模型只包含三个特征类别中的两个。每个模型都以相同的方式对测试数据进行了测试。

我们通过b百度的移动搜索广告系统进行的实验验证了我们的预测模型，该系统根据用户点击量向广告商收费。在线评估中使用的模型经过修改，以符合商业限制(例如使用位置api)。然而，该模型包含类似的特征类别，从原始搜索日志数据重构。通过该系统做广告的医疗机构对每转换成本(CPC)低和更高的展示转化率感兴趣，这意味着更有效地利用广告预算。我们的目的是测量广告转化和医疗保健利用预测之间的关系。特别是，我们希望评估向预测的医疗保健使用者展示医疗设施广告是否会导致更高的显示转化率，“转换”定义为搜索用户满足以下两个条件的单个医疗保健利用率:(1)搜索用户在转换前1个月内没有使用同一医疗设施;(2)搜索用户在看到该特定医院的广告后2周内使用了该医疗设施。

直观上，第一个条件限制了转化为新的医院利用而不是再入院，而第二个条件鼓励了广告展示和住院之间的关系。在条件2和因果关系之间建立联系的严格论证超出了本文的范围。相反，我们建议感兴趣的读者参考这一领域的相关著作[ 27， 28]及其中的参考资料。

在将模型部署到生产环境之前，我们进行了离线评估。我们的目的是确定预测的医疗保健利用得分对真实后验转换数据的有效性。我们首先收集了2015年6月1日至6月7日期间看到医疗机构广告的所有搜索用户的日志。使用我们的预测模型，我们根据这些用户从2015年5月2日到5月31日的搜索日志为他们生成了医疗保健利用得分。对于每个搜索用户A，我们获得了一个预测的医疗保健评分(0到1之间的实数)和一个转换标签(0或1)。我们采用了以下度量，与传统的AUC相比，它被认为对手头的评估任务更具可解释性。我们根据这些搜索用户的预测分数对他们进行排名，并绘制了显示转化率与风险分数的关系。搜索用户的本地节目转化率定义为以用户风险评分为中心的t人窗口内的转换比例( 图6)。给定风险分数下的本地节目转化率表示接近给定风险分数的人的近似转换概率，并且与我们的模型在在线实验中采用的方式一致(在以下部分中描述)。

每天根据搜索用户前一天的日志生成医疗保健利用预测分数。使用百度的MapReduce框架进行特征生成和预测。MapReduce作业运行在一个拥有50台HPC机器的集群上，这些机器由550个物理核心和6.4 tb的内存组成，通常需要3个小时来生成特征和分数。预测的分数存储在百度的在线k-v服务器上，具有70g的内存，在线广告系统可以使用它们来修改广告竞标系数。本次在线评估是对b百度应用的约1000万移动用户进行的。这个实验的用户池足够大，可以避免用户之间的差异。我们将这些用户分成两部分进行A/B测试。对于治疗组B中的每个用户，预测得分被映射到区间(0.7,1.3)中的系数，然后用于调整显示医疗保健广告的概率，而对照组a则保持不变。

我们所有模型的特性集的auc显示在 表2．我们的模型在聚合特征上表现最差，lasso模型的AUC最高，为0.627。在日间特征上，我们观察到随机森林的最佳性能，达到0.796的AUC。当省略单个特征类别时，AUC分别为0.781、0.789和0.779。位置特征的遗漏导致AUC下降幅度最大，其次是语义特征和一般特征的遗漏。我们使用了一个随机森林分类器来测量特征类别的个体贡献。

许多地理围栏位置允许通过充当子位置指示器的网络接入点进行搜索的子定位。对于可行的医疗设施，可以用接入点标识符标记用户搜索日志，然后将其映射到医院部门。我们将部门标签分解为四大类，包括与男性使用者相关的治疗、与女性使用者相关的治疗、美容治疗和其他专业治疗，并研究了学习搜索日志预测器的可行性，该预测器可以根据访问类型对医疗保健使用进行分类。对于在我们的日特征上训练的随机森林分类器，我们获得了0.632的hold -out测试精度和0.592的AUC，其中多类分类的AUC被计算为所有两两比较的平均值，如Hand和Till所讨论的[ 29]。

从我们的每日模型中检查前30个积极和消极特征(表于 多媒体附录2)表示排名靠前的特征之间高度重叠。如果我们忽略选择特征的日期，重叠会增加。所有功能都与结果(医疗保健使用情况)之前15个搜索天内的搜索日志事件相关。除了弹性网之外，每个搜索日的搜索会话数是所有模型的主要特征之一。间隔减少得分特征，总结了用户每天进行的所有搜索的搜索间隔的延长/缩短，在我们的两个模型中出现在前30个正相关特征中。在三个日间模型中，被标记为住宿或卫生保健设施的地点类别的访问次数似乎是重要特征。

图7显示显示转化率的预期变化与预测风险评分的变化。请注意，横轴已被归一化，表示预测分数增加的总体百分位数。因此，AUC近似于所有转化广告浏览量的比例。我们的线下实验使用了2015年5月2日至5月31日的数据，得出了一条单调递增的曲线，证实了高预测分数意味着高节目转化率;因此，证明我们的在线实验。

在2015年8月24日至9月27日期间的在线实验中，我们跟踪了包括展示转化率(显示的广告数量与医院访问量之间的比率)和展示转化率的每行动成本(CPA)在内的几个指标。报告的数字是实验组和对照组之间的相对变化。出于保密原因，我们不会透露广告客户的收入。两个模型分别应用于两个实验组，一个具有基于位置的特征，另一个没有。正如预期的那样，带有位置特征的模型显示出更高的转化率(3.96% vs 0.67%)和更低的CPA (-1.77% vs 1.61%)。

我们研究中描述的实验证明了预测的医疗保健利用率与目标广告的显示转化率(我们的效用替代测量)之间的关系。展示转化率评估在我们向用户展示医疗保健相关广告后发生了多少次医院就诊，并证明我们的在线评估结果与模型很好地一致。两种模式(有或没有基于位置的功能)都有更高的展示转化率，这表明实验组的用户更容易受到这些广告的影响。基于位置特征的模型显示转换变化更大，这与忽略位置特征时性能下降最突然的结果一致。CPA是一个类似于CPC的指标，CPC考虑的是每个节目转化的成本。根据观察，基于位置的功能有助于降低CPA。

地理标记搜索数据由于其高稀疏性、缺失性和易受污染的特点，也给信息学研究带来了独特的挑战。一个关键的限制是容易受到靠近观察边界的搜索噪声的影响，以及我们的标记方法产生的假阴性。我们期望跨越更大观察窗口的搜索数据将允许创建清晰的特征集。尝试仅从阳性标记数据中学习的方法也可以探索，以控制假阴性标签。尽管纵向患者病史的特征稀疏性是临床信息学研究的一个活跃领域，但搜索日志文本至少在两个方面为这一挑战增加了新的维度。首先，考虑到搜索文本的“消费者”性质，识别生物医学内容需要使用消费者健康词典以及会话级上下文检测，这与患者笔记不同，患者笔记的上下文中的术语明确代表一个概念。其次，数据的“互联网规模”和近似真值标签导致潜在医疗保健概念的长尾分布(例如，在医疗保健使用者的搜索中出现“礼物”代币，而在非医疗保健使用者的搜索中出现“礼物”代币)。

预测算法的性能与效用影响之间的关系——类似于临床研究中的净重分类[ 30.——在我们的工作中没有得到检验。具体来说，将医疗保健利用预测分数映射到医疗保健广告被服务的概率的决策规则影响了整体的节目转化率。例如，具有高AUC(能够同时具有高真阳性率和低假阳性率)的预测模型与导致向具有低预测分数的搜索用户显示广告的决策规则相结合，将是低效的。一般来说，在许多医疗保健预测任务中，高AUC可能是预测模型效用的误导性指标，因为它实际上不会导致净重分类[ 30.， 31]。一个完整的调查动态校准的决策规则映射预测得分广告浏览量和对CPC指标的影响超出了本研究的范围。

我们注意到，过去一直在积极研究以综合征监测为目的挖掘搜索文本[ 32- 34]。Wang等的研究[ 35基于搜索文本中的预测令牌预测与痴呆症相关的新门诊就诊的研究侧重于从提供者的角度预测医疗保健利用的问题。Nagar等[ 36]基于纽约本地的推文构建了用于流感监测的时空模型。我们的实验表明，除了使用标记作为语义预测器外，基于搜索位置的特征还可以提高利用率预测模型的性能。此外，我们能够将点击量与随后的地理位置搜索数据联系起来，以临时制定评估预测影响的指标。

我们从地理标记搜索日志预测医疗保健利用的工作在概念上类似于White和Horvitz对移动设备的地理标记数据的隐私敏感分析[ 2因为我们利用生物医学词汇资源来描述搜索中的医学内容。然而，我们的方法在使用基于固定的搜索天数分析窗口的时间特征堆栈方面是新颖的。我们的方法的更高分辨率能够捕获各种搜索属性的进展。在我们的顶级日间特征中，在医疗访问前一天的搜索日的查询数量由随机森林和山脊回归模型选择，并且与White和Horvitz的结果一致。

医疗保健利用与时间新闻趋势之间的关系先前已被研究过[ 37]。早期关于搜索日志特征患者行为的研究的一个关键发现是，在导致医疗保健使用事件的时期，健康相关焦虑的升级[ 8， 21]。我们认为，表征相关搜索功能的时间进展可以揭示焦虑升级的标志物，沉淀医疗保健的利用。在这项工作中，我们依赖于搜索文本标记的信息内容作为文本特异性的度量，并计算用户在搜索日内进行的所有搜索的最高信息内容分数(最特定标记)的平均值。我们的L1惩罚逻辑回归模型选择了就诊前几周的平均信息内容得分作为顶级预测因子之一。给定稀疏特征空间(由超过100万个令牌组成)，L1惩罚会导致除了一小部分预测器之外的所有预测器的收缩。在没有这种稀疏性处理机制的模型中，平均信息内容分数无法通过选择标准。

此外，我们定义了焦虑的另一种测量方法——间隔减少分数。区间缩减分数，如特征工程部分所定义的，是连续医疗保健相关搜索之间间隔的平均(按天计算)缩短或延长。对于我们的两个日间模型，就诊前2周的间隔减少评分是最重要的预测因子之一。与基于聚合特征训练的模型相比，基于日特征训练的模型在预测医疗保健利用方面表现更好，这表明搜索属性的日进展更好地代表了表明医疗保健资源利用的搜索行为。

总的来说，两组实验的结果——第一组是在研究环境中进行的概念验证，第二组是关于健康利用预测效用的离线和在线实验——支持这样一种说法，即有可能从带有地理标记的移动搜索日志中准确预测未来的患者就诊情况，这种预测对医疗保健提供者有实用价值。