这是一篇开放获取的文章,根据创作共用署名许可(http://creativecommons.org/licenses/by/2.0/)的条款发布,允许在任何媒介上无限制地使用、分发和复制,前提是正确引用最初发表在《医学互联网研究杂志》上的原创作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
互联网已成为获取健康和医疗信息的最重要手段之一。这通常是检查疾病及其治疗的基本信息的第一步。搜索结果通常对普通用户有用。各种搜索引擎,如谷歌,雅虎!,必应,而且Ask.comcan play an important role in obtaining medical information for both medical professionals and lay people. However, the usability and effectiveness of various search engines for medical information have not been comprehensively compared and evaluated.
比较各大互联网搜索引擎在获取医疗卫生信息方面的可用性。
我们将可用性测试作为软件工程技术和标准行业实践来比较四个主要搜索引擎(谷歌,Yahoo!, Bing和Ask.com)来获取健康和医疗信息。为此,我们搜索关键字
各个搜索引擎在搜索结果中提供了丰富的乳腺癌相关信息。所有6个标准网站在4个搜索引擎的搜索结果中都进入了前30名。谷歌的搜索有效性最高(就是否可以打开一个网站而言),其次是必应、Ask.com和雅虎。搜索结果在搜索引擎之间高度重叠,任何两个搜索引擎之间的重叠约为一半或更多。另一方面,每个搜索引擎强调不同类型的内容。在用户满意度分析方面,志愿者用户对必应的有用性评分最高,其次是雅虎!谷歌和Ask.com。
谷歌,雅虎!,必应,而且Ask.com一个re by and large effective search engines for helping lay users get health and medical information. Nevertheless, the current ranking methods have some pitfalls and there is room for improvement to help users get more accurate and useful information. We suggest that search engine users explore multiple search engines to search different types of health information and medical knowledge for their own needs and get a professional consultation if necessary.
互联网正成为大众获取医疗卫生信息的最重要来源之一[
为改善查册方法,我们进行了多项研究,以协助使用者取得准确和有用的资料[
虽然有几个主要的搜索引擎可用,但大多数用户限制他们的互联网搜索引擎。这种搜索习惯在搜索医疗信息时提出了几个问题。一个搜索引擎能提供可靠的医疗信息吗?当使用多个搜索引擎时,来自不同引擎的搜索结果是否相似?为相同的查询搜索多个搜索引擎是否会增加价值?有哪个搜索引擎明显优于其他搜索引擎吗?随着互联网搜索引擎的市场份额不断变化,这些问题变得更加相关。comScore是一家衡量数字世界的全球性公司,也是数字营销情报的首选来源。该公司的一份报告显示,2009年9月,市场上排名前五的搜索引擎是谷歌、Yahoo!、Microsoft Sites、Ask Network和AOL LLC [
在互联网上所有的医学搜索查询中,癌症相关的信息是最受欢迎的话题之一。尤其是乳腺癌,作为美国女性中最常见的癌症,也是导致癌症死亡的第二大原因,引起了公众的广泛关注,尤其是在互联网上[
我们使用以下协议进行我们的研究。首先,搜索
2009年10月27日,我们使用了四个搜索引擎——google, Yahoo!、必应和ask.com搜索
我们在以下四组中总共获得了798个搜索结果。谷歌(www.google.com)的搜索结果为4080万条,响应时间为0.13秒。我们从这些结果中选择了排名前200位的网站来组成本研究中的谷歌样本组。雅虎(www.search.yahoo.com)获得了26200万条搜索结果。我们从这些结果中选择了前200个网站作为Yahoo!样本组。Bing (www.bing.com)获得了7450万条搜索结果。我们从这些结果中选择了前200个网站作为必应的样本组。Ask.com (www.ask.com)的搜索结果为908万条。 We chose all 198 websites available to users for the Ask.com sample group. Ask.com is a metasearch engine, which aggregates and selects the results from several other search engines into a single list.
然后我们将非冗余链接结合起来,并按照字母顺序提供给志愿用户,如
志愿者使用的分数表样本。
谷歌搜索引擎在互联网搜索中地位突出,市场份额较大。PageRank算法是谷歌的核心技术之一。PageRank是一个用来评估网站重要性的参数,取值范围为0 ~ 10 [
志愿者根据每个网站对乳腺癌的有用性从0到10进行评估,其中10表示最有帮助的网站。医生兼乳腺癌研究人员迈克尔·王(Michael Wang)博士为志愿者定位,定义了向公众提供有关乳腺癌最有用信息的黄金标准网站。这些网站通常有关于乳腺癌的所有基本信息,比如了解乳腺癌、症状和诊断。从这些网站上,公众可以方便快捷地获取他们所需要的信息。他确定了6个金标准网站:标准1,来自美国国家癌症研究所;标准2号,来自美国癌症协会;标准3号,来自梅奥诊所;标准4号,来自MedicineNet;标准5,维基百科;标准的第6号,来自苏珊·g·科曼的治愈。
我们向8名非医生志愿者提供了一份非冗余搜索结果列表。每位志愿者都有至少5年的互联网使用经验。志愿者们首先研究了6个标准网站,这样他们就知道他们可以从高质量的网站中期待什么,并由专家进行了注释。然而,如果他们认为这些网站没有帮助,他们不必给这些网站打高分。然后他们单独阅读样本网站,并根据标准和自己的经验对它们进行评分。本研究的8名志愿者来自密苏里-哥伦比亚大学:志愿者1是一名30岁的女性博士生,具有生物化学背景;2号志愿者是一名36岁的男性副教授,拥有计算机科学博士学位;3号志愿者是一名31岁的男性计算机科学博士生;4号志愿者是一名29岁的男性计算机科学博士生;志愿者5是一名23岁的女生物化学专业本科生; volunteer 6 was a 27-year-old male graduate student in chemistry; volunteer 7 was a 25-year-old male graduate student in economics; and volunteer 8 was a 22-year-old female undergraduate student in biological science.
这些志愿者经常上网,但没有任何医学背景。选择和邀请测试用户的方法不同于常规走廊测试中随机选择志愿者的方式[
我们通过对他们的网页内容进行分类来研究搜索结果,因为不同类别的内容可能会对用户的分数产生影响。我们手动将798个搜索结果分为以下四种类型:第一类,针对普通人群的乳腺癌基础知识网站,如新闻网站、网络论坛、个人网站和博客;第二类,面向乳腺癌患者及其家属的非营利性组织网站,包括乳腺癌学会、基金会网站;第三类,面向消费者的企业网站,包括药品、器械、产品等广告网站;第4类,针对乳腺癌专业人士和研究人员的网站,如大学、研究机构、医院和政府的网站。
我们根据所选关键字的出现情况提供了参考排名。我们使用Java.net从所有网站自动获取文本内容。一个网站中的所有文本在搜索结果中形成了主页文本语料库。本网站的所有子页面与语料库A相结合,形成了主、子页面文本语料库。基于SNOMED CT对乳腺癌的描述,我们又选择了四个关键词:
搜索有效性定义为用户能否成功打开搜索结果的URL。我们的分析表明,四种搜索引擎的搜索结果的效度存在显著差异。谷歌搜索结果的有效性为100%(200/200),而Yahoo!有效性为92.5%(185/200),有15个无效结果(网站21、53、75、85、118、119、120、126、129、140、147、149、162、171和176
搜索结果的PageRank值分布从谷歌,雅虎!Bing和Ask.com。(a)所有搜索结果,(b)排名前20的搜索结果。N/A =不可用。
对于六个标准网站,四个搜索引擎搜索结果包含了其中五个网站的确切url。另一个(标准的第2号,http://www.cancer.org/docroot/home/index.asp)被两个搜索引擎(Bing和Ask.com)识别,其子页面(http://www.cancer.org/docroot/cri/cri_2x.asp?sitearea=lrn&dt=5)出现在谷歌和Yahoo!谷歌排名第16,雅虎!分别是第一名。算上这个子页面,所有6个标准网站都出现在每个搜索引擎结果的前30位,除了一个(Bing排名第33的标准第3位)
六个标准网站排名。
网站 |
网站的名字 | 网站网址 | 搜索引擎排名 | |||
谷歌 | 雅虎 | 必应 | Ask.com | |||
1 | 国家癌症研究所:乳腺癌 | http://www.cancer.gov/cancertopics/types/breast |
4 | 9 | 3. | 7 |
2 | 美国癌症协会:癌症信息和资源 | http://www.cancer.org/docroot/home/index.asp |
16 | 1 | 5 | 13 |
3. | MayoClinic:乳腺癌 | http://www.mayoclinic.com/health/breast-cancer/DS00328 |
9 | 17 | 33 | 22 |
4 | MedicineNet.com:乳腺癌 | http://www.medicinenet.com/breast_cancer/article.htm |
8 | 26 | 4 | 9 |
5 | 维基百科:乳腺癌 | http://en.wikipedia.org/wiki/Breast_cancer |
13 | 23 | 2 | 5 |
6 | Susan G. Komen乳腺癌基金会 |
http://ww5.komen.org/ | 3. | 10 | 8 | 6 |
我们发现798个搜索结果中只有397个(49.8%)是非冗余的,401个结果有重复的URL。此外,798个样本结果中有466个(58.4%)存在冗余域名。作为
搜索结果的冗余。
搜索引擎 | 谷歌(n = 200) | 雅虎(n = 200) | Bing (n = 200) | Ask.com (n = 198) | ||||
URL |
域 |
URL |
域 |
URL |
域 |
URL |
域 |
|
谷歌 | 0 | 18 | 61 | 75 | 49 | 67 | 67 | 79 |
雅虎 | 61 | 75 | 2 | 24 | 60 | 76 | 42 | 52 |
必应 | 49 | 67 | 60 | 76 | 2 | 32 | 38 | 61 |
Ask.com | 67 | 79 | 42 | 52 | 38 | 61 | 13 | 31 |
在
四种网页类型在所有搜索结果和四种搜索引擎中的分布情况。
四种网页类型在每个搜索结果组中的分布(按搜索引擎)。
四种网页类型的PageRank值。N/A =不可用。
虽然志愿者们拿到的是标准网站,但他们不必给这些网站打10分。虽然有些网站得分很高(例如,志愿者给标准5的平均分数为9.88),但有趣的是,志愿者经常给一些网站相对较低的分数,例如
志愿者在六个标准网站上的得分。
网站 |
志愿者没有。 | 平均 |
|||||||
1 | 2 | 3. | 4 | 5 | 6 | 7 | 8 | ||
1 | 10 | 9 | 10 | 9 | 8 | 8 | 10 | 6 | 8.75 |
2 | 6 | 8 | 8 | 6 | 5 | 7 | 7 | 5 | 6.50 |
3. | 10 | 8 | 10 | 9 | 9 | 9 | 10 | 5 | 8.75 |
4 | 10 | 10 | 10 | 9 | 9 | 8 | 9 | 8 | 9.13 |
5 | 10 | 10 | 10 | 10 | 10 | 10 | 10 | 9 | 9.88 |
6 | 10 | 9 | 10 | 8 | 10 | 7 | 10 | 6 | 8.75 |
四个搜索组的性能(平均分)。
性能测量 | 谷歌 | 雅虎 | 必应 | Ask.com |
十大网站 | 7.34 | 5.46 | 7.70 | 6.79 |
排名前20的网站 | 6.85 | 5.77 | 7.14 | 6.36 |
排名前50的网站 | 5.96 | 5.85 | 6.19 | 5.65 |
百强网站 | 5.28 | 5.49 | 6.08 | 5.19 |
总计 | 4.78 | 5.07 | 5.70 | 4.14 |
皮尔逊相关系数一个 | -.3036 | -.1937 | -.1964 | -.5099 |
斯皮尔曼等级相关一个 | -.3062 | -.2051 | -.2281 | -.4725 |
一个Pearson相关系数和Spearman排名相关系数是志愿者的得分与搜索引擎排名之间的关系。在这种情况下,绝对值越大,相关性越大。
每个搜索组中得分不同的网站分布(所有8名志愿者的得分相加)。(a)所有搜索结果,(b)排名前20的搜索结果。
志愿者在每个搜索组中的得分与搜索结果排名(窗口大小为20)。
志愿者有不同的用户体验和不同的网页评分方案。
志愿者在四种网页类型上的平均得分。V1-8 = 1到8名志愿者。
关键词在主页文本语料库(MP)和主页和子页文本语料库(MSP)中的出现。
搜索引擎 | 乳腺癌 | 恶性肿瘤 | 肿瘤 | 肉瘤 | 癌 | ||
谷歌 | |||||||
国会议员 | 4619 | 14 | 56 | 62 | 363 | ||
MSP | 54511年 | 61 | 793 | 570 | 2629 | ||
雅虎 | |||||||
国会议员 | 6423 | 28 | 77 | 45 | 399 | ||
MSP | 70471年 | 128 | 1457 | 1085 | 5104 | ||
必应 | |||||||
国会议员 | 8171 | 23 | 80 | 80 | 548 | ||
MSP | 89577年 | 143 | 2231 | 5355 | 10397年 | ||
Ask.com | |||||||
国会议员 | 3088 | 2 | 37 | 33 | 169 | ||
MSP | 46508年 | 23 | 730 | 981 | 2121 | ||
总计 | |||||||
国会议员 | 22301年 | 67 | 250 | 220 | 1479 | ||
MSP | 261067年 | 355 | 5211 | 7991 | 20251年 | ||
百分比 | |||||||
国会议员 | 91.71% | 0.3% | 1.0% | 0.90% | 6.08% | ||
MSP | 88.53% | 0.12% | 1.77% | 2.71% | 6.87% |
志愿者在(a)主页面文本语料库和(b)主页面和子页面文本语料库中的平均分数与基于关键字的排名。
在本研究中,我们使用不同的评估标准对四种主要的医疗信息搜索引擎进行了比较和评估。任何两种搜索引擎的搜索结果都有显著不同。雅虎拥有最低的表现分数,这与它在市场上的第二名不相对应。这种差异的一个可能的解释是雅虎!很长一段时间以来,它一直是一个主要的搜索引擎,它的其他功能带来了一些良好的用户体验。Ask.com没有谷歌和Bing好。虽然Ask.com的分数与搜索引擎排名之间的相关性高于谷歌或必应,但志愿者对其排名靠前的搜索结果的评分较低,这表明Ask.com的搜索结果不太有用,因为大多数用户只浏览排名靠前的10到20个搜索结果。谷歌和Bing各有优点。谷歌搜索结果具有较高的有效性和较少的冗余。 On the other hand, volunteers regarded the top hits of Bing as being more useful.
通过研究四种类型网页的分布,我们发现搜索引擎对不同类别的搜索结果有不同的优先级,如图
志愿者对科普和个人网站的评分最高,平均为5.94分;公益组织网站平均得分次之,为5.21分;排名第三的是高校、科研院所、医院和政府网站,平均得分为4.25分。志愿者给企业网站和广告网站的评分最低,平均只有3.80分。通过对志愿者的采访和交流,我们发现他们有各种各样的网络搜索习惯。在大多数情况下,用户可能会浏览特定搜索引擎搜索结果的前几页。当结果不够好时,他们会改变关键词再次搜索。当他们重新进行搜索时,他们经常选择搜索引擎建议的其他关键字。大多数用户只检查第一个摘要页上列出的搜索结果。有些人使用不同的搜索引擎来搜索相同的关键字。 Users who have little search experience often blindly trust the results from the search engines. They often believe that the top-ranked result is the best one. During the interviews, users also gave us some good suggestions for collecting data. For example, we provided them with standard websites, but did not provide them with a standard for low scores. Although the standards were authoritative, they could not accommodate various needs of different users; without a medical background, users may have a hard time evaluating professional websites.
使用搜索引擎获取健康和医疗信息是大多数互联网用户的有效方法。我们的研究表明,四大搜索引擎,谷歌,Yahoo!,必应,而且Ask.com,一个re all helpful to users in their health and medical searches. Thus, they are used and recommended by most consumers for obtaining medical information online. However, there is significant room for improvement, especially in getting more relevant and comprehensive information, as well as in ranking the websites according to their usefulness. In this regard, there is no gold standard, and the various search engines each have their own merit, although Google and Bing are more advanced than others. Furthermore, the various search engines have different focuses on their search content. Hence, we suggest that users apply multiple search engines when looking for medical and health information online, instead of using only a single search engine.
我们的研究补充了一些早期评估互联网搜索健康和医疗信息的研究。以前的许多研究都强调内容的质量或可靠性[
综上所述,本研究可为医疗信息网络搜索提供有益的分析,并为提高健康相关网络搜索的整体可用性提供一些有益的建议。它为互联网用户提供了是否使用多个搜索引擎以及如何使用它们的一些信息。它还为互联网搜索引擎开发者提供了一些信息数据,以改进他们的搜索引擎或开发一个特定于医药的搜索引擎。
我们的研究也有一定的局限性。它的样本量有限,只使用了一个搜索关键字。此外,志愿者的背景也相对相同,因为他们都受过高等教育,通常是科学方面的。为了得出结论性的结果,还需要对不同背景的参与者进行更多的大规模研究。虽然这项研究为互联网用户在线获取医疗信息提供了信息性参考和一些指导,但我们将在未来开展更大规模的研究,提供更具代表性的样本。特别是,我们将把癌症患者和他们的家庭成员纳入研究。
数据总结和分析。RN:搜索列表中每个结果的排名。RN以蓝色的1001开始,代表谷歌结果,粉色的2001代表Yahoo!绿色是3001,红色是4001。网站名称:搜索结果网站的名称。网站URL:搜索结果网站的URL。GPR:谷歌PageRank值(N表示不可用)。类型:搜索结果网站的四种内容类型。V1到V8: 8位志愿者的搜索结果分数。AVG: 8个志愿者搜索结果的平均分。G, Y, B, A:谷歌,Yahoo!搜索结果中同一网站的RN、必应和Ask.com。 Main_Breast Cancer: frequency of keyword “Breast Cancer” in main page of search result. Sub_Breast Cancer: frequency of keyword “Breast Cancer” in main and subpage of search results combined.
医学临床术语系统化命名
感谢国家自然科学基金项目(No. 61073075)、吉林省科技发展计划项目(No. 201201048、20120730)、吉林大学基础科学研究项目(No. 450060481090)的支持。我们也要感谢这篇论文的匿名审稿人提供的有益建议。
没有宣布。