推特可以预测引用吗?基于Twitter的社会影响度量及其与传统科学影响度量的相关性

简介

科学家、研究组织和资助机构需要衡量研究影响的指标。同行评议的文章中引用其他文章是被广泛接受的衡量科学影响的标准。引用是h指数等指标的基础[1]及其衍生物，用于评估单个研究人员的生产力和影响，或影响因子，用于评估期刊的科学影响[2］．然而，引用作为一种度量有各种各样的缺点，包括它们需要很长时间的积累。它们也很难获得(在一个大多数研究仍然不能开放获取的环境中)，而且往往只能在专有数据库中获得;因此，这些指标不一定是透明的或可复制的。例如，研究人员的h指数根据用于计算它的数据库的不同而有很大的差异，期刊影响因子的计算因不透明而受到批评[3.，4］．最后，引用只衡量科学界内部的吸收和对科学界的影响，而不是对知识使用者(决策者、患者和公众)之间的影响或传播。虽然这对于某些用例可能是可取的，但其他应用程序和涉众需要更广泛的影响定义。诸如对社会的影响、社会影响、现实世界的影响、知识的翻译和公众的吸收等概念应该是每一项研究评估工作的一部分，但众所周知，这些概念很难衡量[5］．有人建议用问卷等工具来衡量“社会影响因子”[6]，但尚不清楚这些需要人工数据收集的仪器是否可扩展到大量出版物。

在这篇论文中，我提出了新的度量标准和新的数据来源——twitter——可以用来衡量社会影响，补充传统的引用分析，试点测试和说明了一系列的文章医学互联网研究杂志(JMIR)。

网络引文分析以前曾被用来衡量文章或观点在网络上被提及的程度[7］．例如，Vaughan和他的同事展示了链接度量之间的关系[8]或网上提及[9，10和传统的影响指标。Kousha及其同事提出了一个“综合在线影响指标”[11]，它将一系列在线资源整合为一个衡量网络影响力的指标，包括课程阅读列表、谷歌博客、PowerPoint演示文稿[12]、谷歌Books [13］．

Web 2.0工具，如Twitter和博客，以及社交书签工具和基于Web的参考管理工具，如CiteULike和Mendeley，提供了从其他来源收集新颖指标的机会，这些来源以结构化格式提供数据，可通过应用程序编程接口(api)访问[14，15］．这些指标有时被称为替代指标[16或(在更广泛的背景下)信息流行病学指标[17，18-可以用来衡量诸如流行度、热度、社会影响力或新信息的吸收等概念。潜在的共同想法是，科学家和公众在搜索或使用信息时，会在互联网上留下数字痕迹，而网络“使以前不可测量的东西变得可测量”。18，即对特定信息的需求或使用，以及信息通过网络传播时的传播。信息流行病学是一门应用于公共卫生的新兴科学领域[17，18以及其他广泛的领域[19-例如，有研究表明，搜索引擎查询可以预测流感[20.，21， H1N1大流行期间的推特与发病率相关[22，甚至在电影上映之前，关于电影的推文就能准确预测其票房成功[23］．

类似于公共卫生2.0的应用[17，经济和其他领域[19，有一个明显的应用信息流行病学或信息监控2.0科学计量学［24)，即研究围绕科学出版物的热议，以衡量甚至预测研究的影响。

基于社交媒体的科学计量学(替代计量学，信息流行病学计量学)领域正处于初级阶段，许多开放的问题需要解决。可能是这些新指标衡量的是完全不同的概念，与其他传统指标(如引用量)没有关联，但也可能是学术文献中的重要出版物在之前首先在博客圈(和其他Web 2.0场所)内引起了可衡量的轰动，多年后，这种轰动也反映在引用量和/或政策变化和社会影响上。

具体问题包括:(1)如何测量嗡嗡声?(2)什么时候(与文章的发表有关)，我们应该测量多长时间?(3)如果我们可以测量一些东西，这些指标是如何与传统指标(如引用)相关的，以及是否足够敏感，可以预测引用的增加?(应该注意的是，预测被引用量不一定是最终目标，缺乏相关性也不一定是失败，因为很明显，这些指标增加了衡量影响的新维度。)

目前缺乏探索和显示这种关系的经验数据，这对发展基于社交媒体的科学计量学领域具有开创性意义。虽然学者们在推特上引用的事实已经被证实，而且学者们这么做的原因已经被探索过了[24的研究中，很少有人知道一篇文章或期刊级别的出版物是如何吸引推文的，以及是否可以推导出有意义的指标。

有一小部分但迅速增长的文献专注于Twitter在学术上的使用[24-29］．大多数论文都专注于分析会议期间收集的Twitter流[25-27]，而在期刊层面上的证据很少或没有。科学公共图书馆(PLoS)的期刊提供了一些文章层面的影响指标，学者们已经开始分析[30.，但公共科学图书馆最近才开始统计推文。

在JMIR，我们从2008年开始了目前的实证前瞻性研究，当时很少有期刊出版商或学者考虑Twitter在分析影响方面的潜力。当前研究的目标是(1)探索讨论或提及研究文章的推文的内容和特征及其相对于文章发表日期的时间，(2)确定合适的指标来描述通过社交媒体网络传播新证据，(3)探索提出的指标如何与科学界吸收的传统指标(传统引用)相关联。

方法

JMIR推特数据集和推特计数

JMIR是一种领先的、高引用的开放获取期刊，汤森路透(前ISI) 3年影响因子为4.7,5年影响因子为5.0(期刊引用报告，2010)。2008年7月，它是第一个开始系统挖掘提到其发表文章的推文的期刊，并在JMIR的“顶级文章”页面上实时显示这些文章图1)．使用Twitter搜索API收集数据。

出于本文的目的，我将推文中的引用(提到期刊文章的URL)称为“推文引用”，以区别于期刊文章中的引用(这是我比较推文引用的标准)。由于一个tweet可以有多个tweet(一个tweet包含多个不同的url，引用不同的文章)，tweet的数量不一定与tweet的数量相同，尽管在我们的示例中，包含多个tweet的tweet非常罕见，所以我有时会使用它微博而且tweetations互换。只有直接链接到期刊文章的url的tweet才会被捕获——也就是说，提到在JMIR上发表的研究的报纸文章的链接，或不在JMIR站点上的JMIR文章的链接(例如，PubMed Central的实例，或到数字对象标识符[DOI]句柄的链接)——不会被计算在内。其他用户转发同一条推文或发送修改后的推文将被视为多条推文，同一用户包含相同URL的多条推文也会被视为多条推文。

‎ 把这个图

引用计数

引用计数来自Scopus和谷歌Scholar。目前的研究基于2011年11月获得的引用计数，即被引用论文发表后的17-29个月。

分析

在推文分布分析中，包括了JMIR在2008年7月24日至2011年11月20日之间发送和存档的所有推文(多媒体附录1)．

在推文-引文相关性分析中，我只包括了2009年3月至2010年2月发表的文章的推文，也就是说，2009年7月22日至2010年6月30日发表的所有55篇文章的推文(多媒体附录2)．我之所以选择这一时期，是因为早期文章的推文率太过稀少，后期文章截至2011年11月没有足够的引用累积。

计算了原始数据和对数转换数据的皮尔逊相关性以及斯皮尔曼秩相关性。数据使用自然对数进行对数转换，因为推文和引用数据高度倾斜。由于0的对数是未定义的，所以将1添加到引用和tweet的计数中。

在分类分类分析(试图从推特高度转发的文章中预测高引用文章)中，“高引用”文章被定义为排名前25位的文章^th每一期的百分位数(按引用数排名的文章)和“推文高”的文章被定义为排在前25位的文章^th每一期的百分比(按推文排名)。

由于Twitter的流行程度(以及JMIR追随者的数量)会随着时间的推移而增加(较老的文章会比较新的文章有更少的tweet)，以及较老的文章会比较新的文章有更多的引用，所以分析是按季度分层的，以调整时间作为混杂因素。按期刊刊号分层可以确保相互比较的文章都是在同一季度(3个月的窗口期)发表的。

在另一项分析中，我包括了所有问题的文章，但通过进行线性回归分析，将时间作为潜在的混杂因素进行了调整，引用的对数作为因变量，时间(从我们数据集中最早的文章发表的天数)和推文的对数作为自变量。

注意，当文章id在本文中被提及时(见图)，它们是DOI的一部分;每一篇文章都可以在Web浏览器的地址栏中输入http://dx.doi.org/10.2196/jmir.{articleID}进行识别。

结果

每篇文章的平均推文数

总共有4208条推文被确定，其中引用了286篇不同的JMIR文章，每篇文章平均收到14条推文(中位数9)。然而，这些平均值应该谨慎解释，因为JMIR自1999年以来已经发表了文章(共560篇文章)。在被推文引用的286篇文章中，有很多文章是在数据收集开始或推特存在之前发表的。由于这些老文章只有零星的推文，平均值和中位数并不能反映更近期的文章。

发表在第3/2009-2/2010期的55篇文章在文章发表后356天内平均收到21.2次推文(中位数12次，范围0-149)，7天内平均收到13.9次推文(中位数8次，范围0-96)。图2显示这些文章在7天内的累计推文数(tw7)。

‎ 把这个图

微博动态

在一篇文章发表的日期之前，推文是什么时候发生的?图3显示所有推文(n = 3318)在他们引用的文章发表后60天内发送的一般分布，以天为单位。在这个图中，第0天是文章发表的那天，第1天是第二天，以此类推;左边的y轴表示当天发送了多少条推文(推文率)，与60天内所有推文的比例;右边的y轴(和红线)表示的是累积比例。大部分推文是在文章发表当天(1458/3318,43.9%)或第二天(528/3318,15.9%)发送的。只有5.9%(197/3318)的推文是在发布后的第二天发出的，并且这一下降趋势将持续下去，直到第5天到第7天之间出现一个平台期(约占60天推文总数的2%)。第8天和第9天有所下降，这可能是因为，尽管JMIR在一周的不同日子发表文章，但星期五略多一些，因此第8天和第9天将落在下一个周末。第10天之后(66/3318,2%)，新的推文率迅速下降。

图4显示了相同的新推文按天的曲线，但这次重新绘制了对数水平和垂直轴。现在出现了一个有趣的模式，显示出很强的规律性:在对数-对数图上，前30天的推特分布遵循一条直线，这表明帕累托分布，也被称为齐普夫定律或布拉德福德分布，据说遵循幂律[31］．在我们的样本中，在文章发表后的前30天内，每天的推文数可以通过公式ln(tw) = -1.53 * ln(d) + 7.25进行预测，其中tw为第d天的新推文数，d为自发表以来的天数(发表日期=第1天)。

这个模型非常合适(R²= .90)。虽然这个公式的截距并不重要(它取决于tweeting的总次数)，但-1.53这个术语被称为alpha或幂律的指数(对数-对数图中线性曲线的斜率)。

我们可以把图案分成几部分图4分为两个不同的阶段:我把头30天称为“网络传播阶段”，在这个阶段，新信息通过Twitter社交网络传播。30天后，网络传播阶段让位于我所称的“零星推特阶段”，在这个阶段中，只会出现零星提到旧文章和局部爆发信息传播的小集群。

图5显示了JMIR第1/2010期所有文章的推特动态。注意,虽然图4显示了新每天的推文数量(推文率正在急剧下降)，图5以累积的方式展示它们。该图显示了一些文章如何只在第一天吸引推文，而另一些文章则继续吸引推文，并被更广泛地转发。顺便说一下，这些文章通常被大量引用，如下面的更详细内容所示。

‎ 把这个图

‎ 把这个图

‎ 把这个图

其他的规律

推文遵循幂律还有其他很强的规律性。推文来自1668个不同的推特账户(推文作者)。最多的推文(n = 370条)是由JMIR的推特账户@JMedInternetRes发出的。如果我们将这些账户按他们发送的推文数量进行排名，并将它们与每个账户的推文数量进行对比，幂律分布如图所示图6出现了。一半的推文(2105/4208,50%)是由132位不同的推文作者发出的——也就是所有推文作者的8%。前20%的推文作者(推文数量排名1-334的人)占所有推文的63.4%(2676/4208)。这种工作的不均匀分布是典型的帕累托分布，这种观察有时被口语称为80/20规则，即大约80%的结果来自20%的原因。

第三次幂定律是我最期待的，因为这种分布通常是被引用的，可以用Zipf图来证明，在Zipf图中，被引用的数量n被引用次数最多的论文与排名n (图7(左)。推文遵循惊人相似的分布(图7,对吧)。

‎ 把这个图

‎ 把这个图

引用

在我们的推文与引用子集中的55篇文章在Scopus上平均被引用7次(中位数4次)，在谷歌Scholar上平均被引用13次(中位数9次)。图8显示了截至2011年11月，在推文/引用分析中包含的所有55篇文章的谷歌学者引用计数。

首先，将Scopus的引用数与谷歌Scholar的引用数进行关联，以测试两个数据库来源之间的一致性。结果一致，Pearson相关系数为0.87 (P< .001)的55篇文章。由于谷歌学者的引用计数更高，而且看起来更稳健，这里给出的大多数结果都是指谷歌学者的引用计数，除非另有说明。

图9比较典型的引用和推文曲线，说明了推文与学术文章引用的非常不同的动态。学术文章的引用量在文章发表1年后才开始积累，而推文的引用量主要在文章发表后的头几天积累。

‎ 把这个图

‎ 把这个图

推文和引用的相关性

对于每一期期刊，我分别绘制散点图，计算原始计数的Pearson相关系数、日志和斯皮尔曼秩相关系数，以建立引用和推文之间的相关程度。

我的主要推文指标是tw7(文章发表后7天的累计推文数，第0天是发表日期)，我也称之为一个指标twimpact因素或TWIF7(见下文)。

皮尔逊积矩相关系数(r)的原始引用与tw7推文计数在5%的水平上具有统计学意义，范围从0.57到0.89 (表1)．当跨议题的文章被合并时，除了Scopus引文计数和推文计数之间的秩相关外，引用日志和推文日志之间的Pearson相关性以及斯皮尔曼秩相关系数都具有统计学意义。当按期刊期刊进行分层时，一些期刊的相关性在某些计算中具有统计学意义，而另一些则没有，这可能是由于样本量小。一般来说，谷歌Scholar引用与推文的相关性优于Scopus引用(表1)．斯皮尔曼排名相关性(引用数排名与tw7排名)仅在一个问题上具有统计学意义，rho = 0.51，P= 2/2010版本的.04。

我还对其他推文指标(tw0、tw1、tw2、tw3、tw4、tw5、tw6、tw7、tw10、tw12、tw14、tw30和tw365)进行了分析，并导出了各种指标(tw365 - tw7，即后期推文;tw7 - tw0, tw0/tw7等)，产生非常相似的相关系数(数据未显示)。

多变量分析

在一个线性回归模型中，我试图从推文数量和时间(从55篇文章样本中第一篇文章发表的天数)的日志中预测谷歌学者引用数的对数。回归方程为log(cit + 1) = 0.467 * log(tw7 + 1) + -。001 * days + 0.817，其中cit为引用数，tw7为第7天的累计推数。两个自变量都是重要的预测因子(P< .001)，模型解释了27%的引用变化(R²= 10)。

二元分析

基于推文主要是在文章发表后的最初几天发送的观察，我假设tw7，即第7天(可能最早是第3天)的推文累计数量，可以用作预测高引用文章的诊断测试。高度推而且被引用次数被定义为75^th-100年^th每期期刊百分比;因此，何为高推文或高引用的分界点因问题而异(推文:11、19、34.8、28.5;学者引用:15,9,22.75,15，分别为3/2009,4/2009,1/2010，和2/2010)。

表2是一个2 × 2的表格，将文章分为四组。那些被推次数较少且不在被引用次数最多的四分之一的文章被解读为真正的负面文章(tn，左下象限)图10而且表2)．被高度转发和引用的文章是真正的积极的(tp，右上象限图10而且表2)．被大量转发但引用不多的文章属于左上象限，被称为假阳性(fp)。最后，没有被高度转发但被高度引用的文章是假阴性(fn)。

使用推文状态(推文多与推文少)作为引用状态的预测测试，该测试识别了43篇被引用不高的文章中的40篇，转化为93%的特异性(真阴性率，tn/[tn + fp]， 40/43)。该测试能够正确识别12篇高被引论文中的9篇，对应75%的灵敏度(tp/[tp + fn]， 9/12)。另一种表达这些结果的方法是说正向预测值(tp/[tp + fp])或精度为75%，这意味着如果一篇文章被高度转发(测试社交媒体影响力为阳性)，那么这篇文章有75%的可能性最终在某一问题的所有文章中排名前四分之一(按引用排名)。负预测值(tn/[tn + fn])为93%(40/43)，这意味着如果一篇文章在推特上的点击率不高(测试社交媒体影响力为负)，那么它落入被引用文章前25%的几率只有7%(3/43)。然而，另一种表达这些结果的方式是说，高推文的文章被高度引用的可能性几乎是低推文文章的11倍(9/12,75%的高推文文章被高度引用，而只有3/43,7%的低推文文章被高度引用;率比0.75/0.07 = 10.75,95%置信区间3.4-33.6)。

被引状态和推文状态之间存在高度统计显著的关联(Fisher精确检验，P<措施)。

我对一系列不同的指标重复了这个分析，比如twn(累计推文数n天数，n = 0, 1-10, 12, 14, 30，或365)，延迟响应的推文数tw365-tw7。从第3天(tw3)开始，启发式开始识别与tw7相同的推文最多的文章，这表明该测试早在发表后3天就具有预测性。选择较晚的日期(让推文累积超过7天)或延迟响应的推文并不会改善测试结果(数据未显示)。

‎ 把这个图

建议的基于twitter的社会影响指标

这里报道的研究集中在一份杂志的文章上。然而，我认为这里介绍的指标应该有助于衡量任何文章(或文章集合或集合)在Twitter上的影响力，衡量用户对文章主题的关注程度，衡量问题和/或结论如何与Twitter用户产生共鸣，并最终将它们作为社会影响力的代表。虽然我在这里以Twitter为例，但这些指标也可以用于其他社交媒体(如Facebook状态更新)。这里提出的指标也可以被推广并应用于衡量任何问题(不仅是学术文章，还包括当前事件和报纸文章)对社交媒体用户群体的影响。

tw7影响因子(如tw7)

使用原始推文数量来比较不同文章之间的影响是有问题的，因为推文数量是自发表以来的时间函数。尽管数据表明，在最初的30天内，推文通常只会零星出现，但在比较发表日期不同的文章时，不应使用推文的原始数量。自发表以来，每个月的平均推文计数是可以计算的(目前显示在JMIR的顶级文章网页上，见图1)，但由于幂律分布高度倾斜，这个平均值总是倾向于最近(上个月)发表的文章。

因此，我建议使用(在本文中已经使用了)双重影响因子twn作为衡量社交媒体即时影响力的一个指标，它被定义为在社交媒体中推文的累计数量n发布后的天数(例如，tw7表示n = 7天后的推文总数)。Tweetations可以用URL提及如果我们把这个指标应用到其他社交媒体(URL是一篇特定文章的URL或一组URL)。

作为Twitter上一篇文章的标准tw7影响因子指标，我建议(JMIR将在未来使用)tw7——即一篇文章每天收到的绝对累积推文数7这也是一个非常实用的指标:使用相对较短的时间使twimpact factor更容易计算，因为Twitter流只需要监控7天。

我已经证明，新推文的数量在发表后迅速下降，即使是引用率最高的论文。即时的社交媒体反应与后期的社交媒体反应高度相关;因此，很可能可以忽略延迟响应。更短的时间(3天)tw3在样本中已经足够区分高被引和低被引文章，但我建议制定一个标准n7天，它的好处是总是包括一个周末;因此，在周末发表的期刊文章不会受到周末效应的影响。

任何文章，包括文章的集合，都有两个影响因素(例如，在期刊或期刊层面)。JMIR正在监测collective twimpact f演员ctwn/米对于每一期期刊(其中n发布后的推文天数是累积的吗米百分位)，例如，ctw7/50是中位数(50^th为集合中所有文章的tw7的百分位数)。JMIR第2期2010的ctw7/75为29，这意味着第2期2010中转发次数最多的前25%的文章在第一周被转发了超过29次。我们倾向于报告75^th百分位，而不是平均值或中位数(ctw7/50)，因为权力分布，因为它似乎是预测被引用次数最多的文章的一个有用的分界点。至少在我们的样本中，集体tw7/75影响因子的实际意义是，tw7大于某一期期刊ctw7/75的文章有75%的可能性被引用最多(最终在某一期所有文章中被引用次数排名的前四分之一)。

注意，twimpact factor是一个计算tweeting的绝对度量;因此，就像期刊影响因子一样，需要注意事项。首先，它是高度专门化的，所以如果要在期刊之间进行比较，甚至是来自同一期刊的文章，它们应该在一个狭窄的主题类别内进行比较。社交媒体上的一篇文章比一篇关于分子生物学的文章更有可能被社交媒体转载。虽然在一个特定的领域内，双影响因子可以预测被引用(预测哪篇文章更可能被高引用)，但将一篇社交媒体文章的双影响因子与一篇分子生物学文章的双影响因子进行比较，并得出社交媒体文章更可能被引用的结论是不合法的。

第二，类似于期刊影响因子不应该跨不同年份进行比较的警告，因为总被引用数量在不断增长，只有在相似的时间框架内发表的文章才应该相互比较(甚至可能1年太长;因此，我们在每个季度的问题级别上进行了比较)。这是因为Twitter用户的数量和期刊的关注者的数量都会随着时间的推移而增长。

推半衰期

推特上的半衰期(THLn)被定义为文章发表后的第一时间内，有一半的推文n天发生。作为n我使用了30天——也就是说，作为分母，我选择了在发布日期之后的30天内的tweet的累计总数。THL的n就是这些推文累计出现一半的那天。

在我们的样本中，THLn被引用较少的文章为0(53%的推文是在第0天发布的)，而THLn高引用的文章只有1篇(在第0天，37%的推文发生了，而在第1天，21%的推文发生了，第1天总共发生了58%)。图11说明了这一点。乍看之下，被引用次数较少的文章似乎在第一天就能得到更快、比例更高的回应，这似乎令人惊讶绝对被引用次数多的文章比被引用次数少的文章的推文次数要高。影响较小的文章主要在第0天和第1天被推和转发。高引用的文章继续被广泛转发，这压低了相对0-3天的推文比例。

‎ 把这个图

Twindex

我建议(JMIR也将使用)twindex(推文指数)作为最后一个指标，这是一个从0到100的指标，表示一篇文章与其他文章相比的相对地位。我定义twindex₇当所有的文章(特定的文章和来自比较国组的文章)按tw7的影响因子排名时，该文章的排名百分比。比较国的文章应该是在相似的时间窗口发表的类似文章(例如，同一期的其他文章，或以前在同一期刊上发表的19篇文章)。如果一篇文章的双影响因子为7，那么它的双影响因子为100。如果它的双影响因子最小，它的双影响指数为0。在这项研究中，twindex为> 75的文章通常也是被引用最多的文章。

讨论

主要研究结果

据我所知，这是第一个系统的、前瞻性的、纵向的文章和新闻层面的调查，研究社交媒体上学术文章的提及(引用或推文)如何随着时间的推移而积累。这也是首个相关研究altmetrics随后的引用。我发现了重要的规律，这对其他有兴趣应用和开发基于社交媒体的影响度量的人非常有用，而不仅仅是在科学计量学的背景下。

这篇论文表明，博客圈中的热议是可测量的，并且可以推导出与引用有一定关联的指标。来自谷歌Scholar的引用似乎比来自Scopus的引用与推文的关联更紧密，这可能反映了谷歌Scholar包含了更广泛的引用来源，特别是来自非期刊文献的事实[32］．斯皮尔曼排名相关性比皮尔森相关性差，可能是因为在推文较少的文章中，推文很少，通常只有1或2条推文就会影响一篇文章的排名。然而，这种相关性是足够强的，我们可以做出令人惊讶的精确的二元预测，即推文高度活跃的文章最终被高度引用的可能性是其他文章的11倍。

相关性不是因果关系，而且很难决定额外的引用是否是一个结果无论是社交媒体的热议，还是一篇文章的潜在质量或新闻价值驱动热议和引用——它很可能是两者的结合。在Twitter上曝光会带来一些额外的引用，这并不奇怪:科学家经常使用社交媒体“捕捉有用的引用……否则学者可能不会接触到" [24]，许多科学家看到了Twitter的价值，它是一个从同行中众包的持续实时文献提醒服务。Tweets包含文章的超链接，超链接可能会影响在谷歌等搜索引擎中的排名，增加研究人员的可见度。

基于twitter的指标的局限性

我建议将tweetions、twindex和twimpact factor作为JMIR将发布和推广的指标。这些指标应该主要被视为社会影响的指标(热门话题、关注度或受欢迎程度)，并作为研究人员、期刊编辑、记者和公众筛选和识别热点话题的工具。关注问题是社会变革的先决条件[33，34]，而推文是衡量人们对某一特定学术出版物关注度的有用指标。这里提供的数据还表明，社会影响在一定程度上与科学影响相关，但有一些重要的警告。这种相关性远非完美(正如人们所期望的那样)，而且互补需要强调的是度量的本质(作为题外话，互补性的本质也是为什么这个作者不喜欢术语替代度量的原因——这些度量可能不是替代,但补充传统的引用)。人气——这是推文度量的一个维度——对于娱乐行业等商业企业来说是一种非常有用的(和预测收入的)度量，但如果不符合或与其他度量相补充，将人气度量应用于健康和科学领域会存在巨大的陷阱。虽然对于资助机构、期刊编辑和研究机构来说，知道哪些话题与公众产生共鸣(受欢迎和关注)可能非常有价值，即使他们没有收到很多引用(假阳性组中的文章)，但真正的危险是，研究主题或发现不够流行，无法与Twitter用户产生共鸣——例如，影响弱势群体的研究没有出现在twitter上——被边缘化了。有趣的是，其中一篇假否定(引用很多，但推文很少)包括一篇关于低收入老年人口的论文[Article ID 1256]——正是Twitter上代表性不足的人群。另一方面，“性感”、时髦或有趣的出版物可能会在Twitter上获得大量曝光，但可能(也可能不会)具有有限的科学价值(这一概念也不总是通过引用量来准确衡量)。

尽管如此，正如前面提到的，资助组织、编辑和学术机构来监控这些数据，并特别关注假阳性(高推文、低引用)仍然有巨大的潜在价值，因为它们可能指向可能需要关注的主题或问题。在我们的样本中，3篇推文高度转发但引用不高的文章(假阳性;文章id 1223, 1163, 1281)都有病人的一面，消费者可能是推文的来源。社交媒体的信息监控可以被视为公众参与讨论“重要”研究的一种工具。

最后，必须承认，期刊特定的混杂因素可能会限制两种影响指标的使用，特别是在不同期刊之间进行比较的情况下(目前还没有这样做，但可能是未来的情况)。期刊迎合不同的社区和社交网络，当比较信息如何通过在线社交网络传播时，我们可能是在衡量这些网络的结构和这些社区的属性，而不是信息本身的属性。换句话说，推文的数量不仅仅是研究文章的内在属性的函数;相反，它还受到与期刊或发表地点相关的因素的影响，围绕期刊建立的社区，以及期刊如何营销学术信息。但话又说回来，引用也是如此。

本研究的局限性

虽然这里提出的结果和度量可能是为基于社交媒体的影响度量的新领域铺平道路的关键，尽管JMIR将越来越多地使用这些方法，但最大的问题是我们的结果和方法是否可以应用到其他期刊。JMIR是一个理想的试验替代指标的期刊，因为它有一个相对较高的影响因子(即，许多传统的引用事件)和作为一个期刊关于互联网和社交媒体——它有一群经验丰富的读者，通常在采用Web 2.0工具方面走在前列。然而，这也限制了这些结果的可泛化性:适用于本期刊的内容可能不适用于其他期刊，特别是很少被引用(影响因子低)和没有活跃Twitter用户基础的期刊。JMIR是一本关于信息技术的杂志，它的读者可能比其他杂志的读者更熟悉社交媒体。那些发表非互联网相关文章的期刊，每篇文章的推特率可能要低得多，而且人们也不太可能对非开放获取的文章进行推特。事实上，有人认为开放获取的一个关键优势是它促进了知识在非研究用户之间的传播[35]，而且来自影响较小的订阅型期刊、大量用户无法访问的文章不太可能吸引到类似水平的推文。另一方面，如果订阅型期刊上的论文出现tweet(例如，高影响力的期刊，如科学或自然)，它们很可能是由有权访问文章的专家用户(科学家)发布的;因此，它们可能对引用更具预测性，因为公众不是(或在较小程度上)对话的一部分。

这里给出的结果应该通过其他期刊的推文以及未来JMIR的文章得到证实，我们的团队目前正在与其他数据集进行比较分析。假设是，只要有足够大的Twitter用户群，研究结果可以被复制到其他期刊上。

还有进一步的，jmir特异性的警告。首先，如图所示图1在美国，JMIR在其网站上对推文最多的文章进行排名，每当一篇新文章进入任何一个月度分类的前10名时，JMIR都会自动发出推文;两者都可能加强并放大了Twitter用户的反应。此外，推特是衡量社交媒体回应的一个指标;因此，期刊的社交媒体策略可能会对结果产生影响。拥有活跃的社交媒体和推特提醒(如JMIR)的期刊将有更高的接受度。JMIR的追随者只需点击一个按钮就可以转发或修改这些警报(种子微博)．不为每篇文章发出警告的期刊可能有非常不同的推文特征(例如，更多的后期推文)。此外，推特的特征和速率几乎肯定受到一份期刊的关注者数量的影响(JMIR目前有超过1000的关注者)，甚至更多的是受列表和推特机器人将内容重新分发到特定社区的影响。

有兴趣使用这种新方法和指标来比较不同期刊的研究人员还应该意识到，文章发表的时间和频率可能会影响推特动态和率(并可能影响推特和引用之间的相关性强度)。JMIR在一周的不同工作日发布文章。随着人们在周末发微博的减少，推特曲线如图所示图2与总是在周五出版的期刊相比，总是在周一出版的期刊(下降可能不那么明显)可能看起来略有不同(在这里，下降可能更明显)。然而，tw7指标(一周内的累计推文量)可能足够稳健，可以比较不同出版计划的期刊。季节性的影响也很明显。例如，第5期2010(没有显示，也不包括在我们的分析中)是圣诞节前不久出版的主题问题，在这一期中，所有文章都是一次性发表的，而不是分散在好几天;因此，这一主题的文章的推特率非常低。

目前的报告没有对推文内容进行系统的定性分析。然而，粗略地浏览一下所有的推文就会发现，绝大多数推文只是包含了文章标题或关键结论的变体，很少包含明确的积极情绪(如“伟大的文章!”)或更少的消极情绪(如“可疑的方法”-我没有看到任何后者的例子)。这可能是因为转发一篇文章的行为通常是一种含蓄的认可或推荐，读者通过这种方式表达了他们对特定话题的兴趣和热情，支持研究问题和/或结论，或者只是想让他们的追随者注意到这篇文章。不一定需要额外的评论来表达这种含蓄的赞同。此外，由于大多数推文都发生在论文发表当天，很少有读者真正有时间仔细阅读和评价除了标题和摘要之外的整篇论文。虽然我们最初想做一个自动化的情绪分析，但评论的稀疏性质并没有使这种方法看起来有希望引出更具体的数据，尽管未来的研究可能会使用有大量推文的期刊或文章来仔细研究这个问题。

未来的研究可能还希望通过关注特定类型的推特用户，或考虑推特作者的网络结构和相对影响力，来增加特异性和敏感性。JMIR在它的“顶级文章”页面上发布了一个推文影响因子图1)，它不仅考虑了推文的数量，还考虑了发送这些推文的用户的影响力。用户的影响力可以通过他们的关注者数量和/或他们的推文被转发的频率来计算，需要更多的研究来确定这些次要指标是否能获得额外的信息，还是已经反映在原始推文计数中。

另一个限制是，目前的分析只考虑了一阶推文。推文可能包含链接到博客的链接，这些博客又会讨论文章，或者可能包含报道新研究发现的新闻文章的链接(二级推文)。据Priem和Costello说，大约50%是二级推文[24］．这个分析没有捕捉到这些，因为我们的工具严格地关注直接链接到JMIR文章的推文。我们也没有捕捉到其他网站的链接，在那里JMIR文章可能托管，包括PubMed, PubMed Central，或DOI解析器。最后，twitter用户通常使用URL缩短程序，虽然我们检索了一些缩短的URL(通过URL缩短程序，如bit.ly)，但我们可能没有捕获到使用不太常见的缩短程序缩短URL的tweet。因此，真实的推文总数可能比这里报道的要高。另一方面，没有理由相信不计算这些推文会产生偏见。

在当前的分析中，每个独特的tweet被视为1条tweet。因此，同一用户发送的关于同一篇文章的多条tweet将被计算多次。在当前的分析中，这不是一个问题，因为来自同一用户的具有相同URL的多个tweet非常罕见。然而，从理论上讲，这是可能的——特别是如果推文成为排名和筛选文章的更普遍的方法——作者可能会开始“玩”这个系统，发送多个关于他们自己文章的推文，为他们的文章创造更多的曝光率。因此，对于任何对作者有严重影响的用例(例如，如果推文成为更被接受和更常见的社会影响的早期指标)，推文应该被定义为由一个独特的用户提到的URL。

结论

Twitter用户的集体智慧可以在一定范围内预测被引用次数，这是一个有趣而令人信服的发现，而这种预测通常需要数年的积累。

需要再次强调的是，不要期望也不要期望完美的相关性。推文应该主要被视为衡量社会影响和知识翻译(新知识被公众接受的速度)的指标，以及衡量公众对特定话题的兴趣(公众关注什么)的指标，而引用主要是衡量学术影响的指标。都是有点相关，但推文和引用衡量的是不同的概念，衡量的是不同受众的接受程度或兴趣(图12)．这些受众之间的关联和相互作用表现在图12使用双向箭头，从“社交媒体热门话题”指向“引用”(科学家受到社交媒体热门话题的影响)，从“科学家使用”指向“社交媒体热门话题”(科学家在Twitter上制造热门话题)，说明了这些受众和指标的相互影响。

因此，如果不(主要)作为引用的代理或早期指标，那么应该或可以如何使用推文呢?用例是什么?

首先，学者、机构和期刊可以很容易地使用社交媒体指标，及时监测研究的整体影响，记住上面列出的警告和限制。其次，这些指标可以用来评估不同的知识传播方法。研究人员可以设计研究，对推广一篇文章的不同方法(或其他url，例如公共卫生干预网站)进行评估，将两个影响因子作为结果衡量指标。第三，社交媒体影响指标也可以作为一个过滤器，引导用户到公众或研究社区关注的研究文章。一个显示实时社会影响指标的网站，例如当前研究文章的两个影响因子，可能对广泛的潜在受众(包括记者、期刊编辑、研究人员、公共卫生官员和患者)有用，可以引导他们了解与公众产生共鸣的主题和研究。

‎ 把这个图

定期征文

为了科学计量目的或信息流行病学研究中的其他用例，需要进行更多的研究来评估这些社交媒体指标的稳健性及其在社交媒体闲聊的噪声中检测信号的能力。如前所述，这里提出的度量和规律不仅可以应用于科学计量学，还可以用于测量Twitter或社交媒体上讨论的其他问题或事件的动态和“半衰期”。

为了刺激和鼓励这一领域的创新、研究和开发，JMIR特此发出长期征稿呼吁，欢迎关于信息计量学或信息流行病学指标(或科学计量学背景下的替代指标)这一广泛主题的实证和观点论文，特别是包含具体用例和来自卫生相关领域或期刊的数据。我们期待着发表更多我们认为是在互联网研究和科学2.0领域中利用众包和集体智慧主题的重要方法论基础的研究。