评估社交媒体数据作为枪支研究的资源:与枪支死亡有关的推文分析

简介

动机

在美国，枪支暴力是一项重大而昂贵的公共卫生负担[1-3.]，以及研究经费和支持枪支研究的可靠信息的限制，限制了收集有效枪支政策的科学证据的能力[4-7］．与此同时，人们对社会媒体分析在公共卫生领域的力量和潜力的兴趣激增。社交媒体数据的几个方面提高了它们作为资源的前景，包括与调查数据相比，获取这些数据的成本较低;提供连续的、自动化的、接近实时的监控;并作为个人日常生活的一部分，在自然主义环境中被动收集，消除抽样程序、问卷调查和回忆所固有的偏见[8-13］．当然，这些数据也有其自身的方法挑战和局限性，而在道德和有意义的使用方面的实践也在不断发展[14-16］．

迄今为止，这些数据已以多种方式部署在枪支相关研究中，包括记录枪击事件的叙述、情绪和情绪[17-20.];描述社交媒体上的枪支广告特征[21];并反映枪支政策和枪支管制的意见[22，23］．在本文中，我们讨论了社交媒体数据如何有助于理解枪支相关结果的问题。我们确定了与使用社交媒体数据来理解特定枪支结果(枪支死亡率)相关的方法方法、挑战和限制，对此，可以从传统数据源获得用于比较的基准测量。对枪支死亡率的分析旨在测试社交媒体数据的潜在效用，以了解目前没有测量、没有很好地测量或无法通过其他可用手段测量的枪支后果。

评估Twitter数据的有用性

具体来说，我们评估了Twitter数据在理解枪支死亡率方面的有用性。Twitter是一个在线微博平台，在全球拥有2.06亿日活跃用户，在美国拥有7700万日活跃用户[24］．Twitter的一个关键特点是它的简短格式:用户只能发布消息微博，最多280个字符。我们开发了机器学习(ML)分类器，用于识别与枪支死亡有关的推文，并将枪支死亡讨论量的测量结果与国家生命统计系统(NVSS)中各州的枪支死亡估计进行了比较。NVSS是美国健康相关数据的为数不多的来源之一，根据地理区域对特定枪支结果进行了持续收集和可靠的信息。我们的目标是开始为如何单独使用社交媒体数据或与其他数据资源结合使用(例如通过数据混合技术)建立一个基础，以改善枪支研究所依赖的信息库。

方法

伦理批准

乔治敦大学的机构审查委员会审查了我们提交的STUDY00002288，并确定该研究为豁免研究。

概述

我们的主要方法是在一段时间内(按月)，在州内比较枪支死亡推文讨论量的测量与NVSS使用皮尔逊线性相关对枪支死亡人数的估计。在方法上，对于Twitter数据，我们使用了一个多阶段的过程，如下小节将详细描述。我们首先描述我们的基准数据，然后详细描述我们分析Twitter数据的方法。

基准数据

我们的基准数据是NVSS对2017年和2018年各州和月份总体枪支死亡人数的估计。NVSS中的诊断(国际疾病分类，第十版修订)代码确定了因意外开枪、开枪袭击(杀人)和故意自残(自杀)造成的死亡。使用标准化表格和一套通用程序在全国范围内收集数据，以确保各地数据的可比性。

Twitter数据

我们开发了一个基于Twitter的枪支相关分析平台，该平台基于从Twitter企业应用程序编程接口(API)中筛选出的2017-2018年时间段的内容图1．该过程包括为ML准备数据的4个阶段和与ML分析相关的3个阶段。

‎ 查看此图

该API允许被允许的用户访问公开的Twitter内容——包括推文;推文id(为每条推文生成的唯一标识号);以及Twitter个人资料信息，如显示名称、用户名、用户简介和公开声明的位置——在开发者协议下。开发者协议要求，这些数据的使用方式必须符合人们对隐私的合理预期，不得用于开发、创建或提供违反Twitter政策的商业服务。为了识别相关的推文，我们通过查看实际推文的随机样本，并使用以前文献中识别的关键词，手工策划了一组与枪支相关的关键词和标签。用于从API收集数据的查询包括>200个关键字和标签(多媒体附件1)．通过API回顾性收集的数据为每条推文添加一个语言标签。在这项研究中，我们使用了标记为用英语写的推文。

我们使用我们策划的枪支相关关键字和标签集从Twitter API派生出的初始数据库包括2017年和2018年的230万条推文。更具体地说，我们获得了2017年的651466条推文和2018年的1675083条推文(随着时间的推移，推文数量的增加反映了推特上关于该主题的讨论的更大趋势)。考虑到Twitter上每年用英语发布的推文有数十亿条，关于枪支的讨论规模相对较小。

接下来,在第二阶段由于社交媒体数据受到机器人、广告商和营销人员的影响，必须对数据进行分类和过滤，以排除无关数据。我们使用多阶段流程来识别和删除垃圾邮件(广告、无效链接、色情内容等)。我们首先使用基于内容的算法检测垃圾邮件，因为垃圾邮件可以由人类和机器人生成。基于内容的算法首先查找与已知广告、钓鱼计划、恶意软件、赌博和色情网站相关的网站url。我们的垃圾邮件黑名单包含200万个网站网址。垃圾邮件分类器的第二部分寻找与标准垃圾邮件内容对应的内容，或与正在收集的推文流中的其他内容有显著差异的内容[25］．

在第三阶段，我们从结果数据中随机抽取推文进行手动标记——为每条推文分配一组与研究问题相关的特征或特征的过程。我们标记了推文的三个与枪支相关的特征:推文是否与(1)枪支有关(2)死亡人数或死亡人数，或(3)大规模枪击事件有关。我们的分析主要集中在枪支死亡(特征1和2的组合)和大规模枪击事件。我们还将推文标记为广告或无关内容、垃圾邮件或噪音，并使用这些标签进一步改进我们的垃圾邮件分类器，并从进一步分析中删除已识别的垃圾邮件。

手工标注过程依赖于亚马逊Mechanical Turk (MTurk)的众包、分布式劳动力[26-28］．我们认识到，关于该平台的使用存在各种不同和不断发展的观点[29-31]并且在我们的研究设计中注意到了这些考虑因素，这是由我们的机构审查委员会审查和批准的。我们应用了最佳实践，创建尽可能清晰和精简的任务，并通过书面指导指南和标签示例培训MTurk编码器(多媒体附件2) [32］．最近的研究证实，当使用最佳实践时，MTurk可以成为快速收集可靠数据标签以训练ML模型的有用资源[33］．

我们要求每条推文都由5个不同的编码员进行标记，并计算了不同编码员之间标记的可靠性。手动标记过程一直持续到我们达到一个阈值数量(至少400个)，这些推文被标记为积极识别特定特征。我们发现，在我们的ML模型中，每个类至少有400条推文，对于为我们的学习任务构建可靠的分类器是合理的。为每个特征标记的推文总数各不相同，因为程序员可能为每个推文标记一个或多个特征，而不是为每个推文标记所有特征。

作为评估手动标记过程的一种手段，我们为每个特征标记的推文集计算了2分。第一个测量任务协议。对于每条推文，我们根据多数投票(例如，如果5个标签者中有3个选择)分配被测量的特征值是的与枪支相关，2个选择没有，我们赋值为是的)，然后计算同意该值的程序员的百分比(在本例中，3/5 = 60%)。任务一致性是所有推文对该分数的给定特征的平均值。其次，我们计算了每个编码器的工作表现得分，分母是编码器标记的特征的总数，分子是编码器分配的标签与大多数投票一致的标记特征的数量。然后，我们计算了一组编码员的平均工作表现得分，这些编码员标记了用于测量每个特征的推文集。

表1总结了手动标记的推文数量以及任务协议和员工绩效评分指标。

如表1，我们发现，在识别枪支死亡事件(任务一致性和工人绩效分别为97.14%和97.19%)和大规模枪击事件(任务一致性和工人绩效分别为95.42%和94.96%)时，任务一致性和工人绩效的比例较高。我们注意到，50条被标记为枪支相关的推文并没有被标记为大规模枪击事件的特征。这发生在我们最初的标记任务实验中。在这个实验中，我们将推文标记为有关大规模枪击、杀人或自杀的内容。如果一条推文被标记为与谋杀或自杀有关，我们不会要求标签商确定这条推文是否与大规模枪击有关。在随后的实验中，我们只专注于更广泛地捕捉与枪支相关的死亡和大规模枪击事件，以便进行计数调整。因此，在随后的实验中(我们一次收集了几百个标签)，我们总是让标签商确定一条关于枪支相关死亡的推文是否在讨论大规模枪击事件。

在第四阶段，我们定义可靠的标记推文为≥3名编码员之间存在手动标注协议的推文。我们删除了有可靠标签为不确定或从进一步分析中不可靠标记的推文。这意味着我们的训练数据不包括模棱两可的推文，因此可能会低估我们的特征。

接下来的三个阶段(第五阶段，6,7)的过程涉及枪支相关的ML第五阶段，我们将可靠标记的推文子集分为训练数据(我们在其上构建ML分类器)和保留数据(用于验证分类器)。我们随机选择了80%的可靠标记的推文作为训练数据，20%作为坚持的推文。在构建ML分类器时，我们对训练数据使用5倍交叉验证来衡量分类器的可靠性。交叉验证是一种重新采样的过程，允许研究人员确定他们的ML模型是否可推广[34-36］．在5次交叉验证中，数据集被划分为5个相等的子部分(或折叠)．在这5次折叠中，4次(80%的数据)用于训练，1次(20%的数据)用于测试。重复5次，这样每一次折叠都是4次训练集的一部分，1次测试集的一部分，模型的最终精度是通过在测试集上取所有创建模型的平均精度来确定的。

我们开始构建ML分类器，以识别与枪支死亡和大规模枪击有关的推文。我们对数据进行了最低限度的预处理:小写的文本，删除标点符号和url，删除停止词。我们为ML分类器生成了许多特征:频繁的n-grams、单词和短语以及情感。我们比较的分类器是随机森林、支持向量机、逻辑回归、决策树和naïve贝叶斯。在阶段6，我们验证了我们为枪支死亡和大规模枪击事件开发的分类器第五阶段通过进一步测试坚持数据。我们计算了ML模型预测的灵敏度和特异性，以对抗手工编码的枪支死亡标签。

表2总结了每个分类任务的最佳性能ML分类器，以及训练和滞留数据集大小，以及基于测试数据的可靠性度量，使用我们的交叉验证方法，以及滞留数据。的F₁-score是考虑假阳性和假阴性的敏感性和特异性(准确度和回忆率)的加权平均值。在与枪支相关的死亡事件中，我们有6045条标记的推文。对于大规模枪击事件，我们有5842个标记的推文。由于训练数据中存在严重的倾斜(不平衡)，我们从大多数标签的标记数据中随机进行欠抽样，以平衡训练数据集和拒绝数据集。表2显示此过程后的训练和保留数据集大小。

我们选择了随机森林分类器，用于火器死亡和大规模枪击特征。的F₁-scores，如表2，对于测试数据和抵抗数据来说是高的，并且具有可比性，这表明分类器具有在训练数据集之外进行泛化的明显能力。

阶段7完成了基于twitter的枪支相关分析平台的开发，完成了ML分析的第三部分，也是最后一部分。在阶段7，我们应用经过验证的分类器来识别枪支死亡推文。

推特枪支死亡讨论量的地理区域估计

NVSS根据死亡发生的地理管辖范围对死亡人数进行分类。因此，为了与州级NVSS估计值进行比较死亡地点在Twitter上被讨论的是感兴趣的位置(vs发推的人的位置)。我们依赖于推文内容来确定死亡的位置，因为来自个人资料信息或推文地理编码(一些用户允许)的位置信息确定了用户的位置(而不是死亡的位置)。

重要的是，推文中提到的地点主要是指城市的名字。在某些情况下，还会提到州名，而在其他情况下，可以从城市名推断州名。为了获得每个位置的足够数量的推文，以估计区域级的死亡讨论量，我们着重于确定推文中提到的较大城市。具体来说，我们在样本中确定了提到2018年250个人口最多城市中的任何一个的推文(根据美国人口普查数据[35])。这种方法的局限性在于，它关注的是城市地区的死亡人数，而不是农村地区。

我们用社交媒体上常用的替代城市名称增加了250个城市名称的列表，例如纽约，以及多个单词之间不包含空格的城市名称，例如旧金山。我们对帖子进行了标准化——将文本转换为小写，删除url、用户提及(以@为前缀的单词)，以及那些看起来像是城市提及的常见短语。我们删除的一个常见短语的例子是变装皇后因为它可能会意外地映射到纽约皇后区。标准化之后，我们在文本中搜索与位置本体匹配的城市名称。在这250个城市中，大多数城市的名称都与一个州有关，因此可以可靠地映射到一个州。对于我们特定的一组推文，没有提到映射到多个州的城市。

我们总结了一个州内人口最多的城市的推特讨论量，以创建一个州级的衡量标准。我们对亚利桑那州、加利福尼亚州、科罗拉多州、佛罗里达州、佐治亚州、伊利诺伊州、印第安纳州、肯塔基州、路易斯安那州、马里兰州、马萨诸塞州、密歇根州、密苏里州、内华达州、新泽西州、纽约州、北卡罗来纳州、俄亥俄州、宾夕法尼亚州、田纳西州、德克萨斯州、弗吉尼亚州、华盛顿州和威斯康星州进行了州级估计。我们从进一步的分析中排除了那些在大规模枪击事件调整后推文样本量<200条的州(在下一段中描述)，因为这些州只有一个或几个人口较多的城市(如爱达荷州、爱荷华州、内布拉斯加州和俄勒冈州)，而且该州人口较多的城市相对较小(如堪萨斯州、阿拉巴马州和阿肯色州)。

在应用最好的ML分类器来识别枪支死亡推文并使用位置提及来识别死亡状态后，得到的数据集包括2017年的31,747条推文和2018年的44,779条推文。我们利用这些数据总结了每个州的枪支死亡讨论量。然后，我们以三种方式调整了各州对枪支死亡讨论量的估计。首先，大规模枪击事件往往会引发不成比例的高水平讨论，也就是说，讨论水平远远高于其他不那么引人注目的死亡事件。我们通过在事件发生后1周内排除来自大规模枪击事件发生地的推文，来考虑大规模枪击事件对枪支死亡人数和推文讨论量之间关系的潜在扭曲影响。我们根据观察到的大规模枪击讨论量的趋势来确定1周的排除期。我们利用枪支暴力档案中的信息，在我们的数据范围内确定了大规模枪击事件。37]、Everytown Research [38]，以及“暴力计划”[39］．最后，我们根据使用Twitter的州级人口百分比调整了我们对州级讨论量的估计[40］．

我们测试了序列相关性，发现在我们最终的数据集中，NVSS数据包含10个具有中度序列相关性的状态，Twitter数据包含5个具有中度序列相关性的状态。因此，我们通过不同的月估计值使每个时间序列平稳[41];我们称之为改变结果。对于水平相关性，我们删除了两个时间序列都具有较高水平的序列相关性的状态，因为如果其中一个时间序列表现出序列相关性，而另一个时间序列没有，则相关性是有效的[42］．这个问题出现在四个州:乔治亚州、印第安纳州、密歇根州和北卡罗来纳州。

结果

相关分析

表3显示了相关分析的结果。我们估计了州内每月的相关性水平的讨论量和水平nvss报告的死亡人数，以及每个月各州之间的相关性改变讨论量相对于每月改变NVSS的死亡率

由NVSS测量的每月枪支死亡推文水平与每月死亡人数之间的相关性很弱(中位数为0.081)，并且在各州广泛分散(范围为-0.31至0.54)。推文中讨论的枪支死亡人数的逐月变化与NVSS中估计的变化之间的相关性是中等的(中位数为0.30)，并且各州之间的离散性低于月度水平的相关性(范围为-0.057至0.68)。对于枪支死亡人数每月变化之间的相关性，几乎一半的州(11/24,46%)的相关性在0.1到0.4之间。超过四分之一(7/ 24,29%)的州的相关性低于这个范围，四分之一(6/ 24,25%)的州的相关性高于这个范围。调整讨论量的结果(第二行表3(该州的Twitter使用量调整后的讨论量)与未经调整的结果非常相似，在估计的相关率中观察到的差异可以忽略不计。

图2提供死亡人数讨论量和nvss估计死亡人数每月变化相关性的其他详细信息，并描述了2017年各州(调整后)的相关率。白色阴影状态没有相关性。一个州的紫色越深，相关性越高。灰色阴影状态是那些我们无法估计Twitter致命讨论率的状态(请参阅方法下的Twitter数据小节)。不出所料，相关性的强度似乎与我们在位置本体中使用的人口最多的城市之一所居住的州人口的百分比有关;例如，德克萨斯州、纽约州和亚利桑那州三分之一或更多的人口居住在该州人口最多的100个城市之一(分别为34%、44%和51%)。在这些州，枪支死亡讨论量的月度波动与基于nvss的死亡估计之间的相关性最高。同样，乔治亚州、密歇根州和马里兰州都是居住在人口稠密城市的人口比例最低的州(分别为5%、7%和10%)，而且在研究的州中，这些州之间的相关性也最低。

相比之下，47%的内华达州居民居住在人口最多的城市之一，但内华达州的相关率低于德克萨斯州、纽约州和亚利桑那州的相关率。尽管我们通过删除事件发生后一周的推文来调整大规模枪击事件的讨论量，但在内华达州观察到的较低相关性表明，考虑到事件的严重性，调整可能不足以捕捉拉斯维加斯大规模枪击事件后讨论量扭曲的程度。更详细地分析数据表明，在周年纪念日(1年)和其他更大规模的大规模枪击事件在全国其他地区发生时，对这次枪击事件的讨论又回来了，确定了对历史上大规模枪击事件进行更广泛调整的必要性。

‎ 查看此图

相关性比较

此外，2017年与2018年每个州的相关性比较表明，拥有最大城市的州往往具有最稳定的相关性;例如，德克萨斯州、纽约州、加利福尼亚州、佛罗里达州和俄亥俄州;而大城市较少、推文较少的州，其相关性估计值往往变化较大;例如，密苏里州、田纳西州、南卡罗来纳州和马里兰州。另一个可能影响相关率的因素是发生枪支死亡的州所处的位置。在某种程度上，一个州的死亡人数更集中在人口最多的城市，nvss估计的死亡人数和Twitter讨论量之间的相关性预计会更高。

讨论

主要研究结果

在研究的州子集中，我们发现我们对枪支死亡推文水平的测量与基于nvss的枪支死亡水平估计之间存在弱到中等的相关性，而在枪支死亡推文和估计死亡人数的逐月变化测量中存在较高的中度相关性。由于我们的Twitter位置提及本体论依赖于250个人口最多的城市的识别，所以在那些居住在这些城市中的人口较多的州，我们的相关性更高。我们进一步预计，在枪支死亡人数集中在人口最多的城市的地区，相关性更高，并发现了关于这一点的提示性证据。

这种分析的一个关键局限性是，我们依赖于人口更多城市的推文来估算讨论量的州级数据。我们的方法双重反映了城市一级枪支死亡数据的有限可用性和推文位置标识符的有限可用性。此分析的一个重要特征是需要识别正在讨论的事件的位置与用户的位置。在后一种情况下，对用户配置文件进行地理编码是有利的，可以提供状态级标识符，但前一种情况只依赖于推文中提到的位置。

即使有这些限制，火器死亡率波动的相关性是适度的。我们认为这是一个有希望的信号，表明社交媒体数据有可能在未来提供有关枪支相关结果的有意义的信息。更具体地说，我们的研究结果表明，Twitter数据可能对跟踪枪支相关结果的动态具有特殊价值。此外，对于特定位置的枪支相关结果，这些数据对于理解人口相对稠密的城市的动态最有价值，这些城市可以通过推文内容中提到的位置来识别。最后，这些数据对于理解目前没有测量、没有很好地测量或无法通过其他可用方法测量的火器后果可能特别有价值。Twitter数据的一个关键优势是它们提供了持续的、自动化的、近乎实时的监控。13］．一旦投资了大数据基础设施，数据就可以相对容易地处理。如果研究人员想要长时间传输数据，大数据基础设施的初始成本可能会很高。然而，对于单个研究，可以访问服务器的研究人员应该能够以较低的成本进行分析。由于这种潜在的更高投资，我们开发了一个文本分析门户，允许研究人员从我们的社交媒体数据中构建变量[43]，从而使未来的研究可以利用这些数据，而无需建立大数据基础设施的成本。

我们认识到需要进行更多的分析，以继续适应和扩展本研究中开发和应用的方法，包括，例如，在较长时间内评估关联可靠性的工作。我们还注意到，与抽样调查数据以代表潜在人群不同，社交媒体数据来自使用特定平台的人群。尽管推特在美国的使用率很高(2021年，近四分之一的成年人使用推特，在使用该平台的人中，近一半的人表示他们每天使用一次或更多)[44]，尽管如此，社交媒体的使用率也确实与年龄相关，在某种程度上与其他人口特征相关[44］．许多现有的社交媒体数据分析工作并没有直接处理这个问题。在我们的方法中，我们对每个州的Twitter用户比例进行了调整。对于未来的工作来说，更全面地考虑平台参与度的额外统计调整非常重要。此外，社交媒体数据只包含有限的用户社会人口学信息。在为人口统计估算开发稳健方法方面取得的额外方法学进步是未来努力的一个重要方面。

社交媒体数据的有用性

疾病控制及预防中心[45]将其预防包括枪支暴力在内的暴力行为的公共卫生办法描述为包括四个步骤:界定和监测问题，查明风险和保护因素，制定和试验预防战略，以及确保广泛采用[46］．对于枪支暴力，第一步——建立描述此类暴力流行病学的信息基础——需要集中资源和发展。除了最近在调查、行政和其他数据方面的发展之外，例如新闻媒体和其他组织为详细追踪枪支暴力事件所做的重要努力，以及从讣告中收集数据的出现[37，47，48)，社交媒体数据是一个很有前途的未来资源。这项研究为未来的工作提供了重要的构建模块，这些工作将继续开发社交媒体数据的有用性，单独或与其他数据资源结合，以加强枪支研究所依赖的信息基础，更广泛地说，有助于整合新兴大数据算法和传统数据源，以进行行为理解、决策支持和循证公共政策。

在我们构建社交媒体数据的力量，为枪支暴力等公共卫生问题提供信息时，需要记住几个重要方面。社交媒体在加剧枪支暴力或传播枪支暴力相关创伤方面可能发挥的作用不容忽视。然而，这些数据也可以用来帮助锁定和改善我们对枪支使用者的了解，并为预防枪支暴力干预提供新的方法[49］．为了利用这些数据改善公共卫生结果，并改善我们对人类信仰和行为的理解，我们必须率先建立以道德方式使用社交媒体数据的最佳实践[50-52]，以及对代表性、方法限制和算法偏差的理解。