基于Dempster-Shafer理论的变形金刚组合对失眠相关推文的情感分析:covid -19大流行前和前后的回顾性研究

介绍

COVID-19大流行给世界人口带来了过度压力[1，2]由于金融不稳定、失业、社会孤立和缺乏社会活动[3.]。之前的研究证实了这种压力和睡眠障碍之间的联系[4-6]。此外，由于大流行，社交距离等限制措施导致某些数字行为增加，包括远程学习、网络会议、网络购物和社交媒体使用[7-9]。Twitter等社交媒体平台使用率的上升，为研究人员筛选公众行为提供了新的数据来源。

多项研究报告了COVID-19大流行对睡眠质量和心理健康的影响[10-17]。然而，这些研究仅限于小型数据库，通过问卷调查收集的数据，或两者兼而有之，而且缺乏对照组。例如，一项研究使用推特，根据192条推文报告了COVID-19大流行对孕妇睡眠质量的影响[18]。社交媒体内容的情感分析是一项具有挑战性的任务，因为这些文本是非结构化的、简短的、非正式的和随意的;在听写和语法方面容易犯错误;并且是嘈杂的(表情符号，标签，url等);它们包含了歧义，比如一词多义[19]。因此，使用人工智能和机器学习工具和技术可能有助于应对这些挑战。这些工具中有先进的分析自然语言处理(NLP)算法变形金刚［19-26]。它们是对深度人工神经网络(循环神经网络)以前版本的语言建模和语言编码新提出的工具和扩展。

我们假设，使用NLP探索社交媒体可以帮助评估COVID-19大流行爆发后失眠患者的心理健康状况。心理健康是通过对推特公开数据使用NLP算法测量负面情绪来定义的。我们设计了一个基于预训练变压器架构的情感分析管道。利用Dempster-Shafer理论(DST;信念理论)，以达到更高的准确性在认识的情绪。通过使用手动标注的数据集验证了该模型的准确性。随后，使用这一管道，我们分析并比较了在COVID-19大流行爆发前1年内(大流行前)和大流行期间1年内(大流行周)发布的与失眠相关的推文所固有的情绪。我们还从推文的发布时间方面比较了推文的情绪分析结果(即时间分析;午夜前和午夜后)。

方法

研究设计和数据收集

这项回顾性试点研究检查了在2019日历年(大流行前间隔)和2020日历年(大流行前后间隔)发布的推文。我们通过使用Twitter应用程序编程接口来收集公开的英语推文，该接口允许我们通过匹配关键字(例如，失眠）.这些推文根据发布日期和时间被分为两组:大流行前(2019年1月1日至2020年1月1日)和大流行周(2020年1月1日至2021年1月1日)。推文的入选标准是它们必须包含这个词失眠而且要用英语。因此，所有的非英语推文和没有关键词的英语推文失眠被排除在外(图1）.从包含的推文中提取的数据用于情绪分析和情绪注释。

‎ 查看此图

抽样策略与注释

为了确定NLP算法性能测量所需的最小样本量，我们使用了精确功率计算方法[27]。我们假设效应量为0.3，α为0.05，幂为80,5df，需要143张纸币。然而，我们的注释团队随机选择了300个注释。

为了验证模型在预测推文情绪方面的性能，我们从提取的数据中随机选择了300条推文(根据研究设计和数据收集部分)，并手动将它们注释为积极、消极和中性类别。两名母语非英语、国际英语语言测试系统得分≥7分的人在推特上做了注释。第三位资深非英语母语人士担任最终法官，裁决分歧。我们用Cohen κ [28参数来衡量注释器之间的信度。

为推文开发情感分析管道

情感分析管道概述

我们设计了一个算法，它有以下三个步骤:预处理、处理和后处理。在预处理步骤中，我们通过删除特殊字符、url和标签来为处理步骤准备推文。该工艺步骤由2个单元组成。第一个单元使用多个模型进行情绪分类(即，积极、消极和中性)。第二个单元使用DST来组合几个模型的输出(即前一步的输出)，以提供更准确的预测。最后，在后处理步骤中，我们量化了不同模型的情感分析性能。这些步骤将在以下部分和中进行更详细的讨论图2．

‎ 查看此图

预处理

从Twitter上抓取的原始数据包含不相关的属性(例如，用户名、url、转发、表情符号等)。预处理的目的是过滤不需要的文本内容，获得推文的相关部分。

过程

该过程步骤包括以下两个单元:基于nlp的情感分析分类器和用于组合分类器输出的DST。

第一单元:变形金刚

为了对推文进行情感分析，我们利用了变压器，这是新一代的深度人工神经网络(也称为循环神经网络)，用以进行机器翻译[29]并且由变压器单元相互堆叠而成。它们包括两个主要部分——编码器和解码器。编码器用于分类和推理，解码器主要用于语言建模;完整的架构用于机器翻译[30.]。中显示了变压器的典型编码器图3（多媒体附件1提供了变压器的简要理论)。

‎ 查看此图

总共使用了5种不同的预训练的基于变压器的推文情感分析模型。拥抱脸AI社区提供的五个预训练模型如下:

1. 从变压器提取双向编码器表示(BERT) [31]，在斯坦福情感树库v2数据库上进行了微调[32]。知识蒸馏[33，34]用于将BERT模型的大小减少40%，同时保留其97%的语言理解能力，并使其速度提高60%。
2. 稳健优化BERT预训练方法[35用来进行情绪分析，该算法对大约5800万条推文进行了训练。基于BERT结构的RoBERTa模型;然而，它不仅在BERT训练过的数据上进行了预训练(BookCorpus [34，36]和英文维基百科;约33亿字)，还有新闻数据和故事数据库[37]。为了进行情绪分析，RoBERTa对5800万条推文进行了微调。
3. BERTweet [38]，基于RoBERTa预训练程序进行训练，并对8.5亿条英语推文进行预训练。
4. 基于bert的多语言模型，用于以下六种语言(英语、荷兰语、德语、法语、西班牙语和意大利语)的产品评论的情感分析。它通过使用星级(1星到5星之间)来预测评论的情绪;3颗星为中性，<3颗星为阴性，≥4颗星为阳性。
5. 罗伯塔[35模型对来自不同文本来源的15个数据集进行了微调，以增强不同类型文本(评论、推文等)的泛化。

秒单位:DST

提高变压器模型的性能第一单元:变形金刚section，我们使用夏令时[39，40)，该系统能够综合不同专家的证据。我们让Θ= {θ₁，θ₂、……θ_l}是可能假设的有限集。这个集合被称为辨别框架，其功率集为2^Θ．我们定义了一个函数，米()。，称为基本信念分配，它映射每个子集η的值，取值范围为0 ~ 1，且满足以下条件:

米(ϕ)= 0(1)

和

一个子集ζ米（η)>0是a吗焦点元素．我们定义了另一个函数信念函数，贝尔(。)，它为Θ的每个非空子集ζ赋一个从0到1的值，定义如下:

给定上述函数，我们定义组合规则。我们假设了两个基本信念赋值，米₁(.)和米₂(.)，表示信念函数贝尔₁(.)和贝尔₂(.),让η_j和ζ_k成为重点元素贝尔₁和贝尔₂,分别。米₁(.)和米₂(.)然后结合起来，以获得大众所信奉的信仰ϑ⊆Θ，按以下组合(即正交和公式):

分母对于归一化很重要。

后处理:模型评估

对本文中所讨论的模型进行性能评价第一单元:变形金刚部分，评估指标-灵敏度、精度、准确性和F₁本研究使用了从混淆矩阵中提取的分数，并使用以下公式计算[41]：

统计分析

在进行情绪分析并将数据分为负面、正面和中性类别后，使用卡方检验和比值比(or)分析这些推文的类别特征(负面、正面和中性推文的数量)。P显著性水平为<。05, 95% ci，和z-统计报告。使用Python 3.8进行数据管理[42]，使用SPSS version 27 (IBM Corporation)进行分析。

时序分析

我们还调查了与失眠相关的推文的年表，通过检查推文的总小时数。我们提取了带有负面情绪的推文的发布次数。每天的小时数被分为以下两个时间段:午夜前(下午1点到午夜)和午夜后(凌晨1点到中午)。我们计算了每个区间内负面推文的百分比，并使用逻辑回归分析来比较午夜前后发布负面推文的几率。

结果

推文的特点

我们检索到305321条包含这个词的推文失眠并在大流行前和大流行前后发布。其中，139,561人在大流行前期间发布，165,760人(增加18.7%)在大流行周期间发布。在这两个时间段内，推文的长度(字数)大致相同(大流行前:平均26.3字，标准差为13.7字;周流行:平均29.3，标准差13.7字)。推文互动的数量，定义为点赞、转发和回复数量的总和，没有显著差异(P(大流行前:平均6.2，标准差171.8相互作用;大流行前后:平均5.4，标准差100.6相互作用)。

注释

在这两名评论者注释的300条推文中，167条(55.7%)被归为负面，102条(34%)被归为中性，31条(10.3%)被归为正面。评分者间信度达到0.55 (95% CI 0.44 ~ 0.69)。

情感分析管道性能

在表1，我们报告了在300条注释推文中预训练的五个模型的准确性。模型1蒸馏bert -效果最好(80.3%)。在使用DST方法组合模型后，我们观察到组合模型1、2、3和5可以获得最高的性能(84%;表1）.

由于蒸馏BERT(模型1)显示了单模型分类的最佳性能，并且为了更好地理解DST如何提高管道的性能，我们分析了该模型的评估指标以及模型的最佳组合(即在表1)，在所有三项情绪指标(表2）.

情绪分析

应用于所有推文的情绪分析的最佳组合模型的结果显示在表3．我们发现，与大流行前时期(65,164/139,561,46.7%)相比，大流行周期发布负面推文的可能性更高(91,242/165,760,55%)。因此，我们发现在大流行期间发布正面推文的可能性(27,621/165,760,16.7%)低于大流行前期间(34,633/139,561,24.8%)。我们还观察到在大流行前后发布中立推文的可能性相同(图4）.我们报告，与大流行前的时间段相比，大流行期间发布负面推文的几率高出39% (OR, 1.39;95% ci, 1.37-1.41，P<措施;表3）.

‎ 查看此图

时序分析

午夜后发布负面推文的可能性高于午夜前(OR 1.21, 95% CI 1.19-1.23;P<措施;图5A).从负面推文的小时分布来看，与午夜前相比，午夜后时段有增加的趋势(图5B)大流行期间午夜前发布负面推文的几率比大流行前时期高15% (OR 1.15, 95% CI 1.12-1.18;图5C)，而在大流行期间，午夜后发布负面推文的几率高出60% (OR 1.60;95% ci 1.57-1.63;P<措施;图5C).在大流行前时期，午夜后发布负面推文的几率比午夜前高出2% (OR 1.02, 95% CI 1.00-1.07;P= .008;图5D);然而，在大流行周期，它们要高出43% (OR 1.43, 95% CI 1.40-1.46;P<措施;图5D).对大流行前和大流行期间的推文情绪进行季度(3个月)分析的结果载于年的表S1和图S2多媒体附件2．

‎ 查看此图

讨论

主要研究结果

在这项回顾性队列研究中，我们表明NLP工具可以通过使用公开平台(如Twitter)上表达的情绪来监测人口健康，作为公众意识和认知的替代措施。我们观察到，COVID-19大流行与失眠相关的自我报告推文的变化呈负相关。我们设计了一种用于情感分析的新型NLP管道，该管道基于预训练的变压器组合(通过DST组合;即信仰理论)。通过使用这一基础(在手动注释的推文上得到验证)，我们在大流行期间检测到的在推特上报告失眠的人的负面推文比大流行前检测到的负面推文更多。

首先，我们开发了一种新颖的基于机器学习的管道来分析情绪。为了验证模型的性能，我们手动注释了300条推文。κ分析表明，不同评分者的一致性为55%。这不是一个非常强烈的共识，这可能是由于情感分析任务固有的主观性造成的，在这种任务中，每个人都根据自己的观点为文本分配情感[43]。接下来，使用这个带注释的数据库，我们分别验证了每个模型的性能，并分析了所有模型的性能;蒸馏BERT(模型1)效果最好，准确度为80.3%。此外，联合模型产生了最好的结果(准确率为84%)。值得注意的是，加入RoBERTa(模型2)和BERTweet(模型3)并没有提高太多的精度，但加入微调RoBERTa(模型5)使得精度提高了4%。虽然微调RoBERTa(模型5)的整体性能低于蒸馏BERT(模型1)，但它在检测积极推文方面的准确率(71%)高于蒸馏BERT(模型1;精度:38.7%;混淆矩阵在图S1中找到多媒体附件2）.因此，与蒸馏BERT(模型1)相比，组合模型在检测正面推文方面具有更高的准确率(54.8%)表1，可以推断，在组合中保留RoBERTa(模型2)和BERTweet(模型3)是必要的，因为蒸馏BERT(模型1)和微调RoBERTa(模型5)的组合效果更差(77.2%)。这可以解释为，虽然经过微调的RoBERTa(模型5)在识别积极推文方面表现更好，但在识别中性和消极推文方面表现不太理想;因此，它降低了整体精度。这表明了DST在结合模型和利用每个模型的优势来提高整体情绪分类方面的效率。

在开发了一个可靠的情绪分析管道之后，我们分析了推文的情绪。在大流行期间，我们观察到带有该关键字的推文数量显著增加失眠（P< 001)。一种可能的解释是，社交互动从面对面的环境转移到了基于网络的环境，比如Twitter。推特的年度用户数量增长了33.8%，从2019年的1.38亿用户增长到2020年的1.86亿用户[44，45]。我们还观察到，在疫情开始后，与失眠相关的推文总数有所上升。考虑到这一点，结合情绪分析的结果，我们认为这一峰值可能与负面推文的增加有关(图4）.根据表3虽然与失眠相关的正面推文数量下降了8.1%，但这一数字被负面推文数量8.3%的飙升所掩盖;中立推文的数量没有显著变化(减少0.2%)。我们发现负面推文的数量显著增加(P<001)与以前发表的文献一致[46]。政治等[47通过分析新冠疫情爆发前后发布的推文，显示在某些日期负面情绪有所增加。

Nota和Coles之前的一项研究[48研究表明，睡眠中断的人控制负面情绪的自上而下抑制过程减弱，经常进行重复的负面思考(反刍)。我们在研究中发现了同样的趋势;失眠症患者在夜间清醒且不受干扰时更容易陷入沉思(图5B)，表明一种晚上睡眠不好后的沮丧状态。这与从图5A，这表明62.4%(190,521/305,321)的负面推文是在午夜之后产生的。

我们的研究表明，NLP工具可以用来监测人们对公共压力的态度，比如大流行造成的压力。决策者和公共卫生当局可受益于利用此类监测工具更好地为选民进行宣传[49]。我们的研究被归类为信息流行病学研究，它提供了一个实时分析公众情绪的机会[50]。NLP工具是分析和挖掘Twitter的强大工具，Twitter是软情报的来源。

限制

在本研究中，我们使用Twitter作为数据收集的来源。因此，我们可能已经排除了大量使用其他社交媒体平台(如Facebook)或论坛(如Reddit)来表达他们对失眠的看法的人群。未来的研究应该调查除了推特之外，其他社交媒体平台上的公开数据。此外，由于本研究基于推特，因此缺乏效度测量，没有使用问卷调查和自我报告测量。未来的一项研究可能会使用Twitter数据和个人、卫生专业人员、研究人员和非营利组织的自我报告措施，联合评估孕妇的需求，以及在COVID-19大流行期间可获得的支持和资源。

值得注意的是，在本作品中，只有关键词失眠是用来抓取推文的。尽管同义词如失眠我们只对临床术语感兴趣失眠．一项收集更广泛的睡眠领域(即失眠之外)数据的研究将有助于进一步了解大流行的全面影响。此外，一些可能的混淆因素，如用户位置，并不是所有用户都可用;这些因素可能会阻碍地理位置对失眠感知的影响。

结论

在这项研究中，我们提出了一种新的NLP管道，该管道基于使用DST的变压器组合来预测文本数据中固有的情感。我们手动注释了300条tweet，并通过DST组合了各种transformer架构。这种组合可以提高情绪分析的准确性。通过对与失眠相关的推文使用这一管道，我们的研究显示了COVID-19大流行对个人在推特上报告失眠的经历的负面影响。为了调查在COVID-19大流行背景下推特用户报告的睡眠行为的变化，我们分析了大流行之前和期间(2019年和2020年)发布的关于失眠的推文。这项研究的一个优势是使用NLP和DST来识别关于失眠的推文并分析他们的情绪。未来，我们将基于Twitter和其他社交媒体平台，评估大流行期间和之后心理健康状态其他方面(如无聊、恐惧、厌恶、惊讶等)和生活方式改变(如睡眠时间、睡眠时间表、物质使用、身体活动和睡眠药物使用)对失眠症状的影响。