揭示塞尔维亚COVID-19疫苗犹豫背后的原因:基于情感的主题建模

简介

背景

COVID-19大流行严重扰乱了全球个人的日常生活和组织运作方式。应对COVID-19大流行的最有效战略之一是通过大规模疫苗接种实现集体免疫[1，2］．然而，人们对全球免疫进程表现出明显的抗拒和犹豫[3.］．世界卫生组织(世卫组织)将疫苗犹豫确定为2019年全球卫生保健面临的十大威胁之一[4］．因此，研究公众对疫苗接种过程的态度是至关重要的。特别是，确定可能导致对疫苗接种产生负面情绪的普遍信念和态度是有用的。据世卫组织称，许多事件都有可能削弱人们对疫苗的信心。其中一些与疫苗安全和免疫后不良事件有关，但一些与社交媒体故事或谣言有关[5]，这使得分析社交媒体上用户生成内容中反映的信念、态度和恐惧变得重要。

这种研究需要在全球范围内进行，因为来自世界不同地区的人们的态度差异很大[3.，6］．这是一个相当大的挑战，因为世界上人口不多的许多语言缺乏电子资源，塞尔维亚语就是其中之一。由于人工智能和机器自然语言处理(NLP)的快速发展，我们相信现在有可能解决这一挑战，从而以塞尔维亚语为例展示了一种可能的解决方案。我们工作的主要贡献是将自然语言处理方法与低资源语言相结合，以最少的数据注释发现与疫苗犹豫相关的隐藏主题。

研究界主要使用Twitter收集关于COVID-19疫苗接种的数据[7-22］．我们还选择了社交媒体，因为在这个平台上，用户可以产生大量数据，用于分析感知和叙述。23]、与特定社会事件相关的集体经历、行为和态度[24］．此外，Twitter提供了一个应用程序编程接口(API)，与其他平台相比，它可以更容易地提取数据。25］．使用这个API，我们收集了14,452条与塞尔维亚共和国疫苗接种相关的推文。收集的数据从第一批COVID-19疫苗发布后的2021年1月到2022年6月。我们研究的目标是在推特中寻找表达对疫苗接种消极态度的话题，我们认为这将最能揭示疫苗犹豫的原因。

数据集的一部分使用4个类别标签手动标注:不相关、积极、消极和中立。该数据集用于从基于变压器(BERT)的分类器中训练顺序双向编码器表示，然后用于自动注释其余数据。在通过手动和自动注释收集了一组对疫苗接种有相关和明确负面情绪的推文后，我们进行了主题分析，以查明疫苗犹豫的主要原因。

本研究的目的是检测塞尔维亚语推文中对COVID-19疫苗接种表达负面情绪的主要主题，假设这些主题指向塞尔维亚人犹豫接种疫苗的主要原因。这些信息可以帮助当地专家在疫苗接种方面以更知情的方式影响公众。了解人们，特别是年轻人犹豫不决的原因，可以为关键决策者提供正确的工具，以规划以疫苗接种为重点的运动。

相关工作:推文分类

COVID-19大流行的持续时间和影响导致推特上用户生成的大流行相关内容激增。当关于COVID-19疫苗的信息开始出现时，使用机器学习和深度学习方法自动对内容进行分类的能力变得尤为重要。情绪分析与人乳头瘤病毒疫苗接种的过往研究[26-28]，以及一般的防疫注射[11，12]，作为对covid -19相关推文情绪自动分类研究的基础。

近年来，以短文本分类为目的的机器学习体系结构的设计有了重大转变。关于疫苗接种的公众意见，最传统的利用想法是静态文本嵌入与经典机器学习方法相结合[11，12］．最近，基于循环神经网络(RNNs)的系统开始用于这一目的[27，28］．2017年推出了一系列基于注意力神经网络的新方法。它们的自注意机制通过最大限度地使用并行计算算法和硬件，通过预训练过程有效地捕获长期依赖关系[29］．这使得该方法在生成上下文和形态句法感知嵌入方面比之前基于rnn的方法具有显著优势。从历史上看，序列-序列转导模型是具有注意机制的原始模型[29]，但不久之后，第一个仅能提供嵌入的编码器架构以首字母缩写BERT [30.］．

随着计算能力的提高，许多研究人员能够将BERT应用于COVID-19和英语疫苗接种内容，并将其结果与旧方法(如双向长短期记忆、支持向量机和naïve贝叶斯)进行测试。事实证明，基于bert的架构在二进制情感、相关性或错误信息分类方面都是优越的[9，13，19，28]和三级立场或情感分类[14，17，19]，这促使我们选择这样的架构进行研究。

BERT的预训练策略通常定义为一个掩码语言建模任务，它类似于自动编码器，以及一个下句预测任务[30.］．关于预训练策略的最新建议是高效学习精确分类令牌替换的编码器(ELECTRA)方法，其中BERT模型被训练为鉴别器而不是生成器。这种方法被用来训练bertiic [31]，这是第一个基于bert的南斯拉夫语言模型，也是我们用来开发分类器的模型。

bertiic已经在塞尔维亚短文本分类任务中进行了测试。Batanović[32]将BERT和bertiic模型与几种线性分类器在不同电影评论分类任务上的结果进行了比较，结果表明bertiic模型是二元和四类极性分类任务的最优模型。Mochtak等人。[33]致力于克罗地亚语、塞尔维亚语和波斯尼亚语议会程序中句子的三元(消极-积极-中性)和二元(消极和其他)分类任务。他们测试了几个模型:fastText和预先训练好的CLARIN。SI词嵌入，跨语言模型-Roberta (XLM-Roberta)， cseBERT和bertiic。bertiic在所有3种语言中都获得了最好的结果。据我们所知，我们的工作是第一次尝试将bertiic应用于塞尔维亚语的推文分类。

相关工作:推文主题建模

自COVID-19大流行开始以来，研究人员试图使用主题建模来确定公众对大流行各个方面的态度[7，10，34]，特别是接种疫苗[8，15，16，20.-22，34-36］．主题建模是一种允许将文档分组为预定数量的主题的方法。作为一种不需要任何监督或事先数据标记的方法，它被广泛用于检测大量文档中的隐藏态度。主题建模在历史上是为较长的文本设计的，近年来，它面临着在简短、非结构化和非正式的社交媒体评论中揭示主题的挑战[37］．尽管提出了专门处理短文本的方法[38，39]，以及在应用主题建模之前，将较短的文本聚合为伪文档[40-42]，经典的主题建模方法，如潜狄利克雷分配(latent Dirichlet allocation, LDA) [43]和非负矩阵分解[44，仍然是处理推文和社交媒体评论时的首选方法。

LDA是一种用于收集离散数据的生成概率模型，因此通过捕获文档级别上单词共现的模式，用于从文本语料库中发现潜在的语义结构。在COVID-19大流行期间，它被特别广泛地用于确定讨论最多的主题[7，10]，将疫苗接种立场与媒体事件联系起来[8，17]或其他时空因素[16，36]并确定疫苗犹豫问题[21，35]，对COVID-19疫苗的普遍看法[20.]，并随时间变化[15］．

NMF是一种基于矩阵分解的非概率方法，主要用于主题建模[44，45］．该方法还应用于COVID-19主题，以确定大流行对健康的主要影响[34]以及公众对疫苗接种的看法[22］．与LDA相比，LDA对更广泛的主题给出了更一般的描述[46]， NMF的架构使其能够找到更详细、清晰和连贯的主题[37，46，47］．陈等[18]甚至声称NMF可以像人类一样从数据中学习，这使得它的结果比LDA更容易解释。

鉴于这两个模型处理数据和主题的方法不同，我们决定使用它们的结果的组合，以确定我们研究中的最终主题列表。

尽管已经对塞尔维亚人进行了大量的情绪分析工作[48-52]，据我们所知，这是第一次尝试将主题建模应用于塞尔维亚语。

方法

研究设计

为了研究疫苗犹豫背后的态度和信念，我们首先收集了两批提到COVID-19疫苗接种某些方面的推文。我们手动将第一组推文注释为与COVID-19疫苗接种情绪相关或不相关，然后将相关推文注释为积极、消极或中性。此外，我们在负面推文中手动搜索了与疫苗犹豫相关的主题。

为了扩大这个初始数据集，我们使用带注释的推文来训练一个连续的基于bert的分类器，用于2个推文分类任务。在第一个任务中，分类器区分相关和不相关的推文。在第二个任务中，分类器将相关的推文作为输入，并将其分类为消极、积极或中立。我们使用这个顺序分类器来注释第二批推文。然后，我们将这两个数据集结合起来，并对其应用2种主题建模方法(LDA和NMF)，以检测疫苗犹豫的原因。

整个管道显示在图1．每个单独的步骤将在下面的小节中详细描述。

‎ 查看此图

数据收集和注释

我们使用TwarcPython库[53从Twitter流API中提取塞尔维亚语(西里尔和拉丁脚本)的数据。tweets的收集分为2个阶段，得到2个子集的数据。

第一个数据集包括在2021年1月1日至11月23日期间收集的8817条推文。由于此数据集的目的是反映塞尔维亚公民的意见和话题，因此查询包含了推文必须包含塞尔维亚共和国的位置或以塞尔维亚语书写的条件。我们首先使用相关标签(#COVID-19， #vakcina等)对搜索进行了测试，但没有产生足够多的推文，因为关于这一主题的塞尔维亚语标签并不常用。因此，我们基于与疫苗主题相关的关键词进行搜索。该查询包括与“或”运算符相互关联的COVID-19的所有书写和形态变体(例如，“COVID-19”或“corona”或“kovid”)，以及“疫苗”和“疫苗接种”一词的所有书写和形态变体，包括拉丁和西里尔文字中的疫苗类型(“vakcina”或“moderna”或“fajzer”)。这使得搜索所有与COVID-19和疫苗有关的推文成为可能。转发被排除在搜索之外。

为了训练分类器，需要对整个数据集进行注释。我们编写了一套详细的规则，批注者根据这些规则进行标注。积极情绪和消极情绪的标签被分配给对疫苗接种持不同态度的推文。中性情绪用于对该话题的中立态度，也用于没有传达用户明确态度但包含有关该话题的一些信息的推文。这包括关于COVID-19疫苗接种的事实、可用剂量或疫苗接种日期、关于疫苗接种的客观问题(用户明显有意寻求他人的意见和信息)、没有态度的笑话，以及发布中立的媒体标题而没有额外的个人评论。此外，注释者使用了一个特殊的类来处理不相关的推文，比如那些包含不明确或模糊态度的推文。这类还包括由外部链接和一些与链接内容相关的用户评论组成的推文，这些评论不足以捕捉他们对疫苗接种的态度，因为这些链接不是本次分析的主题。注释的主题是文本内容和标签。

对于前500条(5.7%)tweets，本文所有作者对混淆的例子进行标注，并通过相互讨论修改初始规则集。数据集的其余部分由两个注释人员使用定义的指导原则分别进行注释。在整个数据集被标记后，科恩κ4个类别得分为0.57,3个情感类别得分为0.67，积极和消极类别得分为0.73。注释者之间的主要分歧在于分配“中性”与其他两种情绪标签，以及“无关”与“相关”标签(积极、消极和中性)，这一分歧由本文的一位作者解决，他参与了COVID-19疫苗的讨论。结果是5791条(65.7%)相关推文(不相关推文=3026条，34.3%)的数据集，分为3个情绪类。第一个子集的统计信息可以在表1．

除了定义相关推文的情绪外，注释者还单独指出了负面推文中普遍存在的主题。这些主题的数量稍后用于设置测试主题建模方法的最佳主题数量的上限。

第二个数据子集的收集时间为2021年11月23日至2022年6月6日。在第一阶段的推文收集之后，我们得出结论，通过指定位置和塞尔维亚语来过滤推文会严重限制可用于收集的推文数量，因此我们决定采用不同的方法。

由于有关位置的搜索条件只有在用户分享发布推文时的位置时才能满足，而对于来自塞尔维亚的人来说，这种情况似乎并不常见，该运营商极大地限制了推文的收集，并排除了许多潜在的结果。使用语言操作符时会出现几个问题。当塞尔维亚语被指定为语言时，西里尔字母是默认的脚本，所以用拉丁语写的推文集合将被省略，如参考文献中所注意到的。[49］．事实上，Twitter API将大多数tweet分类为一种未定义的语言。此外，一些用西里尔字母收集的推文是用北马其顿语而不是塞尔维亚语。因此，这次我们决定排除这2个运算符。因此，我们的初始数据集包含了接近塞尔维亚语的推文(俄语、捷克语、北马其顿语等)，我们使用Python的语言识别库过滤掉了这些语言langID［54］．

这个干净的数据子集包括5635条塞尔维亚语推文。因为这个子集是用来测试我们的分类模型的性能的，所以它没有被人工注释器标记。这两批推文的总数为14,452条。

推文自动分类

判断哪条推文包含负面情绪不是一件简单的任务。在上一小节中描述的数据集中，收集的推文总数中约有三分之二对疫苗接种有态度，只有一部分推文有负面情绪。我们假设我们的数据集具有足够的代表性，因此得出结论，任何进一步的管道都必须包含将推文自动过滤为具有足够相关性的负面情绪推文，以便能够自动检测大量负面推文以进行进一步分析。考虑到这一点，我们决定开发一个深度学习分类器，可以检测出对疫苗接种过程持足够明确的负面态度的相关推文。为了构建这两个分类器，我们使用了bertiic，这是一个基于bert的南斯拉夫语言模型[31］．我们没有在一个更大的推文语料库上从头开始对BERT进行预训练[55]，我们使用带注释的数据在下游的短文本分类任务上对bertiic进行微调和测试。

分类器由两个顺序的部分组成。第一部分根据tweet与主题的相关性进行过滤，第二部分根据tweet的情绪进行过滤。第二个分类器将通过第一个相关性过滤器的推文作为输入。我们考虑将这两个分类器统一到一个BERT体系结构中，增加类的数量，但由于突出的类不平衡而放弃了这个想法。最有趣的讨论是关于无关推文和中性情绪推文之间的界限。这个边界必须通过注释过程清楚地引入。直觉上很清楚，如果我们只强制训练那些确实以疫苗为主要话题但没有明确情绪的推文，中立类和积极和消极类之间的阶级分离效率会更高。这是我们对分类器进行序列化的主要原因。

在训练之前，我们所采取的最小预处理步骤包括为所有推文切换到拉丁脚本(使用srtoolsPython库[56]);恢复变音符号(使用classlaPython库[57]);删除提及、链接、表情符号和无信息的标签;并使用正则表达式将剩余的标签转换为单词。我们只在注释过程的1次迭代中训练算法，因为我们还想分析可能的人为注释错误以及算法对注释质量的鲁棒性。

对于相关性分类器，将标注的数据集按照80%:10%:10%的比例分为训练集、验证集和测试集。这个数据集中的示例总数为8817。使用验证集从最多6个训练周期中选择最优的网络解决方案。

对于情感极性分类器，我们开发了一组5791条相关推文，按照80%:10%:10%的训练:验证:测试比例进行分割。

对于固定的验证集，选择的epoch数和批大小是最优的，这可能会导致轻微但可接受的偏差。这是由描述BERT模型的原始论文中给出的这些超参数的推荐值来证明的[30.]，即4个epoch，训练批大小为16个tweets。

主题建模

为了揭示疫苗犹豫的原因，我们对负面推文数据集使用了两种主题建模方法:LDA和NMF。我们决定使用这两个模型来比较由完全不同的方法生成的主题。

对于LDA，我们使用Hoffman et al [58]和开源软件GensimPython库[59］．对于NMF，我们使用sklearnNMF分解是由Cichocki和Phan [60］．

在应用主题建模方法之前，我们需要经过几个预处理步骤来去除噪声，减少主题建模的空间。预处理流程包括从西里尔字母切换到拉丁字母;删除url，提及，数字，新行，表情符号，图像，特殊字符等;标记;词元化;以及停止词的删除。我们把推文转换成拉丁文字使用srtoolsPython库，而标记化和词元化是使用classla非标准塞尔维亚管道。我们使用正则表达式删除了url、提及等。我们使用了Marovac等人描述的停止词列表[61，我们扩展了COVID-19的所有替代名称以及“疫苗”一词的衍生词。这些词自然地出现在大多数推文中，因为我们将它们作为我们的Twitter搜索关键字。

构建模型

LDA和NMF都需要特定的数据集转换。创建LDA模型所需的转换首先包括以表示为整数的唯一单词列表的形式创建词汇表。下一步是修剪过程:删除低频和高频单词。最后一步是创建一个语料库，将所有推文作为单词袋功能。在这些初始步骤之后，我们应用了过滤器，排除了出现在3条以下推文中的所有单词和85%以上的推文中的所有单词，并将字典限制在1000个术语。我们选择限制字典，因为使用超过1000个术语会导致主题不那么连贯。此外，由于无法量化单词的重要性，大字典允许不太重要的单词在主题关键词中变得更重要。

对于NMF模型，我们使用归一化文本的术语频率-逆文档频率(TF-IDF)转换，并应用与LDA相同的过滤器:我们排除了出现在少于3条推文中和超过85%的推文中的单词，并将字典限制为1000个术语。我们尝试对这两个模型使用几种不同的过滤器组合，这没有导致NMF模型的主题发生重大变化，但在LDA的情况下发生了变化。总的来说，随着字典大小的变化，NMF表现出更强的主题稳定性。

每个主题建模方法都需要预定义数量的主题。我们通过调整模型参数并选择产生最高相干分值(c_v)的主题和参数的数量来计算这个数字。c_v得分范围从0到1，用于测量语料库中某个主题中单词的共现情况。我们选择c_v作为度量，因为它随着主题数量的增加而单调增加，而不像另一个习惯使用的主题相似度度量u_mass，它在较小数量的主题中达到峰值，然后随着主题数量的增加而下降。当测试模型的主题数量时，我们设置参数α到“auto”，这使得模型从语料库中学习到一个不对称先验。

除了c_v，我们还使用了另一个相似度度量，即Jaccard相似系数。Jaccard相似系数范围为0到1，用于衡量主题重叠。Jaccard相似系数越低，c_v值越高，则主题数越优。由于c_v随着主题数量的增加而增加，这并不适合我们的数据集，我们应用Jaccard相似系数来归一化主题数量。我们将两个模型的最佳主题数量的限制设置为15，因为这也是最初由人工注释人员识别的主题数量。

在应用c_v和Jaccard相似系数度量后，LDA的最佳主题数被证明是14(参见图2)．

为了获得聚类分配，LDA使用2个概率值:P(单词|主题)P(主题|文档)。在Gensim模型中,参数α而且β影响这两个概率。的α参数是一个关于文档主题分布的先验信念，而β是一种关于主题-词分布的先验信念。在确定了主题的最佳数量之后，我们对这两个参数进行了调优，以获得每个主题的关键字的最佳分布(参见图3)．我们为前5个排名最好的组合做了模型α而且β，通过手动比较主题，我们选择了第二个最好的主题，即α=“非对称”β= 0.91。的高价值β意味着这个主题可以被分配到更多的单词。这是合理的，因为数据集中在一个狭窄的领域，相同的单词经常出现在不同的上下文中，这使得主题根据它们所包含的单词更加相似。

在应用c_v和Jaccard相似系数度量后，得到的NMF主题的最佳数量被证明是13图4)．

对于NMF模型，我们使用TF-IDF规范化的输入文档-术语矩阵。起始文档-术语矩阵分解为文档-主题矩阵和主题-术语矩阵。我们利用Belford等人提出的奇异值分解初始化方法得到了这两个矩阵的起始值[62]，适用于稀疏数据。为了加快收敛速度，我们使用了坐标下降求解器sklearn．我们测试了κ参数，它决定了模型的收敛速度，并得出结论，它没有显著影响相干性(见图5)．我们选择了κ学习率为0.1，迭代次数限制为500次，随机状态设置为42次。我们使用缺省值1e-4作为停止条件的容差，并且没有使用正则化参数。

‎ 查看此图

‎ 查看此图

‎ 查看此图

‎ 查看此图

结果

我们将自动分类和主题建模的单个结果分为两个单独的子部分，a自动推文分类器而且主题建模．

推文自动分类器

我们设计了一个由2个bertiic分类器组成的顺序推文分类器。第一个分类器是二进制的，它决定一条推文是否与进一步分析相关，而第二个分类器执行三元分类的任务，并决定与推文相关的情感类型。

关联分类器

相关性分类器检测一条推文是否足够相关，足以被视为关于疫苗的观点。通常，不相干的推文与流行病和政治密切相关，但对疫苗接种没有明确的态度。我们发现，推特用户的政治态度往往掩盖了他们对疫苗接种的态度。我们决定把那些态度完全掩盖的极其复杂的例子标记为无关紧要的，因为很明显，用户感到沮丧的是其他一些问题，而不是疫苗本身。

该算法在总推文数量的10%上进行了测试，在这种情况下是882条推文。直接准确率为94.7%。根据35%:65%的比例，不相关的阶层是不平衡的。然而，在测试集重新注释之后，许多推文被标记为相关，这将不相关类的不平衡转移到30%以下;因此，我们得到了更低的F以及不相关类别的回忆得分，分别为0.91和0.86。的F-相关等级得分在0.96以上。所有的分数都可以在表2．

最大的问题是得出一个结论，即不相干的推文和具有中立情绪的相关推文之间的准确语义边界。中性情绪也可以理解为没有情绪，因此无关紧要。

情感极性分类器

情绪极性分类器只输入相关的推文，输出他们对疫苗接种的情绪。

该模型在测试集上的准确性约为85.7%(见表3)．

大多数混淆的例子落在中立类和其他两类之间。阳性组的回忆率最低，为0.82。通过仔细检查，我们没有发现算法或注释器混淆正类的系统错误倾向。因此，正类的召回率较低是数据集相对于正示例数量略有不平衡的结果，可以从表3．

主题建模

我们使用总共3286条带有负面情绪的预处理推文进行主题建模:1770条(53.9%)推文来自手动注释的数据集，另外1516条(46.1%)推文来自自动分类的结果。我们在我们的GitHub存储库中提供了这个数据集[63］．

数据集中的平均单词数为22个，SD为8个单词。负面推文的字数分布可以在图6．分布略有负倾斜，但总体而言，这是一个正态分布，第25百分位为16个单词，第75百分位为28个单词。

文本长度分布可以在图7．它也呈负倾斜，但比字数分布更显著，平均长度为152个字符，SD为53个字符。推文的长度通常与负面情绪的性质有关，这影响了将此类推文归类为某个主题。

图8显示预处理数据集中出现频率最高的20个单词。排名前20位的单词包括“病毒”、“欺诈”和“实验”，证明最常见的单词反映了由对疫苗接种持负面情绪的推文组成的数据集的性质。

‎ 查看此图

‎ 查看此图

‎ 查看此图

主题分析

我们为LDA和NMF获得的最佳主题数量分别为14和13。

两个模型的直接输出都是每个主题最突出的关键字。我们定义主题名称的方法是，首先查看每个主题的前20个关键字，然后将名称与分配给该主题的30个最突出的推文进行比较。两个模型的定义名称和每个主题的前10个单词可以在表中看到多媒体附件1．要在LDA方法中显示主题，我们使用Gensim方法“show topics”，该方法返回主题的任意顺序。对于NMF，就像在LDA的情况下，没有自然的主题顺序。主题是使用主题-单词H矩阵从每个主题的最高单词频率推断出来的，它可以让我们了解主题的内容。

由于我们对数据集中讨论最多的主题感兴趣，希望它们也能指出疫苗接种犹豫的主要原因，我们通过提取每个主题占主导地位的推文数量，根据重要性对获得的主题进行排名。该主题排名在表4，连同原来的主题号。我们根据该表中的顺序对每个主题进行了分析。

根据推文的数量表4，我们可以看到两种方法都生成了一个主主题。在LDA的情况下，692条(21.1%)推文属于主题1，而在NMF的情况下，606条(18.4%)推文属于主题13。

在前几个主要主题中出现的两个主要观点可以简要概括为对疫苗有效性和副作用的关注。这些想法经常被放在一起考虑。LDA方法的主要主题混合包含了这些主题。NMF成功地基于这两个想法提取了一个主导主题，重点是对儿童接种疫苗的关注。尽管“儿童”一词出现在LDA的关键词中，但在该主题最重要的前30条推文中，几乎没有关于儿童接种疫苗的推文。这两个主要观点后来被LDA确定为几个独立的主题(主题3、4、10、11和13)。

LDA (n=420, 12.8%)和NMF (n=279, 8.5%)的第二大主题可以描述为对COVID-19疫苗有效性的怀疑。有几个关于疫苗效力的子专题。NMF的结果指出，在由于大流行大规模爆发而迅速出现的COVID-19新毒株的背景下，对有效性的担忧。在主题3中，LDA纠结于几个子主题的混合。在第一个小主题中，我们可以看到人们认为疫苗的效果不如自然免疫，而第二个小主题更多的是关于副作用。我们再次注意到LDA未能分离这些主题。NMF将自然免疫作为单独的主题提取出来(主题8)。

NMF的第三个主要主题是对与流行病相关的政府政治的负面情绪。这并不是严格意义上的对疫苗接种的观点或态度，但由于推特用户对政府政策的总体态度，它经常看起来如此。正如在相关性分类器一节中已经提到的，很难在政治观点和疫苗接种本身之间划出严格的界限。

本专题的子专题可能包括对接种疫苗方面的行动自由和选择自由感到失望，认为政府机构在防治大流行病方面能力不足，以及认为它们的决定受到各种全球大国的影响。LDA的第三个主要话题指出了用户对失去行动自由和疫苗选择自由的沮丧，但再次被对医学科学的怀疑所混合，这形成了NMF发现的一个单独的话题(话题5)。因此，NMF发现的第四个最主要的话题是对疫苗有效性的怀疑，与对官方科学机构和专家的怀疑有关。

接下来，NMF给出的第五个主题是在自然免疫的背景下对疫苗有效性的怀疑。本文的论点是，自然免疫比通过接种过程更好。这是LDA方法给出的第二个主要主题中的一个子主题。

NMF方法给出的第6和第7个主题表达了一种担忧，即疫苗出现得很快，因此不可能得到充分的测试。这篇论文出现在LDA方法给出的许多主题中，但在主题8中最为明显。

NMF的第8个主要主题是对疫苗副作用的明显恐惧，包括死亡。在LDA发现的主题10中，特定的副作用占主导地位。同样，NMF方法给出的下一个主题概述了对如此多的加强剂量的担忧，这暗示用户要么疫苗不够有效，要么如此高的剂量可能会产生更严重的副作用，这是LDA主题11的主要担忧。

在这里，我们必须概述LDA方法分离了一个关于基于信使RNA (mRNA)疫苗的恐惧的主题(主题13)。人们的恐惧与它们的有效性有关，但主要是副作用，因为在推特上，mRNA疫苗经常与基因治疗联系在一起。这些类型的疫苗通常与阴谋论联系在一起，即某些权力中心有某种控制人口的基因突变议程。这在两个模型中都是一个明确定义的主题(LDA主题12,NMF主题7)。

对于NMF方法，最后4个主题暴露了人们的恐惧，即整个大流行和疫苗接种过程在某种程度上是由各个权力中心出于各种原因合谋的。第10个主题假设COVID-19仅存在于媒体中，第11和12个主题假设疫苗是出于各种不同的原因(利润、人口控制等)的欺诈。这些关注点出现在LDA方法的主题6、9和14中。

最后，NMF提取了一个总体主题，包括在大流行背景下对关键决策者的失望。它是LDA中主题2、5和6的更通用版本。

讨论

主要研究结果

在这项研究中，我们展示了几种NLP技术的应用，结合使用来发现关于COVID-19疫苗接种的隐藏问题，以塞尔维亚语的推文数据集。我们使用基于bert的分类器来增强手动注释的数据集，并获得对COVID-19疫苗接种过程表达负面情绪的推文的最终数据集。然后，我们使用LDA和NMF对这个子集进行主题建模，并结合两种方法获得的主题，编制了塞尔维亚疫苗犹豫的5个主要原因的列表。

推文自动分类器

除了能够根据推文的相关性和情感正确分类外，我们还想分析人为注释错误。对于这两个分类器，我们发现在某些情况下，人工注释人员会犯错误，考虑到推文的语义复杂性，这是意料之中的。然而，该算法被证明对这种综合征具有弹性，并且从大多数正确标记的示例中学习得很好。为了确认这个结论，我们仔细地修改了测试集的注释，直到我们可以断言测试集注释几乎完全正确。尽管如此，我们还是从原始测试集中得出了令人困惑的例子。

经过仔细检查，可以证实，这种类型的注释任务对人们来说很难执行，也很难客观地、极其确定地决定分配哪些标签。如前所述，该算法的性能通常比其监督器高出约12%。这导致了这样的结论:注释是一个情感和精神上困难的过程，注释者会犯典型的人为错误。然而，bertiic从统计上学习了大多数正确标记的例子。但在微调过程中存在过拟合现象，训练精度极高。这表明，更多的数据将改进算法。监督者在大约8%的例子中优于算法。这些例子通常包含复杂的情感内容和比喻性的语言。对于其中许多例子，需要更广泛的知识。明显的混合病例占12%。 These examples are mostly long tweets with multiple contradictory statements. Any disagreement is therefore justified. Further inclusion of intermediate values would likely lead to improvement on this basis.

所有这些都表明，如果我们通过所谓的主动学习方法应用一些修订的注释，算法将会改进[64］．前面已经解释过的过拟合，加上注释器的错误，可能会导致分类器整体性能的轻微偏差和下降。然而，我们预计这会产生微弱的影响，因为大多数示例都是正确标记的，并且算法从大多数正确标记的示例中稳健地和统计地学习。

英语语言文献中最相似的分类器是由To等人报道的[9］．本文对几种分类器进行了分析比较。据报道，基于bert的模型具有最高的性能。我们的度量值略低。这是预期的，因为我们的分类器更复杂，因为它根据相关性和情绪将推文分类为几个类，而Ref. [9)，以二元方式训练，将推文分为负面情绪和其他情绪。我们的方法可能会更好地服务于未来的工作，包括对积极情绪推文的分析。

主题建模

尽管LDA是一个生成模型，但在文本挖掘中，它引入了一种将主题内容附加到文本文档的方法。它将每个文档视为多个不同主题的混合体。我们的推文不符合这一要求，因为它们通常是只有一个主要主题的短文档。此外，LDA还存在顺序效应，即当训练数据的顺序被打乱时，会产生不同的主题。此错误可能导致误导性的结果:定义主题的单词或它们的重要性顺序可能不同，从而导致定义主题名称的差异。因此，文档中主题的分布也发生了变化。

NMF是一种线性代数模型，它将高维向量分解为低维表示。与主成分分析类似，NMF利用了向量非负的事实。它最适用于较短的文本，如推文或标题，因为它不会将文档预先定义为不同主题的混合物，而是通过进一步聚类的潜在特征来描述它。

有了这些对所使用模型的简短描述，以及对前一节中给出的主题的分析，我们可以得出这样的结论:在查看输出时，NMF为我们提供了更清晰和更明确的主题:每个主题的关键字和最突出的tweet。然而，在考虑疫苗接种犹豫的原因时，不应忽略lda特异性结果，特别是因为它们突出了NMF主题中没有立即看到的一些方面。因此，我们整理了以下塞尔维亚推特用户可能对COVID-19疫苗接种犹豫不决的原因列表，并按重要性顺序总结了两种模型中的主题:

• 对疫苗副作用的关注:(1)一般的副作用，(2)儿童的副作用，(3)许多所需剂量引起的副作用
• 对疫苗有效性的担忧:(1)自然免疫有更好的保护，(2)疫苗对COVID-19新毒株无效，(3)疫苗因为需要太多剂量而无效
• 对未经充分检验的疫苗的关注:(1)这类疫苗的副作用;(2)这类疫苗的有效性;(3)强行使用这类疫苗侵犯了自由
• 对权威的不信任:(1)医学专家和机构，(2)政府和政治决策者
• 阴谋论:(1)疫苗是一个赚钱的计划;(2)疫苗，尤其是mRNA疫苗，改变DNA;(3) COVID-19不存在;因此，疫苗是不必要的;(4)疫苗是减少和控制人口的一种手段;(5)疫苗是世界大国及其议程的工具

这两个表4表格在多媒体附件1对于任何需要更详细地了解人们对疫苗接种过程的关注的人来说，保持深刻的见解。

结论

本文提出了一种NLP方法的组合，旨在研究塞尔维亚疫苗犹豫的原因。它主要关注从Twitter收集的信息以及Twitter用户表达的信息。我们首先收集了关于COVID-19疫苗接种的关键词推文。收集到的一些推文被用来建立一个基于bert的分类器，用于自动检测对免疫过程有相关和负面意见的推文。然后，我们使用这个分类器自动对推文的第二部分进行分类。我们使用的基于变压器编码器架构bertiic的技术来构建这个分类器，显示了突出和高质量的结果。我们建立的分类器可以有效地用于未来的公众舆论研究，特别是免疫过程研究，因为世界仍然不确定大流行病将如何演变。我们的方法可以相对容易地扩展到其他世界语言。

分析的第二部分包括将主题建模方法LDA和NMF应用于负面情绪推文。我们考虑使用得到的bertiic架构来执行主题分析。然而，在聚类期间，以这种方式获得的嵌入没有像预期的那样表现。在未来的工作中，我们计划将获得的情感分类器用于主题建模任务。具体来说，我们的计划是使用句子- bert [65]，以获得推文嵌入，并进一步聚类为主题。鉴于目前还没有针对南斯拉夫语建立这样的资源，我们选择结合使用更传统的技术进行主题分析。

我们分离并列出了推文中对疫苗接种持负面情绪的主要话题。本文的主要结果是对疫苗接种负面情绪背后的原因进行了充分的研究。鉴于这些原因，现在可以更好地了解人们对疫苗接种过程的关注。这将使政府和医疗和制药机构能够制定或重新定义更好地解决这些问题的教育战略。我们希望这能显著提高抗击新冠肺炎大流行的有效性。