首先，使用ReCOVery数据集完成数据预处理，包括删除停止词、链接和通用资源定位器(url)以及重复文章(gydF4y2Ba 图1gydF4y2Ba）.在预处理步骤中也完成了缩略语和数字到单词的转换。在对数据进行预处理之后，我们执行特征工程来创建可读性和情感评分，以及从文本中提取词汇类别(gydF4y2Ba 图1gydF4y2Ba）.预处理后的数据分为训练集、验证集和测试集。在训练集和验证集上进行词标记化和嵌入。一旦标记化和嵌入完成，9个不同的ML模型将在验证集上进行训练和评估，以确定性能最佳的模型。我们将朴素贝叶斯(NB)、k近邻(KNNs)和逻辑回归(LR)作为传统的机器学习模型，因为它们不是深度学习模型。表现最好的模型是包含双向GRU和XGBoost集成“新模型”的集成模型，如蓝色突出显示gydF4y2Ba 图1gydF4y2Ba。gydF4y2Ba

ReCOVery数据集是我们与Twitter帖子相关的新闻文章的主要数据来源[gydF4y2Ba 17gydF4y2Ba]。它侧重于来自广泛新闻来源的新闻文章的可靠性，包含来自不同国家约2000家不同新闻机构(2020年1月至5月过滤)的与COVID-19新闻相关的2029篇文章[gydF4y2Ba 17gydF4y2Ba]。根据NewsGuard的评分，每篇文章要么被标记为不可靠的0，要么被标记为可靠的1。gydF4y2Ba 17gydF4y2Ba]。NewsGuard评分是由记者开发的，用于标记在线文章的可靠性。NewGuard采用0-100分的评分标准，对那些实现可信和透明新闻实践的文章打分。分数在60分以上的文章被标记为“绿色”评级为可靠来源，分数在60分以下的文章被标记为“红色”评级为不可靠来源[gydF4y2Ba 17gydF4y2Ba，gydF4y2Ba 25gydF4y2Ba]。除了NewsGuard评分外，ReCOVery还使用媒体偏见/事实检查，根据文章的主观性检查新闻来源的正确性，并根据事实报道将文章从“非常高”到“非常低”进行排名。gydF4y2Ba 17gydF4y2Ba，gydF4y2Ba 26gydF4y2Ba]。可靠的文章在NewsGuard的得分高于90分，在媒体偏见/事实检查中得分为“非常高”或“高”。不可靠文章的NewsGuard评分低于30分，在媒体偏见/事实核查中被评为“混合”、“低”或“非常低”。gydF4y2Ba 17gydF4y2Ba]。ReCOVery数据集结合了NewsGuard和Media Bias/Fact Check得分来创建最终的新闻文章可靠性得分。gydF4y2Ba

在进行数据分析之前，对文章文本和tweet数据进行了多次预处理。预处理的目的是清理数据，使深度学习模型能够更有效地检测数据中的模式。对文章文本进行预处理的步骤包括删除重复的文章或推文;常见的停顿词，如“the”和“a”;以及所有链接和非英文字符。除了将首字母缩略词转换为完整术语外，还完成了文章文本的词法编排。gydF4y2Ba

预处理使用Python库，如Pandas和Natural Language Toolkit [gydF4y2Ba 27gydF4y2Ba，gydF4y2Ba 28gydF4y2Ba]。共使用1346篇可靠文章和648篇不可靠文章进行模型训练。另外，有34篇文章因字数不足100字而被删除，限制了信度分析的效度。在预处理之后，从新闻文章中提取文本特征、可读性和情感等特征进行分析，并将其作为深度学习模型的输入。gydF4y2Ba

情感分析应用于可靠文章和不可靠文章的正文。这是通过Valence Aware Dictionary和Sentiment Reasoner (VADER)以及TextBlob实现的，它们是用于确定主导情绪、极性和主观性的开源工具[gydF4y2Ba 29gydF4y2Ba，gydF4y2Ba 30.gydF4y2Ba]。分析依赖于词典分析，将每篇文章的文本特征映射到关于情感、极性和强度的不同分数。在情绪方面，文章的连续得分在0到1之间，包括两个端点，1表示文章包含指定的情绪作为主要情绪。例如，如果一篇文章的积极情绪为1，这意味着这篇文章包含了最高可能的积极情绪。将VADER和TextBlob导入Python，并应用于数据集中文章的主体文本。通过VADER和TextBlob中的库函数确定具有积极，消极和中性情绪的文章的总比例。gydF4y2Ba

预处理后，对文章正文进行分析。确定了可靠文章和不可靠文章中最常见的单词。它们以频率条形图的形式呈现，以说明不可靠文章和可靠文章之间的主要区别(gydF4y2Ba 图2gydF4y2Ba和gydF4y2Ba 3.gydF4y2Ba分别)。深度学习模型中包含的另一个功能是报纸文章的文本长度和可读性。文章的长度是用文章句子的字符长度和文章的总长度来评估的。使用6种不同的可读性指标来评估可读性:Flesch-Kincaid等级水平、Gunning fog指数、Coleman-Liau指数、Dale-Chall指数、自动可读性指数(ARI)和Linsear Write指数[gydF4y2Ba 31gydF4y2Ba]。上述可读性指标是根据句子长度和单词长度来确定理解书面文件所需的年级[gydF4y2Ba 32gydF4y2Ba]。gydF4y2Ba

Flesch-Kincaid等级等级是在Flesch-Kincaid阅读轻松指数的基础上修改的一种量表，用于比较每个句子的单词比例和每个单词的音节比例[gydF4y2Ba 33gydF4y2Ba]。这个刻度的值线性地表示文本的估计美国等级水平。例如，10-12的分数表明目标读者处于高中水平，而高于12的分数则表明目标读者处于研究生水平[gydF4y2Ba 33gydF4y2Ba]。同样，Coleman-Liau指数和ARI指数对字词频率的评估，都接近美国阅读文本所需的等级水平[gydF4y2Ba 34gydF4y2Ba]。Gunning fog指数评估文本中难词的出现频率，是0到20之间的线性范围:16-20的分数属于研究生水平[gydF4y2Ba 35gydF4y2Ba]。类似地，戴尔-查尔指数评估的是难词出现的频率，但该指数是按比例计算的，9-10分代表大学研究生水平的文本[gydF4y2Ba 31gydF4y2Ba，gydF4y2Ba 36gydF4y2Ba-gydF4y2Ba 38gydF4y2Ba]。最后，Linsear写作指数是为了评估技术文本的可读性而开发的，它的分数代表了理解文本所需的正规美国教育年限，与之前的指数类似[gydF4y2Ba 39gydF4y2Ba]。gydF4y2Ba

使用基于神经网络的词汇库Empath进行主题分析[gydF4y2Ba 40gydF4y2Ba]。移情能够确定某个句子是否有政治、宗教、满足等词汇类别，以及大约200多个类别[gydF4y2Ba 40gydF4y2Ba]。通过使用Empath处理文本，我们得到了194个词汇类别，这些词汇类别被用作附加特征，在最终的深度学习模型中与之前的文本、情感和可读性特征相连接。从Empath中提取的词汇类别增加了深度学习模型为每篇文章训练的信息量，并允许更好的可解释性，因为主题频率的差异也可以被评估。对于每个词汇类别，得出了可靠和不可靠冠词的平均计数，以及gydF4y2Ba tgydF4y2Ba测试和gydF4y2Ba PgydF4y2Ba值(gydF4y2Ba 表1gydF4y2Ba）.gydF4y2Ba

由于ML模型只接受数字输入，因此必须对文本数据进行标记。这个过程涉及到一个单词索引字典，其中数据集中的每个单词都被转换为一个数值或索引，该数值或索引对应于字典中的单词。例如，像“冠状病毒”这样的单词可能会作为值1234呈现给ML模型。由于每个唯一的单词创建一个唯一的索引号，数据集中的“词汇表”或唯一单词的总数可能是一个问题，特别是在数据集很大的情况下，因为在数据集中出现一次或两次的单词通常对模型的有效性没有贡献。我们将训练数据中的38,663个唯一单词的词汇量限制为20,000(51.73%)。这排除了在数据集中只使用一次的单词，因为这些单词对模型没有用处——齐夫定律重申，词汇量越大，回报就越小，因为我们经常使用他们总词汇量的一小部分[gydF4y2Ba 41gydF4y2Ba，gydF4y2Ba 42gydF4y2Ba]。此外，对于一个普通的以英语为母语的人的词汇量有各种各样的估计，对词汇量的合理估计在20,000左右[gydF4y2Ba 43gydF4y2Ba，gydF4y2Ba 44gydF4y2Ba]。为了保证模型输入的均匀性，文章也被0填充到3500字，这是最长的文章的大小。gydF4y2Ba

在标记化之后，使用词嵌入(一种无监督机器学习)来处理数据。词嵌入将单个词的数据点放入高维的嵌入空间中。在这个嵌入空间中，每个单词被表示为一个向量，其中彼此相似的单词被放置在很近的位置。因此，词嵌入允许对相似词之间的隐藏关系进行量化，以用于ML分析。虽然可以在我们的数据集上训练和拟合一个新的词嵌入层，但是已经有了更有效的预训练词嵌入模型。对于文章文本数据，我们利用了Global Vectors For Word Representation (GloVE)，这是一种常用的词嵌入模型，它训练了数十万篇维基百科文章，这些文章的嵌入空间为100维[gydF4y2Ba 45gydF4y2Ba]。gydF4y2Ba

数据被随机分为深度学习的训练、测试和验证子集。这些子集的比例分别为8:1:1。在1994篇文章中，1595篇(79.99%)属于训练子集，199篇(9.98%)属于验证子集，200篇(10.03%)属于测试子集。训练和验证数据用于建立模型，对可靠和不可靠的文章进行分类，而测试数据用于评估模型的性能。对数据进行分割，然后进行模型训练和评估，重复10次，使每篇文章都能包含在训练集中。在每组训练中获得的性能指标之间取平均值。我们在数据集上评估了多个ML模型(NB、KNNs、LR、LSTM、GRU、BiLSTM、BiGRU和CNN)的性能，以确定可靠性检测的最佳模型。通过实验或使用Gridsearch对设置或超参数进行了优化，Gridsearch测试了上述每个ML模型的超参数的所有组合。gydF4y2Ba

最后，我们使用经过轻度训练的BiGRU开发了一个集成模型来生成初始可靠性预测，然后将其与文本特征、可读性、情感和移情分类的词汇类别相结合。然后将其用于训练具有10倍交叉验证的XGBoost模型。gydF4y2Ba

本文使用了几个依赖于混淆矩阵结果的评价指标。这些指标来源于模型的正确预测，如真阳性(TP)和真阴性(TN)，以及不正确的预测，如假阳性(FP)和假阴性(FN)。准确性是正确预测的总比例，但是当存在类别不平衡时，这个评估指标就不那么有效了。灵敏度是指正确预测不可靠条目的比例，特异性是指正确预测可靠条目的比例。AUC分数显示了模型在不同TP和FP速率下的性能[gydF4y2Ba 46gydF4y2Ba]。gydF4y2Ba

本文使用的数据不需要伦理审批，因为它们是通过开放获取的ReCOVery数据集GitHub访问的，如Zhou等人引用的[gydF4y2Ba 17gydF4y2Ba]。gydF4y2Ba

执行数据探索，并将可读性、情感和词汇类别等特征与完整的新闻文章文本数据相结合，以训练集成模型。利用1346篇可靠文章和648篇不可靠文章，建立了使用BiGRU和XGBoost的集成方法。gydF4y2Ba

在数据挖掘过程中，我们发现不可靠文章的平均文本长度(平均单词长度和句子长度)比可靠文章的平均文本长度(gydF4y2Ba 表2gydF4y2Ba）.Flesch-Kincaid等级水平、Dale-Chall指数、ARI指数、Coleman-Liau指数、Gunning fog指数和Linsear Write指数表明，可靠的文章比不可靠的文章更容易阅读(gydF4y2Ba 表2gydF4y2Ba）.从194篇共情衍生词类的平均频率来看，110篇(56.7%)在可靠文章和不可靠文章之间存在显著差异(gydF4y2Ba 多媒体附录1gydF4y2Ba）.在不可靠和可靠的文章中最常见的单词也被可视化(gydF4y2Ba 图2gydF4y2Ba和gydF4y2Ba 3.gydF4y2Ba分别)。不可靠文章的负面情绪比率较高，而可靠文章的中性情绪比率较高(gydF4y2Ba 表3gydF4y2Ba）.确定了各种训练后的机器学习模型以及新的集成模型的性能指标(gydF4y2Ba 表3gydF4y2Ba）.gydF4y2Ba

去除停止词后，对可靠文章和不可靠文章中出现频率最高的词进行检测。可靠文章和不可靠文章的最高词频以频率条形图(gydF4y2Ba 图2gydF4y2Ba和gydF4y2Ba 3.gydF4y2Ba）.在可靠和不可靠的新闻报道之间，常见的关键词是“冠状病毒”、“病毒”、“大流行”等与covid -19相关的关键词。这些差异与“特朗普”和“政府”等政治含义有关。此外，Empath词典工具被应用于文本以产生词汇分类。每个词汇类别的平均计数被确定为可靠和不可靠的文本。然后用gydF4y2Ba tgydF4y2Ba测试。在可靠文本和不可靠文本之间，共有194个词汇类别在频率上存在显著差异(gydF4y2Ba 多媒体附录1gydF4y2Ba和gydF4y2Ba 表1gydF4y2Ba）.在gydF4y2Ba 表1gydF4y2Ba，我们显示了排名前10位的词汇类别gydF4y2Ba PgydF4y2Ba价值。分类包括“魔法”、“权力”、“商业”、“工作”、“满足感”、“办公室”、“争议”、“早晨”、“传奇”和“蓝领工作”。“商业”、“工作”、“满足”、“办公室”、“早晨”和“蓝领工作”等词汇类别的可靠文章的平均数量高于不可靠文章。“魔法”、“力量”、“传奇”和“争议”这几个词汇类别在可靠条目中的平均计数要低于不可靠条目。在文本特征方面，可靠和不可靠新闻文章的平均句子长度存在显著差异，可靠文章的句子较短，为23.67 (SD 5.17)个单词/句，而不可靠文章的句子长度为26.38 (SD 7.06)个单词/句(gydF4y2Ba 表2gydF4y2Ba）.此外，可靠文章和不可靠文章的平均字长分别为6.14 (SD 0.27)和6.32 (SD 1.66)。除了文本长度，我们还分析了可靠和不可靠文章的可读性差异。使用的可读性指数为flesch - kinkaid等级水平、Dale-Chall指数、ARI指数、Coleman-Liau指数、Gunning fog指数和Linsear Write指数。如图所示gydF4y2Ba 表2gydF4y2Ba6项可读性指标均表明，不可靠文章的可读性较差。由于这些文本特征对于区分可靠和不可靠的新闻文章非常重要，因此它们被输入到我们最终的深度学习模型中。gydF4y2Ba

使用VADER，文章中的句子被分为积极、中性和消极情绪。情绪得分范围从0到1,1表示强烈表达感兴趣的情绪。对于可靠的文章，消极、中性和积极情绪得分的平均值分别为0.066 (SD 0.042)、0.850 (SD 0.054)和0.084 (SD 0.035) (gydF4y2Ba 表3gydF4y2Ba）.对于不可靠文章，消极、中性和积极情绪得分的平均值分别为0.076 (SD 0.039)、0.840 (SD 0.050)和0.084 (SD 0.035)。gydF4y2Ba

将报纸文章数据通过GloVE词嵌入后，将文本数据拆分10倍进行交叉验证。传统的机器学习模型包括LR、knn和NB。AUC值(gydF4y2Ba 图4gydF4y2Ba)，以及灵敏度和召回值(gydF4y2Ba 表4gydF4y2Ba）.gydF4y2Ba

然后，对深度学习模型进行拟合。每个模型在训练前都包含GloVE词嵌入。使用ML Python scikit-learn库中的GridSearchCV完成深度学习模型的超参数优化。优化的超参数包括批大小、epoch、dropout率、神经元数、优化器类型、学习率和激活函数类型。每个模型都有不同的产生最佳结果的超参数。gydF4y2Ba

评估的深度学习模型有LSTM、GRU、BiLSTM、BiGRU和CNN。与传统的ML模型类似，AUC、特异性和召回率被确定为性能指标(gydF4y2Ba 表4gydF4y2Ba）.gydF4y2Ba

最后，利用BiGRU和XGBoost建立了集成模型。我们的新模型首先在ReCOVery测试子集上进行了评估。为我们的新模型生成了一个混淆矩阵，如下所示gydF4y2Ba 图5gydF4y2Ba。我们的新深度学习模型的AUC、特异性和敏感性分别为0.906、0.835和0.945 (gydF4y2Ba 表4gydF4y2Ba）.gydF4y2Ba

本研究使用ReCOVery数据集，建立了一个与BiGRU和XGBoost集成的文本可靠性分类模型，其特异性、灵敏度和AUC分别为0.835、0.945和0.906 [gydF4y2Ba 17gydF4y2Ba]。通过我们的数据分析，我们发现不可靠的新闻文章可读性较低，句子长度较高。与可靠的文章相比，它们也包含更多的负面情绪和更少的中性情绪，并且包含更多的两极分化的词汇类别。gydF4y2Ba

在使用新闻文章构建分类模型时，一个重要的考虑因素是模型的可泛化性。为了确保模型是可泛化的，用于训练模型的数据在本质上必须是多样化的。许多深度学习错误信息检测研究的一个缺点是专注于从狭窄的新闻来源或地点检测错误信息[gydF4y2Ba 17gydF4y2Ba，gydF4y2Ba 47gydF4y2Ba]。由于用于训练这些模型的数据集的同质性，许多错误信息检测模型的可泛化性可能较低[gydF4y2Ba 47gydF4y2Ba]。CoAID就是一个例子，它是由2019年12月1日至2020年9月1日期间与covid -19相关的新闻文章和社交媒体帖子构建的数据集。CoAID数据集的一个缺点是该数据集使用的新闻来源数量较少，因为在数据收集过程中包含了9个可靠的新闻来源[gydF4y2Ba 48gydF4y2Ba]。CoVerifi是一项研究，它使用CoAID数据集创建了一个基于网络的工具来检查在线新闻文章是否可信[gydF4y2Ba 49gydF4y2Ba]。另一个值得注意的数据集是COVID-19-FAKES数据集，其中包含61,711条带有错误信息的推文和2,985,399条没有错误信息的推文[gydF4y2Ba 50gydF4y2Ba，gydF4y2Ba 51gydF4y2Ba]。Silva等人[gydF4y2Ba 51gydF4y2Ba]使用COVID-19-FAKES数据集来深入了解推文中存在错误信息的预测特征，以及有和没有错误信息的推文的差异参与[gydF4y2Ba 51gydF4y2Ba]。因此，我们使用ReCOVery数据集来分析新闻文章的多样性，因为它们包括来自不同国家的~2000个不同的新闻媒体[gydF4y2Ba 17gydF4y2Ba]。gydF4y2Ba

由于VADER具有较高的准确性，因此在基于词典的水平上使用它来评估情感gydF4y2Ba FgydF4y2Ba1分类精度0.96与计算经济性[gydF4y2Ba 29gydF4y2Ba]。尽管VADER已成为NLP情感分析的主要工具，但需要考虑的两个主要缺点是它无法识别讽刺/讽刺，以及在处理三级分析(负面、中性和正面)时准确性降低[gydF4y2Ba 52gydF4y2Ba]。gydF4y2Ba

从可靠新闻文章和不可靠新闻文章的分布可以看出，与不可靠的文章相比，可靠的文章包含的负面情绪较少，因为它们的负面情绪极性得分较低(gydF4y2Ba 表3gydF4y2Ba）.这与文献中对新闻内容的观察一致，如Arif等[gydF4y2Ba 53gydF4y2Ba讨论了个人在互联网上搜索负面词汇如何导致更多有偏见的文章。为了强调情感在区分假新闻和真新闻中的重要性，Paschen [gydF4y2Ba 54gydF4y2Ba得出的结论是，与真实新闻相比，假新闻的标题和正文包含更多的负面内容，如愤怒和厌恶。假新闻更有可能表现出负面情绪，以驱动特定的盈利叙事，这支持了我们的发现，即负面的不可靠来源比中性或正面的不可靠来源更多。gydF4y2Ba

我们观察到中立可靠文章和中立不可靠文章的数量存在差异，与不可靠文章相比，可靠文章中的中立情绪更多(gydF4y2Ba 表3gydF4y2Ba）.对可靠数据来源的中立情绪评分意味着在讨论主题时不偏不倚和客观[gydF4y2Ba 55gydF4y2Ba]。gydF4y2Ba

由于上述原因，可靠文本和不可靠文本之间的情感效价不同，许多ML研究将情感作为一种特征来预测在线各种书面信息中的错误信息[gydF4y2Ba 56gydF4y2Ba]。由于不同可靠性的文本之间的情感性质不同，情感分析被用于过滤社交媒体上的负面信息，垃圾邮件过滤等应用[gydF4y2Ba 56gydF4y2Ba]。与我们的发现一致，Ajao等[gydF4y2Ba 57gydF4y2Ba研究发现，与可靠的推文相比，不可靠的推文往往包含更多的负面情绪，这是由于不可靠推文的作者如何利用负面情绪来更好地传播他们的信息。他们还表明，除了考虑文本特征外，情感的使用还可以提高支持向量机(SVM)的准确性[gydF4y2Ba 57gydF4y2Ba]。因此，情绪是我们模型选择的一个特征。gydF4y2Ba

观察到两组之间的单词本身非常相似，因为可靠和不可靠来源的主题都是相同的:COVID-19。此外，许多最频繁出现的词仅仅是过渡词，这些词很可能在大多数英语文学中找到。gydF4y2Ba

有趣的是，在可靠来源中出现频率最高的单词是“said”(gydF4y2Ba 图3gydF4y2Ba）.这可能是由于“said”被用来引用政治人物和科学领域的领导人。在这种情况下，文章的可靠性是文章引用可靠信息来源的结果。另一个可观察到的趋势是，在不可靠的文章中发现的带有政治色彩的词汇越来越多。“country”、“government”和“Trump”等词在不可靠的来源中出现频率最高，但在可靠的文章中却不常见。gydF4y2Ba 图2gydF4y2Ba）.这传达了一种出现在不可靠来源上的政治评论模式[gydF4y2Ba 58gydF4y2Ba]。我们可以预测，在COVID-19背景下讨论政治内容的文章可能有兴趣宣传议程，因此不可靠。例如，Chen等[gydF4y2Ba 59gydF4y2Ba发现2019冠状病毒病错误信息传播与2020年美国总统选举在口罩使用和邮寄选票方面存在相互作用。具体而言，卫生信息已被政治化，以推动政治议程和攻击政治对手。除了频繁出现的单词外，从Empath和类似模型中提取的词汇类别使我们能够评估可靠和不可靠新闻文章之间主题频率的差异[gydF4y2Ba 40gydF4y2Ba]。与仅使用原始文本数据相比，使用从Empath和类似模型中提取的词汇类别可以提高模型性能[gydF4y2Ba 60gydF4y2Ba-gydF4y2Ba 63gydF4y2Ba]。gydF4y2Ba

我们决定探索并包含在最终深度学习模型中的另一个特性是新闻文章的可读性和长度。可读性已被证明可以预测错误信息。在Santos等人的研究中gydF4y2Ba 64gydF4y2Ba]，仅使用文章可读性分数就可以区分来自假新闻频繁来源的文章，支持向量机算法的准确率为92% [gydF4y2Ba 64gydF4y2Ba]。同样，在Zhou等人的研究中[gydF4y2Ba 65gydF4y2Ba]，根据他们对可靠与不可靠新闻文章进行分类的能力，研究了各种指标。使用随机森林确定，就对模型的贡献而言，可读性与情感一起排在前5位[gydF4y2Ba 65gydF4y2Ba]。gydF4y2Ba

在最初的ReCOVery研究中，Zhou等[gydF4y2Ba 17gydF4y2Ba]建立了新闻文章信度的基线预测性能，发现可靠和不可靠的新闻文章的预测精度分别为0.721-0.836和0.421-0.667。可靠新闻和不可靠新闻的召回率分别为0.705-0.829和0.441-0.667 [gydF4y2Ba 17gydF4y2Ba]。基线模型中使用的特征包括文本词汇类别、修辞结构和新闻文章中的视觉信息。Zhou等[gydF4y2Ba 17gydF4y2Ba]还在传统的ML模型(如svm)或深度学习算法(如具有单模态和多模态特征的cnn)上测试了该模型。其他研究也探索了使用ReCOVery数据集进行虚假信息分类。其中一项研究是Raj和Meel [gydF4y2Ba 66gydF4y2Ba在那里，一种新的深度学习模型，联合循环和卷积神经网络(ARCNN)，使用新闻文章中的图像和文本特征来检测错误信息。使用6个COVID-19假新闻数据集对ARCNN的性能进行了测试，其中ReCOVery作为一个数据集，实现了准确性、精密度、召回率和gydF4y2Ba FgydF4y2Ba1分分别为80.98%、53.85%、58.33%、56.00% [gydF4y2Ba 66gydF4y2Ba]。另一项使用ReCOVery数据集进行模型开发的研究探索了使用多种语言进行假新闻检测以提高模型性能[gydF4y2Ba 67gydF4y2Ba]。最后，Wahle等[gydF4y2Ba 68gydF4y2Ba]使用ReCOVery数据集作为6个COVID-19错误信息数据集中的1个，评估了15个基于变压器的ML模型的性能，以确定不同变压器模型的泛化性。与上述研究不同的是，我们能够证明可读性、文本特征、情感和词汇类别的使用可以改进原始的ReCOVery数据集基线模型[gydF4y2Ba 17gydF4y2Ba]。因此，我们证明了上述文本特征对提高新闻文章可靠性预测的重要性。此外，我们表明，在NLP背景下，多个输入的组合和所选模型的考虑可以提高ML模型的准确性。gydF4y2Ba

在我们最终提出的模型中，带有XGBoost和特征工程的BiGRU是性能最好的模型。BiGRU擅长捕获长序列的时间数据，因为双向模型可以更好地捕获文本的上下文[gydF4y2Ba 46gydF4y2Ba]。在这些模型在恢复数据上的实验中，我们发现所有深度学习模型都优于传统的机器学习模型，因为深度学习模型能够更好地处理更复杂的数据[gydF4y2Ba 46gydF4y2Ba，gydF4y2Ba 69gydF4y2Ba]。此外，除了LSTM算法之外，我们还选择了GRU算法，这是一种递归神经网络的变体，因为与LSTM算法相比，GRU算法在较长文本上的性能有所提高[gydF4y2Ba 21gydF4y2Ba]。为了进一步提高模型的性能，我们构建了一个集成模型，因为组合多个预测可以产生更准确的预测[gydF4y2Ba 70gydF4y2Ba]。gydF4y2Ba

我们调查的一个优势在于，它不仅有创建可靠性预测的深度学习模型的主要目标，而且还确定了可靠和不可靠新闻文章的文本和情感的重要趋势。只关注深度学习模型的调查有一个“黑箱”问题，即深度学习模型使用的机制是不可见的，并且包含在其许多复杂的隐藏层中[gydF4y2Ba 71gydF4y2Ba]。因此，结合深度学习模型的数据探索方法能够更好地可视化和描绘文章的可靠性分类。此外，我们的论文研究了新闻文章，与推文和社交媒体相比，新闻文章的优势在于文本更加规范化，因为每篇文章都是用专业的方法撰写的。因此，在预处理过程中由于语法或拼写错误而删除的数据较少。使用新闻文章作为数据也避免了Twitter错误信息数据集在推特删除推文时遭受的低水合性问题。gydF4y2Ba

有许多方法可以进一步完善我们的项目。首先，扩大可用数据的总数将是有价值的，因为可靠来源的数据几乎是不可靠来源的两倍。此外，能够抓取Facebook帖子和Reddit帖子将允许我们扩大访问范围并评估其他高流量信息源。纳入聚类模型还将增加我们搜索的特异性，并创建一个更准确的模型，在确定可靠性时可以考虑正在讨论的COVID-19的哪个方面。正如结果所示，由于我们的模型具有很高的准确性，我们的模型可以作为一个web应用程序进行商业化，使用户可以高度自信地评估他们正在阅读的文章的可靠性。此外，它还可以用来确定一篇文章的情感评分，以确定他们是否想要参与该特定的文献。gydF4y2Ba

虽然这个模型专门识别与covid -19相关的信息，但它也可以接受其他类型的错误信息的训练。如前所述，目前大多数打击网络错误信息的方法都是通过使用人工审核的事实核查网站。例子包括Twitter的Birdwatch项目，独立用户可以标记他们认为不可信的帖子。gydF4y2Ba 72gydF4y2Ba]。其他使用的方法包括Facebook的事实核查服务，该服务手动将包含错误信息的帖子或网站标记为不可信，并将其从公众视野中删除。gydF4y2Ba 73gydF4y2Ba]。此外，在包含COVID-19信息的帖子下方放置警告，以警告读者帖子中可能包含的错误信息[gydF4y2Ba 73gydF4y2Ba]。虽然有许多核实事实的例子，但出现的主要问题是人工核实事实的效率低下[gydF4y2Ba 74gydF4y2Ba]。因此，新的事实核查方法旨在使事实核查过程自动化。事实核查网站的第一个例子是Bot Sentinel自动Twitter事实核查软件，用户可以安装该软件来监控垃圾邮件帐户[gydF4y2Ba 75gydF4y2Ba]。Bot Sentinel使用ML技术将帖子或个人资料分类为可靠或不可靠，准确率达到95% [gydF4y2Ba 75gydF4y2Ba]。gydF4y2Ba

总之，我们证明了可读性、情感、文本特征和词汇类别对于区分可靠和不可靠的新闻文章很重要，因为研究表明，不可靠的文章可读性较差，有更多的负面情绪，并且有更多的政治词汇类别。使用我们的新集成深度学习模型，使用上述特征在原始ReCOVery数据集中实现高于基线的性能，其特异性、灵敏度和AUC分别为0.835、0.945和0.906。因此，使用我们的新模型的可读性、情感和词汇类别的应用程序可以帮助确定新闻文章的可靠性，并更好地改进不使用这些特性的现有模型。gydF4y2Ba

COVID-19凸显了为新闻文章开发自动化可靠性评估器的重要性，因为人为调节的事实核查方法可能效率低下。因为可读性、情感和词汇类别可以用来改进现有的可靠性分类模型，我们表明自动化可靠性检测可能是未来确定新文章可靠性的另一种方法，这将帮助新闻读者识别包含潜在不可靠信息的文章。gydF4y2Ba