在电子健康记录中使用通用情感词汇进行自杀风险评估:基于语料库的分析

介绍

背景

世界卫生组织报告称，自杀占全球所有死亡人数的1.4%，是全球第18大死亡原因[1]。自杀未遂史是导致自杀的最重要的危险因素，而那些需要住院治疗的人则处于最严重的一端。2]。然而，据报道，目前评估病人企图自杀风险的方法并不比随机方法好多少。3.]。因此，了解住院自杀企图前电子健康记录(EHRs)动态特征的新方法，将这一时期与其他时间的临床叙述区分开来，将具有潜在的临床效用[4]。

电子病历包含结构化的患者数据(例如，年龄、性别和种族)和组成临床叙述的非结构化文本(例如，门诊信函、与患者或护理人员的会议和电话记录以及出院摘要)。非结构化文本在心理健康方面尤为重要，因为记录的大部分关于患者的内容都是在临床医生的面对面评估之后记录的，他们对患者经历和表现的观察和判断不可避免地受到他们自己的训练、经验和隐性偏见的影响，当他们在临床叙述中记录这些时，这些判断具有一定程度的主观性[5]。

文本中主观判断的自动识别和分析被称为情感分析[6，7]。这个过程通常包括将单词分类为表达积极或消极极性，并且在非临床领域已经开发了许多资源来完成这项任务，例如客户评论[8-11]和社交媒体[12-14]。研究工作还集中在分析医疗保健相关文本(如患者反馈表格)中的情绪[15，16]、网上论坛[17]，以及社交网络[18，19]。

最近的工作试图评估情感词汇在临床叙述主观判断分析中的效用。McCoy等[20.]使用通用领域情感分析工具提取单词极性特征，以模拟再入院和死亡的风险。同样的工具后来被用来检验单词极性和自杀企图风险之间的相关性[21]。最近，Weissman等[22]对六种通用领域情绪分析工具进行了全面评估，以预测重症监护患者的住院死亡率风险，跟踪临床记录中情绪的进展情况。他们的结论是，一般领域的情感工具不适合临床文本的处理，需要开发特定领域的资源。这方面的工作正在开始出现。23-25]。

这些研究主要集中在测试自动提取的情感值与特定临床结果之间的相关性。然而，据我们所知，在应用于临床文本时，还没有对通用领域情感分析工具所映射的术语进行仔细检查。

目标

以消极极性和积极极性为重点，我们旨在确定6个通用情感词汇在应用于两组精神卫生服务患者的电子病历文本语料库时的覆盖范围:(1)有自杀未遂并住院的患者(病例)和(2)没有自杀未遂史的患者(对照组)。采用语料库语言学中使用的方法，我们首先试图确定最能代表病例和对照临床叙述的单词。然后，我们旨在通过比较这两组代表性词语来测试每个情感词汇的覆盖范围。我们试图确定这两组代表词在多大程度上包含通用情感词，以及这两组代表词在多大程度上包含通用词汇中未包含的附加情感词。

方法

语言库分析

临床队列

我们使用临床记录交互式搜索(CRIS)数据库研究了来自南伦敦和莫兹利国家卫生服务基金会信托基金的25万多名患者的未确定电子病历，该数据库包含超过350万份文本文档[26]。CRIS已与全国医院住院数据相关联安全的避风港，从而提取医院入院信息。鉴定的CRIS数据库已获得二次分析的伦理批准:Oxford REC，参考号18/SC/0372。在获得CRIS监督委员会事先批准的项目中工作的授权研究人员可根据请求获得访问权限。本研究中提供的数据可以在安全系统防火墙中查看。

我们的数据集来自17,640名患者的电子病历。该研究包括4235例与自杀未遂相关的(病例)入院和16940例与自杀未遂无关的(对照)入院，按照1:4的病例-对照比例进行抽样。病例被定义为任何入院(急性身体或专科精神健康)，其中有自杀企图(由国际疾病分类(ICD-10)中的以下任何代码表示:X6*， X7*， X80-4*， Y1*， Y2*， Y30-4*和Y87*)，入院时间至少持续24小时。从2006年4月1日或之后开始，到2017年3月31日之前或之前结束的招生将被考虑。保留在自杀企图发生日期前30天内至少有一份文件的病例入院记录。我们还删除了带有空文件的录取通知书(扫描文件中的文本在CRIS中并不总是可用)，结果总共有4235份与自杀有关的录取通知书。对照组在给定时间内没有任何指定的ICD-10代码，按性别匹配，在相应病例入院开始日期必须活着，并与同一年龄组匹配(5年年龄组:<16岁，16-19岁，20-24岁至80-84岁和>85岁)。每个对照组在匹配病例自杀未遂日期之前的30天内也至少有一份文件。选择的对照在年龄和性别方面具有病例抽取人群的代表性，比率基于流行病学原则，即进一步增加对照数量，超过每例约4个，几乎没有统计效力[27]。该队列的主要描述性特征在表1。

EHR语料库

我们的语料库包括临床队列中两个亚组的所有电子病历文本:(1)自杀病例入院和(2)非自杀对照。

我们使用1:4的病例对照研究设计进行招生，这意味着我们预计子语料库之间的文档数量和字数会存在差异。然而，对照文献(n=127,047)仅比病例文献(n=71,404)多77.92%(55,643/71,404)，而不是对随机患者进行1:4抽样时预期的300%差异。以下数据预处理(参考数据准备小节)，案例文档(n=117.4)的平均词汇计数高于对照文档(n=103.9)，因此整体单词(标记)计数比不是1:4，而是约为1:6 .6，而平均唯一单词(类型)计数比约为1.5。语料库的基本描述性统计数据显示在表2。每位患者的文件分布遵循非正态分布，如图多媒体附录1。

数据准备

所有文本均使用自然语言处理(NLP)库spaCy (v2.0.12) [28]，应用以下步骤:单词标记化、词性标注和词素化(使用单词的基本形式)。我们使用自然语言工具包删除了停止词[29停止单词列表的英文和小写的所有单词为我们的分析。所有代码都可以在GitHub上获得[30.]。

识别代表性关键词

为了回答我们关于每个词汇覆盖范围的问题，我们采用了语料库语言学中常用的基于词频分布的方法，详见多媒体附录1(C) (31-34]。我们首先确定关键字最代表每个子语料库(自杀案例录取文本和非自杀对照文本)通过计算子语料库之间的相对词频比。以下是先前语料库语言学研究的建议[31-33]并且考虑到患者之间文件的非正态分布，然后我们应用非参数曼-惠特尼U确定词频差异统计显著性的检验(FreqDiff (w)对于一个给定的词(w)在子语料库之间。我们只保留了大小写和控制子语料库中出现的单词，总共留下了64,854种唯一的标记类型。只出现在一个或另一个子语料库中的词与两个子语料库中都出现的词相比相对较少。例如，最常见的大小写关键字是识别首字母，最高频率为20.2个/百万(wpm)，而最常见的对照关键字是人名，最高频率为34.4个/百万。

情感词汇分析

情绪词汇

我们研究了六种不同的情感词汇，这些词汇是为非临床领域开发的。人们研究了情绪和情感的不同维度，包括情绪、价-觉醒-支配和极性。我们只关注代表最后一个方面的词汇，即消极和积极的情绪极性。除了分配消极和积极极性外，一些情感分析工具还为不传达语义极性的单词分配值(例如，中性词语)。然而，我们只考虑了表达积极和消极情绪的词汇，因为并非本研究中的所有词汇都包含中性词汇。因此，我们过滤掉了任何中性词。此外，为了比较，我们只检查了二元情感值，而不是程度分数，只有一些词典提供。我们选取了以下词汇进行研究:35]， NRC情感词典(通常称为EmoLex) [36]、语言调查及字数统计(LIWC) [37]，意见词典[9]，模式词典[38]和SentiWordNet [39]。这些词汇的不同之处在于它们所包含的形式(单词、引理和正则表达式)。我们应用了每一个按原样与经过适当预处理的语料库(如单词或引理)进行比较，因为它们已在其他研究中使用。中提供了词汇的详细信息，包括预处理和过滤多媒体附录1(B) (9，35-44]。表3总结了这些词汇的一些主要特征，包括过滤掉中性条目之前的大小(原始大小)和之后的大小(过滤后的大小)。

词汇覆盖率

我们用三种不同的方式评估每个词汇的覆盖范围:

1. 覆盖全球:在每个子语料库的(唯一)单词列表中出现的带有情感的词汇条目的百分比。详情载于多媒体附录1(D)。
2. 关键词覆盖率:词汇中包含情感的术语所涵盖的大小写和控制关键词的比例。首先，我们计算了每个词汇在每个子语料库中所识别的关键词的百分比。其次，我们使用了信息检索常用的度量，即加权精度(P_w)，回忆(R_w),F分数(F_w)，我们使用单词排名作为权重，对所有关键字的无序集合中的每个词典进行计算。我们的计算细节，包括公式，载于多媒体附录1(D)一个词典的精度显示了它正确识别的大小写关键字占它所包含的所有关键字的比例。因此，在词典中包含控制关键字会降低精度。相反，recall表示字典从整个case关键字列表中正确识别的case关键字的数量。字典中缺少case关键字会导致在召回时被扣分。FScore提供了前面两个指标的组合，并对词典的关键字覆盖率进行了全面的量化评估。
3. 情绪覆盖:词汇库为每个子语料库的匹配关键字分配的情感极性(积极或消极)。

结果

语言库分析

为每个子语料库生成代表性关键字的步骤(参见语言库分析小节)的结果是一个包含3382个关键字的列表。按频率差递减排序，排名靠前的单词(与FreqDiff>0)为具有代表性的自杀案例子语料库(2360个关键词)。类似地，按升序排序，顶部单词(withFreqDiff<0)代表非自杀控制子语料库(1022个关键词)。表4显示每个子语料库中排名靠前的10个关键词。在这个表中，我们显示了每个词在整个语料库中的排名和频率，case和对照子语料库之间的频率差异，以及该词在整个子语料库中的频率比。我们提供了一个类似的前100个关键字的列表多媒体附录2。

对于自杀案例子语料库，最上面的关键词“QQQQQ”是由CRIS中使用的定制去识别算法创建的患者亲属或密切接触者的匿名姓名的占位符[45]。这可能表明向工作人员报告的亲属或护理人员对患者状况的担忧。其他与自杀企图直接相关的关键词(过量，自杀,急救(事故和紧急情况)。频率比表示过量是除以5乘以和急救在病例子语料库中的频率是对照子语料库的3.5倍以上。其他与住院有关的词(病房和工作人员)及自残(自我和伤害）.

目视检查显示自我和伤害经常在名词短语中同时出现，如自我伤害和自残(它被标记器错误地分割成2个标记)。此外,伤害也会出现在反身代词中，例如，伤害自己，也提到了自残事件。酒精也具有临床相关性，因为慢性酒精使用障碍和急性酒精使用都会增加自杀未遂的风险。

相反，对于控制子语料库，顶部关键字“ZZZZZ”是匿名患者标识符的占位符。这些排名靠前的关键词是更通用的术语，可以在大多数类型的临床记录中找到(例如，精神，健康,状态)，有些则可能来自通信(例如:先生，任命,请）.尽管顶部控制关键字的出现频率明显高于case子语料库中的关键字，但频率差异和比例在全局上没有case关键字那么明显。绝对频率差的中位数(FreqDiff)的值为894.2，而案例的值为1391.1。相应的中位数频率比(FreqRatio)病例为1.90，对照组为1.45。这表明自杀相关文本的关键词比对照子语料库的关键词更能代表案例子语料库。这可能反映了这样一个事实，即病例有一个明显的统一特征，即被纳入住院自杀企图，而对照入院则是来自任何时期，只要他们没有自杀企图。值得注意的是，我们没有对与这些关键词相关的情绪做出任何假设。

情感词汇分析

我们首先评估了情感词汇的全球覆盖范围(参见多媒体附录1(E)详情)。全球覆盖率的数字汇总于表5。

SentiWordNet是迄今为止最大的词典，覆盖了整个语料库中约60%的所有标记(6.46%的类型)。该模式在子语料库和整个语料库中的词型覆盖率最低(0.63%)。尽管LIWC的词汇条目最少(1371个)，但它使用了捕获多个单词形式的正则表达式，这意味着它映射了更多单独的单词类型(但是标记的覆盖率最低，在整个语料库中为11.35%)。尽管EmoLex和AFINN的条目分别比Opinion少了大约1200和3300个，但它们在更大的词典中都具有更高的单词标记覆盖率。EmoLex对令牌类型的覆盖率也略高。这可能是这些词汇的构造方式和来源的结果。我们将在讨论部分。

除LIWC外，所有词典在case子语料库中的词类型覆盖率都高于控制子语料库。在考虑调整后的单词标记的百分比时，也观察到同样的趋势。这表明，普遍存在更多的问题情绪(如这些词典中定义的那样)在case子语料库中表达，而不是在控制子语料库中表达，假设每个子语料库中有相同数量的单词。但是，如果不调整子语料库之间的词频差异，则所有词汇的趋势都相反。

这种覆盖范围的概念没有考虑到所讨论的词语的代表性。为了捕捉这一关键特征，我们检查了包含每个词典的每个子语料库(关键词覆盖率;参考语言库分析分段和多媒体附录1[D])。关键词的总体比例覆盖率如图所示表6。

与全球覆盖率一样，关键字覆盖率与词典大小相关，但LIWC是例外。同样，当只检查每个子语料库中最具代表性的单词时，Opinion(第二大资源)的覆盖率远远低于EmoLex和AFINN，后者的规模较小，后者的条目中关键词数量仅为前者的一半。

从信息检索的角度对词典进行评价，揭示了每个词典在纳入大小写关键词和排除对照关键词之间取得平衡的程度，说明了识别词的代表性。如图所示表7，各词典均提供合理的加权精度(0.53-0.72)。然而，加权召回率和加权f分在不同词汇之间差异很大，非常低(0.04-0.36)。

这些结果表明，在我们测试的所有词汇中，SentiWordNet在两个子语料库的关键词准确度和召回率之间提供了最好的平衡。由于它的尺寸，它获得了最高的召回率。这表明它比其他词汇资源包含更多排名最高的大小写关键字。它还达到了与其他词典相当的精度，这表明它识别的单词通常是来自自杀相关案例子语料库的高级关键词。模式词典在加权精度和查全率方面取得的结果明显低于所有其他词典，尽管它比其中一些词典更大。这表明其包含的情绪术语具有某种不同的性质，并且不能为区分代表性案例关键字和控制关键字提供明确的信号。

总的来说，作为区分自杀相关与非自杀相关的临床笔记的工具，这项评估，特别是召回数据，表明两个子语料库中最具代表性的关键词都不是所有这些词汇所定义的情感，这表明有必要进一步分析具有代表性的子语料库关键词，以更好地了解其特征。

最后，我们检查了每个子语料库(情感覆盖)中排名最高的代表性关键词之间的情感分布。图1显示每个词典包含的大小写和控制子语料库的前100个关键字的排名。除了绘制每个词典中单词的等级，我们还通过颜色和形状编码来指示与每个词汇相关的极性。

‎ 查看此图

在情感覆盖方面，AFINN、EmoLex、LIWC和Opinion标志着大写关键词和控制关键词之间的明显区别。这些词汇将负面情绪分配给高级大小写关键字(例如，伤害(排名第三)风险[11],杀了[52],疼痛[78])和正面情绪对顶控关键词(如:请(七),平静[40]愉快的[49])，对某些高级控制关键词(例如，咄咄逼人的[61],疾病[63]焦虑[83])。

Pattern词典中只出现了2个高级关键词:它们是安全[51]，这是唯一一个在所有7个词典中都能找到的前100个单词过去的[68]，它只出现在Pattern中，并被归因于负极性(进一步讨论在讨论部分)。平静(40)和愉快的[49]是唯一在所有6个词典中一致发现的前100个关键字，并且除了SentiWordNet之外，这些关键字都被归为正极性。这种意想不到的情感分配(形容词)平静在SentiWordNet上的得分很低，而焦虑，边缘，切割,关注是积极的)强调了研究现成工具中的潜在假设以及在将它们应用于新用例时它们的潜在含义的重要性。

对于SentiWordNet来说，顶级关键词的情绪是混合的，在两个子语料库中，积极情绪关键词的比例更高，尽管它为对照分配了更多的消极情绪，并为更高比例的高排名关键词分配了更多的消极情绪。这表明，尽管具有较大的词汇覆盖率，但该词典的情感覆盖率可能不够一致，无法可靠地区分两个人群。

值得注意的是，case子语料库的前100个关键字中有51个没有被任何词典识别。这些措施包括自我，工作人员，说，酒精，和急救，均在前10名(表4)，以及进一步与临床高度相关(尽管不一定带有感情色彩)的词语，如对乙酰氨基酚(排名第25位，FreqDiff=524.6, FreqRatio=4.5)，简称od(在精神病学中用来表示两者中的任何一种)过量或有人死了[一天一次]在药物方面;排名第29位，FreqDiff=498.2, FreqRatio=2.2)，救护车(排名第57,FreqDiff=340.9, FreqRatio=3.3)，复数形式过量(排名第68位，FreqDiff=314.0, FreqRatio=7.6)和首字母缩略词近年来(故意自残;第83位，FreqDiff=275.1, FreqRatio=3.4)。这些词的频率比表明，它们在自杀相关案例笔记中的频率比在对照语料库中的频率高出许多倍。在整个case关键字列表中，只有33.35%(787/2360)被至少一个词汇赋予了情感值。此外，前100个控制关键词中有51个也没有出现在所有词典中，其中许多与通信有关(例如，先生，任命,传真）.我们请读者参考多媒体附录2欲知详情。

讨论

自杀风险评估词典开发的意义

从我们的语料库中提取的代表性关键词列表表明，在NLP领域中普遍采用的情感概念并不是识别自杀患者案例笔记中典型术语的最合适的语义类别。在测试的情感词汇中，许多这些术语并没有明显的消极或积极的极性。

我们的分析还表明，在应用于新用例时，需要进一步分析这些工具对情感极性的分配。

此外，我们确定的许多与自杀有关的案例笔记的代表性关键词是中性关于情绪，这是意料之中的，我们研究中提取的代表性案例关键词表明它们与对照关键词不同，但并非所有这些术语都必然带有情绪。

我们的研究结果表明，使用经过验证的词汇资源(如字典或同义词典)(如EmoLex)构建的情感词典，比在大型开放域文本语料库(如通过网络爬行构建的Opinion)上使用半自动过程获得的情感词典具有更高的组合精度和召回结果。

构建自杀风险评估情绪词汇指南

根据Deng等人的研究[24]，一般领域词汇资源不适合临床领域的一个解决方案是定义用于临床文本分析的情感概念，在目前的情况下，是心理健康(指南1)。这可以允许对在通用词汇资源中不具有特征的术语分配极性。在自杀风险评估的情况下，这可能包括负极性分配的术语，如急救，过量，酒精，近年来,计划，它们没有被我们测试的词汇赋予极性值。

根据我们的研究结果，建立自杀风险评估词典的建议策略可能是使用语料库词频作为词汇资源中词汇的包含指南，这些词汇资源将与情绪保持不可知论(指南2)，而不是将术语标记为触发或风险因素这样的策略可以避免将情绪分配给单词的问题，尽管这些单词高度代表了与自杀相关的文本，但没有明显的情绪价值。这也将避免需要分配极性的术语，可能是模棱两可的情绪表达，是积极的或消极的取决于上下文(例如，低(情感)和低[风险])，尽管更普遍的多义问题仍然存在。

对于临床相关术语，专门的精神病学词典或卫生保健术语可能有助于为自杀风险评估创建有针对性的词汇资源(指南4)。例如，某些自杀风险因素(例如，以前的自杀企图、抑郁和药物滥用)和保护因素(例如，有效的临床护理、家庭和社区支持)已经是众所周知的临床特征。因此，这些概念和相关术语应该反映在任何旨在确定临床记录中自杀风险增加时期的词典中。必须牢记的一个警告是，许多专业临床术语中包含的术语并没有由临床医生写在电子病历中[46]，这意味着术语选择应该由对典型目标语料库有一般认识的领域专家来进行。

从大型语料库中提取术语的自动化方法在NLP领域已经变得很常见，包括情感词汇的创建[47-49]。这些技术提供了一种方法来增加相关术语的覆盖范围，尽管最好实现一些机制来确保相关性标准得到遵守。结合特定于领域的基于语料库的术语概念代表性自动词汇归纳程序[50]是一种精炼术语选择的方法，过滤掉被认为不具有代表性的术语(指南5)。此外，在可行的情况下，由领域专家(指南6)进行手动验证，将进一步确保提取术语的精度，也可用于分配额外的语义类别，如情感。

指引摘要如下:

1. 为临床领域定义情感的概念
2. 使用语料库的词频作为词汇收录的指南
3. 标签条款如下风险因素或触发而不是感情用事
4. 使用专业词典和/或医疗保健术语作为来源
5. 将基于特定领域语料库的代表性概念整合到自动词汇归纳技术中
6. 由领域专家手工验证

总结与限制

使用语料库语言学的方法检查我们的数据显示，在入院前的EHR笔记中使用的关键词与控制期间没有自杀企图的关键词之间存在统计学上的显著差异。主题包括住院自杀企图、自残和酗酒。我们审查的通用情感词典对这些关键词的覆盖范围各不相同。虽然词典规模是整体覆盖的决定性因素，但最大的资源SentiWordNet在考虑关键词排名和情感时，并没有区分这两个子语料库以及一些较小的资源，即AFINN, EmoLex和Opinion。同样，EmoLex和AFINN的相关关键词覆盖面也比Opinion大，Opinion是3个资源中覆盖面最大的。这在一定程度上可能是用于选择单词来构建情感词典的原始采样策略的结果。EmoLex和AFINN都是建立在现有的通用词典之上的，而Opinion则是通过在互联网上抓取产品评论而半自动创建的。因此，后者的词汇表可能更特定于该领域，而前两个词汇表的术语可能更通用，这意味着它们可能更适合不同的领域。同样的3个词汇在格词和对照词之间的情感极性分配也表现出最具区别性。尽管这些资源中包含的许多术语可以说传达了适当的情感价值(例如，焦虑是负的愉快的是积极的)，但也有某些术语，这一点不那么明显，至少在与自杀风险相关的电子病历文本中是这样。例如,病房被SentiWordNet分配为负面情绪，而的想法被赋予积极的情绪。这个词计划被EmoLex赋予积极情绪，而调用是负的。以非上下文方式注释单词极性，特别是没有适当的词性消歧(我们测试的资源中只有2个包含词性信息的条目)，可能会导致新用例的下游建模中的偏差分析。临床文本的目的是写在一个客观的风格，而不是缺乏一般术语情绪尽管在现实中情况并非总是如此。通过我们的方法确定的许多高度相关的术语(例如，急救，过量,酒精)不属于通常可能被称为情绪的类别，而是属于风险因素的类别，而其他已确定的术语则更多地反映情绪。

这些观察结果使我们同意先前研究的结论。21-24需要为临床文献的分析开发特定领域的资源。我们试图通过对临床记录的分析来深入了解为什么会出现这种情况，以及这些资源可能需要包括哪些信息来解决自杀风险评估的任务。

我们的研究有一些局限性。首先，语料库不是根据刻意的抽样策略构建的，而是1:4的病例-对照选择比的结果，这在流行病学中是典型的。自杀未遂和自杀未遂比我们的样本显示的要少得多。此外，文件没有按类型抽样。这可能导致了控制语料库中字母的优势，正如最常见的关键字所表明的那样。在病例和对照亚体之间，患者之间的文件分布也不同。平均而言，病例的文件数量几乎是对照文件数量的3倍，这反映出与精神卫生服务机构的接触更加频繁。因此，生成的语料库不一定符合语料库语言学中普遍推荐的代表性和平衡性标准。

我们也承认，为了比较，我们对情感值的标准化并不一定反映所有词汇分配的情感的实际数量，并邀请读者参考以前的研究生情绪得分比较[20.-22]。同样值得注意的是，之前的研究表明，情绪，比如在社交媒体帖子中表达的快乐，可能会因人口统计、地理位置而异[51，52]，在一个地区的移动和居住状态[53]。虽然我们的工作重点是临床文本而不是社交媒体，但这些因素可能影响了我们的结果;然而，我们并没有对此进行控制。这代表了一个关于我们的结果在其他地理区域具有潜在不同社会人口结构的临床人群的普遍性的警告。

最后，我们只检查两个子语料库共有的关键字。因此，某些仅出现在案例子语料库中的自杀案例笔记的典型关键词可能会被遗漏，尽管我们确实发现仅出现在一个子语料库中的关键词与我们所检查的相比相对较少。

结论

这项工作为自杀风险评估中的情绪研究做出了一些贡献。

首先，我们的临床记录语料库是从自杀和非自杀住院的病例对照研究中提取的，据我们所知，这是电子病历在这一领域的新应用。

其次，运用语料库语言学的方法，我们确定了2个关键词列表:第一个是导致住院自杀企图的患者的临床记录的代表，第二个是那些没有自杀企图的患者的代表。我们使用这些关键字列表来衡量语料库中6个情感词汇的覆盖范围，使用了许多措施，包括信息检索指标，我们根据评估的目的进行了调整。我们的研究对这些词汇的内容及其与情绪分析相关的含义进行了新颖的检查，并对电子病历文本中区分自杀风险病例和对照的术语特征有了更深入的了解。此外，我们发现这些通用域资源分配的极性值有时没有临床意义或与临床判断一致。

最后，基于我们的研究结果，我们提出了一套简单明了的指导方针，为那些试图通过分析临床记录来评估自杀风险的人提供更有用的词汇资源。通过为基于规则的分类系统和机器学习分类系统提供判别特征，这样的目标词典有可能推进使用电子病历研究临床人群自杀风险的研究。