Improving Document-Level Sentiment Classification Using Importance of Sentences

type

Post

status

Published

date

May 2, 2022

summary

What are the Research Questions?

在情感分类应用中，真实世界中，当人类确定一个文件的极性时，他会通读整个文件，删除普通的句子（即没有印象的句子），并根据一些印象深刻的句子来确定最终的极性

在上面的例子中，第一句话的极性与文档的极性相反，第二句话的极性没有偏向，第三和第四句话分别对文档的极性产生弱影响和强影响——第三句和第四句是支持整个文档极性的有力证据。

因此，为了有效地确定文档的极性，应该对文档中的每个句子进行不同程度的重要性处理

What are the Academic Insights?

本文模型使用从大量训练数据中学习到的门函数自动确定文件中句子的重要程度。然后，它通过不同地考虑每个句子的重要程度，将输入的文档分类到预定的情感类别。

1、句子编码器将每个输入句子转换为嵌入向量。为了获得包括上下文信息的句子嵌入，我们采用ALBERT

文档编码器计算每个句子在解决特定情感分类问题中的重要程度。然后，它通过门控递归单元（GRU）和注意机制，根据每个句子的重要程度生成文档嵌入，

为了确定输入文档的情感类别，情感分类器使用文档嵌入和类相似度嵌入作为输入。类相似性嵌入与句子编码器中的相同，只是类相似性嵌入表示文档嵌入和目标类之间的关联度，用以下公式表示。

其中FNN (Ed)表示具有ReLU输出函数的FNN，用于将文档嵌入𝐸𝑑映射到目标类的向量空间，Wc是同句编码器，情感分类器与句子编码器共享类嵌入矩阵。

然后，Cd表示类相似性嵌入，包含文档嵌入和每个目标类之间的内积值。最后，情感分类器通过一个具有sigmoid输出函数的FNN来确定输入文档的情感类别，如以下公式所示

Why does it matter?

在文档级的情感分类任务中应该考虑句子的重要性，以前的许多基于ML的模型都集中在句子级的情感分类上。在文档级情感分类中（即对包含多个句子的文档进行情感分类），他们将文本视为一个句子包，而不考虑每个句子的重要性

The Most Important Chart from the Paper:

分数差只有1分的文档数量占66.5%（6132个文档中的4078个），89.5%的错误预测分数差异在2分以内。在10级极性预测中，我们认为这些小的分数差异甚至在人类的预测中也经常发生

Abstract

以前的研究人员认为情感分析是一项文档分类任务，在这项任务中，输入的文档被归入预定义的情感类别。尽管文档中有些句子支持情感分析的重要证据，有些句子不支持，但他们将文档视为一个句子袋。换句话说，他们没有考虑文件中每个句子的重要性。为了有效地确定一个文件的极性，文件中的每个句子都应该被处理成不同程度的重要性。为了解决这个问题，我们提出了一个基于深度神经网络的文档级句子分类模型，其中文档中的句子的重要程度通过门机制自动确定。为了验证我们新的情感分析模型，我们在电影评论、酒店评论、餐厅评论和音乐评论等四个不同领域的情感数据集上进行了实验。在实验中，所提出的模型优于以前的最先进的模型，这些模型不考虑文件中句子的重要性差异。实验结果表明，在文档级的情感分类任务中应该考虑句子的重要性。