Joint Alignment of Multi-Task Feature and Label Spaces for Emotion Cause Pair Extraction

作者：陈顺杰（武汉大学）石小川（武汉大学）李京烨（武汉大学），吴胜琼（新加坡国立大学）、费豪（新加坡国立大学），李霏（武汉大学）姬东鸿（武汉大学），

会议：COLING 2022

论文：https://arxiv.org/pdf/2209.04112.pdf

一句话概括本工作：本研究发现情感原因对抽取任务的相关研究大部分都是采用多任务学习框架，而在多任务学习中直觉上来说显示的构建特定任务特征和多任务预测结果之间达成共识对多任务学习任务十分重要，因此提出了两种对齐机制：特征-任务对齐机制，明确地将特征分成三部分，分别与 EE、CE 和 ECPE 任务对齐；任务间对齐机制，将三个任务的输出拉到一起，以使它们达成共识。所提出的模型在中文ECPE数据集上刷新了最好的分数。

一、动机介绍

1.1情感原因对抽取任务

情感原因对抽取（Emotion cause pair extraction, ECPE）起源于情感原因分析是自然语言处理领域的一项非常基本的任务，在社区长久以来一直得到广泛的研究。由Xia and Ding (2019) 第一次提出来。该任务包含两个辅助任务：

         情感抽取（Emotion extraction，EE）抽取文本中的情感子句。

         原因抽取（Cause extraction, CE）抽取文本中的原因子句。

而ECPE是联合抽取出文本中的情感原因对。任务示例如下图所示：

图 1 ECPE任务示例

如图所示橙色句子代表情感子句，蓝色句子代表原因子句。ECPE任务就是抽取出文本中有因果关系的情感原因对。

1.2 情感原因对抽取方法

截止当前，情感原因对抽取领域的按照特征的编码方式主流方法大致可分类为两类：

         共享编码方式

         平行编码方式

图 2主流编码方式

其中，共享编码的方法仅通过一个编码器学习混合特征不区分各个子任务的特定特征。而平行编码方式使用两个编码器来分别学习情感和特定原因的特征，但是，这些任务之间的交互特征被忽略了。我们认为情感和原因特定的特征以及共享交互的特征对最终性能都很重要，应该在多任务学习框架中明确建模。并且之前工作都忽略了多个任务之间的结果应该达成共识，比如，如图 1 所示，一旦“c1”被 ECPE 模块识别为原因子句，CE 模块不应进一步将其预测为非原因子句。

1.3本文的方法

在这项工作中，我们提出两种对齐机制来解决在ECPE任务上的特征编码问题和标签一致性问题如下图所示。

图 3本文方法

 我们首先提出了一个特征-任务对齐机制来明确地建模了特定的情感和原因特征和共享的交互特征。 此外，提出任务间对齐机制将ECPE与EE & CE 组合之间的标签距离缩小，以获得更好的标签一致性。

二、模型框架

如下图所示给出了Net模型的整体框架。我们的 Net的整体架构由四层组成，包括编码器层、特征任务对齐层、预测层和任务间对齐机制层。

图 4模型整体框架

2.1编码层

给定一个句子，我们在每个子句的开头插入一个 [CLS] 标记，并在末尾附加一个 [SEP] 标记，然后我们将它们连接在一起作为 BERT 的输入，然后我们将每个子句 ci 中的 [CLS] 的表示作为其子句表示。

2.2特征任务对齐层

我们采用分区过滤网络 (PFN) (Yan et al., 2021b) 来捕获特定于情感和原因的特征以及它们之间的交互，因为它具有强大的提取任务特定特征和交互特征的能力。PFN 类似于 LSTM 结构，有两个与任务相关的门：情感门和原因门。 情感门和原因门根据特征向量对每个任务的贡献来过滤特征。在每个时间步，编码器将子句表示分为三个特征分区：情感分区、原因分区和交互分区，其中交互分区表示对所有任务有用的信息。

2.3预测层

我们分别使用三个分类器对EE，CE，ECPE任务进行预测。在预测层我们将PFN中三种特征进行组合，其中情感特征和交互特征进行组合预测EE情感子句、情感特征和交互特征进行组合预测CE原因子句、情感特征、交互特征、原因特征、相对位置特征进行组合预测ECPE情感-原因对。

2.4任务间对齐机制

由于EE和CE的预测可能与ECPE不一致，即ECPE预测的情感-原因对中的情感无法被EE检测到，这阻碍了进一步改进的任务。为了解决这个问题，我们提出了一种任务间对齐 (ITA) 机制来约束训练期间 ECPE 和辅助任务之间的预测分数。原理如下图所示：

图 5任务间对齐机制

我们首先通过EE和CE的预测结果进行笛卡尔积得到一个虚假的ECPE预测分布，但是这个ECPE的分布缺少因果关系，因此我们还使用情感向量和原因向量构造了一个软Mask分数分布使得情感子句能够注意到自己对应的原因子句而忽略其他没有因果关系的子句，它让这个由EE和CE任务构造而来的ECPE预测分布尽可能的与真实的ECPE分布相似。最后我们通过最小化 ECPE 和 EE×CE 的输出分布之间的双向 KL 散度来达到任务间对齐的目标，从而保持所有任务之间标签空间的一致性。

三、实验结果

我们在 Xia 和 Ding (2019) 提供的中国基准数据集上进行了实验，以评估我们提出的模型Net的有效性。为了公平比较，我们比较的模型都是基于BERT实现的版本，并且按照之前的研究工作我们使用 10 折交叉验证作为数据拆分策略，使用精度 (P)、召回率 (R) 和 F1 分数 (F1) 作为评估指标。实验结果如下表所示:

表 1ECPE主实验结果

从实验结果中我们可以发现Net模型在EE、CE和ECPE任务上的F1值效果都优于之前的工作。

通过进一步的消融实验，我们探索了不同部件对整体框架的影响。此外我们还做了模型预测一致性实验和模型效率分析实验。

表 2特征-任务对齐机制消融

表 3任务间对齐机制消融

图 6模型预测一致性分析

表 4模型效率分析

四、总结

本文我们在ECPE任务中提出特征-任务对齐和任务间对齐机制。在特征空间，特征-任务对齐机制将任务特定的特征和共享的交互特征与相应的任务对齐。在标签空间，任务间对齐机制减少了 EE、CE 和 ECPE 的预测标签之间的不一致。在ECPE中文数据的实验结果证明了我们方法的有效性。 刷新了当前最先进的基线模型，取得了目前最好ECPE分数。