TPAMI 2023：面向模态缺失场景的对话情感识别方法

论文链接：https://ieeexplore.ieee.org/abstract/document/10008078

论文代码：https://github.com/zeroQiaoba/GCNet

论文作者：连政1、陈岚1、孙立才1、刘斌1、陶建华2

单位：1中国科学院自动化研究所，2清华大学

在真实交互场景中，人声混叠、背景噪声、面部遮挡等多种因素干扰会导致数据缺失，制约了情感识别算法的性能。针对模态缺失问题，现有方法主要针对静态图像数据或者单独句子，并未考虑交互场景下动态视频数据内部的时序关联模式以及情感表达的连续性在数据补偿过程中的重要作用，导致现有方法并不适用于面向交互场景的情感识别任务。针对上述问题，本文提出了一种面向模态缺失场景的对话情感识别框架。该方法研究结合时序与模态关联模式的缺失数据补偿方法，并进一步研究数据补偿与情感分析的协同建模架构，实现缺失条件下多模态情感信息补偿，增强交互场景下情感识别模型的抗干扰能力。

图1 面向模态缺失场景的对话情感识别框架

相比于已有工作，本文较早关注于对话情感识别任务中数据缺失这一问题，并验证了对话数据中的时序信息和说话人信息不仅对于模态完备数据非常重要，对于模态缺失数据同样重要。并且随着缺失率的上升，两部分信息对于情感识别任务的重要度也在显著增加。

本文在多个基准数据集上验证了所提方法的有效性。在情感识别性能和数据补全性能两项核心指标上，所提方法在不同缺失率下相比于现有方法均取得了性能提升。并且缺失率越高，所提方法的优势更加明显。

图2 情感识别性能比较

图3 缺失补全性能比较

此外，本文对不同方法的隐层特征进行了可视化分析，可以看出所提方法能使不同情感类别隐层特征的边界更加清晰。

图4 不同方法隐层特征可视化

引用信息：

Lian, Zheng, Lan Chen, Licai Sun, Bin Liu, and Jianhua Tao. "GCNet: Graph Completion Network for Incomplete Multimodal Learning in Conversation." IEEE Transactions on Pattern Analysis and Machine Intelligence (2023).