基于多模态融合的情绪检测研究

情绪检测技术正逐渐应用到检测机械员工损伤、视频游戏用户体验、协助医护人员评估患者健康等各行各业,围绕它的领域都在持续增长。本篇论文中,为更好地识别AFEW数据集中视频片段包含的情绪信息,我们加入语义模态,与表情模态、语音模态模态进行融合。表情模态使用Resnet模型,语音模态使用VGG19模型,语义模态使用TextCNN模型,并设计后期融合策略对三种模态的检测结果进行融合,提高了准确率。