WXiujie123456
WXiujie123456

论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes

How you feelin’? Learning Emotions and Mental States in Movie Scenes

CVPR 2023

任务：电影故事分析需要理解人物的情绪和心理状态。为了实现这一目标，作者将情感理解定义为在电影场景和每个角色的层面上预测多样化和多标签的情感集。

本文工作：提出了EmoTx，这是一种基于多模态Transformer的架构，它可以利用视频、多个角色和对话来进行联合预测。通过利用MovieGraphs数据集中的注释，目标是预测典型的情绪(例如快乐、愤怒)和其他精神状态(例如诚实、乐于助人)。

作者对最常出现的10个和25个标签进行了实验，并对181个标签到26个标签进行了映射。消融研究和与最先进的情绪识别方法的比较显示了EmoTx的有效性。

代码：https://katha-ai.github.io/projects/emotx/

论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第1张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第2张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第3张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第4张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第5张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第6张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第7张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第8张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第9张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第10张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第11张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第12张图片
论文阅读 【79】CVPR 2023 How you feelin’? Learning Emotions and Mental States in Movie Scenes_第13张图片
更多论文分享，请参考： 深度学习相关阅读论文汇总（持续更新）

你可能感兴趣的:(论文阅读)

按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他