情感计算 - 情感模型

1 基本情感论模型--离散状态

1 Tomkins

面部表情 惩罚或奖励的反馈结果

八类： 基本情感

2 Izard

具有动机的特征

10中基本情感状态（言语内容 表情等）

神经系统 电化学 自主，遗传决定

情感面部 姿势活动 情感活动输出决定

脑区的反馈信息 情感活动输出产生

3 Ekman

美国心理学家

早期的情感模型都是他提出的

面部表情中应用广泛

1972年六类情感状态

90年代扩充 更多的维度 对于计算机视觉研究起到了推动作用

泛文化意义

历史进化中不同面部表情的面部表达是独特的

自主神经中枢神经机制

特定情感细节反应在时间上的变化

情感表达主观体验强度进行等级划分

情感表达包含多种信息

情感的持续时间相对较短

情感表达可以伪装

每种情感都有自己特定的诱发条件（与情景相关，特定的人体诱发特定的情感状态）

基本情感论缺陷： 分类问题，刻画的情感种类有限

表情行为等的情感表现有较大差异

无法对情感表达的渐变性建模

2 基于维度空间论的情感模型--欧式空间描述

采用直观的低维欧式空间定量描述

实数轴来度量其变化

实时跟踪，细粒度

1 一维空间--一维数值

Johnston

正半轴快乐维度

负半轴快乐的负极

通过数值动态跟踪愉快程度

2 二维空间

James A

愉快度 强度维度

不同取值的组合得到不同表征，例如第一象限的高兴

3 三维空间

1962 倒抛物线锥

德国 wihelm

 愉快不愉快

紧张-松弛

兴奋-沉闷

布朗大学教授 harold

注意拒绝

倒立圆锥形

因子分析法 抛物线锥体

强的靠近远点

弱的靠近边缘

PAD模型

应用最广的维度情感模型

愉悦度、唤醒度、优势度

P：正负特性-喜欢不喜欢 Pleasure

A： 警觉性 Arousal

D： 个体对情景和他人的控制状态Dominance （用户（主控，正直）与外部环境（受控，负值）主导程度；）

前面的离散情感模型与维度的也可以对应

三个维度划分为9个情感状态

4 高维空间

应用少 标注成本高

3 基本情感论 VS 维度空间论

情感描述方式：形容词标签  矢量、欧式空间坐标点

情感描述能力：有限几种情感类别   任意情感变化

应用情感识别领域时期； 1980s  2000s

建模方法： 容易简单，可解释性更强  数据集进行建模、标注，成本高（不同个体不同时间片段标注）

离散情感标注： 语音情感识别，每句话单独打标签（最基本的），也可以粗粒度方面进行正负向标注

维度情感： 随时间动态变换，视频音频进行分桢 不同时间片段标注，每个100ms时间对媒体数据打标签  有些情感状态不易察觉，多个人同时标注，通过投票方式得到结果

维度值打标签也是对维度值进行离散化，标注人员也是选择合适的量级，再求平均，提高可信度

标注时也要注意：当前与相邻时刻的情感状态关联 一分钟的视频需要10分钟的时间标注

情感识别任务数据规模少

4 基于认知机制的情感模型（后续建模方法时用的少）

认知神经科学重要组成部分；

交感与副交感神经活动

1 情感相关联的神经机构

某些特定脑神经结构的活动水平因情感信息变化而有显著差异；

七个神经结构：

杏仁核：对负情感刺激反应强烈，恐惧情感刺激

框额叶皮层： 情感的面孔识别，个体制定计划时活动明显，奖赏惩罚机制

前扣带回皮层： 情感反应和情感自我调节特别重要，对疼痛知觉中也有重要作用

脑岛：厌恶情绪

伏核：条件反射

丘脑：亢奋重要地位

腹侧被盖区： 预期和实际发生，正性激活

大脑相关联的区间活动模式复杂的

2 基于认知机制的模型 EM模型

两种不同模式：感知层 认知层

获得输入图像的基本特征

并行工作

后者抽取目标的认知信息

处理流程： 感知层 愿望向量  基本刺激评价

认知处理器

3 Roseman模型

事件评价的情感模型

意料之外

动机状态

确定性

控制

事件引发原因

无法处理多种评价的复杂情景中应产生什么

4 EMA情感模型

两个不断重复步骤组成；

策略：以问题 为焦点；以情感为焦点

5 Salt&Pepper

认知和行为发生器

情感发生器

中断管理器

5 基于个性化的情感模型

 1 大五模型

人的性格测试

五个维度反应人的个性化特征： 开放性、认真性、外向性、宜人性、神经质

大五量表、选择题，得分评估人性格，人的特质（异质性情感）

2 EFA性格空间

个性空间： 外向（Extroversion） 担心(Fear) 好斗(Aggression)

三个维度建模

人稳态的特性，与前面的情绪是变化的

3 情绪-心情-性格

人机对话系统

文本处理模块

性格模块

心情-情绪模块

同步模块

6 其他情感模型

1 HMM情感模型：

双重随机过程

马尔可夫链 一般随机过程---隐马尔可夫模型构成

情感隐藏性（隐状态）

表情 语调 神情--可观测

这个模型只考虑了前一时刻--与真实情况有所出入--模型精度不高的一个原因--所以用的少

2 分布式情感模型

外界刺激建立的分布式情感模型