A fuzzy physiological approach for continuously modeling emotion during interaction with play game

Introduction

传统的针对productivity environments(task表现)的度量手段不能很好的适应目前的affective environments，因为我们现在考虑的不是performance，而是通过现在的游戏环境，能够带给我们什么样的情绪。

Affective evaluation of entertainment technologies

1. 传统的评估情绪的方法是通过问卷调查，访谈等手段来进行主观的反馈。
2. 成功的游戏环境是取决于玩的过程而不是结果。
3. 主观技术只能获取到用户的态度而不能获取到行为，并且主观技术基于问答，在过程中不能打断玩家去问问题。评估带宽太低。
4. 使用视频来编码动作，姿势，面部表情和语言等，具有丰富的数据，但是又由于数据量太大，分析起来比较耗时。而且分析起来是基于事件的，而不是连续的。
5. 启发法可以计算一个娱乐技术的可用性，但是针对的不是真实的用户，而是可用性专家。
6. 生理学家使用生理学的方式来区分人类的情感比如生气，悲痛和悲哀等，尤其是利用计算系统来进行评估已经取得了很大的进展。然而心理学的数据不能应用于用户的开心或者激动状态。
7. 记录下用户的生理学，语言和面部反应并且应用后处理的技术来数量地和连续地确定情绪状态。从而希望在未来能帮助创造一个更好的用户体验。

Physiological metrics for evaluation

GSR,EKG,EMG(smiling)and EMG(frowning)
Heart rate(HR)已经从EKG信号中获取了

Galvanic skin response(GSR)

因为特别的腺体分泌一些汗液，所以导致皮肤的电流发生变化，从而能够检测到一些变化。

Cardiovascular measures(心血管)

HR反映了情绪的活动。通过利用手指温度可以区分正向和负向的情绪。

Electromyography(EMG)

1. 肌电图(EMG)通过检测肌肉收缩时产生的表面电压来测量肌肉活动。
2. 有一些区域是比较有用的，而有一些区域变化较小。
3. 通过在一些固定位置贴上电极从而检测面部的活动和表情，但是容易被说话所干扰。

Use of physiological metrics in HCI

1. 发现当玩家和朋友而不是计算机对打的时候，下巴的GSR和EMG比较高。
2. 发现正常化的生理活动和标准化的主观测量之间有很多关联，包括GSR和fun之间的强相关性，EMG和challenge之间的强相关性。
3. 还展示了生理测量如何通过交互娱乐技术提供丰富、持续和客观的用户体验信息来源。

Identifying emotions

1. 有人通过这些生物信息做出成果，能够以81%的准确率来识别8种情感。
2. 有问题的是使用Affect Grid方法产生一个AV space，然而表情之间不是独立的，并且能够互相影响。
   

Experimental details

6个人用来生成模型，剩余6个人用来测试。(12个人，再成对就是24人)

Play conditions and participants

三种玩家分类：与朋友，与陌生人，与电脑

1. 不是将注意力集中在这三种玩家之间的区别上，而是是否我们的模型能够检测到三种条件下的不同。
2. 组队方式是12对，陌生人是固定的一名29岁的男性。

Experimental setting and protocol

实验流程设计(可作为参考)
仍然需要做完实验后填写问卷

Data analyses

1. 需要将HR与EMG和GSR进行插值匹配，因为几个信号接受的频率是不一样的。
2. 每个信号百分化。
   

Fuzzy logic

1. (Fuzzy logic mimics)使用不精确但是描述性强的语言来处理输入数据。
2. 比较好的使用，当多个控制变量是连续；数学模型不存在；必须处理高环境噪音水平；当专家能够识别系统行为背后的规则和代表每个变量特征的模糊集时。
3. membership function:将一个特殊的元素成员转化成一个集合中的百分比成员。它对每个输入信号进行加权，定义输入级别之间的重叠，并确定输出响应。
4. 针对机器学习方法：在fuzzy system下的输入和输出是模糊的，它们之间的关系采用定义良好的规则的形式，另外，缺点是：机器学习需要充足的数据来覆盖整个变量区间，然而我们的测试者都是基本上开心的，很容易会无聊或者沮丧，那么就不能保证对所有的情绪有完整的覆盖。

Modeling arousal-valence space

将生物信号转化到AV space。(用一半做映射一半做检验)

Membership functions

Input data histograms

1. 成员函数描述低、中、高HR活动，均为三角形
2. 由于对数正态分布的统计特性，membership function集中在激活的低端。
3. 中端membership function为三角形，低、高membership function为梯形。采用梯形来消除输入极值的模糊性。

Output membership functions

1. 服从均匀分布。
2. Arousal定义4种成员函数，Valence定义五种成员函数。
3. Neutral membership的引入是为了适应大量的微笑和皱眉活动。

Rules

Arousal was generated from GSR and HR, while valence was generated from EMGsmiling, EMGfrowning, and HR.

Fuzzy approach results

得出在三个条件下，Valence上有很大区别，而在Arousal上没有很大区别。

Manual approach results

人工手段得出的结果是为了和Fuzzy得出的结果进行验证，以确保Fuzzy是on track的。

Comparing fuzzy and manual results

AV-Space graphs

1. 对玩家整个过程进行情绪的可视化。
2. 人工方式在arousal和valence两方面，玩家都有较高的positive，而fuzzy方式则比较平均。
3. 人工方式对玩家的反应更加快。

Issues with modeling arousal and valence

1. 最大可能的找到baseline values，但是可用的data还是有可能不包含精确的baseline。
2. 展示来自IAPS数据集的图片，并测量受试者的反应，可以提供精确的缩放信息，我们可以使用这些信息来定位受试者在AV空间中的游戏体验。
3. GSR没有跨越试验阶段的一致性。
4. 研究情绪相关的的ANS活动是高于一些其他负责内部进程和外部决策的活动的，所以可能导致最后的结果具有迷惑性。
5. 只会将受试者与自己进行比较，处理因摄入物质或生理周期等外部因素引起的突出问题。
6. 玩家不很常笑，尤其是在和电脑人玩的时候，需要用眼部的检测无意识的笑。

Modeling emotion form AV space

使用AV space来对不同情绪建模。(Affect Grid)
Five emotions were modeled: boredom, challenge, excitement, frustration, and fun.

Membership functions

1. 调整Affect Grid，从9个级别改为6个级别。(veryLow, low, midLow, midHigh, high, and veryHigh)
2. 采用梯形membership function，而不是第一个模型中的三角形membership function。
3. Defined the five emotion outputs to have three levels: low, medium, and high, and mapped these levels onto the six levels of AV space.
   

Rules

67个rules

Issues with modeling emotion

1. 没有既定的指导性方案来进行转换，所以定义membership function和rules来进行转换。
2. 有一些emotion没有办法从AV space上定义出来，所以无法捕获。(例如：得意洋洋)

Using the model of emotion

1. 采用重复测量方差分析(MANOVA)对6名新受试者的平均建模情绪(以百分比表示)进行分析，以5种情绪为依赖测量，游戏条件为受试者内部因素，同时对3个相关样本的报告情绪进行Friedman测试。发现play condition影响模型的fun和excitement，与其他无关。
2. 主观情绪状态与生理情绪状态fun和excitement方面存在显著相关;同样的两种情绪状态，在不同的游戏条件下，模型显示出显著的差异。
3. 在对challenge进行建模的时候，发现只有一般的测试者是符合规律的，也就是arousal将会升高当challenge，因为有一些测试者会尝试让自己放松。

Scaling issues

相比之下，我们的模型采用了一种全局的方法来扩展情绪，因此在给定可用数据的情况下，用户的挫折感以最大可能挫折感的百分比表示。因为玩家对自己的消极行为的打分可能比真实情况要更高一些。

Modeled emotion:a continuous data source

1. 从时间线上对同一名测试者来说，可以更好的得到不同条件下的某个情绪的变化。
2. 唯一的缺点是，依托于大规模的视频数据。
3. 有点是可以分辨玩家状态不仅仅通过视频。
4. 让玩家一直被吸引。

Conclusions

1. 基于生理数据建模的平均情绪为用户在与娱乐技术交互时提供了一种客观量化用户情绪的方法。
2. 此外，用户的情绪可以在整个体验中被观察到，显示条件中的差异，而不仅仅是条件之间的差异。