干货！情感计算理论基础必看知识！！

产生背景

在较长一段时期内，情感一直位于认知科学研究者的视线以外。直到20世纪末期，情感作为认知过程重要组成部分的身份才得到了学术界的普遍认同。当代的认知科学家们把情感与知觉、学习、记忆、言语等经典认知过程相提并论，关于情感本身及情感与其他认知过程间相互作用的研究成为当代认知科学的研究热点，情感计算（ affective computing ）也成为一个新兴研究领域。

众所周知，人随时随地都会有喜怒哀乐等情感的起伏变化。那么在人与计算机交互过程中，计算机是否能够体会人的喜怒哀乐，并见机行事呢？情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统，即赋予计算机像人一样的观察、理解和生成各种情感特征的能力。

目前情感计算研究面临的挑战还很多，例如，情感信息的获取与建模问题，情感识别与理解问题，情感表达问题，以及自然和谐的人性化和智能化的人机交互的实现问题。显然，为解决上述问题，我们需要知道人是如何感知环境的，人会产生什么样的情感和意图，人如何作出恰当的反应。而人类的情感交流是个非常复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。因此，在人和计算机的交互过程中，计算机需要捕捉关键信息，识别使用者的情感状态，觉察人的情感变化，利用有效的线索选择合适的使用者模型（依据使用者的操作方式、表情特点、态度喜好、认知风格、知识背景等构建的模型），并对使用者情感变化背后的意图形成预期，进而激活相应的数据库，及时主动地提供使用者需要的新信息。

情感计算研究的发展在很大程度上依赖于心理科学和认知科学对人的智能和情感研究取得新进展。心理学研究表明，情感是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。情感具有三种成分：主观体验（个体对不同情感状态的自我感受）、外部表现（在情感状态发生时身体各部分的动作量化形式，即表情）和生理唤醒（情感产生的生理反应）。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。

情感是一种内部的主观体验，但总是伴随着某种表情。表情包括面部表情（面部肌肉变化所组成的模式），姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏和速度等方面的变化）。这三种表情也被称为体语，构成了人类的非言语交往方式。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要标志。通过使用特定的仪器，我们可以对面部的微小表情变化进行研究，甚至可以区分真笑和假笑：人在真笑时面颊上升，眼周围的肌肉堆起，大脑左半球的电活动增加；而人在假笑时仅有嘴唇的肌肉活动，下颚下垂，大脑左半球的电活动不明显。脸部运动编码系统FACS通过不同编码和运动单元的组合，可以在脸部形成复杂的表情变化，其成果已经被应用于人脸表情的自动识别与合成。

人的姿态即身体表情，一般伴随着交互过程而发生变化，并表达着一些信息。

语调表情是通过语音的高低、强弱、抑扬顿挫来表达说话人的情感。在人际交往中，语音是人们最直接的交流通道。

在情感计算研究中还可以使用很多种生理指标，例如，皮质醇水平，心率，血压，呼吸，皮肤电活动，掌汗，瞳孔直径，事件相关电位，脑电EEG等。研究发现，惊反射可用作测量情感愉悦度的生理指标，而皮肤电反应可用作测量情感生理唤醒程度的生理指标。

很显然，开展认知科学研究不仅仅是为了满足人类智慧上的好奇心，更重要的是服务于人类，提高人类的生活质量。情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而可以帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。

情感计算是一个高度综合化的研究和技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人与计算机的交互环境，将有可能实现人与计算机的情感交互。情感计算研究将不断加深对人的情感状态和机制的理解，并提高人与计算机界面的和谐性，即提高计算机感知情境，理解人的情感和意图，作出适当反应的能力。[1]

人机交互

传统的人机交互，主要通过键盘、鼠标、屏幕等方式进行，只追求便利和准确，无法理解和适应人的情绪或心境。而如果缺乏这种情感理解和表达能力，就很难指望计算机具有类似人一样的智能，也很难期望人机交互做到真正的和谐与自然。由于人类之间的沟通与交流是自然而富有感情的，因此，在人机交互的过程中，人们也很自然地期望计算机具有情感能力。情感计算（Affective Computting）就是要赋予计算机类似于人一样的观察、理解和生成各种情感特征的能力，最终使计算机像人一样能进行自然、亲切和生动的交互。[1]

情感也可计算

有关人类情感的深入研究，早在19世纪末就进行了。然而，除了科幻小说当中，过去极少有人将“感情”和无生命的机器联系在一起。只有到了现代，随着数字信息技术的发展，人们才开始设想让机器（计算机）也具备“感情”。从感知信号中提取情感特征，分析人的情感与各种感知信号的关联，是国际上近几年刚刚兴起的研究方向

人的情绪与心境状态的变化总是伴随着某些生理特征或行为特征的起伏，它受到所处环境、文化背景、人的个性等一系列因素的影响。要让机器处理情感，我们首先必须探讨人与人之间的交互过程。那么人是如何表达情感，又如何精确地觉察到它们的呢？人们通过一系列的面部表情、肢体动作和语音来表达情感，又通过视觉、听觉、触觉来感知情感的变化。视觉察觉则主要通过面部表情、姿态来进行；语音、音乐则是主要的听觉途径；触觉则包括对爱抚、冲击、汗液分泌、心跳等现象的处理。

情感计算研究的重点就在于通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建感知、识别和理解人类情感的能力，并能针对用户的情感做出智能、灵敏、友好反应的个人计算系统，缩短人机之间的距离，营造真正和谐的人机环境。[1]

应用领域

情感计算是一个高度综合化的技术领域。到目前为止，有关研究已经在人脸表情、姿态分析、语音的情感识别和表达方面获得了一定的进展。[1]

脸部表情

在生活中，人们很难保持一种僵硬的脸部表情，通过脸部表情来体现情感是人们常用的较自然的表现方式，其情感表现区域主要包括嘴、脸颊、眼睛、眉毛和前额等。人在表达情感时，只稍许改变一下面部的局部特征（譬如皱一下眉毛），便能反映一种心态。在1972年，著名的学者Ekman提出了脸部情感的表达方法（脸部运动编码系统FACS）。通过不同编码和运动单元的组合，即可以在脸部形成复杂的表情变化，譬如幸福、愤怒、悲伤等。该成果已经被大多数研究人员所接受，并被应用在人脸表情的自动识别与合成。

随着计算机技术的飞速发展，为了满足通信的需要，人们进一步将人脸识别和合成的工作融入到通信编码中。最典型的便是MPEG4 V2视觉标准，其中定义了3个重要的参数集：人脸定义参数、人脸内插变换和人脸动画参数。表情参数中具体数值的大小代表人激动的程度，可以组合多种表情以模拟混合表情。

在目前的人脸表情处理技术中，多侧重于对三维图像的更加细致的描述和建模。通常采用复杂的纹理和较细致的图形变换算法，达到生动的情感表达效果。在此基础上，不同的算法形成了不同水平的应用系统。[1]

姿态变化

人的姿态一般伴随着交互过程而发生变化，它们表达着一些信息。例如手势的加强通常反映一种强调的心态，身体某一部位不停地摆动，则通常具有情绪紧张的倾向。相对于语音和人脸表情变化来说，姿态变化的规律性较难获取，但由于人的姿态变化会使表述更加生动，因而人们依然对其表示了强烈的关注。

科学家针对肢体运动，专门设计了一系列运动和身体信息捕获设备，例如运动捕获仪、数据手套、智能座椅等。国外一些著名的大学和跨国公司，例如麻省理工学院、IBM等则在这些设备的基础上构筑了智能空间。同时也有人将智能座椅应用于汽车的驾座上，用于动态监测驾驶人员的情绪状态，并提出适时警告。意大利的一些科学家还通过一系列的姿态分析，对办公室的工作人员进行情感自动分析，设计出更舒适的办公环境。[1]

语音理解

在人类的交互过程中，语音是人们最直接的交流通道，人们通过语音能够明显地感受到对方的情绪变化，例如通过特殊的语气词、语调发生变化等等。在人们通电话时，虽然彼此看不到，但能从语气中感觉到对方的情绪变化。例如同样一句话“你真行”，在运用不同语气时，可以使之成为一句赞赏的话，也可以使之成为讽刺或妒忌的话。

目前，国际上对情感语音的研究主要侧重于情感的声学特征的分析这一方面。一般来说，语音中的情感特征往往通过语音韵律的变化表现出来。例如，当一个人发怒的时候，讲话的速率会变快，音量会变大，音调会变高等，同时一些音素特征（共振峰、声道截面函数等）也能反映情感的变化。中国科学院自动化研究所模式识别国家重点实验室的专家们针对语言中的焦点现象，首先提出了情感焦点生成模型。这为语音合成中情感状态的自动预测提供了依据，结合高质量的声学模型，使得情感语音合成和识别率先达到了实际应用水平。[1]

多模态计算

虽然人脸、姿态和语音等均能独立地表示一定的情感，但人在相互交流的过程中却总是通过上面信息的综合表现来进行的。所以，惟有实现多通道的人机界面，才是人与计算机最为自然的交互方式，它集自然语言、语音、手语、人脸、唇读、头势、体势等多种交流通道为一体，并对这些通道信息进行编码、压缩、集成和融合，集中处理图像、音频、视频、文本等多媒体信息。

目前，多模态技术本身也正在成为人机交互的研究热点，而情感计算融合多模态处理技术，则可以实现情感的多特征融合，能够有力地提高情感计算的研究深度，并促使出现高质量、更和谐的人机交互系统。

在多模态情感计算研究中，一个很重要的研究分支就是情感机器人和情感虚拟人的研究。美国麻省理工学院、日本东京科技大学、美国卡内基·梅隆大学均在此领域做出了较好的演示系统。目前中科院自动化所模式识别国家重点实验室已将情感处理融入到了他们已有的语音和人脸的多模态交互平台中，使其结合情感语音合成、人脸建模、视位模型等一系列前沿技术，构筑了栩栩如生的情感虚拟头像，并正在积极转向嵌入式平台和游戏平台等实际应用。[1]

个性化服务

随着情感计算研究的进一步深入，人们已经不仅仅满足于将其应用在简单的人机交互平台中，而要拓展到广泛的界面设计、心理分析、行为调查等各个方面，以提高服务的质量，并增加服务的个性化内容。在此基础上，有人开始专门进行情感智能体（Affective Agent）的研究，以期通过情感交互的行为模式，构筑一个能进行情感识别和生成的类生命体，并以这个模型代替传统计算中的有些应用模型中（例如电脑游戏的角色等），使电脑和应用程序更加鲜活起来，使之能够产生类似于人的一些行为或思维活动。这一研究还将从侧面上对人工智能的整体研究产生较大的推动作用。[1]

情感理解模型

情感状态的识别和理解，则是赋予计算机理解情感并做出恰如其分反应的关键步骤。这个步骤通常包括从人的情感信息中提取用于识别的特征，例如从一张笑脸中辨别出眉毛等，接着让计算机学习这些特征以便日后能够准确地识别其情感。

为了使计算机更好地完成情感识别任务，科学家已经对人类的情感状态进行了合理而清晰的分类，提出了几类基本情感。目前，在情感识别和理解的方法上运用了模式识别、人工智能、语音和图像技术的大量研究成果。例如：在情感语音的声学分析的基础上，运用线性统计方法和神经网络模型，实现了基于语音的情感识别原型；通过对面部运动区域进行编码，采用HMM等不同模型，建立了面部情感特征的识别方法；通过对人姿态和运动的分析，探索肢体运动的情感类别等等。

不过，受到情感信息的捕获技术的影响，并缺乏大规模的情感数据资源，有关多特征融合的情感理解模型的研究还有待深入。随着未来的技术进展，还将提出更有效的机器学习机制。[1]

日常生活应用

情感计算与智能交互技术试图在人和计算机之间建立精确的自然交互方式，将会是计算技术向人类社会全面渗透的重要手段。未来随着技术的不断突破，情感计算的应用势在必行，其对未来日常生活的影响将是方方面面的，目前我们可以预见的有：

情感计算将有效地改变过去计算机呆板的交互服务，提高人机交互的亲切性和准确性。一个拥有情感能力的计算机，能够对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们便于理解自己和他人的情感世界。

它还能帮助我们增加使用设备的安全性（例如当采用此类技术的系统探测到司机精力不集中时可以及时改变车的状态和反应）、使经验人性化、使计算机作为媒介进行学习的功能达到最佳化，并从我们身上收集反馈信息。例如，一个研究项目在汽车中用电脑来测量驾车者感受到的压力水平，以帮助解决所谓驾驶者的“道路狂暴症”问题。

情感计算和相关研究还能够给涉及电子商务领域的企业带来实惠。已经有研究显示，不同的图像可以唤起人类不同的情感。例如，蛇、蜘蛛和枪的图片能引起恐惧，而有大量美元现金和金块的图片则可以使人产生非常强烈的积极反应。如果购物网站和股票交易网站在设计时研究和考虑这些因素的意义，将对客流量的上升产生非常积极的影响。

在信息家电和智能仪器中，增加自动感知人们的情绪状态的功能，可以提供更好的服务。

在信息检索应用中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。

在远程教育平台中，情感计算技术的应用能增加教学效果。

利用多模式的情感交互技术，可以构筑更贴近人们生活的智能空间或虚拟场景等等。

情感计算还能应用在机器人、智能玩具、游戏等相关产业中，以构筑更加拟人化的风格和更加逼真的场景。[1]

相关研究

目前人工智能的研究发展已经达到了较高的水平，同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段，它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展，为最终营造一个人与人、人与机器和谐的社会环境做出贡献。心理学家认为，人工智能下一个重大突破性的发展可能来自与其说赋予机器更多的逻辑智能，倒不如说赋予计算机更多的情感智能。对人的情感和认知的研究是在人工智能理论框架下的一个质的进步。因为从广度上讲它扩展并包容了感情智能，从深度上讲感情智能在人类智能思维与反应中体现了一种更高层次的智能。对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方向。在这个领域的研究中主要包括情感计算（Affective Computing）、人工心理（Artificail Psychology）和感性工学（Kansei Engineering）等。

人工心理理论是由中国北京科技大学教授、中国人工智能学会人工心理与人工情感专业委员会主任王志良教授提出的。他指出，人工心理就是利用信息科学的手段，对人的心理活动（着重是人的情感、意志、性格、创造）的更全面再一次人工机器（计算机、模型算法等）模拟，其目的在于从心理学广义层次上研究人工情感、情绪与认知、动机与情绪的人工机器实现的问题。

日本从上世纪九十年代就开始了感性工学（Kansei Engineering）的研究。所谓感性工学就是将感性与工程结合起来的技术，是在感性科学的基础上，通过分析人类的感性，把人的感性需要加入到商品设计、制造中去，它是一门从工程学的角度实现能给人类带来喜悦和满足的商品制造的技术科学。日本已经形成举国研究感性工学的高潮。

欧盟国家也在积极地对情感信息处理技术（表情识别、情感信息测量、可穿戴计算等）进行研究。欧洲许多大学成立了情感与智能关系的研究小组。其中比较著名的有：日内瓦大学 Klaus Soberer领导的情绪研究实验室。布鲁塞尔自由大学的D. Canamero领导的情绪机器人研究小组以及英国伯明翰大学的A. Sloman领导的 Cognition and Affect Project。在市场应用方面，德国Mehrdad Jaladi-Soli等人在2001年提出了基于EMBASSI系统的多模型购物助手。EMBASSI是由德国教育及研究部（BMBF）资助并由20多个大学和公司共同参与的，以考虑消费者心理和环境需求为研究目标的网络型电子商务系统。

我国对人工情感和认知的理论和技术的研究始于20世纪90年代，大部分研究工作是针对人工情感单元理论与技术的实现。哈尔滨工业大学研究多功能感知机，主要包括表情识别、人脸识别、人脸检测与跟踪、手语识别、手语会成、表情合成、唇读等内容，并与海尔公司合作研究服务机器人。清华大学进行了基于人工情感的机器人控制体系结构的研究。北京交通大学进行多功能感知机和情感计算的融合研究。中国科学院自动比研究所主要研究基于生物特征的身份验证。

当前国际人工智能领域对人工情感合认知领域的研究日趋活跃。美国人工智能协会（AAAI）在1998，1999和2004年连续组织召开专业的学术会议对人工情感和认知进行研讨，国内的研究者也开展了许多的研究工作和学术活动。2003年12月在北京召开了第一届中国情感计算及智能交互学术大会。2005年10月在北京召开的第一届情感计算和智能交互国际学术会议，集合了世界一流的情感计算、人工情绪和人工心理研究的著名专家学者。这说明我国的人工情感和人工心理的研究在逐步展开并向国际水平看齐。

对情感计算的研究大致可以分为情感识别、情感建模和情感反应三大部分，这其中情感识别无疑是最基础，也是最重要的部分。

综上所述，对人的情感和认知的研究，包括对情感识别的研究，无论在理论上还是实践中都已经受到了研究者广泛的关注，对这一问题的研究具有重要的理论和应用价值。对这一问题的研究将最终推动人工智能的进一步发展，实现人机和谐的目标。[2]

相关标准

在近期举办的ISO/IECJTC1/SC35德国柏林会议上，由中国科学院软件研究所、中国电子技术标准化研究院、小i机器人三家中国科研机构和企业共同提出的“信息技术—情感计算用户界面—框架”提案获得正式立项。这是用户界面分委会首个关于情感计算的标准，也是中国在用户界面领域第一个立项的国际标准。[3]

基本内容

人们期盼着能拥有并使用更为人性化和智能化的计算机。在人机交互中，从人操作计算机，变为计算机辅助人；从人围着计算机转，变为计算机围着人转；计算机从认知型，变为直觉型。显然，为实现这些转变，人机交互中的计算机应具有情感能力。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。

情感被用来表示各种不同的内心体验（如情绪、心境和偏好），情绪被用来表示非常短暂但强烈的内心体验，而心境或状态则被用来描述强度低但持久的内心体验。情感是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。

情感具有三种成分：⑴主观体验，即个体对不同情感状态的自我感受；⑵外部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部表情（面部肌肉变化所组成的模式）、姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏、速度等方面的变化）；⑶生理唤醒，即情感产生的生理反应，是一种生理的激活水平，具有不同的反应模式。

概括而言，情感的重要作用主要表现在四个方面：情感是人适应生存的心理工具，能激发心理活动和行为的动机，是心理活动的组织者，也是人际通信交流的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。

情感测量包括对情感维度、表情和生理指标三种成分的测量。例如，我们要确定一个人的焦虑水平，可以使用问卷测量其主观感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对血液样本进行化验，检测血液中肾上腺素水平等。

确定情感维度对情感测量有重要意义，因为只有确定了情感维度，才能对情感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种平稳安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了人类所有的情感。但是，情感究竟是二维，三维，还是四维，研究者们并未达成共识。情感的二维理论认为，情感有两个重要维度：⑴愉悦度（也有人提出用趋近-逃避来代替愉悦度）；⑵激活度，即与情感状态相联系的机体能量的程度。研究发现，惊反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量唤醒度的生理指标。

在人机交互研究中已使用过很多种生理指标，例如，皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电EEG等。生理指标的记录需要特定的设备和技术，在进行测量时，研究者有时很难分离各种混淆因素对所记录的生理指标的影响。情感计算研究的内容包括三维空间中动态情感信息的实时获取与建模，基于多模态和动态时序特征的情感识别与理解，及其信息融合的理论与方法，情感的自动生成理论及面向多模态的情感表达，以及基于生理和行为特征的大规模动态情感数据资源库的建立等。

欧洲和美国的各大信息技术实验室正加紧进行情感计算系统的研究。剑桥大学、麻省理工学院、飞利浦公司等通过实施“环境智能”、“环境识别”、“智能家庭”等科研项目来开辟这一领域。例如，麻省理工学院媒体实验室的情感计算小组研制的情感计算系统，通过记录人面部表情的摄像机和连接在人身体上的生物传感器来收集数据，然后由一个“情感助理”来调节程序以识别人的情感。如果你对电视讲座的一段内容表现出困惑，情感助理会重放该片段或者给予解释。麻省理工学院“氧工程”的研究人员和比利时IMEC的一个工作小组认为，开发出一种整合各种应用技术的“瑞士军刀”可能是提供移动情感计算服务的关键。而目前国内的情感计算研究重点在于，通过各种传感器获取由人的情感所引起的生理及行为特征信号，建立“情感模型”，从而创建个人情感计算系统。研究内容主要包括脸部表情处理、情感计算建模方法、情感语音处理、姿态处理、情感分析、自然人机界面、情感机器人等。

情境化是人机交互研究中的新热点。自然和谐的智能化的人机界面的沟通能力特征包括：⑴自然沟通：能看，能听，能说，能触摸；⑵主动沟通：有预期，会提问，并及时调整；⑶有效沟通：对情境的变化敏感，理解用户的情绪和意图，对不同用户、不同环境、不同任务给予不同反馈和支持。而实现这些特征在很大程度上依赖于心理科学和认知科学对人的智能和情感研究所取得的新进展。我们需要知道人是如何感知环境的，人会产生什么样的情感和意图，人如何做出恰当的反应，从而帮助计算机正确感知环境，理解用户的情感和意图，并做出合适反应。因此，人机界面的“智能”不仅应有高的认知智力，也应有高的情绪智力，从而有效地解决人机交互中的情境感知问题、情感与意图的产生与理解问题，以及反应应对问题。

显然，情感交流是一个复杂的过程，不仅受时间、地点、环境、人物对象和经历的影响，而且有表情、语言、动作或身体的接触。在人机交互中，计算机需要捕捉关键信息，觉察人的情感变化，形成预期，进行调整，并做出反应。例如，通过对不同类型的用户建模（例如，操作方式、表情特点、态度喜好、认知风格、知识背景等），以识别用户的情感状态，利用有效的线索选择合适的用户模型（例如，根据可能的用户模型主动提供相应有效信息的预期），并以适合当前类型用户的方式呈现信息（例如，呈现方式、操作方式、与知识背景有关的决策支持等）;在对当前的操作做出即时反馈的同时，还要对情感变化背后的意图形成新的预期，并激活相应的数据库，及时主动地提供用户需要的新信息。

情感计算是一个高度综合化的技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人机交互环境，将有可能实现人与计算机的情感交互。迄今为止，有关研究已在人脸表情、姿态分析、语音的情感识别和表达方面取得了一定的进展。

目前情感计算研究面临的挑战仍是多方面的：⑴情感信息的获取与建模，例如，细致和准确的情感信息获取、描述及参数化建模，海量的情感数据资源库，多特征融合的情感计算理论模型；⑵情感识别与理解，例如，多模态的情感识别和理解；⑶情感表达，例如，多模态的情感表达（图像、语音、生理特征等），自然场景对生理和行为特征的影响；⑷自然和谐的人性化和智能化的人机交互的实现，例如，情感计算系统需要将大量广泛分布的数据整合，然后再以个性化的方式呈现给每个用户。

情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精度和效率。

展望现代科技的潜力，我们预期在未来的世界中将可能会充满运作良好、操作容易、甚至具有情感特点的计算机。[2]

客观本质

情感属于主观意识的范畴，情感的表现形式具有高度的主观随意性、变化随机性、特征模糊性和个体差异性，仅仅从情感的表现形式上来分析情感在识别、理解、表达过程中的客观规律性，是根本无法实现的梦想。只有跳出主观意识的范围，到客观存在的范围去探索，才能真正找到情感在识别、理解、表达过程中的客观规律性。

辩证唯物主义认为，任何形式的主观意识都是对某一客观存在的反映，情感是人对于事物价值关系的一种主观反映，即情感所对应的客观存在就是事物的价值关系。显然，价值属于客观存在的范畴，一般来说，事物的价值关系具有高度的客观现实性、变化必然性、特征确定性和个体共性。只有透过情感表现形式的神秘面纱，才能真正科学地、全面地、准确地和深刻地发现情感所代表的价值关系在识别、理解和表达过程中的客观规律性。[2]

情感表达本质

人的情感表达最初来源于人对于所接触的价值事物的生理反应的一种自然流露。人的情感一旦产生，它将唤起各种生理反应如呼吸反应、心脏反应、血管反应、肠胃反应、内分泌反应、外分泌反应等，并通过皮肤电压、血压、心跳、腺体分泌等生理指标自发地表现出来，它们大部分属于无条件反射，意志对它们的调节和控制作用是非常有限的。这些生理反应的客观目的在于：一方面使人能够在事前形成必要的生理、行为和精神方面的预准备状态，另一方面使人能够在事中正确地引导生理、行为和精神活动，三方面使人能够在事后对价值关系的变动情况作出正确的结论，并及时地总结经验、吸取教训，为下一个同类事物的出现形成必要的预准备状态。[2]

情感识别本质

人在进行生产活动和社会交往过程中，为了更好地进行分工合作，就必须及时地、准确地了解彼此之间的价值关系，主要包括三方面的内容：对方所处的价值关系（能力、职业、身体状况、社会地位等）；对方对于同一事物的态度（赞成、反对、中立等）；对方对于自己及相关事物的态度（喜欢、讨厌）；等等。

总之，情感表达的客观本质就是人为了向他人展现自身的价值关系，情感识别的客观本质或客观动机就是人为了了解和掌握对方的价值关系，因此真正科学的、全面的、准确的和深刻的情感计算必须建立在价值计算的基础之上，“情感计算”的客观本质就是“价值计算”。[2]

理论框架

内容综述

情感的产生与运行是一个非常复杂的过程，情感计算必须建立在科学的情感理论的基础之上，才是现实的，没有一个全新的科学的情感理论作指导，要研发真正意义上的情感机器人是不可能的。这种全新的情感理论必须突破心理学的局限，也必须突破社会科学的局限，成为一门独立的、横跨自然科学与社会科学的交叉性科学理论，其根本目的在于：情感数字化。这种全新的情感理论就是“数理情感学”，它以“统一价值论”为理论前提，采用数理逻辑方法分析情感现象与情感规律的科学。

归纳起来，“统一价值论”与“数理情感学”主要通过如下步骤共同完成情感机器人的理论框架。[4]

实现统一度量

①改造物理学的“耗散结构论”，从物理学角度定义“价值”概念（即广义有序化能量），使价值理论建立在自然科学的基础之上；②实现生活资料使用价值的统一度量；然后，实现劳动价值的统一度量；③实现生产资料使用价值的统一度量。这样一来，所有价值都有着统一、明确而稳定的度量标准或度量尺度：能量尺度（焦耳）。[4]

广义价值规律

①由“最大有序化法则”推导出“最大价值率法则”（价值率就是单位时间内产出价值与投入价值的比值，在经济领域，价值率就是利润率）； ②由“最大价值率法则” 推导出“选择倾向性法则”或“中值价值率法则”； ③由“中值价值率法则” 推导出“广义价值规律”。广义价值规律的基本内涵就是：事物的价值率不断趋近于主体的中值价值率。或者说，事物的价值率高差（即事物的价值率与主体的中值价值率之差）不断趋于零。[4]

相互关系

①知（认知）、情（情感）、意（意志）是人类心理活动的三种基本形式，分别是对事实关系、价值关系和自身行为关系的一种主观反映；②价值关系是一种特殊的事实关系，自身行为关系是一种特殊的价值关系，因此，情感是一种特殊的认知，意志又是一种特殊的情感； ③认知主要是关于“是如何”的认识，情感主要是关于“应如何”的认识，意志主要是关于“怎么办”的认识；④情感以认知为基础，认知以情感为导向，意志以情感为基础，情感以意志为导向。[4]

数学模型

①情感与价值观的哲学本质都是“人脑对于事物价值特性的一种主观反映”，其中，情感是对事物价值特性的间接性和相对性反映，而价值观是对事物价值特性的直接性和绝对性反映；②价值观的客观目的在于识别“事物的价值率”，可以采用所有不同事物的价值率所组成的数学矩阵来描述一个人的价值观系统（即W={ωi×j}m×n）；③情感的客观目的在于识别“事物的价值率高差”，可以采用所有不同事物的价值率高差所组成的数学矩阵来描述一个人的情感系统（即M={μi×j}m×n）；④情感矩阵与相应的作用系数矩阵一起，可以进行交集运算与并集运算；⑤情感系统中的每个情感元素又可以由若干个情感子元素所组成的情感矩阵来构成，从而构成二维和多维的情感矩阵。[4]

建立意志

①意志的哲学本质都是“人脑对于自身行为价值特性的一种主观反映”；②意志的客观目的在于识别和处理“自身行为的价值率”，可以采用所有不同行为方式的价值率高差所组成的数学矩阵来描述一个人的意志系统（即X={xi×j}m×n）；③意志矩阵与相应的作用系数矩阵一起，可以进行交集运算与并集运算；④意志系统中的每个意志元素又可以由若干个意志子元素所组成的意志矩阵来构成，从而构成二维和多维的意志矩阵，即超复杂行为的意志由若干复杂行为的意志矩阵所组成，复杂行为的意志又由若干简单行为的意志矩阵所组成，简单行为的意志由若干本能行为的意志矩阵所组成。[4]

内在逻辑程序

①情感表达的逻辑程序大致是：接收事物的刺激信号，提取该事物的价值观，比较人自身的中值价值率，确定情感的强度与方向，选择情感表达模式，接收和处理情感表达所产生的反馈信号；②情感识别的逻辑程序大致是：接收事物的刺激信号，检测和提取特征参数，比较情感模式，产生情感反映，存储情感信息到情感矩阵之中；③情感计算的逻辑程序大致是：将事物的价值率高差“对数转换”为情感强度，对情感强度进行交集、并集运算，产生新的情感强度，将情感强度“指数还原”为新事物的价值率高差；④情感修正的逻辑程序大致是：人通过感觉与思维，了解到某事物的实际价值率高差，与大脑中情感矩阵所记忆该事物的主观价值率高差，存在一定的差异，人就会修正对于该事物的情感强度。[4]

阐述意志运行

①意志表达（即行为实施）的逻辑程序大致是：接收某种价值目标事物的刺激信号，提取能够最有效实现该价值目标的多种相关行为的主观价值率（即行为价值观），比较自身的中值价值率，确定多种相关行为的意志强度与意志方向，选取具有最大意志强度的相关行为，并组织实施该相关行为。②意志计算（即行为设计）的逻辑程序大致是：确立价值目标（根据自身生存与发展的需要），设计整体方案（按照最大价值率法则，把超复杂行为分解为若干个复杂行为，并通过意志的并集运算与交集运算，计算出该超复杂行为的意志强度），制定实施细则（按照最大价值率法则，把复杂行为分解为若干个简单行为，并通过意志的并集运算与交集运算，计算出该复杂行为的意志强度），落实具体行为（按照最大价值率法则，把简单行为分解为若干个本能行为，并通过意志的并集运算与交集运算，计算出该简单行为的意志强度），将上述各个层次的意志强度“指数还原”为相应的行为价值率高差。③意志修正的逻辑程序大致是：人通过感觉与思维，了解到某行为的实际价值率高差，与大脑中意志矩阵所记忆该行为的主观价值率高差，存在一定的差异，人就会修正对于该事物的意志强度。[3]

调控机制

①建立各种情感模式与价值变化的对应关系，并根据实际需要，设置与调控各种情感模式；②推导出“情感强度第一定律”（即情感强度与事物的价值率高差的对数成正比，μ=Kmlog（1+ΔP）），并根据实际需要，设置与调控情感的强度系数；③对情感“八大动力特性”（强度性、稳定性、细致性、层次性、效能性、周期性、时序性与差异性）进行精确定义，并根据实际需要，设置与调控情感的动力特性；④对意志的“八大动力特性”进行精确定义，并根据实际需要，设置与调控意志的动力特性。情感调控的客观目的就是为了使情感的动力特性与主体所处的价值关系的变化特性相适应。意志调控的客观目的就是为了使意志的动力特性与主体各种行为价值关系的变化特性相适应。