《计算机科学与应用》[RCCSE核心论文]基于脑机接口融合情绪计算的购物辅助决策模型及系统

本文已发表
https://www.hanspub.org/journal/PaperInformation.aspx?paperID=32717
可以下载完整版PDF。

---

Shopping Assistant Decision Model and System Based on Brain-Computer Interface Fusion Emotion Calculation

Feng Liu1*, Feng Yang2#, Yu Sun2, Xuanyong Wu3

●Abstract
●Full-Text PDF
●Full-Text HTML
●Full-Text ePUB
●Linked References
●How to Cite this Article
1Binjiang College of Nanjing University of Information Science and Technology, Wuxi Jiangsu

2Wuxi Prithink Information Technology Co., Ltd., Wuxi Jiangsu

3Ernst & Young LLP, Shanghai

Received: Oct. 7th, 2019; accepted: Oct. 22nd, 2019; published: Oct. 29th, 2019

ABSTRACT

This paper mainly describes the judgment and auxiliary selection of goods by calculating the brain wave data and the external facial emotion expressions of the shoppers during the shopping process. By modeling the desires of shoppers to purchase, by building a computing system model to simulate their thinking activities, and then to achieve decision-making from which to select the products that need or may be needed. At the same time, in the decision-making process, shoppers will generate corresponding thinking emotions, and this model also considers the influence of emotional factors in decision-making.

Keywords:Brain-Computer Interface, Emotion Calculation, Assistant Decision-Making, Subconsciousness, Shopping Desire

基于脑机接口融合情绪计算的购物辅助决策模型及系统

刘峰1*，杨峰2#，孙钰2，吴选勇3

1南京信息工程大学滨江学院，江苏 无锡

2无锡优级先科信息技术有限公司，江苏 无锡

3安永华明会计师事务所(特殊普通合伙)，上海

收稿日期：2019年10月7日；录用日期：2019年10月22日；发布日期：2019年10月29日

摘 要

本文主要阐述的是通过计算购物者在购物过程中脑波数据和外在面部情绪表情来判断和辅助选择商品。通过对购物者进行购买欲望建模，通过建立计算体系模型来模拟其思维活动，进而实现决策——从中选出需要或可能需要的产品。同时在决策过程中，购物者会产生相应的思维情绪，本模型也考虑了情绪因素在决策中的影响。

关键词 :脑机接口，情绪计算，辅助决策，潜意识，购物欲望

Copyright © 2019 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution-NonCommercial International License (CC BY-NC 4.0).

http://creativecommons.org/licenses/by-nc/4.0/

1. 脑波的分析概述

脑波(英语：brainwave)亦称“脑电波”，脑波是神经元细胞之间传递信息时产生的生物电信号；是大脑皮质中的锥体细胞突触活动时产生的离子交换而产生的电波信号 [1] 。脑细胞只要是活动就会产生相应的生物电，也是这些电通过树突来跟别的脑细胞进行联接，形成思维的网络。

不同的脑波对应不同的特性，如：Theta (θ)属于“潜意识层面”的波。存有记忆、知觉和情绪。影响态度、期望、信念、行为。创造力与灵感的来源。深睡做梦、深度冥想时，心灵觉知、个人见识较强、个性强。Alpha (α)属于临睡前头脑茫茫然的状态。意识逐渐走向糢糊。Beta (β)属于放松但精神集中。思考、处理接收到外界讯息、激动、焦虑等 [2] 。情感计算的概念由Picard提出，1997年正式出版《Affective Computing (情感计算)》。在书中指出“情感计算就是针对人类的外在表现，能够进行测量和分析并能对情感施加影响的计算”。人类的情绪最显著的外在表现为脸部表情，但是人类也可以控制自己的脸部表情，但是在放松环境下面部表情会在下意识的情况下表现出来。靠面部表情来判断一个人的情绪会有所误差。人的情绪在外在表现的同时内在思维环境也会发生显著的变化，这点会在脑电波的变化中显现出来。在购物环境中，购物者购物过程中我们可以通过特定的、有针对性的几种类型的脑波记录和分析以及结合购物者外部情绪表情特征来判断购物者的情绪，这样会使情绪计算更为准确。

2. 脑电波分析和外部表情分析模型

购物者在购物过程中会主动的去接受和搜索寻求满足和丰富他们生活需求的产品和服务。此时，产品的信息会通过信号经过购物者的接收媒介转化为购物者思维环境中的大脑的信号。购物者通过认知处理对消费产品信息进行理解和记忆 [3] ，同时激发购物者的心里活动，即内心对商品进行评估和购买决策的过程。这个过程中购物者会根据需求产生购买的动机，以及产生消费目标。购物者从接收外部商品的信息到购物者内部心里活动的过程中，购物者的脑电波也会从产生一系列的变化。如所需的商品符合购物者的需求或超过购物者预期的需求时，购物者内心同时会产生满足或惊喜、商家的活动如打折、促销、免费体验等也会影响到购物者的情绪变化。当然有真面的情绪也有负面的情绪。这些情绪会不由自主的在消费者的外在表情和行为表现出来。对情绪最容易表现的是人脸上不同情绪的反应，当然也比较能克制脸部情绪表现的，但是克制过程中人情绪变化而不能忽略的是脑波的变化。所以购物过程中购物者会根据内心活动情绪反应产生脑电波的一系列剧烈变化再结合外部情绪的表现来计算购物欲，我们根据这两点结合，设计了此消费选择模型。

如图1所示，此消费模型实际可以分为外部环境和购物者的本身的内部环境，从信息传输和处理的过程来说，我们可以看成购物者通过转换媒介将外部环境的信息转换为内部环境的信息，最后通过外部环境的设备进行收集购物者处理信息时候所呈现的信息进行加工，最后反馈给购物者做决策。购物者在进行购物过程中，首先是对不同商品信息的认知，这个过程中就是对相关商品及与商品相关信息的输入，购物者的不同决定了购物者得出的结论也是不同的。而且即使同一个购物者在不同的条件下如时间、方式等对同样的商品认知的结论一样有差别。当着写商品以及与商品关联的信息被购物者所认知，当这些认知和购物者的需求相关联的时候，购物者会对商品的注意力会加强，商品的各类信息以及与之相关的信息如广告、促销等会被购物者加强输入。购物者会根据当前的信息结合自身情况进行分析、推理、判断等一系列思维活动，而这过程中会加剧的思维活动，而且思维活动会通过购物者的外部表现所呈现。会被脑电波收集装置所接收，然后进行处理，同时外部设备会捕捉当前购物者的外部表现如脸部表情等 [4] ，进而通过脑电波计算和外部表现来综合计算购物者购物需要。并通过软件将商品加入到购物者的虚拟购物车内。这是一个辅助选择的过程，辅助选择减少了对商品手动添加的过程，这个过程是被动的，是一种智能手段，简化了购物的流程和时间。不过最终的购买的决策还是主动掌握在购物者手中而且大

Figure 1. Shopper purchase desire calculation model

图1. 购物者购买欲计算模型

大加强了购物者的购物体验。从外在环境的刺激因素来看，外部环境的商品和与商品关联的信息是最初的外部刺激因素，这种刺激会引起购物者的内在心理反应，产生购物需求，在需求刺激下产生购买动机，最后在动机驱使下产生购买商品的决策。我们这个模型在传统的最初刺激因素下，加强了购物的体验，在辅助选择的后反馈给购物者，在购物者产生购物决策前，再次加强了刺激因素，是消费者增加了购买决策可能性。

3. 购物过程中消费欲中计算算法设计

对于消费场景的脑波融合情绪的计算系统，我们可以设计用于购物欲望值的计算体系模型如图2所示，包括外部环境系统、内部环境系统、主控制系统和转换系统，所述外部环境系统通过转换系统与内部环境系统进行连接，所述内部环境系统安装在主控制系统内，其外部环境系统包括商品信息采集模块、面部信息采集模块、脑电波采集模块和智能选择模块，所述商品信息采集模块、面部信息采集模块、脑波采集模块与智能选择模块进行电连接。

对于消费场景中商品信息采集模块用于采集消费产品信息的采集和商家活动信息的采集，所述商家活动信息包括打折、促销及免费体验。面部信息采集模块用于进行消费者面部进行的采集，所述面部信息模块将采集后的信息通过情绪计算模型进行计算；

情绪计算模型具体如下：Sf → (if(max(Te, Ef) > sum(Te, Ef) * 0.618), 1, 0)；其中Te表示眼聚焦时间，Tf表示脸部表情变化时间。

整个脑电波采集模块用于采集消费者的脑电波信息，所述脑电波采集模块将采集后的信息通过脑电波计算模型进行计算，其整个脑电波计算模型具体如下：

u=R/(1.8/4096)/2000
Figure 2. Calculation system model of shopping desire value

图2. 购物欲望值的计算体系模型

对于其中所述u表示脑电波电压数据，所述R表示原始脑电波数据；

放大电压信号U = u * 2000；

平均电压信号：Ave (U)；

累计场景脑波信息 ，

其中，m大于0小于等于1；

因此，消费欲望脑波信号判定Sb → (if (Ave(U) * n < Ss, 1, 0)。

整个智能选择模块用于根据商品信息采集模块采集到的信息、脑电波采集的信息和面部信息采集模块识别到的信息，进行商品的虚拟化选择，虚拟化的选择即通过将商品放入虚拟购物车中，从而刺激消费者产生购买动机，最后的动机的驱动下使消费者产生购买商品的决策。其转换系统用于将外部系统中采集的信息转换为内部系统中的脑信号。对于内部环境系统用于接受外部环境系统采集的信息，并将信息传递给主控制系统，所述主控制系统用于对信息进行分析、处理，从而完成购物过程。

综合上述设计，我们可以描述购物欲望值采用LF-BCI-EC计算模型，所述LF-BCI-EC计算模型具体如下：

Buy → (if (Sb * Sf > 1), Ss * ((max (Te, Ef)/sum(Te, Ef) * 0.618), 0)；

其中Buy表示购物欲望值，Sf表示购物欲望面部情绪信号判定，Sb表示购物欲望脑波信息判定。上述计算模型的设计，主要用于阐述消费者通过脑电波计算模型和情绪计算模型综合判定购买欲望的理论框架和实现值，同时也给出了对于认知理论体系中关于正向刺激能带来认知增强的逻辑描述。

4. 结论与展望

本文阐述了通过购物者在购物过程中脑波变化和外在面部情绪表情来判断和辅助选择商品 [5] 。主要是通过特定种类的脑波在购物过程中产生的特有的变化来计算出购物者的消费意向。提出了更新的消费体验，同时这种辅助决策节省了购物过程时间，但最终的决策还是掌握在购物者手中，不会出现错误的购买现象。同时脑波计算和表情的集合会使计算的结果相互参照，也大大提高了脑计算的准确性 [6] 。将来也可以根据客户数据的反馈来修正计算公式，使用脑计算的公式更加完善。

本模型创新点在于不仅仅只是通过情感计算及脸部识别来增强预测用户消费欲望，进而进行辅助购物决策，同时还整合了脑波生理数据辅助决策，进而提高整体准确率。

关于脑波计算研究越来越多元化，并逐渐向着复合指标与大数据结合的整合方向发展，随着计算机语言在不同领域的渗透与应用，基于人工神经网络和人工智能的方式使得脑波计算有了更多的选择，同时应用面也会越来越广。因此，可以预见的是，随着互联网技术的发展、多维度大数据分析手段的运用和人工智能以及其学习技术的融合 [7] ，对于脑波计算的发展会越来越成熟，相应的应用也会更为广泛。

文章引用

刘 峰,杨 峰,孙 钰,吴选勇. 基于脑机接口融合情绪计算的购物辅助决策模型及系统
Shopping Assistant Decision Model and System Based on Brain-Computer Interface Fusion Emotion Calculation[J]. 计算机科学与应用, 2019, 09(10): 1955-1959. https://doi.org/10.12677/CSA.2019.910219

参考文献

1. 熊建民, 谢亮, 周豪. 基于深度学习的脑电控制系统[J]. 福建电脑, 2019, 35(1): 30-31.

2. 张兆瑞, 赵群飞, 张朋柱. 基于GRNN的可穿戴式脑电仪EEG疲劳检测[J]. 高技术通讯, 2019, 29(3): 266-273.

3. 刘峰, 杨峰, 孙钰, 吴选勇. 拟人智能的信息存储与转化的机理研究[J]. 计算机科学与应用, 2019, 9(9): 1683-1688.

4. 常宇, 杨风, 郝骞. 基于脑电波控制的智能轮椅系统[J]. 微特电机, 2019, 47(3): 87-91.

5. Saha, S., Kiu, A., Mostafa, R., et al. (2018) Evidence of Variabilities in EEG Dynamics during Motor Imagery-Based Multiclass Brain-Computer Inter-face. IEEE Transactions on Neural Systems & Rehabilitation Engineering, 26, 371-382. https://doi.org/10.1109/TNSRE.2017.2778178

6. 徐舫舟, 赵松松, 郑文风, 舒明雷. 意念控制无人机的相关研究[J]. 齐鲁工业大学学报: 自然科学版, 2019(1): 65-69.

7. Lee, M.H., Williamson, J., Won, D.O., et al. (2018) A High Performance Spelling System based on EEG-EOG Signals With Visual Feedback. IEEE Transactions on Neural Systems & Rehabilitation Engineering, 26, 1443-1459. https://doi.org/10.1109/TNSRE.2018.2839116

NOTES

*通讯作者。

#共一作者。