人机交互基础教程

9月：

1. 第一遍纯理论补习基础知识

• 这本书主要结合了大部分市面上的技术要点：学习整理框架
• 自学能力

10月：

1. 第二遍重点回答习题
2. 第三遍从应用角度拓展知识，设计实例与分析——自我实践

有志于从事人机交互研究的读者，在学习和掌握计算机科学理论知识的同时，也必须广泛地学习和涉猎最新的电子、光学及物理技术，这是人机交互的交叉学科本质所决定的

---

1. 什么是人机交互：正式回答自己的体系框架

• 信息技术的一个重要组成部分（都belong to“认知世界，改造世界”的科学）

• 人机交互：Human-Computer Interaction HCI：关于设计、评价和实现供人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科

狭义：研究人与计算机之间的信息交换：
人到计算机：借助键盘、鼠标、操纵杆、数据服装、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼镜甚至脑电波等向计算机传递信息
计算机到人：打印机、绘图仪、显示器、头盔式显示器（HMD）、音箱、大屏幕投影灯输出或显示设备向人们提供可理解的信息

• 人机交互是一门综合学科，与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关

认知心理学和人机工程学是人机交互技术的理论基础
多媒体技术、虚拟现实技术是互相交叉和渗透的

• 研究内容

涵盖了建模、设计、评估等理论和方法，以及在Web、移动计算、虚拟现实等方面的应用研究：

1. 人机交互界面的表示模型与设计方法
2. 可用性分析与评估
3. 多通道交互技术：视觉、听觉、触觉和力觉，自然交互方式与计算机系统进行通信。多通道交互的表示模型、交互界面的评估方法以及多通道信息的融合（融合是用户界面研究的重点和难点）等
4. 认知与智能用户界面（Intelligent User Interface，IUI）：最终目标是人机交互和人人交互一样自然方便——上下文感知、三维输入、语音识别、手写识别、自然语言理解等要解决的重要问题
5. 群件：为群组协同工作提供计算机支持的协作环境，主要涉及人或群组间的信息传递、群组内的信息共享、业务过程自动化与协调以及人和过程之间的交互活动等——群件系统的体系结构、计算机支持的交流与共享信息的方式、交流中的决策支持工具、应用程序共享以及同步实现方法等内容
6. Web设计：Web界面的信息交互模型和结构、Web界面设计的基本思想和原则、工具与技术、以及Web界面设计的可用性分析与评估方法等内容
7. 移动界面设计：移动计算（Mobile Computing）、普适计算（Ubiquitous Computing）等技术的更高要求：面向移动应用的界面设计：移动设备的便携性、位置不固定性、计算能力有限性以及无线网络的低带宽、高延迟等诸多限制。——移动界面的设计方法、可用性与评估原则、导航技术、移动界面的实现技术和开发工具

• 人机交互的发展历史

伴随着计算机的发展而发展：从人适应计算机到计算机不断适应人的发展过程
交互的信息也由精确的输入输出信息变成非精确的输入输出信息

• 命令行界面
• 图形用户界面交互（Graphical User Interface，GUI）：桌面隐喻、WIMP(Window、 Icon、Menu、Pointing Device)技术、直接操纵和“所见即所得”
  tips：自然性和交互效率都有较大提高。图形用户界面很大程度上依赖于菜单选择和交互构件(Widget)；输入信息时只能使用“手”这种输入通道，
• 自然和谐的人机交互阶段：在使用多媒体终端时，有着更便捷、更符合他们使用习惯同时又比较美观的操作界面。
  tips：利用人的多种感觉通道和动作通道（如语音、手写、姿势、视线、表情等输入），以并行、非精确的方式与（可见/不可见）计算机环境进行交互，进入自然和谐的人机交互时期。

• 自然和谐的人机交互阶段的主要研究内容（概念明确）：
• 1. 多通道交互（Multi Modal Interaction，MMI）

目前最常使用的多通道交互技术：手写识别、笔式交互、语音识别、语音合成、数字墨水、实现跟踪技术、触觉通道的力反馈装置、生物特征识别技术和人脸表情识别技术

• 2. 情感计算

明斯基：赋予计算机情感能力，并让计算机能够理解和表达情感的研究、探讨

1. 工作首推： MIT媒体实验室Rosalind Picard教授的研究小组。“情感计算”：关于情感、情感产生以及影响情感方面的计算。
2. IBM公司“蓝眼计划”：人的眼睛瞄向电视时，知道人想打开电视机；情感鼠标，根据手部的血压及温度等传感器感知用户的情感
3. 日本软银公司“Pepper”2014机器人：读懂人类情感，与人类交流——搭载“感情识别功能”的机器人，可以通过分析人的表情和声调，推测出人的情感，并采取行动。

• 3. 虚拟现实

Virtual Reality VR以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境（认识自然、模拟自然，进而更好地适应和利用自然的科学方法和科学技术）

新的交互设备：

• 麻省理工头盔式例题显示器，
• 加州VPL数据手套用于手势输入、沉浸式虚拟现实环境——CAVE系统（一个房间大小的四面立方体投影显示空间），
• Facebook的Oculus头盔式显示器虚拟现实接入游戏，
• 微软的HoloLens全息眼镜，投影在现实世界达到增强现实的效果；且能够追踪用户的声音、动作和周围环境，用户通过眼神、声音指令和手势进行控制

• 4. 智能用户界面Intelligent User Interface，IUI

致力于达到人机交互的高效率、有效性和自然性的人机界面。通过表达、推理，并按照用户模型、领域模型、任务模型、谈话模型和媒体模型来实现人机交互。

• 智能用户界面主要使用人工智能技术去实现人机通信，提高了人机交互的可用性
• 知识表示技术支持基于模型的用户界面生成
• 规划识别和生成支持用户界面的对话管理、
• 语言、手势和图像理解支持多通道输入的分析、
• 用户建模实现对自适应交互的支持

• 代理（agent）：能够感知外界环境并具有自主行为能力的、以实现其设计目标的自治系统。
• 智能的agent系统可以根据用户的喜好和需要配置具有个性化特点的应用程序。基于此技术，我们可以实现：

• 自适应用户系统：帮助用户获得信息，推荐产品，界面自适应，支持协同，接管例行工作
• 用户建模：机器学习如神经网络
• 自适应脑界面：如神经分类器通过分析用户的脑电波识别出用户想要执行什么任务，该任务可运动相关，也可是认知活动

• 5. 自然语言理解

“计算机文化”社会到来，语言也是人机对话的基础。自然语言处理（Natural Language Processing，NLP）是使用自然语言同计算机进行通信的技术。

• 处理自然语言的关键是要让计算机“理解”自然语言，所以NLP又称为自然语言理解NLU/计算机语言学（Computational Linguistics）（近年来AI的核心课题之一）
• 近年来在搜索技术方面得到了广泛的应用。以一定策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，为用户提供采用自然语言进行信息的检索

• 人机交互的应用

• 工业：产品论证、设计、装配、人机工效和性能评价等
• 教育：沉浸式虚拟世界系统（3D投影技术）
• 军事：对环境的“透视”
• 文化娱乐：游戏厅、展览馆等场馆的地面式互动投影系统，奥运会/全运会开幕式；任天堂的WII操作手柄（包含固态加速计合陀螺仪）、Kinect（3D体感摄影机）、影视制作和动作捕捉等人机交互设备
• 生活：苹果手机：Multi-Touch屏幕感知手指触碰并将感应到的信息传送到LCD屏幕；内置方向感应器来对动作作出反应、距离感应距离、自动关屏以节省电力并防止意外触碰、自动调节亮度、输入法预测单词或词组、语音控制功能；生物特征识别技术：人脸表情识别技术应用于人们日常生活的通信或者安全保护中
• 医疗：虚拟现实交互技术：虚拟手术训练、远程会诊、手术规划及导航、远程协作手术等

二、感知和认知基础

一、感知模型：

• 1. 视觉

将光信号转化为电信号，再传递给大脑，形成对外部世界的感知。
分为两个阶段：受到外部刺激接收信息阶段和解释信息阶段。——进行人机交互设计事需要清楚这两个阶段及其影响，了解人类真正能够看到的信息。

视觉对物体大小、深度和相对距离认知过程、亮度和色彩等的感知特点，对界面设计有帮助：

1. 大小、深度和相对距离

• 视角
• 立体视觉：依据两眼间的视角差使得用户感知深度
• 视敏度/视力：对细节的感知能力

2. 亮度与色彩

• 设计交互界面时，考虑使用者对亮度和闪烁的感知，eg：智能手机可以根据环境光的强弱自动调节亮度

• 2. 听觉

听觉感知的信息仅次于视觉；接受刺激、把刺激信号转化为神经兴奋，并对信息进行加工，然后传递到大脑

听觉现象：

• 音调和响度，声音三个属性：音调、响度和银色
• 声音掩蔽
• 听觉定位：人耳听觉系统对声源的定位还与身体结构有关
• 听觉适应和听觉疲劳

• 3. 触觉和力觉

触觉可以反馈许多交互环境中的关键信息，通过触觉反馈可以使动作更加精确和敏捷

• 触觉的感知机理与视觉和听觉的最大不同在于它的非局部性。人全身布满了各种触觉感受器
• 皮肤中包含三种感受器：温度感受器、伤害感受器和机械刺激感受器（快速适应和慢速适应）

对人身体各部位触觉敏感程度的了解有助于更好地设计基于触觉的交互设备。
虚拟现实系统就是通过各种手段来刺激人体表面的神经末梢，从而使用户达到身临其境的接触感

力学感知一般是指皮肤深层的肌肉、肌腱和关节运动感受到的力量感和方向感

• 内部感觉

深度感觉、内脏感觉、体位感觉等

• 体位感觉：对人的躯干和四肢的位置、平衡、关节角度等姿态的感觉。

人体的体位感知器位于关节、肌肉和深层组织中。感受器分三种：快速适应、慢速适应、位置

• 感官与交互体验：

1. 视觉呈现：宽屏高清现实
2. 听觉反馈：环绕式立体声
3. 真切的触感
4. 嗅觉设计：环绕式气味

• 知觉的特性

选择性
整体性

熟悉：根据个别属性或部分特征
没经验或不熟悉：以感知对象的特点为转移，将它组织为具有一定结构的整体，即知觉的组织化。格式塔心理学理论：视野上相似的、邻近的、闭合的、连续的易组合为一个图形（交互组织页面设计中有很大的应用价值）

理解性

旧经验与新刺激建立多维度、多层次的联系，以保证理解的全面和深刻——知识经验是关键
恒常性

二、 认知过程与交互设计原则

• 认知：两种认知需要不同类型的技术支持

1. 经验认知：达到一定熟练程度
2. 思维认知：设计思考、比较和决策，是发明创造的来源，如设计创作等

• 常见的认知过程：

1. 感知和识别
2. 注意：选择性注意——有选择地加工某些刺激而忽视其他刺激的倾向；

注意的基本特征：指向性+集中性
注意具有一系列功能
注意这一过程主要与两个方面有关：目标和信息表示

3. 记忆：知识经验的存储

记忆过程的三个环节：识记（信息的输入和编码）、保持（信息的存储——在头脑中被再加工整理）、再认和回忆（信息的提取，取决于编码的完善和组织的有序）
需要一个“过滤过程”
记忆现象：人们识别事物的能力要远胜于回忆事物的能力

4. 问题解决
5. 语言处理

• 影响认知的因素

1. 情感
2. 个体差异
3. 动机和兴趣

三、概念模型

关键问题：考虑根据人的认知特点，提供多种手段，使用户能尽快理解关于系统概念模型的构思
“设计概念模型”与“用户理解模型”之间关系的框架：包含三个相互作用的主体：设计师、用户和系统

• 用户如何理解系统概念模型：

1. 思维模型

• 思维模型时外部世界的某些元素在人脑中的反映，掌握和运用思维模型使得人们能够进行推测和推理
• 人们对于头脑以及它如何工作了解得越多，他们的思维模型就越完善。

2. 信息处理模型

大脑是一个信息处理机，信息通过一系列有序的处理阶段

3. 外部认知模型：与外部表示相交互，使用它们来学习和积累信息——可视化信息

四、分布式认知

• 人类的认知过程不仅依赖于认知主体1，还涉及其他认知个体、认知对象、任职工具及认知情境
• 分布式认知（distributed cognition）：认知是分布式的，任职现象不仅包括个人头脑中1所发生的的认知活动，还涉及人与人之间以及人与某些技术工具之间通过交互实现某一活动的过程

• 传统认知理论强调个体，体现在人机交互涉及方面，倾向与交互中的个体使用者和机器的内在模型
• 分布式认知理论强调具体的交互情境

认知在社会、物质和时间上呈分布式的系统中，认知的过程和特性与个体内部的认知过程和特性有何区别：分布式认知理论是为分析这个问题提供的一个理论框架

• 特征：

1. 强调个体与外部表象的结合，重视人工制品的作用
2. 强调认知的分布性
3. 强调交互作用和信息共享
4. 关注具体情境和情境脉络

• 在人机交互中的应用

• 协作学习（Computer-Supported Collaborative Learning，CSCL）：研究一种学习环境来支持分布式认识活动（包括学习共同体、概念学习以及知识共同体等）
• 分布式认知被认为是连接计算机智齿的协同工作和人机交互的桥梁中的重要组件

三、交互设备

• 人机交互技术的发展离不开交互设备的支持
• 人机交互技术是围绕着输入、输出这两个前端与后端环节发展的。

1. 传统的输入设备将文字与图像信息转换为计算机可处理的数字信息，输出设备将数字信息转换为人类可阅读、可理解的图像与文字信息，实现了最基本的人机交互功能
2. 随着三维扫描、动作捕捉、体感输入、语音识别等技术的发展，计算机系统的输入方式变得更加丰富与自然；三维打印、立体显示、全息显示等技术的出现又使得输出效果更加实用与逼真
   交互设备的发展推动者交互技术的前进。

• 将交互设备分为输入设备、输出设备及虚拟现实交互设备三类，对传统技术和最新发展进行叙述和讨论。
• 实现沉浸式的自然交互体验是人机交互研究中的一个核心问题，需要使交互手段变得更加自然、丰富。
• 人机交互的研究势必要结合到、落实到交互设备的研发和应用上。

1. 输入设备

1. 文本输入设备：

键盘布局：人体工程学
手写输入设备：电阻式压力手写板、电磁式感应手写板和电容式触控手写板

2. 图像输入设备

1. 二维扫描仪：计算机的图文输入工具，由光学系统和步进电机组成。扫描图像时，扫描分辨率越高，生成的图像效果越精细，图像文件也越大。
2. 数字摄像头：视屏输入设备for视频聊天、实时监控等方面；解析度

3. 三维信息输入设备

在逆向工程、虚拟现实、影视动漫等诸多领域
三维扫描仪通过对事物扫描的方式支持三维几何建模，动作捕捉设备支持捕捉用户的肢体、表情动作、辅助建立运动模型，体感输入设备支持通过简易的方式识别自然状态下的用户的运动

1. 三维扫描仪

• 接触式：三维扫描仪采用探测头直接接触物体表面
• 非接触式的三维扫描仪：三维激光扫描仪（TOF测量法（深度照相机：KinectII）或三角测量法）与结构光式三维扫描仪

2. 动作捕捉设备：始于指环王、阿凡达，广泛应用于影视动漫、三维游戏创作；同时在模拟训练、机器人遥控等新领域也有着重要应用——机械式、光学式（应用较普及）、电磁式
3. 体感输入设备：Kinect体感交互

4. 指点输入设备：定位和选择物体的交互任务；

1. 鼠标最常用；随着便携式电脑及移动智能终端的普及，鼠标的地位正面临着触控指点输入设备的挑战
2. 控制杆：汽车和飞行器的控制装置
3. 触摸屏：“所见即所得”的自然交互方式，广泛应用于手机、平板电脑等移动式终端设备，可以说触摸屏技术的出现改变了手机产品的面貌。

• 触摸屏组成：触摸检测部件（检测用户触摸位置，传送给触摸屏控制器）和触摸屏控制器（处理从触摸检测部件接收到的触摸信息，转换成触点坐标，再传给CPU，同时能接收CPU发来的命令并加以执行）
• 触摸屏分类：电阻式触摸屏，电容式触摸屏和基于光学的触摸屏三种。

2. 输出设备

1. 光栅显示器

主要技术指标：扫描方式、刷新频率、点距、分辨率、亮度和对比度、尺寸等

• 显卡：显示器依靠显卡提供的显示信息才能显示出各种字符和图像显示信号，通过屏幕显示出来

• 图形处理芯片(GPU)是显卡的性能核心，使显卡减少对CPU的依赖；如今GPU的计算能力越来越强大，除了图形处理，开始应用于通用计算
• 显存：保存处理好的各帧图形显示数

2. 投影仪：液晶显示技术，数字光处理技术
3. 打印机：针式、喷墨、激光
4. 3D/三维打印机：介质种类多样
5. 语音交互设备：耳机、麦克风、声卡（声音合成设备：单声道到多声道，环绕音频技术）

3. 虚拟现实交互设备

• 虚拟现实应用的要求：实时显示一个三维场景，用户可以漫游——低频磁场式（磁场，范围大，受磁场干扰性）和超声式传感器技术

1. 三维空间定位设备：空间跟踪定位器/三维空间传感器（“非接触式传感器”）

• 数据手套
• 触觉和力反馈器：力学反馈手套、力学反馈操作杆、力学反馈笔、力学反馈表面；手指触觉反馈器：电子触觉反馈器、神经肌肉模拟反馈，气压式、振动触感式反馈器

2. 三维显示设备

• 立体视觉：视觉是主要信息来源，立体视觉是虚拟现实中重要的支撑技术。原理+立体影像显示技术
  1.主动式立体显示：头盔式显示器P69页（单通道、双通道）+AR：透视式头盔、投影拼接融合的沉浸式显示环境（投影拼接融合技术）、裸眼立体显示设备（视差障壁方法和柱状透镜方法技术、体三维显示技术、光场三维显示）

四、交互技术

• 人机交互：用户与计算机系统之间的通信——即信息交换
• 信息交换的形式可以采用各种方式：键盘、鼠标的操作、显示器的内容、声音姿势或是身体的动作等
• 交互技术：主要输入模式和基本交互技术，然后介绍二维、三维的基本交互技术

1. 人机交互输入模式：

常用的三种基本模式：

• 请求模式：输入设备的启动时在应用程序中设置的
• 采样模式：输入设备和应用程序独立地工作——对连续的信息流输入比较方斌，可同时处理多个输入设备的输入信息。（有个数据缓存区作为桥梁），可能会丢失某些数据
• 事件模式：输入设备和程序并行工作。保存数据到输入队列，也称为事件队列，所有的输入数据都保存起来，不会丢失

2. 基本交互技术：设计应用系统用户接口的基本要素

1. 定位：确定平面或空间中一个点的坐标；直接定位与间接定位
2. 笔划：输入一组顺序的坐标点；相当于多次调用定位输入，输入的一组点用于显示折线或作为曲线的控制点
3. 定值/数值：设置物体旋转角度、缩放比例因子等
4. 选择
5. 字符串：键盘、写字板、语音输入

3. 二维图形交互技术

• WIMP用户界面，窗口、图标、菜单、指点设备四位一体形成桌面desktop：以窗口管理系统为核心，使用键盘和鼠标器作为输入设备。
• 基于可重叠、多窗口管理技术，采用事件驱动技术
• 辅助交互工具，更好地帮助用户完成定位、选择和操作对象。

1. 几何约束
2. 引力场（定位约束）
3. 拖动
4. 橡皮筋技术
5. 操作柄技术

4. 三维图形交互技术

• 采用六自由度输入设备（三维空间XYZ轴平移和旋转；如今流行的用于桌面型图形界面的交互设备只有两个自由度：沿平面XY轴平移）
• 三维交互必须便于用于在三维空间中观察、比较、操作、改变三维空间的状态
• 当前交互方式在三维空间中进行操作：

1. 直接操作：虚拟手
2. 三维Widgets：三维交互界面中的一些小工具，用户可以直接控制它们使界面或界面中的三维对象发生改变。
3. 三视图输入：用二维输入设备在一定程度上实现三维的输入

5. 自然交互技术（Natural User Interface，NUI）

• NUI：只需要人们以最自然的交流方式（如语言和文字）与机器互动。（键盘和鼠标在很多应用中已被更为自然的触摸式、视觉型以及语音控制界面所取代）
• 自然的、有响应的交互向我们展示了如何让机器的智能与协作自然地发挥出来，营造出真正的“机器+人”的共生系统——最佳的人机交互
• 自然交互中的关键技术：P90

1. 多点触控：同时检测多个触点的触控平台，使得用户能够运用多个手指同时操作实现基于手势的交互；甚至可以让多个用户同时操作实现基于协同手势的交互。——硬件与软件实现
2. 手势识别技术

• 控制手势、对话手势、通信手势和操作手势；
• 按照输入设备分为：数据手套、摄像机；
• 基于视觉的手势识别所要解决的三个主要问题：手势的分割、特征的提取和建模以及手势识别

3. 表情识别技术

• 是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径
• 特征识别方法：整体和局部识别法、形变和运动提取法、几何和容貌特征法——相互联系、相互影响

4. 语音交互技术

• 语音合成和语音识别两项技术为基础
• 语音识别：计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令的技术——目前主流：基于统计的模式识别的基本理论
• 一个完整的语音识别系统大致可分为：语音特征提取，声学模型与模式匹配，以及语言模型与语义理解三部分

5. 眼动追踪技术
6. 笔交互技术

• 大多利用模式识别的方法
• 手写识别技术：笔交互中一种基本技术

五、界面设计

• 要解决的问题：如何设计人机交互系统，以便有效地帮助用户完成任务。

在以用户为中心的设计中，用户是首先被考虑的因素，一个成功的交互系统必须能够满足用户的需要

1. 用户界面及设计原则

• 命令行界面
• 图形界面

1. 一致性
2. 快捷方式
3. 错误处理
4. 提供信息反馈
5. 允许操作可逆
6. 设计良好的联机帮助，及时获得帮助
7. 合理划分并高效地使用显示屏幕

• 多通道用户界面

2. 理解用户

• 宗旨：在软件开发过程中紧紧围绕用户，在系统设计和测试过程中要有用户的参与，以便及时获得用户的反馈信息，不断改进设计，直到满足用户的需求。
• 用户体验：品牌、使用性、功能性、内容
• 用户分类：偶然型，生疏型，熟练型，专家型
• 计算机经验和领域经验
• 用户交互分析

针对软件的功能和目标用户，全面分析用户的交互内容，主要包括产品策略分析、用户分析和用户交互特性分析

3. 设计流程

1. 用户的观察和分析：背景素材
2. 设计：对素材进行系统的分析——用户视图

对象抽象模型可以逐步转化为1不同具体程度的用户视图，比较抽象的视图有利于进行逻辑分析即低真视图（比较具体的视图为高真视图）

3. 实施与反馈

4. 任务分析

• 产品的目的在于：能够高效的完成用户所期望的工作，而不是在于使用产品本身
• 产品的价值在于其对于用户完成任务这一过程的帮助

任务分析是交互设计中至关重要的环节

• 使用行为分析

• 顺序分析：每个使用行为都是由若干步骤组成的，这些步骤可以使用序列图进行描述
  

• 协作关系分析
  

• 工序（用户完成任务的步骤）约束陈述（工序分析，彼此间逻辑关系）

• 用户任务一览表

• 任务金字塔

• 故事讲述（反映交互任务，具有充分的代表性）和情节分析（对故事所反映大的交互任务的理性分析，分解出故事中描述的角色、目标、环境、步骤、策略、感情等诸方面的因素）

5. 以用户为中心的界面设计

六、人机交互界面表示模型与实现

八、移动界面设计