山东大学人机交互考试重点

人机交互定义

广义

人机交互是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的学科

广义上讲，人机交互是以实现自然、高效、和谐的人机关机为目的，与之相关的理论和技术都在其研究范畴，是计算机科学、心理学、认知科学以及社会学等学科的交叉学科

研究开发新的人机交互设备、技术和理论，以实现无处不在计算环境下的以用户为中心的交互式计算机系统，使其能够增强人的创造力，解放人类的大脑、改善人与人之间的交流与协作

狭义

从技术上来讲，是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机道人的信息交换两部分：

• 如何借助键盘鼠标等输入设备，用手脚等方计算机传递信息（输入方式）
• 计算机如何通过打印机显示器等给人提供信息（输出设备）

与其他学科的关系

人机交互与认知心理学、人机工程学、多媒体技术和虚拟现实技术密切相关

• 认知心理学和人机工程学是人机交互技术的理论基础
• 多媒体技术和虚拟现实技术与人机交互技术相互交叉渗透

人机交互发展史

人和计算机相互适应的发展过程，经历多个阶段：

命令行→图形用户界面→自然和谐的交互

• 图形用户界面

感知和认知基础

感知基础

感觉和知觉是不可分割的两个基本心理过程

区别

定义不同

• 感觉是人脑对直接作用于感觉器官的客观事物的个别属性的反映
• 知觉是人脑对直接作用于感官的事物的整体认识,是一系列组织并解释外界客体和事件产生的感觉信息的加工过程

反映的具体内容不同

• 感觉是对事物个别属性的反映
• 知觉是对事物个别属性间的关系,联系,整体的反映

生理机制不同

• 感觉是单一分析器活动的结果
• 知觉是多种分析器(感受器,传入神经,皮层)协同活动对复杂刺激物或刺激物之间的关系进行分析综合的结果
• 感觉的产生依赖于客观事物的物理属性,相同的刺激会引起相同的感觉
• 知觉不仅依赖于客观事物的物理属性,还依赖于知觉者本身的特点,如知识经验,心理状态,个体特征

联系

都是对客观事物的反映,属于认知过程的感性阶段,其源泉都是客观现实

都是对客观事物的直接反映,客观事物作用于感官,感知觉才会产生,事物消息了感知觉也就消失了

关系

感觉是知觉产生的基础,感觉是知觉的有机组成部分,是知觉产生的基本条件

知觉是高于感觉的心理活动,但并非是感觉的简单相加之总和

知觉是感觉的深入与发展

感觉的重要性

内部状态与外部刺激达到平衡.感觉提供了内外环境的信息,通过视觉,听觉接收外部世界的刺激,让我们的机体和环境达到平衡的状态

• 红色的花是感觉;梦中的大海,迷人的花,海市蜃楼不是感觉

感觉的意义

人对客观世界认知过程的开始

一切复杂心理活动的基础

维持正常心理活动的必要条件

视错觉

视错觉就是当人观察物体时,基于经验主义或不当的参照形成的错误的判断和感知

种类

• 尺寸错觉:根据深度线索或环境信息对相同面积,长度,体积的物体得出不同的认知的现象
  • 缪勒莱耶错觉
• 细胞错觉:因视觉神经上功能相似的神经元群的作用,对刺激的亮度,颜色,方向模式产生误解的现象,包括视觉后像等
  • (亮度错觉)
• 形状和方向错觉
• 轮廓错觉:对图像边缘梯度信息和环境认知出现错误的现象
  • (背景错觉,知觉迷糊)
• 不可能错觉:局部结构理解合理缺不能客观存在的图形
  • (不可能梯形,不可能三角形)
• 运动错觉:结合环境线索对运动刺激判断出错误方向,或把静态感知到运动的状态的错觉
  • (循环蛇)

对交互设计的影响

视错觉说明了事物实际存在的形态与其在人脑中的反映之间存在差别

知觉的基本特征

选择性

观测者角度的变化

人在复杂环境中,某一瞬间不能对众多事物进行感知,而总是有选择地把某一事物作为知觉对象,与此同时把其他事物作为知觉背景—分化背景和对象

• 知觉的对象:被选择进行加工的信息
• 知觉的背景:把同时作用于感觉器官的其他刺激信息成为知觉背景
• 二者可以相互转化

影响选择性的因素

• 客观刺激物本身的特点
  • 客观事物的强度大,对比明显,容易成为个体的知觉对象
  • 空间上接近,连续,形状上像是的客观刺激物容易成为知觉对象
  • 相对静止的背景上运动的客观事物,容易成为知觉对象
  • 客观事物维度变化多的刺激,容易成为知觉对象
• 知觉者的主观因素
  • 知觉者的需要与动机,愿望与要求等,已有的知识经验等

整体性

事物本身的变化

人根据自己的知识经验把直接作用于感官的客观事物的多种属性整合为统一整体的组织加工过程

• 个体优先进行整体水平的加工,然后是局部水平的加工
• 知觉的整体性还体现在部分对整体的依赖性

知觉的对象有不同的属性,由不同部分组成.但是人并不把知觉的对象感知为个别的孤立部分,而总是把他知觉为一个统一的整体.

• 感知熟悉的对象时,可以根据个别属性或部分特征,根据经验判断其他特征,从而产生整体性的知觉
• 提高了人们知觉事物的能力(前提:有这样的经验)

格式塔心理学

当知觉对象是没经验过的或不熟悉的特征,元素时,知觉更多地以感知对象的特点为转移,将它组织为有一定结构的整体,即知觉的组织化.

当视野中出现不完整因素时,视觉系统倾向于把他们完整起来,形成比较简单,稳定,正规化的图形

简单律—视野中有简单结构的部分,容易组成图形

• 简单图形组合不会看作复杂图形组合

邻近律—距离上相近的物体容易被组织在一起

• 界面设计,相同作用元素放在一起,从而不需要额外线框

相似律—物理属性(颜色,形状,纹理)相近的物体容易被组织在一起

• 消除类游戏;五子棋

连续律—倾向于把经历最小变化或最少阻断的直线或圆滑曲线知觉为一个整体

• 帕金森患者手写输入,IBM logo

闭合律—倾向于将缺损的轮廓加以补充使知觉成为一个完整的封闭特性

• 虚线图形—

对称律—视野中对称的部分容易组成整体图形

协变律—同一运动趋向的元素会被归在一起

理解性

观察者的变化

人在知觉过程中,不是被动地把知觉对象的特点记下来,而是以过去的知识经验为依据,力求对知觉对象作出某种解释,使他具有一定的意义

• 知觉的过程可以看做假设检验的过程.
• 实质是旧经验与新刺激建立多维度,多层次的联系,以保证理解的全面和深刻
• 理解性也有助于知觉的选择性和整体性(因为他们都依赖于经验)
• 理解过程中,知识经验是关键

x光图对于不懂的人没有意义;对于医生来说可以看出病变

恒常性

观察条件的变化

当客观条件在一定范围内改变时,人的知觉映像在相当程度上却保持着他的稳定性

• 形状恒常性—对物体形状的知觉不因他在视网膜上投影的变化而变化
• 大小恒常性—在一定范围内,个体对物体大小的知觉不完全随距离变化而变化,也不随着视网膜上视觉图像大小的变化
• 明度恒常性—当照明条件改变时,人知觉到的物体相对明度保持不变
• 颜色恒常性—有颜色的物体当其表面颜色受到照明灯条件的影响而改变时,个体对颜色的知觉不因色光改变而改变,趋于保持相对不变

知觉恒常性是可影响的,影响种子蕨恒常性最重要的因素是视觉线索,即环境中的参照物

交互设备

文本输入:键盘,手写输入设备—手写板

图像输入:扫描仪(二维,三维),摄像头

动捕设备

基本工作原理

在运动物体的关键部位设置跟踪点,由系统捕捉跟踪点在三维空间中运动的轨迹,再经过计算机处理后,提供给用户物体的运动数据

在动画制作中，动画师可以将数据与动画角色合成，生成动画，然后很方便地在计算机中调整、控制运动的物体。动捕系统基本工作原理

• 应用领域远远超出了动画制作，并在虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等
• 分为机械式,电磁式,光学式

机械式

依靠机械装置来跟踪和测量运动轨迹.利用可伸缩的机械结构安装于捕捉物体上,以取得各部分的运动量.

优点

• 捕捉范围大
• 成本低,便宜
• 精度相对较高
• 可以做到实时数据测量
• 数据的捕捉相对简单
• 感应器不会闭塞
• 可以对多个对象进行同时捕捉

缺点

• 硬件笨重,使用不便
• 系统样本速率低
• 系统对人体骨骼有制约
• 较难用于连续动作的实时捕捉
• 巨大缺陷—依靠电位计的系统不能测量空间的位移

电磁式

比较常用.由发射源,接收传感器和数据处理单元组成

优点

• 记录六维信息,可以得到空间位置,方向信息等
• 速度快,实时性好,动画系统中角色模型可以与表演者同时反应
• 装置定标简单,技术成熟,成本相对较低

缺点

• 对环境要求严格,表演场地附近不能由金属物品
• 允许的表演范围比光学式小,电缆对活动限制比较大
• 不适用于比较剧烈的运动和表演

光学式

利用计算机视觉原理,通过两部摄像机,对目标上特定光点进行监视和跟踪

包括动作捕捉镜头,数据采集网络,用于数据处理的高性能工作站

优点

• 表演者活动范围大,无电缆,机械装置的限制,表演者可以自由表演,使用方便
• 采样速率高,可以满足多数高速运动测量的需要

缺点

• 系统价格昂贵,后处理工作量大
• 对场地光照,反射有要求
• 运动复杂时需要人工干预后处理过程

Kinect

3D体感摄像机,有动态捕捉,影像辨别,麦克风输入,语音辨识等功能

是对人机交互方式的变革

• 传统人机交互方式—图形用户界面,需要用户学习预先设置的操作并在显示设备上交互
• Kinect—自然用户界面,通过动作,手势,语音进行交互

基于管道的系统架构

• 深度流—骨骼跟踪
  • 深度成像,用户数据分割,骨骼跟踪
• 颜色数据流—身份识别
  • 人脸识别,动作识别
• 音频流—语音识别处理
  • 音频处理(回声,噪声),定位,语音识别

多通道交互技术

在多通道交互中,用户使用语音,手势,眼神,表情等多种方式与计算机系统进行通信.主要研究多通道交互界面的表示模型,评估方法以及多通道信息的融合等

多通道交互系统

根据交互设备的性能及优缺点,根据系统需要选择交互设备,设计支持多通道的人机交互系统

交互技术

人机交互技术发生的历史以及发展趋势

分类

根据用户界面的具体形式

• 批处理
• 联机终端(命令接口)
• 文本菜单
• WIMP界面
• 多媒体用户界面
• 多通道用户界面和虚拟现实用户界面

根据用户界面中信息载体的类型

• 文字为主的字符用户界面(CUI)
• 二维图形为主的图形用户界面(GUI)
• 多媒体用户界面

根据计算机输出信息的形式

• 以符号为主的字符界面
• 以视觉感知为主的图形用户界面
• 兼顾听见感知的多媒体用户界面
• 综合运用多种感观的虚拟现实技术

根据人机界面中的信息维度

• 一维信息—文本流,如早期的电传式终端
• 二维信息—二维图形技术,利用色彩,形状,纹理等
• 三维信息—三维图形技术,但显示技术以二维平面为主,和多维信息—多通道的多维信息

人机交互中采用的语言

• 形式语言—人工语言,特点是简介,严密,高效
• 类自然语言—介于计算机和自然语言之间
• 自然语言

输入设备和交互任务

定位

确定平面坐标

• 直接定位—使用定位设备指定位置
• 间接定位—使用定位设备的运动控制屏幕上的映射光标

输入设备

• 直接—光笔,触摸屏
• 间接—鼠标,光杆,操纵杆,方向键

笔划

输入一组顺序的坐标点,多次定位输入

• 方式—直接,间接
• 设备—鼠标,轨迹球,图形输入板

定值

定值\数值输入,用于设置比例因子,角度等

• 直接输入数值,字符串取值,比例尺等
• 设备—旋钮,键盘,鼠标

选择

单个元素选择—在选择集合中选出一个元素,通过注视,指点或解除等

区域选择—选择一组元素或一个区域,通过区域选择工具

• 选框,套索等

字符串

输入方式

• 键盘,手写,语音等

设备

• 键盘,光笔,声音识别器等

界面设计

命令行

用户输入文本命令,系统以文本的形式响应

缺点

• 界面和应用没有分开
• 用户需要记忆命令,且输入命令需遵循语法规则
• 界面不友好,难以学习,交互自然性差

优点

• 适合熟悉专业用户使用,工作效率高

文本菜单

用户在有限选项中识别和选择

缺点

• 菜单层次过多,选项过于复杂,用户必须逐级选择,不能一步到位,交互过程慢

图形用户界面

及WIMP界面,由窗口,图标,菜单,指点设备四位一体,形成桌面

特点—以窗口管理系统为核心,使用键盘鼠标作为输入设备

• 窗口管理系统基于可重叠多窗口管理技术,以事件驱动技术为核心

三个重要思想

• 桌面隐喻
  • 在用户界面使用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力
    • 图形具有一定的文化和语言独立性,可以提高搜索目标的效率
    • 可以代表对象,动作,属性或其他概念
  • 表现方法—静态图标,动画,视频
  • 分类
    • 直接隐喻—隐喻本身就带有操纵的对象
    • 工具隐喻—代表所使用的工具
    • 过程隐喻—其通过描述操作的过程来暗示该操作
  • 实例—Windows桌面图标,用垃圾桶,PC等表示文件回收站和本机的文件系统
• 所见即所得(WYSIWYG)
  • 显示的用户交互行为和应用程序最终产生的结果是一致的
  • 弊端
    • 若屏幕的空间或颜色配置方案与硬件设备提供的配置不匹配,二者之间就难以正确匹配
• 直接操纵
  • 基本思想—可以把操作的对象,属性,关系显式的表示出来,用光笔,鼠标,触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程
  • 直接操纵的对象—命令,数据或是对某种数据的操作
  • 工具—屏幕坐标指点设备
  • 特性

    • 直接操纵的对象是动作或数据的形象隐喻

      系统将真实世界人们熟悉的的对象和操作复制并呈现在屏幕上,人们得以关注于数据本身

    • 用指点和选择代替键盘输入

    • 对象和操作一直可见

    • 支持逆向操作

  • 优点
    • 借助形象的表示,而不是单纯的文字或数值;依赖于视觉和手动控制的参与,可以直接操作,有利于解决问题和进行学习
  • 缺点
    • 不具备命令语言界面的某些优点.设计图形繁琐等
    • 表示复杂予以,抽象予以比较困难
  • 潜在的问题：
    • 用户必须知道一个可视化对象表示的意义是什么
    • 真实世界的可视化表示可能令人误解
    • 对某些操作，键盘可能是最有效的直接操作设备，所以用鼠标或手指指向图标实际上可能比使用键盘慢
    • 为真实世界中的对象和动作选择合适的表示不是一项简单容易的任务

重要思想举例及反例

• office工具软件的可选功能,通过桌面隐喻表示其功能和操作;网站菜单栏通过文字而非图例描述功能
• word或一些markdown文本处理器能将用户输入文本呈现出来;对于一些普通的文本处理器如notepad,对于用户输入的文本控制代码不能看到最后的输出结果
• 图编辑工具中,可以直接拖拽图形,进行绘图;早期的一些游戏机必须通过专门的旋转按钮操纵角色左右或上下移动

多通道用户界面

目的是消除当前WIMP/GUI用户通信宽带不平衡的瓶颈

• 综合使用视线,语音,手势等新的交互通道,设备和交互技术
• 使用户利用多个通道以自然,并行,协作的方式进行人机对话
• 整合来自多个通道的,精确和不精确的输入来捕捉用户交互意图,提高人机交互的自然性和高效性

研究目标

• 自交互的自然性,高效性
• 与传统用户界面兼容

主要解决的问题

• 科学计算可视化,虚拟现实对计算机系统提出的高效,三维和非精确的人机交互要求
• 用户可以用自然的交互方式,语音,手势,眼神等协同交互,通过交互通过串行\并行,互补\独立的关系提高交互的自然性和高效性

基本特点

• 使用多个感觉和效应通道
  • 感觉通道侧重多媒体信息的接收;效应通道侧重于交互中的控制于信息输入
  • 一种通道不能充分表达用户意图时,使用辅助通道增强表达力
  • 允许并行协作的通道配合关系
• 允许非精确的交互
  • 可以使用贴近日常生活习惯的模糊表达,以充分性代替精确性
• 三维和直接操纵
  • 人类大多数活动都要三维和直接操纵的特点,并且人们希望看到这种控制的结果,人机交互反应了这种本质特点
• 交互的双向性
  • 感觉通道和效应通道都具有双向性的特点,避免生硬不自然的通道切换,提高自然性
• 交互的隐含性
  • 不需要显示说明交互成分,而是在交互过程中隐含说明

重定向技术

通过调整用户行走时的视觉感知,使用户能够通过小范围的现实空间,漫游大范围的虚拟空间

重置技术

当用户与实际空间边界碰撞时,对用户移动方向进行调整,重新向实际空间内部移动

• 冻结-折返
  • 用户靠近边界时,暂停系统对用户位置的追踪,保持对转向的追踪,使用户沿着来时方向向后折返,直到抵达充值方法计算好的目标位置后,恢复位置最终
• 冻结-转向
  • 用户靠近边界时,暂停对用户身体旋转和位置的追踪,此时用户视野静止,用户位置不变转向180°后,恢复追踪,画面开始,重新开始漫游
• 2:1-转向
  • 用户靠近边界时,暂停对用户身体位置的追踪,用户视野正常,用户转向180°,同步更新用户视野,使其转向360°后,恢复位置追踪

可用性分析和评估

可用性目标是用户体验目标的基础;离开了可用性目标,产品将会是无源之水;离开了用户体验目标,产品不会令人愉快和满意

• 有效性,效率,满意度

表现方面(5E)

有效性

• 准确有效的完成工作

效率

• 快速的完成工作

吸引力

• 用户界面如何信息用户进行交互并在使用中得到满意和满足

容错能力

• 产品避免错误的发生并帮助用户修正错误的能力

易于学习

• 支持用户的入门使用和使用中的持续学习

可用性原则

灵活性,易学性

鲁棒性

体现为用户能不能成功达到交互目标和能不能对达到的目标进行评估

• 可观察性—用户可以通过观察交互界面表现了解内部状态
• 可恢复性—用户意识错误并更正的能力
• 响应性—响应时间只系统对状态改变做出反应的延迟时间
• 任务规范性—系统为完成交互任务提供的功能是否规范

可用性,用户体验评估方法

交互系统设计的基本过程

交互系统的动机与目标

主要共享

系统设计与实现

• 硬件环境—种类,组装
• 系统设计与具体实现—流程图,技术细节等

不需要用户参与的诊察式方法

专家进行评估

• 用户模型法
• 启发式评估
• 认知性遍历
• 行为分析

需要用户参与的测试式方法

用户进行评价

• 放声思考法
• 用户测试
• 问卷调查
• 访谈

用户测试的基本过程

• 测试目的
• 实验假设
• 测试方法
  • 参与者选择
  • 实验设计
  • 测试环境和设备
  • 测量工具
  • 测试流程
• 测试评价和结果分析
  • 统计分析方法
  • 分析结果
  • 是否支持假设
• 形成测试报告

测试方法

样本选择

• 简单随机抽样
• 方便抽样

研究设计

• 被试间设计—每个被试只接受一个实验条件的处理,另一个组使用另一种条件
• 被试内设计—每个组都接收所有自变量水平的测试
• 混合设计

处理顺序效应—ABBA法

测量工具

• 问卷或量表
• 行为测试—设备与指标
• 生理测试—设备与指标