人机交互是指关于设计、评价和实现供人们使用的交互式计算机系统,并围绕相关的主要现象进行研究的学科。
狭义的讲:人机交互技术主要是研究人与计算机和计算机到人的信息交换两部分。
一个交互界面的优劣,直接影响软件开发的成败。友好的人机交互界面的开发离不开好的交互模型和设计方法。
它关系到人机交互能否达到用户期待的目标,以及实现这一目标的效率与便捷性。
研究视觉、听觉、触觉和力觉等多通道信息的融合理论和方法。
多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。
其中,多通道融合是多通道用户界面研究的重点和难点。
目标是:是人机交互和人-人交互一样自然、方便。
群件是指为群组提供计算机支持的协作环境,主要涉及个人或群组间的信息传递、群组内的信息共享、业务过程自动化与协调以及人和过程之间的交互活动等。
web设计重点研究web界面的信息交互模型和结构、web界面设计的基本思想和原则、web设计的工具和技术,以及web界面设计的可用性分析与评估方法等内容。
通过键盘输入数据和命令信息,界面输出以字符为主,因此这种人机交互方法缺乏自然性。
与命令行界面相比,图形用户界面的自然性和交互效率都有较大的提高。
图形用户界面很大程度上依赖菜单选择和交互构件。
一般由按键、导电塑胶、编码器、接口电路组成。
键盘得每一个按键对应一个编码,当用户按下一个按键时,导电塑胶将线路板上的这个按键的排线接通,键盘中的编码器能够迅速将此键盘所对应的编码通过接口电路输送到计算机的键盘缓冲器中,由计算机识别处理。
手写板是一种常见的支持手写输入设备的交互设备。
组成:一层可变形的电阻薄膜、一层固定的电阻薄膜、中间由空气相隔离。
原理:当用笔或手接触手写板时,上层电阻受压变形并与下层电阻相接触,下层电阻就能判断笔或手指的位置。
缺点:
原理:手写板的下方电路通电后,在一定空间范围内形成电磁场,来感应带有线圈的笔尖的位置进行工作。
缺点:
原理:通过人体的电容来感知手指的位置,即当使用者的手指接触到触控板的瞬间,就在板的表面产生一个电容。在触控板的表面附着着一种传感矩阵,这种矩阵与特殊芯片一起,持续不断地跟踪使用者手指电容的“轨迹”得到位置。
光学系统、步进电机
将光线照射到稿件上,产生的发射光或透射光经过反光镜组反射到图像传感器(CCD)中,CCD将光电信号转为数字图像信号。
控制光学系统在传动导轨上平行移动,对待扫稿件逐行进行扫描,最终完成全部稿件的扫描。
扫描速度决定了扫描仪的工作效率,分辨率决定了最高扫描精度。
分辨率受光学部分、硬件部分和软件部分三个因素影响。
直接捕捉影像,然后通过计算机的串口、并口或USB接口传送到计算机。
感光部件、简单的镜头、数据传输线路
根据传感方式的不同:接触式和非接触式
原理:探测头直接接触物体表面,把探测头反馈回来的光电信号转换为描述物体表面形状的数字信息。
优点:有较高的准确性和可靠性
缺点:测量速度慢、费用较高、探头易磨损
主要有三维激光扫描仪和结构光式三维扫描仪。
优点:扫描速度快、易于操作、对物体表面损伤少。
三维激光扫描仪通过高速激光扫描测量技术,获取被测对象表面的空间坐标数据。
常用TOF(飞行时间)测量法或三角测量法进行深度数据的获取。
(1)TOF测量法
通过激光二极管向物体发射近红外波长的激光束,通过测量激光在仪器和目标物体表面的往返时间,计算仪器和点之间的距离,从而计算出目标点的深度。
(2)三角测量法
三角测量法是一种线扫描技术,通过线激光器向被测物体投射一条激光射线,激光线受到物体表面形状的调制,形成反应物体表面轮廓的曲线,利用扫描仪内部内置的摄像头拍摄曲线图像,根据激光器和摄像头之间的三角关系,根据双目视觉方法,反求出激光亮线处物体的深度信息。
结构光三维扫描仪
是一种面扫描技术,通过投影仪向被测物体投射光栅模板图像,光栅在物体表面发生调制变形,其周期与相位的变化反映了物体表面的三维信息。通过相机拍摄物体表面的光栅图像,检测出相应相位变化值,再利用双目视觉方法计算出三维数据。
三维扫描仪的性能指标主要包括扫描的速度、精度和范围等。
动作捕捉设备在运动物体的关键部位设置跟踪点,由系统捕捉跟踪点在三维空间中运动的轨迹,再经过计算机处理后,得到物体的运动数据。
利用计算机视觉原理,通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。对于空间中的一个点,只要它同时为两部摄像机所见,则根据同一时刻两部摄像机所拍摄的图像和对应参数,可以计算出该点该时刻的空间位置。
原理和应用和光学式捕捉设备类似。
指点设备常用于完成一些定位和选择物体的交互任务。
鼠标根据工作原理 不同可以分为 机械鼠标和光电鼠标。
控制杆的移动导致屏幕上光标的移动,根据两者的移动关系可以将其分为移动定位和压力定位。
移动定位的控制杆:屏幕上的光标依据控制杆的位移而移动,因而位移是非常重要的定位特征。
压力定位的控制杆:其受到的压力被转化为屏幕上光标的移动速度。
触摸检测部件、触摸屏控制器。
触摸屏检测部件:安装在显示器屏幕前面,用于检测用户触摸位置,然后传送给触摸屏控制器。
触摸屏控制器:处理从触摸检测部件接收到的触摸信息,并将它转换成触点坐标,再传送给CPU,同时接受CPU发出来的命令并加以执行。
电阻式触摸屏、电容式触摸屏、基于光学的触摸屏
优点:原理简单、工艺要求低、价格低廉
电阻式触摸屏是一种传感器,通过转换触摸点的物理位置坐标(X,Y)得到代表X坐标和Y坐标的电压。
由四层复合玻璃组成,利用人体的电流感应进行工作。
缺点:
优点:高扩展性、低成本、易搭建
显示器是计算机的重要输出设备,是人机对话的重要工具。它的主要功能是接收主机发出的信息,经过一系列的变换,最后以点阵的形式将文字和图形显示出来。
常见的光栅显示器包括阴极线管显示器(CRT)、等离子显示器和液晶(LCD)显示器
这六部分都在真空管内。
阴极、 电平控制器、 聚焦系统、 加速系统统称为电子枪。
等离子显示器诞生于二十世纪60年代,它采用等离子管作为发光材料,1个等离子管负责一个像素的显示:等离子管内的氖氙混合气体在高压电极的刺激下产生紫外线,紫外线照射涂有三色荧光粉的玻璃板,荧光粉受激发出可见光 。
优点:重量较轻、完全无X射线辐射,而且屏幕亮度非常均匀,不存在明显的亮区和暗区;由于各个发光单元的结构完全相同,因此不会出现CRT显示器那样存在某些区域聚焦不良或因使用时间过长出现散焦的毛病。
缺点:是价格较高,由于显示屏上的玻璃较薄使屏幕较脆弱。
在充电条件下,液晶能改变分子排列,继而造成光线的扭曲或折射。
液晶显示器工作原理是通过能阻塞或传递光的液晶材料,传递来自周围的或内部光源的偏振光。以电流刺激液晶分子产生点、线、面配合背部灯管构成画面。
LCD比CRT显示器具有更好的图像清晰度,画面稳定性和更低的功率消耗,但液晶材质粘滞性比较大,图像更新需要较长响应时间,因此不适合显示动态图象。
显示器必须依靠显卡提供的显示信号才能显示出各种字符和图像,显卡是连接显示器和个人计算机主板的重要设备。
根据CPU提供的指令和有关数据进行相应的处理,并把处理结果转换为显示器能够接受的文字和图像显示信号,通过屏幕显示出来。
显卡BIOS芯片、图像处理芯片(GPU)(核心)、显存、数模转换器芯片(RAMDAC)芯片、接口。
将数字图像或视频投射到幕布上的设备。
从数字信号到光信号的转换设备。
根据投影仪的工作方式不同,主要分为CRT型、LCD型及DLP型三种不同类型的投影仪,而其中LCD投影仪与DLP投影仪又是目前商用投影仪中的主流。
打印机是目前非常通用的一种输出设备,其结构可分为机械装置和控制电路两部分。
常见的有针式、喷墨、激光打印机三类。
打印分辨率、速度、幅面、最大打印能力等是衡量打印机性能的重要指标。
3D打印机又称三维打印机,它以数字模型文件为输入,运用特殊蜡材、粉末状金属或塑料等可粘合材料,通过打印一层层的粘合材料来制造三维的物体。
3D打印机与传统打印机最大的区别在于它使用的“墨水”是实实在在的原材料,可用于打印的介质种类多样,从繁多的塑料到金属、陶瓷以及橡胶类物质。有些打印机还能结合不同介质,令打印出来的物体一头坚硬而另一头柔软。
分为喷墨式,熔积成型,激光烧结三种类型的3D打印机
语音作为一种重要的交互手段,日益受到人们的重视。
又称三维空间传感器,是一种能实时地检测物体空间运动的装置,可以得到物体在六个自由度上相对于某个固定物体的位移,包括X、Y、Z坐标上的位置以及围绕X、Y、Z轴的旋转值(转动、俯仰、摇摆)。称为“非接触式传感器”。
在虚拟环境中,操作者通过数据手套可以用手去抓会推动虚拟物体,以及做出各种手势命令。
手指触觉反馈器的实现主要通过视觉、气压感、振动触觉、电子触觉和神经模拟。
通过立体摄像机获取具有细微差别的左右两组图像,然后通过相应的3D显示技术分别播放给人的左、右眼以模拟人在现实中观察物体的情形,从而在人脑中呈现虚拟的立体场景。
主动式立体模式和被动式立体模式。
主动式立体模式常用于立体电视及立体投影仪设备,对应用户的左右眼影像将按照顺序交替显示,用户使用LCD立体眼镜保持与立体影像的同步,这种模式可以产生高质量的立体效果。
被动式立体模式常用于影院环境,需要使用两套显示设备以及投影设备分别生成左右眼影像并进行投影,不同的投影分别使用不同角度的偏振光来区别左右眼影像,用户使用偏振光眼镜保持立体影像的同步。
头盔式显示器(Head Mounted Display,HMD,)是一种立体图形显示设备,可单独与主机相连以接受来自主机的三维虚拟现实场景信息。
分类:单通道和双通道。
投影拼接融合是指将多台投影仪所投射出的画面进行边缘融入,显示出无缝、大幅面、高亮度、高分辨率的整幅画面,为观众提供全沉浸式的观看体验及多用户参与的交互体验。
根据拼接融合方式,分为:手动拼接融合和自动拼接融合。
手动拼接融合的步骤:
手动拼接实现简单,拼接效果可控;但是手动拼接系统需要专业人员操作,拼接耗时,且拼接效果取决于操作人员的主观判断。
通过目标 (Goal)、操作 (Operator)、方法 (Method) 以及选择规则 (Selection) 四个元素来描述用户的行为。
GOMS是在交互系统中用来分析建立用户行为的模型。它采用“分而治之”的思想,将一个任务进行多层次的细化
作为一种人机交互界面表示的理论模型,GOMS是人机交互研究领域内少有的几个广为人知的模型之一,并被称为最成熟的工程典范,该模型在计算机系统的评估方面也有广泛的应用。
国际标准形式描述语言,适于描述具有并发、交互、反馈和不确定性等特点的并发(concurrent)系统中的行为。
开始作为一种描述网络协议的语言,由于交互系统、特别是多通道交互系统有并发系统的特点,因此成为用来描述交互系统的行为模型。
T1 ||| T2(交替Interleaving)
T1和T2两个任务相互独立执行,可按任意顺序执行,但永远不会同步。
T1 [] T2(选择Choice)
需要在T1,T2中选择一个执行,一旦选择某一个后,必须执行它直到结束,在这中间另一个再无执行机会。
T1 | [a1,…,an] | T2(同步Synchronization)
任务T1,T2必须在动作(a1,……,an)处保持同步
T1 [> T2(禁止Deactivation)
一旦T2任务被执行,T1便无效(不活动)
T1 >> T2(允许Enabling)
当T1成功结束后才允许T2执行
GOAL:中国象棋
[>:
GOAL:运行
|||:
*GOAL:走棋
ACTION:自动记录棋谱
>>:
GOAL:当前方走
>>:
OPRATOR:拾取棋子
OPRATOR:放置棋子
GOAL:对弈方走
>>
OPRATOR:拾取棋子
OPRATOR:放置棋子
*GOAL:打谱
[]:
OPRATOR:加速
OPRATOR:减速
OPRATOR:暂停
OPRATOR:恢复
GOAL:退出
LOTOS最大的优越性在于可以构造一套现成的自动化工具,利用这些工具,可自动进行错误检测,但它过于形式化的记法比较晦涩难懂。
UAN—User Action Notation
UAN是一种简单的符号语言,主要描述用户的行为序列以及在执行任务时所用的界面物理对象。
尽管UAN属于一种行为模型,但作为一种任务描述语言,它又涉及一定程度的系统行为的描述,因而它兼有行为模型和结构模型的一些特点。
预定义一些标识符
采用一种表格结构来表示任务
任务:任务名称 | ||
---|---|---|
用户行为 | 界面反馈 | 界面状态 |
界面被分解成一些类似层次结构的异步任务,每个任务的实现都用表格来描述,用户动作的关联性和时序关系由表格的行列对齐关系和从上到下、从左到右的阅读顺序来确定。
UAN模型更接近于实现,界面状态和界面反馈用一般的程序语言描述,实现起来比较方便,当然这种描述由于接近于程序语言,因此设计时需要一定的编程基础
UAN模型在精确刻画各成分之间的各种平行和串行的时序关系方面尚显不足,任务之间的时序关系没有明确表示出来,当所描述的界面使用多种输入设备和有若干可选交互路径时,比较繁琐。
任务分析(GOMS) --> 逐步精化(LOTOS) --> 原子任务说明(UAN)
可以考虑将GOMS、UAN、LOTOS中模型结合为一个预测行为模型:G-U-L模型。
G-U-L运用GOMS原理为基础进行任务分解,建立基本的行为模型,原子操作由UAN模型描述,在此基础上,运用LOTOS算符来表示任务目标之间的时序关系。
在G-U-L模型中没有加入规则,在表示目标之间的关系中也未考虑同步。这主要考虑到规则的转换要涉及到推理、建立知识库等问题,而同步的问题的描述和转换也非常的复杂,这会在工作的初期造成非常大的困难。
形式化语言的描述,这种结构的方法从理论上可以引导界面设计者及界面工具的设计者进行有效的设计。
又称为上下文无关文法,将人机交互对话看作是一种语言,运用基于语法的方法来描述交互对话。
产生式规则是一种形式化语言,这些规则可用于描述人机交互界面。产生式规则的一般形式是:
if condition then action
这些规则可以表示为不同的形式,如
condition → action
condition:action
规则定义的顺序并不重要,只要与规则中的条件相匹配,就可以激活相应的动作。产生式规则系统可以是事件引导的,也可以是状态引导的,或者两者都有。
用户事件(user event),Sel-line表示从菜单中选择line命令,C-point 和D-point表示用户在绘图平面上单击和双击鼠标
内部事件,用于保持对话状态,如start-line 表示开始画线后的状态,rest- line表示选择了第一个点之后的状态。
系统响应事件,以尖括号表示可见或可听的系统响应,如
,把菜单项’line’ 高亮度显示,
表示在屏幕上显示直线,
表示橡皮筋绘制方式打开,
表示橡皮筋绘制方式关闭。
状态引导的系统在系统内存保存的不再是动态的随时进出的事件,而是一些表示系统的当前状态的属性,这些属性在不同的时刻有不同的值。
有的对话过程比较适合于事件引导方式,有的对话过程适合于状态引导方式,当然也可以将两者结合起来,例如采用下面的形式:
event: condition → action
来描述一个产生式规则,事件用来计划产生式规则,如果条件不满足,即当前系统内存中的状态和产生式的规则不匹配,则无法激活规则,另外当状态改变时,产生式规则中的action本身也可以产生新的事件,从而可以激活另一条规则。
用结构化的方法来描述人机交互的一般过程,是一种图示化的结构。
状态转换网络(STN)的基本思想是定义一个具有一定数量状态的转换机,称之为有限状态机-Finite State Machine(FSM),FSM从外部世界中接收到事件,并能使FSM从一个状态转换到另一个状态。
当发生一个外部或内部事件时,系统就会从一个状态转换到另外一个状态,这称为状态转换。
外部事件主要由用户操作外部输入设备来产生,内部事件可以是系统产生的事件,如时钟事件,也可以是为了改变系统的状态和行为而产生的事件,如当一个任务完成后可以激活另一个任务等。
一个状态转换与一对状态相关联。
一般的系统具有很多个状态,假设系统由n个状态组成,状态之间的转换最多可能有n*(n-1)个。
状态转换网络比相应的文本解决方案更易于设计、理解、修改和文档化,它给出了对行为的精确的、甚至是格式化的定义。
存在着一定的局限性,一个最大的缺陷是需要定义出系统的所有状态,这对于小型的系统是没有问题的,但是在一个较大的系统中,系统会很快崩溃,状态的数目是呈指数级增长的,同时状态的增长直接导致了状态转换网络过于复杂、无法实际应用。
桌面隐喻是指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力。
在WYSIWYG交互界面中,其所显示的用户交互行为与应用程序最终产生的结果是一致的。
直接操纵是指可以把操作的对象、属性、关系显式地表示出来,用光笔、鼠标、触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程。
移动互联网概念的理解可能因人而异,特别是与无线互联网(Wireless Internet)可能会当成一回事。
从概念上而言,移动与无线是两个不同的概念,
在很多情况下,无线与移动是两个重叠的概念,但在另外一些情况下,这两者又有明显的区别,这也使得移动互联网的概念可以从狭义与广义两个角度来理解。
要求把用户放在第一位。设计时既要考虑用户的共性,同时也要考虑他们之间的差异性。
Web界面设计还必须考虑内容和形式的一致性。其次,Web界面自身的风格也要一致性,保持统一的整体形象。
Web界面设计是设计的一种,要求简练、明确。
只有丰富特色、内容翔实的网页才能使浏览者驻足阅读。特色鲜明的Web网站是精心策划的结果,只有独特的创意和赏心悦目的网页设计才能在一瞬间打动浏览者。
网站首页导航应尽量展现整个网站的架构和内容,要能让浏览者确切地知道自己在整个网站中的位置,可以确定下一步的浏览去向。
T1 ||| T2(交替Interleaving)
T1和T2两个任务相互独立执行,可按任意顺序执行,但永远不会同步。
T1 [] T2(选择Choice)
需要在T1,T2中选择一个执行,一旦选择某一个后,必须执行它直到结束,在这中间另一个再无执行机会。
T1 | [a1,…,an] | T2(同步Synchronization)
任务T1,T2必须在动作(a1,……,an)处保持同步
T1 [> T2(禁止Deactivation)
一旦T2任务被执行,T1便无效(不活动)
T1 >> T2(允许Enabling)
当T1成功结束后才允许T2执行
GOAL:中国象棋
[>:
GOAL:运行
|||:
*GOAL:走棋
ACTION:自动记录棋谱
>>:
GOAL:当前方走
>>:
OPRATOR:拾取棋子
OPRATOR:放置棋子
GOAL:对弈方走
>>
OPRATOR:拾取棋子
OPRATOR:放置棋子
*GOAL:打谱
[]:
OPRATOR:加速
OPRATOR:减速
OPRATOR:暂停
OPRATOR:恢复
GOAL:退出
指特定的用户在特定环境下使用产品并达到特定目标的效力、效率和满意的程度。
这五个方面集中反映了用户对产品的需求,从它们的英文表达上被归纳为五个“E:
可学习性是指交互系统能否让新手学会如何使用系统,以及如何达到最佳交互效能。
不应该让用户感到过分惊奇;用户利用前面交互过程的了解就足以确定后面交互的结果。
指用户依据界面当前状态评估过去操作造成影响的能力,也就是说用户能不能同步地知道交互操作的结果。
在交互中尽可能地提供一些通用的或能够从现有功能类推出来的功能。
在相似的环境下或执行相似任务时一般会执行相似的行为。
灵活性体现了用户与系统交流信息方式的多样性。
用户或系统修改界面的能力。
将人机交互的双方看作是一对对话者,重点是谁是对话的发起人。
任务的执行可以在系统控制和用户控制间进行转移。
要求等量的数值可以彼此交换。
用户使用计算机的目的是达到某种目标。能不能成功地达到目标和能不能对到达的目标进行评估就体现为交互的鲁棒性.
允许用户通过观察交互界面的表现来了解系统的内部状态。
用户意识到发生了错误并进行更正的能力。
反映了系统与用户之间交流的频率。
系统为完成交互任务所提供的功能是否规范。