交互媒体专题设计------《The Wiley Handbook of Human Computer Interaction》

目录

序章

本章的研究起源于威尔士。它在美国生活了6年后于1992年抵达丹麦。丹麦之所以被选中是因为它的福利系统，支持残疾人。这项研究也在瑞典南部（Lund）进行了两年多，从斯堪的纳维亚人的角度来看，该国人民的福利状况与此类似。Carehere欧洲项目源于作者的研究。
激励一个人体验创造、玩耍、竞争、享受和交流等积极的人类特质是这个概念的核心。这些经验的目标是在数字增强的环境中，刺激物可以被选择和控制，以符合该人的个人资料和职业卫生工作者的目标，以该人的进步。授权人们操纵刺激是促使他们深入互动的催化剂。参与者的交互作用从有意识转变为无意识，因此，在所需状态下，交互作用不是有意识的，而是在一瞬间前对刺激操作的自动身体反应。这样的互动和参与者的反应会通知辅导员，即在治疗计划中控制一个疗程的人。从互动中获得定性和定量数据，这些数据为后续数字增强环境的设计提供信息，并进行裁剪和微调，以保持参与者的进步。
作者的研究活动是慈善和自筹资金的，采用非营利/再投资战略，其重点始终是研究和开发设备和方法，以改善受损人员的生活。该策略针对那些最边缘化的人，这样系统适应（根据个人的情况进行裁剪和调整）就可以解决其他参与者在治疗方案中功能更高的问题。下一代健康专业教育也是目标。这一推理包括，要使“行动中”和“行动中”的反思和变化得到优化，以使会议体验（参与者和主持人）以及与之交互的媒体内容的设计和重新设计迭代（如虚拟现实、游戏、听觉反馈，如本章所述的机器人照明）。
未来的工作包括使用数字化来影响测试仪器和方法，并使混合方法的数据结果支持使用评估。
“音响”是1994年赋予这部作品的名称。作者认为“handi-midi”的原名在政治上并不正确，他构想了作品的各个方面，并提出了研究的概念。本章中提到的“个人”是丹麦奥尔胡斯的个人公司从作者的声音研究中获得的一种产品，它构成了分配给个人的专利家族的基础，公司的首席执行官被列为“共同投资人”。个人产品和公司不再存在，也不再是协会。和这位作者在一起。

历史背景

本章重点介绍作者童年时与有严重残疾的家庭成员密切接触而形成的成熟作品。其中一个家庭成员，作者的叔叔，患有严重的脑瘫，几乎不能移动或言语。他不能进食、洗澡或以任何方式照顾自己。他呼吸着，头和眼睛用力地移动着。除此之外，他的运动范围是上身最小的侧向运动，受到严重痉挛的限制。（痉挛与骨骼肌表现改变有关，伴有瘫痪、肌腱反射活动增强和张力亢进，这通常是由中枢神经系统、大脑和脊髓到肌肉的信号失衡引起的。情况表现为人的躯干/四肢非自愿收紧，因此与速度依赖性肌肉张力有关，从而导致运动阻力。）研究发现，通过将叔叔的轮椅肘放在精确位置，可以启动侧向运动（部分“控制只有叔叔一个人。重要的是，他故意在每个休息岗位上施加向下的压力，使得他可以在没有其他人帮助的情况下进行更大范围的运动。
受叔叔对音乐的热爱的启发，作者开始寻找一种通过残差函数控制反馈的方法。生存的质量是通过叔叔被授权自己做一些对他有意义的事情来寻求的。
概念创造、发展与早期实证研究 效果踏板允许创造性的声音自我表达，其中音调变化通常由可移动的5 V运输摇杆组件的行程控制。影响包括音量、引信盒/失真、包络跟随器、八度发生器、超速、反馈/维持、失真、引信、EQ和震颤。混合和匹配多个踏板的信号链顺序在声音着色方面提供了几乎无限的选择；但是，只有在有经验的信号链规划中才能实现优化，该信号链具有知识、技能和链接能力，由于潜在的声音退化和安全考虑（即确保用坚固的电子设备和外壳将高质量的设备环起来）。换言之，这些电子设备传统上允许表演者改变媒体（例如乐器输出或其他音频源，包括通过麦克风发出的声音等）；但是，构建质量会影响优化的性能和增强任何交互的用户体验。
以作者的叔叔为例，轮椅扶手上装有踏板，残存的功能性运动控制着音乐的振幅和音调，从而产生了观察到的授权和有趣的体验。
人的手势控制初始相位效应控制取决于人的手势。对于踏板，通常使用脚进行实时控制，以便手可以自由执行（例如吉他、键盘等）；其他效果设备安装在机架上，带有相关的脚踏板映射，以便进行远程控制。设备“编程”决定所控制的声音颜色，并基于参数变化调整，通常是硬件踏板和机架式设备上的旋钮，然后通过实时手势调整进行更精细的调整。现代音乐软件通常是数字音频工作站（DAW）甚至平板电脑的接口，在那里，图形虚拟滑块、旋钮和其他控制器经常复制硬件设备。然而，即使在最近的系统开发中，当触觉反应明显时，即前馈输入提供与被操纵的内容反馈（即音频）匹配的触觉/触觉反馈时，通过人类手势控制也是首选。有些效果巧妙地“着色”了一个声音，而另一些则使其发生了戏剧性的变化。对残疾志愿者进行的实验表明，除了脚部/躯干之外，还有潜力作为一种工具，通过另一种方法来增强控制能力，从而补充治疗（Brooks，1999年）。
在研究的早期阶段，人类的手势控制发展到了一个阶段。很明显，尽管操作因果关系显示出潜在的可能性，但对设备的访问是有限的，它们必须适应每个人的访问偏好，例如与轮椅扶手的连接（通常会脱落）。除了改善准入的机制外，还明确需要通过从主观观察之外的互动中获益的证据来评估其潜力。
随后的研究调查了无形的传感器接口，这A bespoke红外系统，这是基于gesture‐sensing黏著在个体比传感器只有一个灵活的鹅颈管的重量。这个装配基于锻炼（甚至下两个动作，是很难检测和眼球）和大体的锻炼（如肢体、躯干、全身锻炼）。这些没有反馈的参与者在两个二阶副镜反馈刺激的运动，一个安全的行为和数据源之间变得attainable收到刺激从身体的自然意识的本体感觉和运动锻炼。这个因果循环的被称为人作用神经反馈回路关闭。这可以作为一个“regarded closed‐loop系统”的感觉，“决定”的反应和处理，在冰上进行了《大学通样传入神经元的活动（感觉神经元）的神经元，神经元和传出（运动神经元）。简化，human‐received（sensed sourced）刺激，感知和加工的输入管道的脑样传入神经机制的两个evoke中央神经系统的反应，通过传出神经导管发起行动，两个电机通过信号传输从神经细胞体，神经远离中央紧张系统的外周效应器官（主要的肌肉和凝血。“目的”是一个有趣的方面在这些用例的流程。
了解这种内体机制环路闭合后，人们希望找到一种方法来为生物信号提供资源，以评估系统的使用情况、微调/适应以及其对每个个体的适用性。

从最初的概念评估到定制和商用仪器的系统

选择该系统的原因是，除了能够检测生物信号外，数据还可以很容易地作为MIDI协议映射到数字合成器/DAWS/声卡等。这使得一个人的各种内部电子生物信号能够控制数字内容，例如播放音乐。除了听觉刺激，通过MIDI硬件或软件翻译，信号还可以控制视觉刺激，如视频游戏、动画、照明和机器人设备。体内来源的数据表明，由特定组织、器官或细胞系统（如神经系统）的电位差之和产生的电流变化。除了映射之外，MIDI信息是可伸缩的，并且在当时选择了软件操作码系统max。
生物数据信号从附在身体上的电极获得，例如头部/头皮上特定位置的电极，通过电生理监测方法来记录大脑的电活动，通常被称为（脑电图记录EEG）；胸部区域（也进一步记录肢体脉冲点）。记录心脏在一段时间内的电活动，在这段时间内，电极检测每一次心跳期间心肌去极化引起的皮肤上的微小电变化（心电图或心电图）；以及在肌肉和肌肉群上，电极检测肌肉细胞产生的电位。当这些细胞被电或神经激活时。在这项工作中，重点是手臂的运动，以便可以分析信号，以检测有意识意图或无意识（例如通过痉挛）和激活水平（肌电图或肌电图）的激活。请注意，其他传感器可与肌肉和肌肉群一起使用，在肌肉收缩时，可能需要低频振动来检测肌肉表面的“机械”信号测量，使用加速度计或放置在肌肉中心皮肤上的麦克风。在肌肉收缩开始时，肌肉形状的明显变化导致了信号的大峰值。在这个最初的“尖峰”之后，随后的振动是由肌肉的共振频率下的肌肉纤维振动引起的（机械肌电图mmg）。这项技术具有较高的信噪比，因此最适合在不需要侵入性方法的情况下进行更深层次的肌肉活动分析；靠近眼睛的前额可以检测眼睛的运动（电眼成像EOG）；手指、手掌、脚底可以通过人体的电活性皮肤检测自主神经系统的活动。随着时间的推移，两个位置相近的点之间的电导发生变化，这一变化通过出汗增加而明显，这表明情绪/交感反应和状态（皮肤电反应GSR或皮肤电活动EDA）。检测包括在皮肤表面两点之间发送少量电流，因为汗液中含有水分和电解质，这会增加皮肤的导电性，从而降低皮肤的电阻。所选系统还允许绘制生物数据，以便在各种现代MIDI兼容的硬件和软件上提供听觉数字内容：音符、音阶和控制器（滤波器、效果等）以及视觉数字内容，例如颜色滤波器、形状和其他属性。这种映射可以包括机器人设备（Brooks，2004d，2006）。

由于技术的进步，MIDI不再需要电缆来操作，因为支持无线蓝牙的设备正被广泛使用，请参阅MIDI协会网站（http://www.midi.org）。
因此，视听相关的表演是可以实现的，作者将该系统添加到他的舞台表演艺术曲目中，从而控制舞台灯光、场景、动画、图像、氛围等，以及听觉拼贴和即兴表演。值得注意的是，在这种情况下，性能和组合比被动地允许主体生成信号要多得多。每一件作品都要求对映射和精确控制的内容做出决定，例如在音频域、MIDI缩放和范围、ADSR信封（攻击-衰减-维持-释放）、效果等；在视觉域颜色、混合、效果等方面。在作者的解释中，意图（控制性前馈行为）和非意图（非控制性）之间的平衡是性能的一个固有方面，可以洞察使用的医疗保健方面。特别针对非控制的表演艺术作品，作者创造了密集的信息空间，挑战来自前馈意识思维或反馈刺激的控制，最终在1998年奥胡斯艺术节边缘的一系列名为“墙后”的现场表演中达到高潮。
同样的基于手势的、手势敏感的系统是作者的国际现代艺术展览博物馆以及包括奥运会和残奥会（1996年和2000年）在内的主要国际场馆和欧洲文化之城（1996年和2000年）的中心。参与者的观察没有得到如何执行的指导，因为人们可以分析对授权的各种反应，所以给他们带来了额外的价值。当学习和领导方面变得明显时，在互动装置中观察儿童群体特别有趣。通常，在博物馆等场所，周一是一个“黑暗的日子”，因此行政人员在工作，但该场所对公众关闭。在装置空置的情况下，双方达成了协议，以便与在场的作者一起安排车间和进入装置的通道，供受损人群使用。因此，例如，20名坐轮椅的人可以参加，而不会受到非高跟鞋用户的阻碍，在这种情况下，装置内的许多乐趣和冒险是显而易见的。这种积极参与是工作的一个核心方面（例如，参见从名为“积极动机的缩放区域”的工作中开发的紧急模型部分）。
工作阶段表演、安装、研讨会和展示的每一个与艺术相关的迭代都能深入了解系统的发展及其跨环境使用，主要是在医疗保健中的使用。同样，在医疗保健中的使用使人们对艺术相关的表现有了深刻的认识。因此，“表演”一词用于指人的表演，无论是以舞台艺术家、装置艺术（观众表演的地方）或医疗保健（在患者的人的表现集中的治疗方案中补充传统的治疗干预）的名义。三十多年的研究表明，传统主义者接受这种开放的解释是有问题的。这对艺术和医疗保健行业都是如此，多年来，他们中的许多成员都在贬低这类工作的成就和使用，如果这不符合他们的理解、特定的干预策略和对“绩效”所指内容的解释。许多人实际上拒绝承认这项工作。
尽管如此，一个由感兴趣的知识分子和实践团体组成的庞大网络从许多概念的展示中成长起来，从而导致传播机会增加，从工作中学习，并给予它动力。1998年左右，随着视频游戏被引入到Macromedia（现在是Adobe）Flash动画的midi映射中，人们通过小道消息听到医疗部门的专业人员嘲笑他们在治疗干预中的使用。
回顾过去，放弃这一概念可能很容易，但结果太清楚了，这一点可以通过当代HCI兴趣的增加以及现在与这项工作相关并采用这一概念的许多其他社区来证明。回顾过去，重要的是要指出，控制和非控制性能证明是一个关键的学习平台的商业发明和发展所产生的工作。然而，在研究的康复情况下，生物反馈系统的使用存在明显的局限性。这些限制包括需要考虑患者的舒适性以及EEG如何要求电极和参与者的头皮之间施加电极凝胶以改善信号质量和降低噪声（改善信噪比信噪比）。脑电图电极和系统使用干传感器的最新进展（尽管一些文献表明干传感器不如湿传感器）。生物信号也有不同的峰值剖面（即延迟），在那里相关信号是（和仍然是）一个挑战。在极端情况下，激活肌肉的意图会导致几乎是瞬间的肌电图峰值，而GSR/EDA则会逐渐增加或减少。来自会话的经验还表明，在进入客户端之前，必须尽可能优化环境设置，因为如果由于校准/优化而花费太长时间来启动会话，那么许多严重受损的会话将脱离关联。有些人甚至在安装过程中睡着了。
现代系统意识到需要将生理数据与观察（外部）行为和活动相关联，因此提供同步解决方案，可根据观察者对商定结果的分析要求进行编码。换句话说，数据是同时从不同的生物信号中存档的；但是，在分析中需要考虑指示效应滞后的方差。这里不详细介绍这些高级技术。同样重要的是，创造性使用和自我使用分析（即，引导者自己尝试系统的地方）指导干预，因为需要了解固有的系统知识和可能性以及局限性，以优化解决方案。
基于传感器的系统到源超出内部生物信号定位工作的人类运动跟踪系统可分为内-内、内-外和外-内系统（http://xspasm.com/x/sfu/vmi/publist.html）。
使用的每个传感器都有一个独特的轮廓，因此需要根据上下文、使用和期望的结果来考虑固有的优势和弱点。在讨论基于传感器的系统时，Mulder从1994年开始的分类通常仍然有效：
内部系统是指采用传感器和源的系统（如带压阻式柔性传感器的手套）。传感器通常具有较小的形状系数，因此特别适用于跟踪小型身体部件。虽然这些系统允许捕捉任何身体运动，并允许无限的工作空间，但它们也被认为是突兀的，一般不提供三维世界化的信息。
内-外系统在身体上使用传感器来感应人造外部源（例如，在外部产生的电磁场中移动的线圈）或自然外部源（例如，使用墙壁或天花板作为参考的机械头部跟踪器或在地球重力场中移动的加速度计）。尽管这些系统提供3D基于世界的信息，但由于使用外部源，它们的工作空间和精度通常受到限制，而且它们的形状因子限制了对中型和大型车身部件的使用。
外-内系统使用一个外部传感器来感应身体上的人工光源或标记，例如，跟踪反射标记的光电系统，或身体上的自然光源（例如，基于摄像机的跟踪瞳孔和角膜的系统）。这些系统通常会受到遮挡和有限的工作空间的影响，但它们被认为是最不显眼的。由于遮挡，除非工作空间受到严重限制（例如眼睛运动跟踪系统），否则很难或不可能跟踪小的身体部位。光学或基于图像的系统需要复杂的硬件和软件，因此价格昂贵（Mulder，1994年，第1页）。
在Mulder发表声明后的20多年里，人们可以考虑传感技术、处理和小型化（即硬件和软件的数字工具）的进步是如何影响该领域的。与许多基于传感器的系统一样，如果从经验中获得的知识包括固有约束和挑战的知识，那么可以根据混合和匹配策略设计基于HCI的干预，并考虑系统的优缺点。
图43.2显示了作者自20世纪90年代开始的原始三头传感系统的一部分，该系统由红外传感器创建，红外传感器具有体积轮廓，试图超越仅使用磨损的生物特征传感器。系统模块化（通常，可以使用任意数量的传感器）是解决传感技术概况局限性的一个重要方面。然而，传感器中使用的技术有局限性和局限性，因此选择取决于使用。
MIDI是一种开放信号协议，它不关心感测配置文件是什么（参见图43.3，其中显示了三个感测配置文件）；因此，用于感测人类输入的各种设备可以映射到同一软件中，以影响相同或不同的内容。软件能够调整数据，从而产生创作工具界面的效果，使每个人都能进行裁剪。MIDI虽然是一个过时的协议，但是它的健壮性和高效性，并且对于HCI来说足够快。

基于传感器的HCI系统中的参数变化可以在会话之前或会话之间（“操作中”）以及会话中（“操作中”）发生。行动参数变更决策通常是与医务人员和咨询设计团队共同做出的，以确定会议变更时可用的预设值。此策略允许在治疗程序中对一系列会话进行微调。会议（实际）中的这种变化涉及到一个过程，即逐步通过预先确定的会议预设，逐步挑战并激励参与者达到最佳动机和参与度。行动中的决策通常是由进行干预的引导者决定的；因此，在实际的会议中，在不与参与者失去“联系”的情况下，改变事先定义的可用预设值（行动中）；参与者是直观的，并基于经验将会议活动与参与者概况和进展相匹配，以增加缓解挑战。有关此策略的更多信息，请参见下文。
如图43.4所示的基线系统代表了参与者通常所接触到的会话环境。与咨询设计师和客户服务商合作的团队在初次接触之前制定预期的校准和概况。团队对客户/参与者的了解是至关重要的，因此角色扮演可以使一个单独调整的环境得以准备，同时考虑到目标固有属性（图43.5）。理想情况下，这样的环境，即使是在第一次接触会议上，如果用知识（默契和超越）、技能和能力精心准备，也能使参与者进入并以最小的重新校准开始，以最大限度地激励所有人（不仅是客户或参与者，而且还影响协导员的经验，如Brooks，2005，2.010,2014）。

应急模型：优化激励区（缩放）

在本章所述研究的背景下，在会议期间（即在行动中）进行评估的要求是自适应设计概念的组成部分，以优化干预的迭代调整，包括根据进展和参与者参与、享受和流动状态进行的系统更改。这一行动中模型的标题是“最佳激励区”（缩放见图43.6）；它补充了一个基于递归思考的行动中评估策略，该策略批评并反映了整个治疗计划以及每一个会议的后续会议以及可以实施的可能改进。这两个对齐的模型（见Brooks，2005年、2011年）是在作者先前研究的基础上，随着设备开发和软件集成的发展而发展起来的，实现了一项名为“通信方法和设备”的专利（US 6893407 2000年的原始文件）。
虽然硬件设备（例如感测设备）具有在处理程序的设计阶段应该考虑的优点和缺点，但同样重要的是考虑数字响应内容，其同样具有考虑和约束的挑战。到目前为止，在本章中，数据源已经呈现了主要音频内容的映射。以下陈述说明了音乐和身体之间的联系：
无论音乐是关于什么，它都不可避免地是关于身体的：它总是一种具体的实践。当我们听到一个音乐表演时，我们不仅仅是“思考”，我们不仅仅是“听到”，我们参与到我们的整个身体中。我们制定它。当我们在大脑中处理它们的时候，或者更准确地说，当我们在大脑中处理它们的时候，我们的大脑处理它们的时候，仅仅是在我们的身体图式使之成为可能的程度上（Bowman，2000，第50页）。
然而，在20世纪90年代，对听觉刺激的映射进行了补充，以实现多模式刺激环境，从而可以进行额外的选择和系统调整。
探索互动音频的研究经验清楚地表明，有些客户对其他形式的刺激有个人偏好，而不是单独使用声音。这种偏好在作者早期关于视觉刺激以模拟视频反馈（http://softology.com.au/video feedback/video feedback.htm）形式进行的研究中很明显。这种模拟视频反馈，如图43.7中的上身和图43.8中的手部图像所示，使用输入手势的镜像使参与者进入“他们自己”的创造环境。这项技术与理疗干预有关，但不同于传统的全身银镜，如作者的经验工作所证明的那样，患者被镜像，看到自己的身体被反射，以加强联系，如本体感觉、注意力集中、眼-手协调和自我代理。
为了实现这种形式的模拟视频反馈，患者被放置在特定系统设置（摄像机加反馈监视器）中的某个位置，以便能够通过视觉感知直接关联、影响和相应的控制，从而与一种响应性视觉刺激进行交互，这种视觉刺激是有意识或无意识意图交流的结果。即前馈输入，产生抽象的反应，从而激发参与者的行动。
可以使用各种技术和附加组件来改变交互，以保持在此类模拟视频镜像会话中的参与。作者从20世纪80年代开始对这种模拟技术进行了早期的研究和实验，作为对正在开发的交互式“系统”的补充。
例如，图43.7显示了作者在葡萄牙波尔图Casa da Musica举办的为期两周的年度住宅讲习班中的一个“私人空间”，在该讲习班中，每天有两个上午小组和两个下午小组，每次约20人参加。该设置包括模拟视频反馈，加上RGB照明和一个映射到更改颜色的麦克风。这些研讨会是一系列DVD出版物的主题。

图43.8是Careerhere（http://www.bristol.ac.uk/careerhere/） 欧洲项目的一部分，该项目是根据框架V IST关键行动1资助的，支持与包括残疾人和老年人在内的特殊需要者相关的应用程序，作者在瑞典进行协调。
这就是模拟视频反馈研究的成功，表明了如何使用反映人类前馈输入的直接视觉反馈，研究开始使用响应机器人照明设备（大约1994年），后来还使用Flash软件程序（当时是Macromedia，现在是Adobe）创建手势控制的交互视频。IDEO游戏（大约1998年）。

机器人照明设备的无障碍手势控制

照明设备的使用始于将来自身体姿势的MIDI数据映射到马丁灯光单元。马丁是一家丹麦公司，其总部（当时在里斯科夫）位于作者居住的丹麦第二大城市奥尔胡斯附近（这是马丁随后的总部所在地）。
同意赞助，并涵盖两个阶段：（a）移动后视镜照明装置和烟雾机；（b）最先进的移动头照明装置，三者的倍数，以匹配典型传感器装置，其中每个传感器可与布鲁克斯（2004d）详述的不同照明控制通道（见图43.9）对齐。
为了实现对照明设备的控制，作者于1995年购买了一台elektralite CP10照明编程机架设备，用于将MIDI转换为-DMX。DMX512（数字多路复用）是照明设备理解的“语言”，用于通过控制设备的特定单元地址（ADR）进行编程。通过midito-dmx512转换器，机器人设备控制（在本例中是照明）在作者研究的保护伞下通过感知人体运动实现。通过运动控制灯光的一个元素链接到如何通过MIDI自动跟踪舞台上的表演者的动作。MIDI Show Control（MSC）是一个实时系统专用的MIDI扩展，它使设备能够相互通信和与计算机通信，以便在现场和屏蔽娱乐应用程序中执行控制功能。在这种情况下，作者使用MIDI到DMX转换器上游的cycling74软件max来为每个人定制手势控制（Brooks，2002年）。

除了在康复研究中的应用外，作者在1996年（亚特兰大）和2000年（悉尼）奥运会/残奥会文化活动的两部作品中都展示了照明装置的控制。值得注意的是，这两个事件还举行了一次相关的科学会议，该概念也在医疗保健和康复领域提出。这一概念也在世界各地的其他重大活动中提出。作者与丹麦照明硬件制造商马丁（Martin）合作，马丁赞助了这项研究，以使用本地硬件（来自其国家经销商）来节省运输成本（参见https://www.youtube.com/watch上的“四感”电视纪录片）。V=GTJVCH‐XB2O）。

视频游戏无障碍手势控制

继机器人设备手势控制作为医疗保健和康复的HCI重点干预措施取得成功之后，介绍了基于个人电脑的电子游戏。一个基本的飞行飞机游戏是第一个无障碍的姿态可以导致动画飞机起飞和机动，然后着陆。这是游戏的第一个手势控制。
无障碍手势控制互动游戏通过在研究中引入竞争性挑战，在1998年左右增强了音响治疗干预环境。人们还认为，引入电子游戏将提高辅导人员的选择和潜力，并通过提高社会参与度使会议更加有趣。
很明显，在研究中，竞争的形式是用自己的分数来挑战用户，并提高挑战水平，激励参与者玩游戏，但据报道，参与其中的治疗师/辅导员发现很难在干预中采用游戏。这是由于各种因素造成的，例如与玩电子游戏有关的耻辱（认为这些游戏是为儿童而不是支持治疗干预的一种严重工具/援助）、对形势缺乏控制、认为技术可能会取代他们的工作的信念以及技术恐惧症。
研究中的评估包括治疗师/辅导员对更多控制的渴望，这导致了一个界面，可以方便地调整每个游戏，使其适合每个人。图43.10说明了作者提出了一个基于Flash的游戏，该游戏是为补充获得性脑损伤康复而开发的（作者创建的三个“i3 Light Gobos”也可见）。在右侧屏幕上可以看到水下的游戏环境，线框海豚捕捉鱼的时间、得分和水平细节也包括在内，见图43.11。在左侧屏幕上是开发的裁剪界面，可以更改游戏参数和活动存档。

使用这个游戏进行干预的目的是让治疗师控制一个映射到海豚水平移动的传感器，病人控制另一个映射到海豚垂直控制的传感器。理疗师分享游戏控制的参与为环境提供了额外的支持和价值，并且在双方共同努力实现挑战的过程中，显然在社会互动中发挥了很高的作用。游戏的进展是通过不同的层次和使用身体的不同侧面/不同的手臂（受影响和未受影响）。然而，在治疗师认为合适的时候，患者控制了两个传感器，使两个手臂（受影响和未受影响）一起工作。
上述使用策略利用了辅导员的“即兴发挥”来匹配和优化参与者的体验。这也是一个关键因素，需要在适当的时候教育治疗师和其他医疗保健领域的人这种方法的潜力，而不是因为规则和界限而限制调解员。
作者工作中的人机交互康复和保健课程侧重于创造一种情况，即“对意图的反应是如此迅速和美观，以至于人们忘记了意图传达过程中涉及的身体运动（通常是努力的）（Brooks，2003，2004a，2004b，2004c，2004d；Brooks等人，2002年）。这种情况与我们人类的运动圈有关（见拉班，1963年，第85页）。
图43.12描述了动觉圈中的参与者。手势被捕获，数据被映射到控制可选的多媒体反馈，这是由参与者配置文件（偏好、需求和愿望）和治疗师的进度干预策略目标决定的。这种使用数字内容的干预策略的采用被广泛报道，尤其是在视频游戏中，由于价格合理的自然界面/运动控制器的涌入。
美国和英国的研究人员在2001年访问奥尔胡斯时，看到音响系统（以个人的名义）正在积极评估其在该领域的潜力。这种评估补充了已经获得的专家医疗评估。

结论

除了从暴露于严重残疾家庭成员中获得的经验和隐性知识外，作者的背景还包括就业（1980-1986年），涉及大型主机分布式控制系统（DCS）计算机（即霍尼韦尔TDC-2000）以及家中的个人计算机。在分布式控制系统中，Unix及其配套的网络技术TCP-IP与以太网一起使用。除了在计算机方面的经验外，艺术，尤其是音乐在家庭中也很流行，作者于1978年22岁在当代艺术研究所（https://www.ica.org.uk）展出。此后，其他值得注意的空间和活动展示了他的作品，例如现代艺术博物馆、奥运会/残奥会、欧洲文化之城、纽约的丹麦纽瓦夫等。总之，这些结合的经验导致作者设想了所研究的定制系统——包括专利通信设备和方法。注释的概念包括根据丹麦政府资助的人道主义项目计划（1996-2002）附录1研究的电子健康音响系统。
本章讨论了补充隐性知识的计算机程序设计，以及向那些有障碍的人学习以推进这一领域的可能性。因此，定制系统的设计（例如，见Brooks，1999年）以及早期采用基于手势的商业视频游戏控制器（手持、佩戴或自由站立，通常称为自然用户界面），例如索尼Eyetoy、PlayStation Eye、PlayStation Move；任天堂Wii遥控器、Nunchuk和平衡板；以及微软Kinect）。在索尼、任天堂和微软等主要生产商中，只有后者公开共享开发工具包，以实现第三方编码。在WII设备的情况下，称为“密切关系器”的附加商业软件（http://www.osculator.net）可以对源数据进行映射。该软件还可以映射其他任天堂Wiimote扩展：Motion Plus，吉他英雄世界巡回吉他和鼓，以及经典控制器。它还支持从Wacom平板电脑、3Dconnexion的spacenavigator、传统鼠标和键盘、Tuio开放框架协议和API有形多点触摸表面（如ReactiveVision）进行控制。它还具有高级OSC路由和带有TouchOSC的双向MIDI。也可以使用移动设备（iOS和Android上的移动应用程序）。这样的访问对于开发者能够将控制器映射到内容是必须的，而令人遗憾的是，原始的Beamz激光系统中缺少了一些东西，直到2015年的型号（C1R42；黑色，带红色发光标志）才允许访问公司的专有内容（C1R42只允许触发MIDI音符）。
由于有如此多的二手游戏控制器需要最少的投资来购买，例如任天堂Wii，如果员工有动机探索其对客户的潜力，那么在治疗环境中会有大量的HCI机会。这不是一项金融投资，而是一项可以惠及所有人的时间和利益。
在这项工作的背景下，文化融合是一个学习和理解合作伙伴组织的重要方面的过程，例如，框架、概念、方向、战略和周围文化的要求，以最佳地吸收其实践和价值观，从而优化活动和结果。支持研究人员的文化融合是一项核心责任，领导应将其分配给HCI/音响公司研究人员/设计人员参与合作的组织人员。不幸的是，这一方面很遗憾地缺失了，研究人员的文化融合以及与政策和人员的一致性的主题很少在项目申请或合作协议中列出。

终曲

定性和定量数据收集和分析的混合方法使对结果的跨学科讨论成为可能。因此，应急模型值得进一步研究和研究。
例如，通过在视频游戏中加入互补的响应性和互动性内容，通过数字音乐制作、绘画和机器人控制等创造性表达，更多的参与选择变得明显。审美共鸣也被认为是进一步发展研究的领域（见Brooks，2005、2011；Brooks等人，2002）。不断变化的内容得到了支持，以增加参与度和成就感，同时优化所有参与方（即参与者和主持人）的动机和乐趣。有明确的证据表明，这些方法可以加强创造性康复干预、会议合规性和参与。例如，独立的第三方治疗师研究进一步证明了这一点，结果表明，与传统干预和平衡老年人培训相比，培训特定绩效提高了400%。在研究中，老年虚弱患者能够增加肌肉力量和身体耐力，同时改善静态平衡结果，从而评估临床康复的影响（Hagedorn和Holm，2010年）。

未来期许

本研究已在位于丹麦奥尔堡大学（Aalborg University）埃斯堡校区（Esbjerg Campus）的一个虚拟现实交互设计人类行为分析实验室中进行。在这种环境中，一个2米高×5米宽的背面投影屏幕被用于探测头部跟踪和参与者位置，并针对投影进行了优化。该实验室于2013年拆除，此后的研究重点是移动解决方案，尤其是头戴式显示器（HMD），如Oculus Rift、HTC Vive、HDK OSVR等。
未来的工作包括改进与参与者在设计环境中体验相关的定量数据的来源和交互选项。最近，“in-hmd”脑波（https://myndplay.com）和跟踪/扩张（https://pupil labs.com）设备已经被开发出来，这样就可以收集有关用户体验的生理数据，为环境设计师提供信息，从而实现上述的反复定制/个性化挑战。
该研究还针对ICT的实施，以提高评估测试工具的质量和易用性，同时提高评估测试工具的可靠性和有效性。例如，心理测量学术语中的目标改进“质量”与可靠性、测量误差、时间稳定性、敏感性、特异性、预测有效性以及得出测试项目和获得标准数据的注意事项有关（例如，见Slick，2006年）。

总结

Marshall Amplination，UK；IBM丹麦；Martin Lights，丹麦；Hornberg Research；IK Multimedia；Livid Instruments和TC Electronics对Soundscapes研究机构的当前和以前的赞助表示认可。
 本文本的一些图像和章节构成了研究的三个十年，而这些图像和章节是在Elsewhere和在作者的论文中提出的。在统计学中，这一章的内容在其制作和编译中是原始的。