论文翻译：《一个包容性设计的具体例子:聋人导向可访问性》

 

                                                         一个包容性设计的具体例子:聋人导向可访问性

                                        Claudia Savina Bianchini, Fabrizio Borgia, and Maria De Marsico

 

介绍

       巨大的技术进步使得人机交互(HCI)得到了极大的改善。特别是，访问和使用数字服务和资源的界面的表现力增加了，而最终用户的困难却随着时间减少了。与计算机通信已经从使用穿孔卡片和命令行接口发展到“自然接口”。这可以与从用绳子自由攀爬到电梯，甚至火箭到达高目标的进化过程相比较。事实上，设计用户界面(ui)已经发展成为设计更全面的用户体验(UX)。尽管如此，虽然全球显然可以获得各种数字设备和资源，HCI的研究和实践仍然面临许多挑战。从社会角度看，它最宝贵的成就之一将是使有特殊需要的人充分参与数字世界。目前，我们仍然可以评估导致数字鸿沟的两个主要差距:技术差距和“社会学”差距。前者指的是访问某些启用技术的困难，例如在某些设置中仍然可以观察到宽频带通道。后者指的是特定类别的用户仍然面临的困难。首先，值得提醒的是Prensky(2001)对“native”和“digital immigrants”的区别，这一区别在很多社会群体中仍然存在，指的是那些在新技术出现之前出生并成长起来的人对新技术的适应困难。另一个受影响的类别包括在利用传统人类沟通渠道方面受到某种限制的人。这不仅包括残障人士，也包括年纪较大的使用者，他们的知觉能力可能因年龄而退化。

       自20世纪90年代末以来，已制定和正式制订了便利使用互联网的最佳做法清单。万维网联盟(W3C)通过Web内容可访问性指南(WCAG)文档，对解决一般可访问性问题进行了主要尝试。本文件（《威利人机交互手册》）旨在预测残疾人士的需要，使他们能够自由和独立地享用互联网的内容。事实上，wcag2.0在其摘要中指出，“遵守这些指南将使更多的残疾人能够接触到内容，包括失明和视力低下、耳聋和听力损失、学习障碍、认知局限性、有限运动、言语障碍、光敏性和这些因素的结合的人。”(Caldwell, Cooper, Guarino Reid, &Vanderheiden, 2008)。

       盲人和他们的需求是研究中最常出现的群体。然而，聋人所受的限制往往被低估，因此几乎没有得到解决。(尽管不与聋人密切合作的一些人可能会认为，“聋人”一词在用来指语言和文化上属于少数群体的“聋人社区”时并无冒犯之意;因此，我们决定在整个章节中使用这个术语。这往往取决于一种对自己沟通困难的真正本质的无知或误解。即使在最近几年，许多HCI研究人员仍然认为，用文本代替音频或在视频中使用字幕来满足聋人的可用性需求就足够了。我们将指出，这是如何造成对非常具体的问题缺乏注意的，这些问题必须以非常具体的方式加以解决。在很多情况下，仅仅改变渠道是不够的，重新思考信息的结构也是必要的(例如，波托尼等人专门为聋人设计的e‐学习平台)。,2013)。数字世界为整合提供了独特的机会，但有特殊需求的人可能会失去这些机会（但有特殊需求的人有失去它们的风险。）。当这些需求很少得到重视时，这种风险尤其具体，就像聋人的情况一样。本章旨在提高人们对数字世界中聋人问题的认识，并为更好地包容聋人问题提出全面的解决方案（并提出一个全面的解决方案，以更好地将其纳入其中。）因此，我们将从提供对耳聋问题的理解以及解决这些问题的策略的演变的简短历史开始。之后，我们将简要介绍SWORD(面向聋人的手语资源)的第一个核心的设计和评估，这是一个全面的数字框架，其最终目标是支持聋人利用数字世界的机会。

声乐语言，手语和可及性

       尽管耳聋在世界聋人协会所考虑的残疾名单中排名第二，而且在上面也提到过，但对耳聋特有问题的关注已经晚了。1999年的WCAG1.0指南(https://www.w3.org/TR/WCAG10/)主要处理音频内容的标记和转录，忽略了与手语相关的替代方法。唯一提到的是可能的视频管理。在实践中，我们的建议是在音频内容的基础上增加字幕，如果可能的话，将其翻译成SL（Sign Languages）。当然，这些指导方针是由解决聋人可及性问题的真诚努力而制定的。然而，它们在一定程度上揭示了一种误解，即认为音频内容的书面转录足以支持聋人用户。正如我们将要强调的，文本是与语言紧密相连的，它依赖于与聋人发展起来的语言结构不同的底层语言结构。因此，即使在日常交流中，这也给他们带来了一些困难。2008年WCAG2.0指南(https://www.w3.org/tr/wcag20 /)代表了对聋人需求的逐渐提高的认识，并更好地解决了这些问题。例如，成功标准1.2.6规定，“所有预先录制的音频内容以同步媒体类型的形式提供手语解释” 该标准的满意度是获得最高合规性水平（AAA）所必需的。这引发了一场辩论，即视频或相关技术究竟能在多大程度上真正解决聋人遇到的所有可访问性问题。这就开启了关于视频或相关技术在多大程度上能够真正解决聋人遇到的所有无障碍问题的争论

        在任何情况下，WCAG指南都不足以授予它们所要实现的导航自主权。这在文件中明确指出:

            请注意，即使是符合最高级别（AAA）的内容也不会被所有类型、学位或残疾组合的个人访问

            […]鼓励作者[…]就当前最佳实践寻求相关建议，以确保尽可能多地向该社区访问Web内容

         （wcag2.0，2008）。

在探索这些最佳实践的过程中，本章将得到发展。

       一个开始的因素是听力问题人群的异质性，这可以从不同的角度来考虑:医学、社会文化和语言。从医学角度看，有两种截然不同的标准，即耳聋发病的程度和年龄。从社会文化的角度来看，重要的是要考虑到与“聋人社区”的亲密关系，以及自我认同为“聋人”或“听力受损者”。最后但并非最不重要的是，语言学的观点认为掌握一门声乐语言(VL)和/或手语。在这些支柱中有一些极端的情况。在某一个极端情况下，我们发现有轻微失聪的老年人，他们使用VL进行交流，他们认为自己听得到人的声音，但缺乏一些听力。在另一个极端，我们发现语前聋——那些在学习说话之前出生或变聋的人——用手语交流，却感觉自己聋了。在这中间，我们不得不考虑许多细微差别，如不知道SL的深层语前聋，或使用SL的轻度聋。在大多数语前聋患者中，一个共同的因素确实是他们与VL的关系存在问题，特别是与书面形式的关系。在法国起草的一份报告(Gillot, 1998)强调了80%的早期失聪的人被认为几乎是文盲，尽管他们上过学;这个百分比同时适用于手语者 (使用SL)和口语者(仅使用VL)。简而言之(感兴趣的读者可以参考Goldin - Meadow, 2001)，问题在于失聪儿童从小缺乏接触VL的机会。这就产生了一个缺口，无论是否可能接触到SL，它都决定了VL的不完整获取。由于严格的认知/语言关系，这种不足反映在书面文本的产生和解释上。事实上，聋人倾向于通过语言的组织来反映他们对世界的视觉组织。由于这一特点，他们发现学习和掌握VLs都有很大的困难，即使是以书面形式(Perfetti & Sandak, 2000)。此外，即使聋人成功地掌握了VL，处理VL内容对他们来说可能是一项相当累人的任务，除非是短时间的。事实上，可以观察到大多数人更喜欢使用SLs进行交流(Antinoro Pizzuto, Bianchini, Capuano, Gianfreda， & Rossini, 2010)。因此，仅使用书面VL来处理面向聋人的可访问性问题是非常不现实的(Borgia, Bianchini， & De Marsico, 2014)，任何基于VL的解决方案(VL字幕和转录)来克服数字鸿沟很少能完全解决问题。换句话说，基于字幕的无障碍设计可以满足在获得语言和语言(语后聋)后变得聋的人的需求。然而，与语前聋相关的问题的治疗很少而且效果不佳。考虑到文本信息在大多数应用程序中的重要性，以及全球网络中书面交流的重要性，聋哑人文盲与我们的目标更加相关。事实上，尽管多媒体内容在不断增加，但文本仍然是互联网内容传播的主要方式;甚至在像YouTube这样专门针对视频内容的网站上，我们可以看到标题、描述、评论，以及几乎所有的搜索工具都主要基于文本。

       综上所述，我们可以提出，聋人群体的异质性必须反映在可及性的各种选择上:“晚期”聋人的字幕，以及语前或早期聋人(无论是手语者还是口语者)的替代解决方案。重要的是要考虑到手语者对SL的偏好，以及口语者在使用VL时遇到的困难，尽管这是他们唯一的语言。不幸的是，据我们所知，目前还没有一种被普遍接受的工具，可以根据我们提到的所有因素来描述失聪的人。但是，可以在特定的应用领域找到一些有趣的例子，比如e‐learning (Salomoni, Mirri, Ferretti， & Roccetti, 2007)。

       虽然我们使用单数表达“手语”，但我们指的是一类语言，而不是一种独特的语言。遗憾的是，与VLs一样，SLs在符号的使用上也存在国家和地区的差异。然而，由于这些语言具有很强的感知基础，使用不同手语的人仍然能够比使用不同VLs的人更好、更快地相互理解。事实上，后者通常根本不理解对方，往往用手势来帮助沟通。在这项工作中，我们将更密切地关注聋人手语者的情况。首先，我们将展示SL的特性，它缺乏(普遍接受的)书面形式所带来的问题，以及为什么签名视频不足以提供与脚本提供的可访问性相媲美的可访问性。然后，我们将展示为SLs的图形表示而创建的不同系统，最后，我们将提出我们的解决方案。它需要使用两个软件工具，这两个工具被设计成更全面的框架的一部分。

近距离观察手语

       SL是一种语言，它使用视觉-手势通道来传达在VLs中通过声音-声音通道表达的全部意义。如上所述，它不是所有聋人使用的语言。然而，SL利用了完整的视觉通道，以及相关的认知和交际结构，使其更容易被他们所理解。SL未能在语前或早期失聪人群中得到更广泛的传播，主要是由于历史和文化因素(Stokoe, 1960年提供了《失聪教育简史》)。事实上，自古以来，哲学家们就对思想和语言之间的联系提出了质疑，他们经常争论说，没有语言就等于没有思想(因此最近出现了“聋哑人”这个短语，在这个短语中，“哑巴”既意味着“不说话”，也意味着“愚蠢”)。从文艺复兴开始，一些教师开始思考聋人教育的策略。由此产生了两种学派:一种是以前传播最广的学派，即“口语学派”，它不惜一切代价地集中精力教授聋人的口语，训练聋人通过唇读和讲话进行交流，但常常以牺牲内容为代价；第二种是“手语”派，倾向于利用SL进行交流，充分提供教学内容，往往忽视了口语VLs的教学。当然，后者是基于这样一种观察:聋人天生使用一种视觉手势交流系统，其目的也是为了教育。18世纪下半叶，重剑方丈在巴黎建立了第一所聋人学校。它开发了一种基于SL的教学方法来代替口语交流，并使用法语书面与社会其他部分进行交流。

       然而，伴随着这场聋人教育的革命，一些人提出了严厉的批评，他们认为聋人儿童应该学会说话，而不仅仅是写字。经过一个半世纪的争论，米兰聋人教育大会于1880年批准了一项在聋人教育中禁止使用SL的禁令，并宣扬“手语扼杀语言”的口号。这些决定的后果或多或少取决于国家，但整个聋人教育领域都受到了影响。例如,在法国,方丈de l 'Epee,必须等到1977年取消禁令, 直到1984年才为少数聋哑学生建立双语学校，直到2005年才制定残疾人可及性法律，批准使用SL的权利。在美国，尽管SL不受米兰大会的影响，并被认为是这方面的先驱国家,但SL在国家层面上被认为是一门“外语”或者充其量是一门“教育语言”。支持SL和反对SL之间的讨论仍在议程上，而且在没有关于SL承认的法律的情况下(比如在意大利)，这种讨论尤其激烈。

        这些教育讨论与语言谩骂结合在一起。直到20世纪60年代，美国语言学家威廉·斯托科(William Stokoe, 1960)的著作才首次对SL的语言结构进行了分析，这些研究最终使SL进入了许多VLs那样的“真实语言”的奥林匹斯山。斯托克和他的继任者的想法是基于寻找SL和VL之间的共同特征。这种方法能显示SL的语言特性。然而，它仅限于极少数具有与VL严格相似的语言特征的符号: 它们是手语，即孤立的手语，可以在SL词汇表中列出，并且很容易用一个VL单词翻译。这些作品的另一个限制是，它们专注于SL的手工组件，这限制了对该语言充分表达能力的探索。从20世纪80年代开始，Christian Cuxac和他的同事在隐含地假设SL属于“真正的语言”之后，开发了一种不同的模型——所谓的“符号模型”(Cuxac, 2000;Cuxac & Sallandre, 2007)。研究者这样做的目的是想表明，尽管SL呈现出与VLs截然不同不同的特征，但它被认为是一种真正的语言，具有与VLs相当的丰富性和表现力。差异是由于使用视觉-手势通道，而不是声音-声音通道。Cuxac(1996, 2000)关于LSF (French Sign Language)中的象似性的研究集中在符号的非手工成分上，这些成分在SL的许多语言结构中都是至关重要的。Cuxac证明了SL中的信息也可以通过眼神、面部表情和肢体动作来传递。该研究随后引发了对其他手语的类似调查，如Antinoro Pizzuto对意大利手语(LIS)的研究(Antinoro Pizzuto, 2008;Antinoro Pizzuto, Chiari， & Rossini, 2010)。根据符号学方法，无论其国家变体是什么，SL都有两种表达概念的方式，(Cuxac & Antinoro Pizzuto, 2010):

•“词法单位”(LUs)，即Stokoe分析的符号词，使用单个VL单词即可轻松翻译; LUs的主要特征是手工生产组件(配置、方向、位置和单手移动);

•“高度标志性建筑”(HISs)，即，具有高度标志性内容的复杂结构，单个VL单词无法翻译;一般来说，一个HIS对应多个单词，有时甚至对应整个SL句子(见图33.1)，是通过手的位置、面部表情、注视方向等人工和非人工成分共同作用产生的。

        一些研究人员仍然对HISs的语言价值存在争议，认为它们仅仅是对LUs的一种模仿手势的补充。然而，应该强调的是，尽管SL词典中几乎所有的孤立符号都是LUs，但有几位研究人员(包括Cuxac & Sallandre, 2007;Antinoro Pizzuto, Rossini, Sallandre, & Wilkinson, 2008)的研究表明，SL叙事中95%的符号是HISs(而不是LUs)，这使得人们有可能坚定地质疑任何怀疑其语言特征的立场(除非人们接受一种95%是非语言的语言的存在)。

       在HISs的产生中,发音器的多样性(双手、身体、面部表情、眼睛等)使SL成为一种具有多线性和同时性的语言。在实践中，VL生成的一维表达式要么沿着时间(口语)发展，要么沿着空间(书面)发展。不同于VL, SL表达式沿着4个维度发展的:3D空间和时间。这些特点使得从SL到VL的“逐字”翻译符号无法实现。还应该指出的是，即使是一个国家的SL句法结构也不符合地方语的句法结构。例如，“John give a flower to Mary”这句话将通过在空格A中 放置John的符号，在空格B中放置Mary的符号，并使用“to present ” (鲜花或球可能采用不同的手工形式)的符号从A移动到B。

 

 

                               图33.1 (a)来自语料库“LS Colin”(Cuxac et al.)的法语手语。(2002): lex - Unit [HORSE];

                             (b)极具标志性的马群结构。资料来源:Garcia and Sallandre(2014)图11,p. 249。使用许可。

        SL的最后一个关键特征是，它是一种尚未开发出为全国或全世界大部分聋人社区所接受的书写系统的语言。这种特征并不罕见，因为只有10%的世界语言(然而，90%的世界人口使用这种语言——lewis, Simons， & Fennig, 2015)拥有自己的书写系统。与其他仅使用口语的语言的根本区别在于，所有的VLs都可以用国际音标(IPA)来表示，而IPA是通过声道来表示的。这对于SL来说是不可能的，因为它与这个通道是完全分离的。换句话说，SLs的特异性不允许有一个等效的解决方案，因为它缺少一种原子发音元素，而原子发音元素的作用与口语字母相同。此外，由于多线性、同时性和象似性的特点，使得基于IPA的SL系统难以(如果不是不可能的话)适应。在本章剩下的部分中，我们将概述尽管存在这些困难，但已经尝试克服SL图形表示问题的不同系统。为了描述这些系统，有必要事先介绍和解释一些语言术语，这些术语在其他领域通常不具有相同的含义，如“转录”和“写作”。

•“转录”是使用图形系统来表示口语或手语作品中出现的语言现象;国际音标（IPA）可以用来表示一种语言的音素，可以捕捉和分析语音产生的每一个细节;同样地，SL的图形系统应该捕捉手语者为了传达某种意义所做的每个动作;正是为了实现这一目标，我们下面讨论的系统才得以开发。

•“写作”有许多有效的含义，但我们要考虑的是，它是一种通过语言的图形表示来产生语言的行为;与抄写相反，书写是一种直接的语言实现，而不是先前作品的图形化转换;我们将研究的所有系统，除了手语书写(Bianchini, 2012;(Sutton, 1995)——这是所讨论的软件的基础——被设想为编写SL。

       不仅缺乏SL的书写系统;也缺乏合适的转录工具。必须强调,语言研究者,SL的图示是一个真正的挑战,顺利超越可访问性的问题: 事实上，解决这一问题将是迈向语言结构科学研究新领域的第一步，对“纯”语言学和教育学都具有重要意义。因此，我们将讨论的工具的主要目标是允许聋人用户在界面和数字资源中找到并使用他们喜欢的语言。此外，产生有效工具的副作用也会促进语言研究。

展示/沟通数字化策略的例子

聋人资源

       如上所述，长期以来，SLs一直被认为是一种纯粹的模拟通信形式。因此，它们作为一种完整语言的地位也一直受到质疑，尽管这一点并没有被完全否定。长期以来，这一厚重的历史遗产以两种方式制约着研究和设计:一是阻碍人们理解聋人在声乐语言的真实问题，二是延迟寻找有效的沟通策略来支持这些问题。这既影响教育进程，也影响最近进入数字信息世界的机会。由于缺乏对VLs和SLs之间的深层结构(认知)差异的认识，也产生了这样一种错觉，即仅通过书面文本替换听觉信息就足以填补纯粹的感官空白，就像前面讨论WCAG指南时提到的那样。如上所述，大多数应满足聋人需求的可访问性指南的主旨仅限于文本标题和音频内容转录(Fajardo, Parra, Canas, Abascal， & Lopez, 2008)。这种做法意味着，无论系统上的资源(网站、应用程序等)在何处(音频或视频剪辑)利用音频通道，都要提供文本(VL)标题。在这一点上应该很明显，这不是一个解决方案，因为手语者和那些受口头技巧影响的人，在口头和书面语言上都会犯类似的错误(Antinoro Pizzuto, Bianchini等)。,2010)。另一方面，尽管SLs对其结构的理解有了进步，但仍然没有形成自己的书写体系。这是造成一种涉及聋人的特殊数字鸿沟的主要原因，这种鸿沟仍然严重限制了提供信息的可能性，例如，从认知的角度来看，以“对等”的形式在电子和网络上提供签名内容的可能性。例如，请考虑静态文本和搜索之间的区别:虽然前者可以被SL中的剪辑替代，但是如何支持后者呢?

       因此，聋人在数字世界中也会遇到日常生活中遇到的许多困难。举例来说，在网上冲浪时不可能利用“信息气味”(Chi, Pirolli, Chen， & Pitkow, 2001)。在搜索过程中，每个用户利用与所需信息相关的“语义”跟踪来判断要跟踪哪个链接或浏览哪个站点。所谓的“触发词”，即在这个过程中，用于链接和菜单项的单词是一个基本元素。从聋人的角度来看，这些语义痕迹一般存在于非聋人母语或非聋人母语的语言中，且其阅读能力往往不足;当我们用一种我们可能知道的外语浏览一个网站时，我们也会遇到类似的困难，这些网站的更细微的方面只有以英语为母语的人才能完全掌握。事实上，一些研究(Fajardo, Arfe, Benedetti， & Altoe, 2008)调查并报告了聋人用户在通过文本跟踪收集所需信息时遇到的困难。研究团体对聋人困难的认识逐渐提高，并正在产生初步成果。可及性问题大多与失明等更“严重”的残疾有关，但现在它们也被考虑到与耳聋有关。作为相关问题引发新的兴趣的例子,我们可以提到发表在2008年2月(Efthimiou、Fotinea & Glauert, 2008)的特刊“新兴技术失聪的可访问性信息社会”国际期刊普遍获得的信息社会,和频繁出现的相关论文在人类的人机交互(HCI)会议。相关的研究通常涉及从手语视频中识别SL的面部/手势分析(一篇综述可以在Ong和Ranganath, 2005年找到)，或者涉及手势合成和手语动画，可能通过化身(Elliot, Glauert, Kennaway, Marshall， & Safar, 2008)。值得强调的是，对手语自动分析的研究大多集中在识别连续手语手势的词汇形式上，旨在很好地扩展到大词汇量。然而，“成功地识别词汇符号并不足以充分理解手语交际。导致符号外观系统性变化的非人工信号和语法过程是这种交流的组成部分，但在文献中却很少受到关注”(Ong & Ranganath, 2005)。显然，这种悲观的观察是指大多数计算机科学家所追求的目标，他们研究这个问题的目的是建立一种自动的界面，能够作为聋人的翻译。然而，这方面的大多数努力都必须面对一些技术和概念问题。声乐语言和手语之间的完全直接翻译必须克服上面讨论的将一维(口语)流映射到4D(空间和时间上的符号)流的问题，反之亦然。自动解释SLs，特别是双向解释，是一个即使不是不可行，也仍然难以实现的目标:

       为使失聪人士能够随时获得信息和通信技术(ICTs)，后者必须在SL中可用——必须包括中间语言接口。如果这些应用程序可靠并且尊重SL的特性——使用空间和象似性作为语言的结构原则，那么这些应用程序将被聋人用户所接受。在开发ICT应用程序之前，有必要对这些特性进行建模，既可以分析SL视频，也可以通过手语化身来生成SL消息(Braffort & Dalle, 2008)。我们可以得出这样的结论:自动翻译和“翻译”在目前都是一种幻想。

       文献中提出的建议没有那么雄心勃勃，但可能更有效，即使用录制的视频，而不作任何自动解释的尝试。总的来说，尽管W3C做出了努力(Caldwell et al.)， SL在数字世界的广泛支持还远未实现。在为数不多的例外的情况中，可以提到Dicta‐Sign项目(Efthimiou et al.， 2010)。视频，更具体来说的手语视频，通常是SL包含的最广泛的技术。具体来说，有手语的视频是一个或多个制作手语的人的视频片段。在这方面，一些研究项目已经开发了一系列技术，允许聋人通过不同形式的面向聋人的超链接访问数字信息(Fajardo, Vigo, Salmeron, 2009)。一个看似简单的想法是认知网络项目的基础(Fajardo, Parra等)，其中提出了两种不同的技术来为网页配备支持导航的SL视频。在第一种技术中，视频帧位于页面的底部，当用户将鼠标移动到链接上时，视频帧开始相应的SL序列。在第二种技术中，在每个超链接中包含一个鼠标悬停‐激活的带手语视频。两项测试表明，聋人使用第二种技术可以更有效地导航。其他更先进的方法旨在使用专用SL生成数字内容。例如，信号链接系统(Fels, Richards, Hardman， & Lee, 2006)引入了一种具有嵌入视频中的超链接的交互模式。它们被定义为符号链接。每个信号链接跨越视频中的一个时间窗口。图标通常表示链接的存在。当图标出现时，用户可以选择是跟随链接还是继续观看视频。

       上述方法，以及目前类似的方法，让聋人能接触到数字内容，看起来是有效、技术上明智的、有吸引力的。然而，它们有相同的缺点。即使许多聋人社区最近已经用手语视频取代了书写的许多功能，但这并不总是可行或合适的。例如，Web上的一些典型操作仍然是不可能的，而且在技术上也难以通过视频实现:做笔记、注释Web资源(标记)或在搜索引擎上输入查询。实际上，前面提到的两个操作可以(部分地)得到多模态注释工具的支持(参见Bottoni, Levialdi, Pambuffetti, Panizzi， & Trinchese, 2006)。然而，当涉及到搜索时，尤其是根据预期的“意义”进行搜索时，我们又会遇到与自动口译和翻译相关的所有问题。此外，视频并不是匿名的:任何人只要看一眼视频就能认出作者，除非作者戴着面具。这阻碍了很多人做出贡献。最后，人们不能轻易地编辑或向别人制作的视频中添加更多内容，所以不可能在SL中创建类似wiki的网站(Efthimiou等)。,2010)。总之，视频缺乏书面表达的易用性和多样性。此外，使用手语角色也并非没有限制。基于上述讨论，将文本自动翻译/转换为由化身生成的“令人信服的”签名序列是非常不可行的。尽管文献中有许多论文(见Wolfe等)。(Kipp, Nguyuen, Heloir， & Matthes, 2011)，即使从用户接受度的角度来看，仍然还有很长的路要走(Kipp, Nguyuen, Heloir， & Matthes, 2011)。此外，提前进行转换会带来视频的局限性，因为它不能用于网络上的任何正常实时活动。

       我们可以得出结论，自动翻译和“翻译”的尝试还处于非常早期和不成熟的阶段，使用手语视频也存在操作和可访问性的限制。因此为了实现有效的 面向聋人的无障碍设计, 并最终降低数字鸿沟对聋人的影响(Bianchini博尔吉亚,装饰板材,& De Marsico, 2012)，书面SL(SL的信息化)的加入变得至关重要。因此，我们支持在数字坏境方地使用SL的书面形式，以便以合适的手语制作和共享数字文档。这肯定会提高聋人用户的可访问性。特别地，我们的框架是基于手语书写的使用，这是为SL提出的一种书写系统。

文学中SL的书写系统

       语言学家处理语言的传统方法是注释。根据其主要用途，注释是对文本中某个单词或措辞的意思的一种简短的边缘注释。如果文本的语言不同，它既可以用文本的语言，也可以用读者的语言。因此，注释也是用另一种语言书写一种语言，其中所写的信息就是注释。在SL的情况下，它需要观察一个人一个符号一个符号地签名和书写，进一步包括用各种符号来解释与这些符号相关的面部和身体语法。在实践中，不需要尝试解读，相反转录才是目标。注释是口头语言中添加的标签，用来以一种非常简单的方式表达SL表达的含义。由于它们在语言学家中很受欢迎，长期以来它们一直是表示SLs的一种非常常见的方式，可能还会添加带有字母符号的注释。注释的使用通常被认为是伪符号(Bianchini, 2012)，而真正的表示法形式一直在尝试。这也反映在Wilcox和Wilcox(1997)对美国手语(American Sign Language, ASL)的考虑中，这也适用于任何SL:“Glosses是ASL语素到英语语素的粗略翻译。”然而，读者应该理解ASL注释的存在并不意味着ASL就是英语。读者还应该记住，注释并不是要把这些ASL句子翻译成英语。Glossing SL是指按照在ASL中出现的顺序写下一系列表示符号(它们的“名称”)的英语单词。单词由关于每个符号的形成方式的附加信息进行注释。这些信息包括方向、运动的种类、可能的重复和非人工的特征，并通过一些标准符号来表达，或者仅仅通过描述使用的变化来表达（？？？）。图33.2展示了一个示例：注释上的水平线表示同时存在ASL的元素，而非手动特性在该线的上方进行了描述。

                                                        

                                                                                         图33.2 ASL的注释示例

       应当理解的是，在注释中使用的符号与句子的结构密切相关，例如韵律、语法或重复，而符号形式上的信息则丢失了(见Antinoro Pizzuto, Chiari et al. 2010)。

       设计一个专门针对一种语言的书写系统意味着首先要理解它的内部结构。如上所述，威廉·斯托科(William Stokoe, 1960)是最早认识到SLs是真正语言和其交际潜力的研究者之一。他的开创性的工作仍然提供了大量关于这个问题的见解，因此这本书已经被重印 (Stokoe，2005年)。他在认识SLs的丰富性和表达性方面做出了第一个基本贡献，也是最早用来“编写”它的符号之一。然而，这种表示法有两个局限性。首先，它只关注手势的手动组件。Stokoe的四参数模型的特点是用符号来表示手的形状、方向、相对于身体其他部位的位置和运动。其次，它更适合用于语言研究而不是日常交际。查看图33.3可以很容易地验证这一点。

                                                                                                       (a)

                      

 

                                                                                                       (b)

      

                                                                            (你会看到)熊爸爸在那里看报纸。

                                                   图33.3 (a)美国手语中《金发女孩》中的一段文字 (来自维基百科)。

                                                                  (b)注释同一段(摘自http://scriptsource.org/)。

       最后但并非最不重要的是，Stokoe表示法基本上依赖于对ASL的研究，在这方面，不进行修改就不能完全适用于其他SLs。

       Hamburg符号系统(HamNoSys) (Hanke, 2004)试图更好地保存符号中包含的视觉信息。它是由Hamburg大学的一组研究人员于1985年发起的。它基于Stokoe的四参数模型。每个符号(或单词)都是通过给每个参数赋值来编写的。它的进一步修订试图允许任何服药语言被精确地编写，因此要克服Stokoe表示法的一些局限性。此外，该书写系统还包含一些对非手工特性的支持。这些书写符号可以作为基于unicode的字符集用于各种操作系统，并且可以免费下载。这种语言也是一系列avatar控件的基础。然而，即使是HamNoSys也不是为写出完整的句子而设计的。因此，它在学术上仍然很受欢迎，并经历了四次修改，但它仍然不能作为日常交流的脚本。图33.4展示了符号的一个例子，它也说明了符号缺乏严格的视觉对应关系。

                                                         

                                                                               图33.4符号及其汉诺西符号的转录。

 

       给出符号的含义并不重要，这在不同的SLs中可能是不同的，但是我们可以考虑符号立即唤起符号形状的能力。在这方面，我们可以提到心理学家根据公认的认知与回忆的原则，对两种记忆检索方法进行了区分。认知是指我们识别熟悉事物的能力，而回忆是从记忆中检索相关信息的能力。前者比后者更富普遍，对学习能力有积极的影响。

       VLs的书写系统的基础是学习到的声学对应，而SL的关键是设计一个视觉对应，因为视觉通道是专门用来交流的。当然，给出SL可能的符号的完整列表超出了本章的范围。例如，感兴趣的读者可以参考有趣的网站https://aslfont.github.io/Symbol‐Font‐for‐ASL/

       基于以上考虑，我们考虑了一种符号，它引起了聋人群体和从事SL研究的语言学家的广泛兴趣，即手语书写。

       当然，文字系统的选择是服从于一个人必须追求的目标。从人机交互的角度来看，手语书写被证明是一个非常合适的选择，因为它具有在现代SL书写系统中很少能找到的特性。该系统具有较高的象似性，便于学习和掌握。最后，在日常生活中使用的可能性使其成为广泛传播的理想候选者(Borgia等,2014)。

       手语书写(Sutton, 1977, 1995)是SLs的标志性书写系统。在手语书写中，二维符号的组合被称为符号，用于表示任何SL中可能出现的符号。符号是描述手、脸和身体的位置或运动的抽象图像。图33.5显示了在手语书写中表示“fun”的LIS标志。除了手势的实际意义，以及一些很容易掌握的习惯用法之外，手势产生的即时唤起效果是显而易见的。

                                                           

                                                                       图33.5意大利手语“fun”手势，用手语书写。

       这个系统的高象似性是由于符号本身的形状，它们被设想以一种程式化但准确的方式再现人体上半身的任何运动或位置。手语的特点是手势的三维空间排列和时间结构;同样，页面中符号的空间排列布局也起着核心作用。事实上，它并不是按照顺序排列的(就像VLs的书面形式的字母)，而是由人体所暗示的自然排列。

       由于手语书写代表的是符号的实际物理形式，而不是符号的意义，因此不需要对语言进行音位或语义分析。一个学习了这个系统的人可以“读出”一个不熟悉的符号，就像一个说英语的人可以“读出”一个用拉丁字母写的不熟悉的单词一样，甚至不需要知道这个符号是什么意思。自1996年以来，手语书写标准还建议按照垂直组织方式书写:在列中书写标识，一个列在另一个列的下面。因此，大部分可用的手语文本都是采用这个组织编写的。

       人体从腰部以上所能产生的一系列动作和姿势是巨大的。因此，手语书写所提供的用于记录任何符号的符号集相应地是巨大的(大约30,000个单位)。整套符号被称为国际手语字母表(ISWA) (Slevinski, 2010a)。ISWA通过将这些符号划分为七个类别来组织它们，并遵循一个非常直观的原则来识别它们:每个类别包含人体的不同解剖部分，只有少数例外。每个类别中都存在进一步的区别，即群体和基本符号。这有助于将逻辑和语言组织保持在类别之内，否则这些类别将过于庞大而难以管理。类别、组、基本符号和变体允许为ISWA中的每个符号标识唯一的代码(ISWA代码)。这种编码是手语书写数字化的一个关键因素，因为机器使用13位编码比使用原始的无组织符号要容易得多。

数字手语书写

目标和可用软件

       一支铅笔和一张纸是唯一需要的东西，以生产手语书写使用的符号。然而，历时30年的信息化进程，该系统已经成为数字世界中聋人交流的一种有效手段，这要归功于理查德·格里夫斯(Richard Gleaves)于1986年启动的手语书写计算机程序(Sutton, 1995)，。

      首先，有双语网站或博客(如Frost, 2006)，通过支持VL（英语）和美国手语（ASL），聋人和听力正常的用户都可以访问。此外，与符号视频（？？）不同的是，书面SL的加入还可以创建类似wiki的网站。事实上，ASL Wikipedia的一个项目(Sutton, 2012)目前正在进行中。ASL Wikipedia中的ASL文章是由聋人用户编写的，主要是英语Wikipedia中VL文章的ASL翻译。该项目的目标是提供一种双语、教育和信息工具，旨在“向使用ASL作为日常主要语言的聋人和听力正常的人提供关于世界的信息”(Sutton, 2012)。

       词典和标识数据库是标识书写的在线资源。像SignBank这样的存储库为SL用户提供插图、SL视频和动画的存档。最重要的是，SignBank提供了一种通过查找符号、使用符号书写或VL关键字来查找单词的方法。对于那些每天使用手语的人(尤其是在内容创作方面)来说，不管他们是聋人还是有听力的人，这种数字产品都是一种宝贵的财富。

       最后，大部分的数字手语书写资源主要是通过一种特定的软件，即手语书写编辑器来提供的。这些应用程序是一种工具，可以创建用手语书写的数字符号。换句话说，它们对于手语书写的信息化是至关重要的。许多应用程序是由不同的研究团队开发的。萨顿的官方标识制作商编辑器(Slevinski, 2010b)是最受欢迎的，但也有相当多的替代品，如SWift, DELEGs和手语书写者工作室。大多数数字手语书写编辑器基本上提供相同的功能。尽管不同的编辑器在界面设计和实现上存在差异，但如下的这些功能:

       •搜索属于ISWA的一个或多个符号;

       •将选定的符号插入指定的符号组合区域;

       •以一种或多种格式保存符号。

       总的来说，SL书写系统的信息化带来了不同的挑战。首先，计算机科学家需要设计出一种有效的方法来处理一组符号，这些符号的大小和腰部以上的一系列动作和位置一样大。例如，在设计手语书写数字编辑器时，ISWA集的基数大可能成为应用程序的一个主要问题。如果处理不当，可能会影响逻辑层和显示层。在不受限制地访问数据(符号)和呈现人类可管理的信息量之间，有必要尽可能地接近“aurea mediocritas（中庸之道？？？）”。此外，SL编写系统的组成和组织的底层规则(通常)与VL系统的规则截然不同。例如，符号为用户提供了很高的自由度。没有任何关于组成本身的高级规则:没有对符号中的符号数量、可能的空间排列和相对位置的限制。

数字手语书写编辑:Swift

       在这一节中，我们将介绍SWift (SignWriting fast transcriber) (Bianchini, Borgia， & De Marsico, 2012)，一个由聋人和聋人语言学家、手语使用者和计算机科学家组成的HCI研究团队构想的编辑器。手语书写编辑器很少以可用性作为主要关注点进行设计。在大多数情况下主要目标是为用户提供对符号的无限制访问，并提供必要的功能来管理创建的符号。另一方面，SWift与CNR ISTC (isinstituto di Scienze e Tecnologie della cognizion - institute for Science and Technologies of Cognition)的听力和聋人研究人员密切合作设计，完全遵循以用户为中心的设计(Norman & Draper, 1986)和情境设计(Wixon, Holtzblatt， & Knox, 1990)的核心原则。这两种设计技术都需要最终用户作为设计过程中的主要涉众参与进来。第一种技术需要广泛关注产品最终用户的需求、首选项和限制。这必须在设计过程的每个阶段完成。第二种技术要求研究人员在客户使用产品的特定环境中收集数据，并在设计阶段应用他们的发现。实际上，在为有特殊需求的人设计时，应该有更多的涉众参与(De Marsico, Kimani, Mirabella, Norman， & Catarci, 2006)。这些包括:特定残疾方面的专家，他们可以提出支持这些用户的最佳人体工程学策略;目标应用领域的专家，他们可以建议其他渠道或消息修改，以更好地接触这些用户; 以及专家对有特殊需要的用户的无障碍指南。在为聋人设计可访问应用程序(例如Swift这样的数字编辑器)的用户界面(UI)时，遵循一些特定的要求可能会非常有帮助。以下是这些特定的要求:

       •直观性：减轻用户学习UI的负担，使之简单易懂;考虑到这个目的，每个函数都应该以一种直观和熟悉的方式表示(和工作)。

       •信息最小化:每个屏幕应该显示少量的基本信息，以避免用户界面混乱。

       •外观和感受:图标应该简单、大、熟悉;如果它们的含义仍然不清楚，可以在按钮/链接中嵌入鼠标触发的动画/视频来指导用           户;在UI中处理文本标签对于聋人来说可能比较困难，因此这些元素应该保持在最少(Perfetti & Sandak, 2000)。

       •用户驱动界面测试:UI中的每一个变化(或至少是最重要的变化)都应该与包括应用程序目标用户在内的团队进行讨论和测试;           测试应该包括高级别方面和低级别方面(例如UI中按钮的空间位置)。

       SWift的UI(如图33.6所示)是聋哑可访问UI的一个例子，其设计满足了上述所有要求。和其他数字编辑器一样，SWift也提供了一个区域来编写标识。这种组件称为符号显示;这是一个类似白板的区域，其目的是显示用户当前正在编写的符号。符号是由从字形菜单中拖动许多字形并将它们放到符号显示中组成的。一旦它们被放置在那里，它们就变成可拖动的(可以随意重新定位)和可选择的(用于编辑目的)。与符号显示相比，字形菜单大得多的尺寸可能看起来很奇怪，但是原因很快就会清楚了。

                                                                   图33.6 SWift主屏幕，分为四个功能区域。

       字形菜单允许用户搜索ISWA中的任何符号。一旦用户找到所需的符号，他/她可以将其拖放到符号显示中，将其包含在正在构建的符号中。大多数工作致力于使与字形菜单的交互快速有效。其基本概念是“既然可以搜索，为什么还要浏览?”因此，字形菜单的特点是提供了一个搜索系统，实现了一个完全不同于其竞争对手的方法(Bianchini, Borgia, Bottoni， & De Marsica, 2012)。为了在编写过程中支持手语书写初学者，字形菜单被设计成呈现一个风格化的人形(图33.6)，通俗地称为puppet，作为搜索字形的起点。puppet的目的是通过更直接地选择解剖区域(类别和组)，使查找字形变得更容易和更快。换句话说，它强制识别和回忆。puppte下面的按钮表示与身体部分以外的手语方面相关的符号组，例如重复和接触点。通过选择puppet的解剖区域或下面的按钮，用户可以访问该区域或此类项目的专用搜索菜单。在用户单击之后，puppet和下面的按钮被缩小并移动到左边，但是仍然是可单击的，并与该按钮一起形成一个导航菜单，以返回到字形菜单的主屏幕。这允许从一个区域自由导航到另一个区域。选择区域周围的红色方块提醒用户的选择，就像面包屑一样（？？？）。在菜单的中央，有一个标签和一个图标显示了使用下面的一组框可以使用哪种字形。这些框称为选择框，并在搜索字形时指导用户。它们显示选项组:用户只能按任意顺序从每个选项中选择一个元素，并且每个选项逐渐限制作为对用户搜索的响应而显示的符号集。图33.7了一个例子任意步骤的字形菜单配置都说明了在界面中需要大面积的区域。一旦找到字形，就可以直接在符号显示中拖放它。

 

 

                                                                                图33.7导航支持示例。

       最后,提示面板是一种创新,有别于其他数字编辑器, 因为它实现了SL的原型预测符号组合。Curran,树林,和baillie gifford(2006)等许多研究表明, 在处理数量级为数十的VL字符集时，预测性文本是一种重要的通信辅助工具。很容易理解，它是如何改进与ISWA之类的数万个符号的交互。提示面板通过在组合过程中实时显示一组与用户已经在符号显示中输入的符号兼容的符号来启用预测符号。兼容性是根据已知和已存储的符号数据库中符号的共现率计算和更新的。提示面板中建议的符号可以立即插入到符号显示中。通过这样的操作，用户可以节省从头搜索每个符号所需的工作和时间。

评估聋人用户应用程序的可用性

       评估聋人应用程序的可靠性和可用性在开发生命周期中是至关重要的。与代表应用程序实际最终用户的参与者一起进行测试会话是明智的，但并不总是可行的。对于聋人可访问的应用程序，聋人应包括在参与者组中;在数字编辑器(如SWift)的特殊情况下，有必要在聋人也精通手语的情况下测试应用程序。然而，每当必须满足非常具体的要求才能反映真正的目标群体时，以十为单位的统计样本通常是最好的。例如，SWift就是这样。

        在应用程序可用性评估过程中，选择合适的工具集非常重要。然而，大多数工具都没有考虑到样本是由有特殊需求的人(如聋人)组成的可能性。目前，可用的工具和研究非常有限。可用性测试最流行和有效的工具之一是think‐aloud协议(TAP) (Lewis & Rieman, 1993)。然而，由于失聪的参与者实际上不能“大声思考”，世界各地的不同研究团队采用TAP来包括SL。第一个适应是由Roberts和Fels(2006)提出的，他们对使用基于TAP的协议的聋人用户进行了一系列测试。与此同时，一种被称为“手语思维” (Bianchini, Borgia, Bottoni et al。， 2012年)。手语思维是一种双语(VL和SL)测试方法，因此它既适用于听力正常的人，也适用于聋人。TAP本身在一定程度上中断了用户的注意力流动，因为它沿着不同的轨迹占用了认知资源。然而，积极的一面是可以实时表达自己印象的可能性，而不受最终结果可能带来的偏见的影响。在聋人的特殊情况下，注意力流动的中断就更加复杂了:参与者不可避免地会停止使用键盘或鼠标，因为做出手势需要一到两只手。然而，在不同的动作中，手语是聋人在执行任务时必须进行交流的典型方式，因此这并不影响测试的结果。

       更具体地说，手语思维测试由两个时刻组成。当参与者在电脑前坐下时，欢迎时间就开始了。系统显示一个欢迎屏幕，其中包含一个手语视频(在屏幕的左侧)及其VL翻译(在右侧)。符合TAP规则的问候序列包含:一个简短的谢谢你的参与,一个解释测试的结构和规则,最后提醒关于测试的目的(不是用来测试参与者的技能,而是用来测试软件的功能和可用性)。后者应该帮助参与者在测试中感到轻松。测试时间遵循欢迎时间，它代表了程序的核心部分。参与者需要执行一系列任务来测试SWift的功能及其可用性。如TAP规则所述，在此阶段，参与者被要求书写任何他/她想到的东西。考虑到可能有大量的任务，在可能的情况下，将简单的任务替换为复杂的任务是合适的，以避免参与者感到疲劳。出于同样的原因，参与者可能需要一个关于当前正在进行的任务的提醒。为了满足这种需求，建议设计一个任务列表来指导参与者。创建双语任务列表有几个选项。首先，测试设计人员应该决定是将SL的内容委托给电子设备(带有演示每个任务的手语视频)还是委托给解释器。第二，与第一种选择一致，设备/解释器的特定角色和职责必须明确定义。在这方面，Borgia(2015)观察到，口译员的参与通常比录音解释让用户感觉更舒服。这也是由于直接或间接地询问有关所需活动的问题的可能性，当然，这也增加了正确理解任务的可能性。因此，因此，建议选择一个涉及解释器的选项。鉴于此，有必要进一步定义解释器在测试期间的操作方式。最好的选择之一是让解释器始终提供任务的初始SL翻译。因此，在每项任务开始时，都会向参与者出示一张卡片。卡片包含一个简单、直接的VL问题，用于明确任务。在出示卡片时，口译员将问题翻译给参与者。之后，参与者可以通过翻译作为中介向调查者提问。只有在不影响测试结果的情况下，答案才可能随之而来。最后但并非最不重要的是，聋人通过SL非人工成分的高变异性来表达他们的态度和感受。由于这个特性，在记录测试会话时捕捉用户的面部表情至关重要。在Roberts & Fels(2006)和Borgia(2015)中，试验室有不同的空间设置。

       根据上述准则，SWift可用性评估的参与者样本主要由聋人组成，并进行了手语思维测试。在测试的最后，参与者还被要求填写一份问卷，以评估他们对UI特定方面的主观满意度。该工作选择的工具是用户交互满意度问卷(QUIS) (Chin, Diehl， & Norman, 1988)。就像TAP一样，QUIS也经过了调整，以适应双语测试环境，在VL和SL的原始问题集(以及任何可能的答案)中提出任何合适的问题，并辅以手语视频。

用于标识书写的光学符号识别:SW – OGR

       尽管有不同的研究团队的努力，手语数字编辑器仍然远远不能给用户一个能够模拟手写的简单界面。实际上，任何支持手语文档生成的软件解决方案在很大程度上都依赖于Windows、图标、菜单、指针(WIMP)接口，用于访问应用程序特性和符号组合过程本身。这个问题只是理论上的。即使是使用文字处理程序(拉丁字母-bet)，用户也经常会感到相对于手写文本的生成，复杂性更高，编写时间更慢。鉴于其有巨大的数字符号，这尤其适用于使用手语的人，尤其是聋人。事实上，比起处理数字编辑器(或多或少)复杂的交互风格，使用纸笔方式要准确、快速和舒适得多。因此，设计了新一代手语编辑器 (Borgia等，2014)。能够减轻用户在符号组合过程中，在UI上点击、拖动、搜索、浏览的任何，或至少是大部分的负担。设计者的目的是实现一种尽可能类似于人类在书写或绘画时通常使用的纸笔方式的交互风格。为了实现这一目标，有必要将数字编辑器与另一个软件模块集成(参见图33.8)——更具体地说，是一个光学字符识别(OCR)引擎。此附加模块的目的是将包含手写或打印的手语符号的图像转换为ISWA编码的手语文本。这种技术被称为手语光学符号识别(SW‐OGR) (Borgia, 2015)。

                                                         图33.8具有SW - OGR引擎的新一代手语编辑器组件图

 

       当然，由于WIMP是目前世界上最简单、最常见的界面样式，因此不能完全抛弃它，因为有必要访问大多数应用程序的特性。尽管如此，在手语编写编辑器的核心部分——手语组合过程中摒弃WIMP风格可能是一个有益的选择。

新一代OGR数字手语编辑器的概念方案如图33.8所示;应用程序由以下及部分构成:

        •用户界面，包括两个子组件。

       •数据采集：为用户提供了一种简单的交互风格来编写手语，注重直观(或者更好的透明度)和准确性;此组件还用于收集用户           生成的数据(通常是图像)并将其传递给控制组件。

       •用户点评：在认可后发挥作用;它允许用户进行更正(没有识别是100%准确的)和添加更多的数据。

       •应用程序控制，实现应用的(模型-视图-控制器模式)控制器;在其他任务中，该组件还协调UI和SW - OGR引擎之间的数据             流。

        •SW‐OGR发动机：是该应用程序的模型组件;其目的是对用户手写或提交的所有(或大部分)手语提供快速和准确的识别;识别          的最终产品是图像和包含手语符号的ISWA代码(和坐标)的关联数据文件。

         •数据终结模块，以请求的格式(图像文件、XML文件、数据库条目等)保存用户查看的数据。

       SW - OGR引擎通过仅处理符号的几何和拓扑特征，以及它们的拓扑关系来识别符号文本。这种识别还利用了上下文相关的信息，如对iswa的结构的了解——它的类别、组等等。该引擎有两个用途:首先，它可以嵌入到现有的手语编辑器中，如SWift，以便对手写提供及时的支持，使写作过程更快，更舒适的日常使用。此外，值得注意的是，有相当数量的纸质手写手语语料库存在，它们来自世界各地的不同社区。这些语料库是一种宝贵的资产，如果数字化，它们将变得更加有用。

结论与整合展望

       在面向聋人的可访问性的背景下，支持书面SL的应用程序，无论是数字编辑器还是高度专门化的应用程序(如SW‐OGR引擎)，都不打算脱离现实。在手语编写的具体案例中，手语数字编辑器与SW - OGR的集成前景非常有趣。实际上，观察图33.8中的关系图，可以推断处理UI(和应用程序控件)的应用程序可能是现有的数字编辑器之一，因为所需的特性和应用程序界面基本上是一致的。由于任何涉及数字手语的应用程序都具有相同的手语表示方式，因此集成很容易实现。事实上，数字编辑器和SW - OGR都使用符号编写手语方言(SWML)将手语表示为XML文档。在文档中，每个符号都与其组件符号列表相关联，并将其ISWA代码及其空间坐标存储在符号空间中(如图33.6所示)。因此，可以使用SWift读取和更新SW - OGR引擎生成的文件。这种互操作性是多应用程序框架的基础思想，其目的是使授予写作作为一种通信手段和聋人的学习支持有效地加以利用。这种被命名为“面向聋人的手语资源(SWord)”的框架已经被勾勒出来了(Borgia等人)。目前正在开发中。SWord旨在支持从两个可能的来源获取手语语料库:通过数字编辑器(特别是SWift)组成的用户语料库，以及通过SW‐OGR实现的数字化手语编写语料库(目前正在编写中)。该框架的一个中间目标是使用这些获取方法收集大量的符号，以电子形式存储，并将其分解为符号。这类符号的集合称为结构化语料库(Borgia, 2015)。以这种方式编写语料库的目的是使人们能够识别符号组成中重复出现的模式，并计算有关符号转录形式的统计数据。这些元素对于深入理解SLs的规则至关重要。最终，每个手语书写符号所存储的精确的语言和生产信息可以让计算机科学家使用它们以一种非常准确和令人满意的方式确定一个符号化身的动作和表达。Karpov和Ronzhin(2014)已经采用了类似的方法，实现了一个基于HamNoSys所代表的符号的俄语手语3D受手语化身。通过这种方式，人们可以避免使用书面文本(在SL中几乎不可能自动翻译)来派生avatar行为。使用中间形式的手语作为指导化身的另一个起点，使用手语的人可以在许多活动中得到支持，否则将需要使用VL(例如e‐learning)，即使不直接知道手语。

        最后，从手语视频到手语文档的手势“转换”是整个SWord的计划的最后一步。由于基于计算机视觉的方法在解决这一问题方面存在困难，目前这一步骤还处于非常早期的阶段。这些困难主要是由于手语过程中相关身体部位的遮挡和自遮挡，以及视觉序列的“标记化”。然而，我们坚信，在这个和类似的项目值得付出更多的努力，在数字世界中为聋人提供充分的表达能力。。

铭记

       我们要记住Elena Antinoro Pizzuto和Patrice Dalle，他们以极大的热情、巨大的能力和科学敏感性，推动了关于聋人世界及其迷人语言的研究和辩论。

感谢

       我们感谢CNR ISTC(意大利认知科学技术研究所)的聋人和聋人研究小组，因为与他们合作使我们对聋人问题和敏感性有了更深层次的理解。由于他们的合作，我们的框架正在逐步形成并具有实质内容。

参考文献

Antinoro Pizzuto, E.(2008)。意大利语(LIS)和意大利语(altre lingue dei segni)都属于这一类。在《意大利语言之家》(137-158页)中。意大利威尼斯:Cafoscarina。

Antinoro Pizzuto E。， Bianchini, C. S.。Capuano D。Gianfreda,G。罗西尼，P.(2010)。以聋人为中心的多模态学习环境中的语言资源和视觉交流:需要解决的问题。以语言资源和语义数据支援电子教学工作坊。2010年语言资源与评价会议论文集，第七届国际语言资源与评价会议(第18-23页)。巴黎:欧洲语言资源协会。

Antinoro Pizzuto E。希阿里,我。罗西尼，P.(2010)。代表符号语言:理论，方法和实际问题。《M. Pettorino, F. A. Giannini, I. Chiari & F. Dovetto》(合编)，口语交际(pp. 205-241)。纽卡斯尔泰恩:剑桥学者出版社。

Antinoro Pizzuto E。，罗西尼P，萨安德烈m‐A。， & Wilkinson, E.(2008)。指示语、回指语和高度标志性的结构:美国手语(ASL)、法国手语(LSF)和意大利手语(LIS)的跨语言证据。在《M. de Quadros (Ed.)手语:旋转和阐释过去、现在和未来》(475-495页)。巴西Petropolis: Editora Arara Azul。

比安奇尼(C. S.)(2012)。分析元语言的出现和联合国系统的符号文化:符号书写和意大利符号语言的应用(LIS)(未发表的博士论文)。巴黎第八大学，巴黎。

Bianchini c。博尔吉亚,F。Bottoni,P。， & De Marsico, M.(2012)。SWift:一种符号书写改进了快速抄写器。在G. Tortora, S. Levialdi & M. Tucci (Eds.)，高级视觉界面国际工作会议论文集(390-393页)。纽约，纽约:ACM。doi:10.1145/2254556.2254631

Bianchini c。博尔吉亚,F。， & De Marsico, M.(2012)。斯威夫特是一名手语编辑，在聋人世界和电子学习之间架起一座桥梁。2013年IEEE第十三届高级学习技术国际会议(第526-530页)。CA: IEEE计算机学会。

博尔吉亚,f(2015)。符号语言的信息化:符号书写系统的应用(未发表博士论文)。图卢兹第三大学-保罗·萨巴蒂尔，法国图卢兹。

博尔吉亚,F。， Bianchini, C. S.。装饰板材,P。， & De Marsico, M.(2012)。由一个以用户为中心的编辑器SWift(手语书写改进了快速抄写器)生成手语书面形式的资源。国际语文资源和评价会议-语文资源和评价会议(第3779-3784页)。doi:10.13140 / RG.2.1.5127.6646

博尔吉亚,F。Bianchini C。， & De Marsico, M.(2014)。改善聋哑学生的学习体验:e‐LUX。在C. Stephanidis和M. Antona(合编)的《计算机科学课堂讲稿:人机交互中的通用接入》(第8514卷，221 - 232页)。柏林:施普林格。doi:10.1007/978量量319 21 07440量

Bottoni,P。博尔吉亚,F。Buccarella D。Capuano D。， De Marsico, M。， & Labella, A.(2013)。聋人电子学习环境中的故事和标志。信息社会的普遍获取，12(4)，369-386。

Bottoni,P。、Levialdi年代。Pambuffetti,N。Panizzi E。， & Trinchese, R.(2006)。存储和检索多媒体web笔记。国际计算科学与工程杂志，2(5-6)，341-358。

Braffort,。， & Dalle, P.(2008)。手语应用:初步建模。信息社会普遍获取，6(4)，393-404。

考德威尔,B。库珀,M。，加里诺里德，L。， & Vanderheiden, G.(2008)。Web内容可访问性指南(WCAG) 2.0。万维网联盟。检索自http:// www.w3.org/TR/WCAG20/

气,e . H。Pirolli, P。陈,K。(2001)。使用信息线索来建模用户的信息需求和行为以及Web。在SIGCHI计算机系统人为因素会议论文集(第490-497页)。纽约，纽约:ACM。

下巴,j . P。，迪尔，诉A。，和诺曼，K. L.(1988)。开发一种测量用户对人机界面满意度的仪器。在SIGCHI计算机系统人为因素会议论文集(第213-218页)。纽约，纽约:ACM。

伦,K。,森林,D。，和O 'Riordan, B.(2006)。研究手机文本输入法。远程信息学，23(1)，1 - 21。

Cuxac,c(1996)。语言符号的符号结构(未发表论文)。巴黎:巴黎大学

Cuxac,c(2000)。法语符号语言(LSF):圣像主义的语言。巴黎:Ophrys。

Cuxac, C. & Antinoro Pizzuto, E.(2010)。符号语言中的出现、规范和变异:重新定义概念。在B. Garcia & M. Derycke (ed .)编的《符号的来源和语言:规范和变异》(特别版)中。Langage et Societe, 131,37 - 53。

Cuxac C。Braffort,。Choisier,。夹头,C。装饰板材,P。Fusselier,我。、……Sallandre m .所致。(2002)。语料库LS科林。检索自http://cocoon.huma‐num.fr/exist/crdo/ meta/crdo‐FSL‐CUC021_SOUND

Cuxac, C. & Sallandre, M‐A。(2007)。法国手语的象似性和任意性:高度的象似性结构，退化的象似性和图解象似性。在E. Antinoro Pizzuto, P. Pietrandrea & R. Simone(合编)的《语言和符号语言:比较结构、结构和方法》(第13-33页)中。柏林:木桐·德·格鲁伊特。

De Marsico M。、Kimani年代。米拉贝拉,V。，诺曼，k。， & Catarci, T.(2006)。一项通过人类参与开发可访问电子学习内容的建议。信息社会的普遍获取，5(2)，150-169。

Efthimiou E。Fotinea E。， & Glauert, J.(合编)。(2008)。信息社会聋人责任的新兴技术[特刊]。信息社会的普遍获取，6(4)。

Efthimiou E。、Fotinea年代。汉克,T。Glauert,J。鲍登,R。Braffort,。……Goudenove,f(2010)。DICTA‐手语:手语识别，产生和建模在聋人交流中的应用。《2010年语言资源与评价会议论文集》，第七届国际语言资源与评价会议(第80-83页)。巴黎:欧洲语言资源协会。

艾略特,R。格劳尔特(Glauert)， j.r.。肯纳威(Kennaway)， j.r.。马歇尔,我。， & Safar, E.(2008)。基于阿凡达的手语表达的语言建模和语言处理技术。信息社会的普遍获取，6(4)，375-391。

我法。,Arfe B。，贝内代蒂，P. & Altoe, g.m.(2008)。超链接格式，分类能力和记忆广度的贡献者聋人用户超文本访问。《聋人研究与聋人教育》，13(2)，241-256。

我法。Parra E。卡纳斯,J。Abascal,J。(2008年7月)。网页信息搜索的手语。在网络非正式学习中:个体差异和评价过程。在德国柏林第29届国际心理学大会上举办的专题讨论会。

我法。维哥,M。， Salmeron, L.(2009)。支持web信息搜索和手语学习的技术。与计算机交互，21(4)，243-256。

费尔斯,D。理查兹,J。Hardman,J。，和Lee, D.(2006)。手语网页。美国聋人年鉴，151(4)，423-433。

霜,a(2006)。霜的村庄。从http://www.frostvillage.com/获取

Garcia, B. & Sallandre, M.‐A。(2014)。法语手语的参考解析。在P。《名词短语结构与指称的跨语言研究》(第316-364页)。莱顿:布里尔。

吉尔特。d .(1998)。酸的所有权:115个命题。众议院代表吉洛向法国总理若斯潘报告。从http://maitre获取/ fr / rapport_gillot.pdf‐autrive.com/内容

戈尔丁高草地在美国(2001年)。重度失聪儿童如何学习阅读?《学习、残疾研究与实践》，16(4)，222-229。

汉克t(2004)。在语言资源和语言处理上下文中表示符号语言数据。在O. Streiter & C. Vettori(编)，语言资源与评估会议2004，研讨会论文集:手语的表达与处理(第1-6页)。巴黎:ELRA。

卡尔波夫,。， & Ronzhin, A.(2014)。一种具有多模态输入和多媒体输出接口的通用辅助技术。在C. Stephanidis和M. Antona M.(合编)中，人机交互中的通用访问。通用存取的设计和开发方法。可汗:施普林格。

Kipp,M。阮,Q。Heloir,。(2011)。评估聋人用户对手语角色的看法。第13届ACM计算机与可访问性国际会议论文集(107-114页)。纽约，纽约:ACM。

刘易斯,C。(1993)。任务为中心的用户界面设计:一个实际的介绍。博尔德，CO:科罗拉多大学。

刘易斯·m·P。， g.f. & Fennig, c.d.(编)。(2015)。民族学:世界语言(第18版)。达拉斯，德克萨斯州:SIL国际公司。从http://www.ethnologue.com/获取

诺曼,D。， & Draper, S.(1986)。以用户为中心的系统设计。新泽西州马赫瓦:劳伦斯·厄鲍姆。

Ong s . C。， & Ranganath, S.(2005)。自动手语分析:超越词汇意义的调查与展望。模式分析与机器智能，27(6)，873-891。

Perfetti C。， & Sandak, R.(2000)。阅读以口语为基础。聋人研究与聋人教育杂志，5,32 - 50。

Prensky,m(2001)。数字原住民，数字移民第一部分。地平线上，9(5)1-6。

Prillwitz,S。利文湖,R。、Zienert H。汉克,T。(1989)。汉堡符号系统的手语:一个介绍性的指南，汉诺西2.0版。汉堡:sgn出版社。

罗伯茨,V。， & Fels, D.(2006)。纳入方法:在对聋人进行的软件可用性研究中使用大声思考协议。国际人类计算机研究杂志，64(6)，489-501。

Salomoni, P。、Mirri年代。近期,S。， &罗希提，M.(2007)。对有特殊需求的学习者进行个性化学习体验分析，一个封闭的案例?2007年国际无障碍网页跨学科会议论文集(W4A)(第84-92页)。纽约，纽约:ACM。

Slevinski s E。小(2010)。国际手语字母表2010 HTML参考。从http://www.signbank.org/iswa获取

Slevinski s E。小(2010 b)。SignMaker。检索自http://www.signbank.org/signpuddle2.0/signmaker.php ?ui=1&sgn=63

斯托科，W. C.(1960)。手语结构:美国聋人视觉传达系统的概要。布法罗，纽约，布法罗大学人类学和语言学系。

斯托克，W. C.(2005)。手语结构:美国聋人视觉传达系统的概要。《聋人研究与聋人教育》，10(1)，3-37。

Sutton诉(1995)。手语课程:课本和练习本。美国加州拉霍亚市:聋人手语书写行动委员会。

Sutton诉(1977)。萨顿运动速记:研究的写作工具。《第一届全国手语研究与教学研讨会论文集》(第267-296页)。伊利诺伊州芝加哥市:卫生、教育和福利部门。

Sutton诉(2012)。SignWriting百科全书的项目。从http://www.signwriting获取。org/encyclopedia/

威尔科克斯,S。(1997)。学习看:教美国手语作为第二语言。华盛顿:加劳德特大学出版社。

Wixon D。Holtzblatt,K。(1990)。上下文设计:系统设计的一个紧急视图。在J. Carrasco & W. J. (Eds.)， SIGCHI会议关于计算系统中的人为因素:赋予人们权力(第329-336页)。纽约，纽约:ACM。

沃尔夫,R。Efthimiou E。Glauert,J。汉克,T。麦当劳,J。， & Schnepp, J.(2015)。《信息社会的普遍获取》[特刊:手语翻译和化身技术的最新进展]，1-2。