Facebook AI 发布“HuBERT”：一种学习自我监督语音表示的新方法

许多人工智能研究项目一直在努力提高他们仅仅通过倾听和与他人互动来检测和解释语音的能力，就像婴儿学习他们的第一语言一样。这不仅需要评估某人所说的话，还需要从这些话的表达方式中获得各种其他线索，例如说话人识别、情绪、犹豫和打断。此外，人工智能系统必须识别和解释与语音信号重叠的噪音，例如笑声、咳嗽、背景车辆或鸟鸣，才能像人一样完全理解情况。

因此，Facebook AI 发布了 HuBERT，这是一种学习自监督语音表示的新方法，以帮助对音频中这些类型的丰富词汇和非词汇信息进行建模。用于语音表示学习的 HuBERT 匹配或优于用于语音识别、生成和压缩的 SOTA 技术。

该模型通过使用离线 k-means 聚类步骤预测掩蔽音频段的正确聚类来学习口语输入的结构。通过 在聚类和预测过程之间交替，HuBERT 会随着时间的推移改进其学习的离散表示。它简单而稳定。HuBERT 学习的演示文稿质量也不错，可以轻松 集成到各种下游语音应用程序中。

HuBERT 的工作

HuBERT 的灵感来自 Facebook AI 的用于自监督视觉学习的 DeepCluster 方法。为了捕获语音的序列结构， 它使用了序列上的掩码预测损失，例如 Google 的 BERT(来自 Transformers 的双向编码器表示)。它使用离线聚类步骤为 掩码语言模型预训练生成噪声标签 。特别是 HuBERT，它使用掩码连续语音特征来预测指定的集群分配。只有屏蔽区域会受到预测损失的影响，迫使模型学习未屏蔽输入的足够高级表示，以便推断屏蔽输入的目标。

HuBERT 使用 连续输入来训练声学和语言模型。该模型必须首先将未屏蔽的音频输入编码为有意义的连续潜在表示。这些表示映射到传统的声学建模问题。其次，该模型需要学习表示之间的长期时间关系来减少预测误差。

这项工作背后的一个重要动机是 从音频输入到离散目标的k-means映射一致性 的重要性 ，而不仅仅是它们的正确性，这有助于模型专注于对输入数据的序列结构进行建模。

HuBERT 在标准数据集上进行了预训练，例如 LibriSpeech 960 小时和 Libri-Light 60,000 小时。它在 10 分钟、1 小时、10 小时、100 小时和 960 小时的所有微调子集上达到或改进了最先进的 wav2vec 2.0性能。

语音表示学习的重大成就允许在不使用词汇资源(即，没有监督标签、文本语料库或词典)的情况下对语音信号进行直接语言建模。这允许对非词汇信息进行建模，例如戏剧性的停顿、紧急中断或背景噪音。

Facebook AI 已经迈出了使用从 CPC、Wav2Vec2.0 和 HuBERT 在生成性口语建模 (GSLM) 中学习到的语音表示来合成语音的 第一步。

HuBERT 可以帮助 AI 研究人员开发专门针对音频而非文本样本进行训练的 NLP 系统。这将使我们能够为现有的 NLP 系统添加自发口头语言的完整表现力，让 AI 语音助手能够用真人的细微差别和情感说话。因此，在不依赖大量标记数据的情况下有效地学习语音表示对于 AI 社区构建跨越方言和仅口语的语言的更具包容性的应用程序至关重要且有帮助。

资料来源：https://www.yunduoketang.com/article/zenyang-kai-wangxiao.html
https://www.yunduoketang.com/article/jianli-pinpai-wangxiao.html
https://www.yunduoketang.com/article/kai-wangxiao-pingtai.html
https://www.yunduoketang.com/article/zaixianjiaoyuzhibopingtai15.html
https://www.yunduoketang.com/article/kaifa-jiaoyu-pingtai.html