【AI视野·今日Sound 声学论文速览 第三十六期】Mon, 30 Oct 2023

AI视野·今日CS.Sound 声学论文速览
Mon, 30 Oct 2023
Totally 7 papers
上期速览✈更多精彩请移步主页

Daily Sound Papers

Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN Authors Neeraj Kumar, Ankur Narang, Brejesh Lall 在本文中，我们提出了一种基于扩散 GAN 的方法 Prosodic Diff TTS，根据风格描述和内容文本作为输入生成相应的高保真语音，从而仅在 4 个去噪步骤内生成语音样本。它利用新颖的条件韵律层归一化将风格嵌入合并到基于多头注意的音素编码器和基于梅尔频谱图解码器的生成器架构中以生成语音。风格嵌入是通过在音调、语速、情感、性别分类等辅助任务上微调预训练的 BERT 模型来生成的。

Whisper-MCE: Whisper Model Finetuned for Better Performance with Mixed Languages Authors Peng Xie, XingYuan Liu, ZiWei Chen, Kani Chen, Yang Wang 最近，Whisper 在英语自动语音识别 ASR 方面的鲁棒性和准确性已接近人类水平，而在小语种和混合语言语音识别方面，仍然迫切需要进一步改进。在这项工作中，我们展示了 Whisper MCE 的令人印象深刻的结果，这是我们经过微调的 Whisper 模型，该模型是使用我们自己收集的数据集、粤语和英语混合音频数据集 MCE 进行训练的。同时，考虑到单词错误率 WER 在评估其在小语种和混合语言环境中的有效性时提出了挑战，我们提出了一种新颖的评级机制。通过将我们的模型与基线 Whisper Large v2 模型进行比较，我们展示了其准确捕获原始音频内容的卓越能力，实现了更高的识别精度，并表现出更快的识别速度。

Enabling Acoustic Audience Feedback in Large Virtual Events Authors Tamay Aykut, Markus Hofbauer, Christopher Kuhn, Eckehard Steinbach, Bernd Girod COVID 19 大流行将我们日常生活中的许多事件转移到了虚拟领域。虽然虚拟会议系统提供了实体会议的替代方案，但大型活动需要静音观众，以避免背景噪音和音频失真的累积。然而，表演艺术家强烈依赖观众的反馈。我们提出了一个虚拟观众框架的概念，该框架为所有参与者提供真实观众的氛围。本地收集观众反馈，允许用户通过选择鼓掌、吹口哨、嘘声、笑声等方式来表达热情或不满。该反馈作为抽象信息发送到虚拟观众服务器。我们向所有参与者广播组合的虚拟观众反馈信息，这些信息可以由客户合成为单个声音反馈。可以通过将观众的集体反馈转化为提示来完成合成，然后将提示输入到 AudioGen 等最先进的模型中。

Unified Segment-to-Segment Framework for Simultaneous Sequence Generation Authors Shaolei Zhang, Yang Feng 同时序列生成是实时场景的关键任务，例如流式语音识别、同步机器翻译和同步语音翻译，其中目标序列是在接收源序列的同时生成的。实现低延迟高质量生成的关键在于确定生成的最佳时刻，这是通过学习源序列和目标序列之间的映射来完成的。然而，现有方法通常依赖于针对不同序列类型的特定于任务的启发式方法，限制了模型自适应学习源目标映射的能力，并阻碍了对各种同时任务的多任务学习的探索。在本文中，我们提出了一个用于同时序列生成的统一分段到分段框架 Seg2Seg，它以自适应和统一的方式学习映射。在同时生成的过程中，模型在等待源段和生成目标段之间交替，使该段成为源和目标之间的天然桥梁。为了实现这一目标，Seg2Seg 引入了一个潜在片段作为源到目标之间的枢轴，并通过建议的期望训练探索所有潜在的源目标映射，从而学习生成的最佳时刻。

TorchAudio 2.1: Advancing speech recognition, self-supervised learning, and audio processing components for PyTorch Authors Jeff Hwang, Moto Hira, Caroline Chen, Xiaohui Zhang, Zhaoheng Ni, Guangzhi Sun, Pingchuan Ma, Ruizhe Huang, Vineel Pratap, Yuekai Zhang, Anurag Kumar, Chin Yun Yu, Chuang Zhu, Chunxi Liu, Jacob Kahn, Mirco Ravanelli, Peng Sun, Shinji Watanabe, Yangyang Shi, Yumeng Tao, Robin Scheibler, Samuele Cornell, Sean Kim, Stavros Petridis TorchAudio 是一个为 PyTorch 构建的开源音频和语音处理库。它旨在通过提供设计良好、易于使用且高性能的 PyTorch 组件来加速音频和语音技术的研究和开发。其贡献者定期与用户互动，了解他们的需求并通过开发有影响力的功能来满足他们。在这里，我们概述了 TorchAudio 的开发原理和内容，并重点介绍了我们在最新版本 2.1 自监督学习预训练管道和训练配方、高性能 CTC 解码器、语音识别模型和训练配方、高级媒体 I O 功能和工具中包含的关键功能用于执行强制对齐、多通道语音增强和无参考语音评估。

Early Detection of Tuberculosis with Machine Learning Cough Audio Analysis: Towards More Accessible Global Triaging Usage Authors Chandra Suda 结核病 TB 是一种主要影响肺部的细菌性疾病，是全世界导致死亡的主要原因之一。为了防止结核病在体内传播并导致危及生命的并发症，及时有效的抗结核治疗至关重要。咳嗽是结核病的客观生物标志物，是一种分类工具，可监测治疗反应并随着治疗的成功而消退。目前结核病诊断的黄金标准进展缓慢或难以实现，特别是在结核病最流行的农村地区。此外，当前的机器学习 ML 诊断研究（例如利用胸部 X 光片）效率低下，并且无法监测治疗进展。为了实现有效诊断，开发了一个集成模型，该模型使用新颖的机器学习架构分析智能手机麦克风的咳嗽声流行病学，以检测结核病。该架构包括 2D CNN 和 XGBoost，它们接受了来自 7 个国家的 724,964 个咳嗽音频样本和人口统计数据的训练。经过特征提取Mel谱图和数据增强IR卷积后，该模型在接收算子特征下的AUROC面积达到88，超过了WHO对筛选测试的要求。 15 秒内即可获得结果，并且可以通过移动应用程序轻松访问。

Music Recommendation Based on Audio Fingerprint Authors Diego Salda a Ulloa 这项工作结合了不同的音频特征，以获得更强大的指纹，用于音乐推荐过程。这些方法的组合产生了高维向量。为了减少值的数量，将 PCA 应用于所得指纹集，选择与解释方差 95 相对应的主成分数量。最后，利用这些PCA指纹，计算每个指纹与整个数据集的相似度矩阵。该过程适用于个人音乐库中的 200 首歌曲，这些歌曲都标有艺术家相应的流派。如果推荐的歌曲类型与目标歌曲类型匹配，则具有最相似相似性的歌曲的推荐指纹被评为成功。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com