LLASM: LARGE LANGUAGE AND SPEECH MODEL

本文是LLM系列文章，针对《LLASM: LARGE LANGUAGE AND SPEECH MODEL》的翻译。

摘要

近年来，多模态大型语言模型引起了人们的极大兴趣。尽管如此，大多数工作都集中在视觉语言多模态模型上，该模型在遵循视觉和语言指令方面提供了强大的能力。然而，我们声称言语也是人类与世界互动的一种重要方式。因此，对于通用助理来说，能够遵循多模态语音和语言指令是至关重要的。在这项工作中，我们提出了大型语言和语音模型（LLaSM）。LLaSM是一个端到端训练的大型多模态语音语言模型，具有跨模态会话能力，能够遵循语音和语言指令。我们早期的实验表明，LLaSM为人类与人工智能交互提供了一种更方便、更自然的方式。具体来说，我们还发布了一个大型语音指令跟随数据集LLaSM音频指令。代码和演示在https://github.com/LinkSoul-AI/LLaSM和https://huggingface.co/spaces/LinkSoul/LLaSM可用。LLaSM音频指令数据集在https://huggingface.co/datasets/LinkSoul/LLaSM-Audio-Instructions可用.

1 引言

2 相关工作

3 方法

4 实验

5 结论

这项工作提出了LLaSM，一个具有跨模态对话能力的大型语言模型，能够理解和遵循语音和语言指令。实验表明，LLaSM为人类与人工智能交互提供了一种更方便、更自然的方式。具体来说，为了缓解跨模态语音和语言指令数据的稀缺性，我们构建了一个大型语音指令跟随数据集LLaSM音频指令。据我们所知，这是最大的中文和英文语音文本跨模态指令数据集。最后，通过采用一种可以轻松为LLaSM提供视觉功能的视觉模式编码器，我们将在未来的工作中探索视觉和音频模式的结合。