夕小瑶科技说 原创
作者 | 付奶茶、ZenMoore
利用AI完成音乐处理是一个多样化的领域,涵盖了数十种任务,从生成(例如音色合成)到音乐理解(例如音乐分类)。对于初学者、业余爱好者来说,很难精通、掌握所有任务来满足对于音乐处理上的需求。受到大型语言模型(LLMs)在任务自动化方面上的启发,北京大学和微软亚洲研究院的研究员们提出了MusicAgent,系统集成了众多与音乐相关的工具和自主工作流程,使用户摆脱复杂AI音乐工具限制。
论文题目:
《MusicAgent: An AI Agent for Music Understanding and Generation with Large Language Models》
论文链接:
https://arxiv.org/pdf/2310.11954.pdf
项目地址:
https://github.com/microsoft/muzic
将LLMs与音乐结合有以下的挑战:
工具多样性 与音乐相关的任务呈现出广泛的多样性,而且这些任务的相应工具可能并不总是存在于同一平台上,或者是在GitHub等开源社区中提供的参数化模型,或者是Web API等。
内部协作 首先,音乐领域任务的多样性导致显式、明确的输入输出模态标准的缺失。其次,即使模态相同,音乐格式也可能不同。
研究人员受HuggingGPT(Shen et al., 2023)等最新工作的启发,利用LLMs作为控制器,以及大量专家工具来完成用户的指令,
▲图一
如图1所示。对于工具集,除了利用Hugging Face提供的模型,还从不同来源(包括GitHub和Web API等)整合了各种方法。如图2所示,MusicAgent设计了一个由LLM支持的自主工作流程,其中包括三个关键技能:任务规划器、工具选择器和响应生成器。
▲图二
▲表1
表1提供了MusicAgent中包含的与音乐相关的任务集和代表性工具的综合概述。除了生成和理解任务外,收集的任务主要分为三组:
生成任务:包括从简单描述,文本到音乐、歌词到旋律、歌声合成、音色转换、伴奏等。
理解任务:音乐分类、音乐分离、歌词识别和音乐转录等任务。组合这些任务可以将音乐转化为符号表示,并分析各种音乐特征。
辅助任务:包括Web搜索和各种音频处理工具包。Web搜索包括使用Google API进行文本搜索,以及通过Spotify API进行音乐搜索。这些任务主要提供丰富的数据来源,并对音频/MIDI/文本数据执行基本操作,充当辅助功能。
▲图3
此外,图3说明了系统中三种主要数据格式的使用:
i) 文本,包括歌词、流派或与音乐相关的其他属性。
ii) 表示为MIDI文件的乐谱的音乐。
iii) 包含音乐声音的音频。
除了组建任务集,MusicAgent系统可以分为两个主要部分:自主工作流程和插件。自主工作流程充当核心LLM交互组件的角色,其中包括三个关键技能:任务规划器、工具选择器和响应生成器。
任务规划器在处理用户输入时发挥了至关重要的作用,它将构建整个工作流程的核心,包括确定每个子任务以及它们对应的输入输出格式,还包括子任务之间的依赖关系,形成一个依赖图。借助于in-context learning展现了卓越的任务分解性能,提示中提供了任务规划器的描述、支持的任务以及信息结构,同时还附带了一些音乐任务的分解示例。
工具选择器从各种开源工具中为特定子任务选择最合适的工具。每个工具都带有独特的属性,如文本描述、下载次数、星级评价等。将这些工具属性与用户输入合并作为 prompt,LLM生成工具的标识符和相应的选择理由,说明它为何被认为是最佳选择。用户拥有调整工具属性的自由度,并可以控制LLM如何解释这些属性。例如,用户可以强调下载次数以满足不同的需求。
负责收集来自子任务执行的所有中间结果,并将它们编译成一份连贯的响应。图5中的示例演示了LLM如何组织任务和结果以生成答案。
▲图5
当子任务的所有依赖任务都已完成,所有输入都已实例化时,LLM后端将任务传递给任务执行器,其中工具从输入中选择必要的参数。此外,工具还需要识别任务类型,因为一个工具可能处理多个任务。
用户可以灵活选择以两种方式运行此系统,一种是按照GitHub上的说明,另一种是将其作为代码中的模块进行集成。如列表1所示,用户可以添加自定义任务类型,更新工具属性,为每个子任务设计提示,以增强对特定任务的支持。
除了命令行、代码使用之外,MusicAgent还为用户提供了一个Gradio演示。在Gradio演示中,用户可以直接上传音频并可视化观察系统生成的所有中间结果,如图6所示。
在本文中,我们向大家介绍了MusicAgent,这是一个由大型语言模型(LLMs)支持的音乐领域智能体。它的目标是帮助开发者和非专业音乐创作者自动分析用户请求,并选择合适的工具来解决问题。最近,一些智能体的涌现(如AutoGPT和HuggingGPT)受到了大家的热烈关注,这些工作代表着自动化任务处理的重要进步,象征着在不久的将来人们能够更轻松地使用AI来解决各种任务,无需深入的专业知识。小编悄悄透露下~夕小瑶团队最近计划发布一篇关于智能体的大作!敬请各位期待!