《Compound Word Transformer: Learning to Compose Full-Song Music over Dynamic Directed Hypergraphs》论文

简介

用token序列来做音乐生成时， 不同的token属于不同的类型， 不同类型的token有着不同的属性。 而目前的大多数模型都将这些token不加区分， 在这篇论文中作者将token细分为不同类型， 如note types 或者 metric types。并将若干tokens组成一个复合词（compound word），由此缩短了音乐序列的长度。对Transformer decoder 部分的结构进行改进， 使用不同的 feed-forward heads 来对不同类型的token进行建模。

方法

compound words

MIDI-like 或者 REMI的音乐表示方法中每个token 称之为indivisual token。 token 词典记为$\mathcal{V}=1,2,...M$, 每个token对应一个类型， 类型集合记为$\mathcal{K}=1,2,3..K$。 因此可以将$\mathcal{V}$划分为K个不同的子集：$\mathcal{V}=\{{\mathcal{V}}_k{\}}_{k=1}^K$。

将token序列转换成复合词序列$S_{CP}$的步骤：

1. 将定义一个musical event的tokens组成一个super token（见下图）
   
   
   musical event包含note， 一个note通常由[pitch],[duration],[veclocity]组成， 因此可以将这几个token 组合成一个复合词。在REMI中，节奏或者和弦变换通常发生在节拍点， 所以可以将[beat],[chord],[tempo]组成一个复合词。

2. 将每个时间步复合词中缺失的类型用[ignore]来填充。
   
   因此$S_{CP}=\{c{p}_t{\}}_{t=1}^T,c{p}_t=w_{t,1},..w_{t,K}$

3. 将K个类型再进一步细分为F个类别， 如K可以被分为note family ${\mathcal{K}}_N$和 metric family ${\mathcal{K}}_M$。 因此每一个复合词$c{p}_t$对应一个family token$f_t$

token embedding

每个复合词$c{p}_t$的embedding为组成的token $w_{t,k}$和family token $f_t$的embedding的组合。 首先将这些token的embedding进行拼接， 然后经过一个线性映射层，将其映射为d维的向量。

multi-head output Module

在模型设计部分， 使用了K+1个feed-forward heads， 用来预测K个token类型和一个family token。
在预测的时候分为两个阶段进行预测： 首先预测family token， 然后在给定family token的情况下预测其他token。

这里$W_{\mathcal{F}},W_k$为K+1个heads， Sample（）为采样函数，下面介绍采样策略。

Adaptive Sampling Policy

在inference时采用了stochastic temperature-controlled sampling来防止退化和增加多样性。 不同的type采用了不同的采样策略， 具体如下：

结果

在训练时间和推理时长上缩短了时间， 但是质量没有提高。