MeMFace解析

Implicit memory

上述几篇文章做了一些尝试，引入可读写的spceialized implicit memory，

audio2expression

输入：audio feature $A\in R^{T\times h_a}$
模型：audio2expression模型$f$
输出：和语音内容语义对齐的表情系数${\hat{\alpha }}_{exp}\in R^{T\times h_c}$
在这个输入输出中，$T$是帧数，$h_a$是音频特征的维度。$h_c$是嘴部相关的表情系数的维度。
本文的实验，$h_a=64$， $h_c=85$， $h_v=69$

为了解决这个sequence-to-sequence问题，$f$使用Transformer-based结构。并在模型$f$中加入显式记忆，解决one-to-many的映射问题。训练刚开始，key set和value set随机初始化，根据训练过程中的误差反传，更新参数。$$

$${\hat{\alpha }}_{exp}=f_{dec}(Q^{a2e}\oplus attn(Q^{a2e},K^{a2e},V^{a2e}))$$
$\oplus$: 逐元素相加。
$K^{a2e}$: $[M,h_a]$
$V^{a2e}$: $[M,h_a]$
M代表keys和values的数目。