CausalVAE： Disentangled Representation Learning via Neural Structural Causal Models笔记

VAE：Variational AutoEncoder，变分自编码器，根据输入的数据的分布，类型，来模拟生成类似于输入数据的数据生成模型。它是从观测数据中分离出独立的隐藏因子。与GAN类似，均为生成模型。

---

一、以往工作的问题：

1、概念变量通常是有联系的（因果关系）；

2、无监督学习不能保证学习到的表征是可识别的（2019谷歌）。

二、paper提出：

1、对齐真实世界的解耦表征(结构因果模型、引入监督信号)；

2、在因果表征中实现Do操作（表征上的改变会反映到重构的图像上、使用干预和反事实）

3、自动学习因果图

因果如何使用？

将因果图加入到得到的表征上并加入外生变量，构造新的结构方程（*）。

三、All framework

其中：x:picture；u:signal； e:外生变量； Z：表征； A：SCM

分为两阶段：inference与generate；

在原VAE的基础上加入因果层，找到因果关系，并传递给解码器。

mask层：控制不同变量的时候，能实现干预，从父结点传递到子节点。

//DAG-GAN paper中DAG的限制条件。

四、invention result：钟摆

钟摆角度、太阳角度、影子角度、影子位置

 

//CausalGAN paper：学到的the true 因果图。

CausalVAE生成的表征是可解释的；允许人为干预，通过干预某一隐藏因子生成数据。

解耦表征学习有利于增加模型的可解释性，隐藏因子的因果结构是自动学习的。

可能的应用：

数据：数据增强、冷启动、自动驾驶中的阴影去除。

下游工作： 图像分类、理解。

This paper 使用的signal相当于使用了监督学习，可研究推广到半监督或者弱监督中。

P.s.

无监督需要inductive bias；基于因果关系的数据增强；抛弃独立性建模，使用因果结构建模；在数据中发现因果关系，去除不必要的信息或提高准确率；因果当作神经网络中的正则项，包裹层?