Dual Contrastive Prediction for Incomplete Multi-view Representation Learning个人学习2

目的：

解决不完全多视图表示学习中的两个问题
1）如何学习统一不同视图的一致表示（Autoencoder网络实现）
2）如何恢复丢失的视图（Prediction网络实现）

具体做法：

两种网络，四个损失函数

网络：

①Autoencoder：编码：将RGB和Depth图片转到相同维度(同一子空间)；解码：再还原到原来样子
②Prediction：编码+解码 = forward：将autoencoder中间维度的信息，由RGB转为Depth（或D到R）

损失函数：

①让图片经过Autoencoder网络编码解码后，数据基本不变 -> reconstruction_loss重构损失
②让图片经过Autoencoder网络编码，并由Prediction网络做RGB转Depth或D转R后，数据更相似 -> dualprediction_loss双重预测损失
③让不同类的Z1，Z2差别更大 -> category_contrastive_loss
④让同一类的Z1，Z2更相似 -> instance_contrastive_Loss

对应损失3和4