Firstly，我们先谈谈表征学习

wikipedia给出的定义大概是：表征学习（又称特征学习 representation learning）是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。
瓶颈：（1）以前都是手工提取特征，但很困难、很昂贵、很耗时、并依赖于强大专业知识。（2）深度神经网络虽然可以有效地学到数据丰富的特征，但特征难以解读。通常神经网络层数越多，训练成本也越高。
和预测学习不同：不是搞预测，就是因为现在的输出比如图片、视频、语言、声音等等都是高维且冗余复杂的，传统的手动提取特征已经变得不切合实际，所以需要借助优秀的特征学习技术。
类似机器学习，特征学习可以被分为两类：
（1）监督式特征学习：有标记的数据
（2）无监督式特征学习：主成分分析、自动编码、矩阵分解、聚类分析

历史

100多年前就是说要高数据特征学习
1901年，Karl Pearson提出主成分分析（Principal Component Analysis），用线性投影的方法学习数据的低维度特征
1936年，Ronald Fisher提出了线性判别分析（Linear Discriminant Analysis）
之后，PCA和LDA有各种各样的变形如：核PCA（kernel PCA）、广义判别分析（Generalized Discriminant Analysis）也相继提出。
2000年，机器学习社区兴起了流形学习（Manifold Learning）即发掘高维数据中的内在结构。
基于神经网络的线条是在1986年发现反向传播算法可以在隐藏层里学习到关于输入数据的内在表征
2006年，Geoffrey Hinton提出贪婪分层预训练和深度神经网络微调的方法，解决了神经网络用于特征学习的两大难题
（1）模型过拟合 Model Overfitting
（2）梯度扩散Gradient Diffusion
现状：对于图像，大家会先使用训练好的深度神经网络模型（如VCG，ResNet等）提取特征信息，再用于强化学习（RL），视觉导航（Visual Navigation）任务等等。

表征学习历史：from 《An Overview on Data Representation Learning: From Traditional Feature Learning to Recent Deep Learning》2017

参考一篇博客OFENet

博客地址

AE（Auto Encoder）降维 Autonomous reinforcement learning on raw visual input data in a real world application 2012年，引用数208
SFA（Slow feature analysis）观察视觉中随时间变化的特征 Slow Feature Analysis:Unsupervised Learning of Invariances 2002年引用数1295
ML-DDPG（Model Learning）假设next_obs可预测，可以用监督学习代替非监督学习，可以更好的学到跟reward相关的state特征 Learning State Representation for Deep Actor-Critic Control 2016年引用33
ATC（Augmented Temporal Contrast）在图像增强的基础上，使用图像和图像之间的差别来做loss。Decoupling Representation Learning from Reinforcement Learning 视频 Github 2020年引用数32

1901 Karl Pearson发表主成分分析的论文
On lines and planes of closest fit to systems of points in space.
1936 Ronald Fisher发表最早期的线性判别分析论文
The use of multiple measurements in taxonomic problems.
1943 Warren McCulloch and Walter Pitts 创建了第一个人工神经元模型
A logical calculus of the ideas immanent in nervous activity.
1958 Frank Rosenblatt建立了世界上第一个两层神经网络用于二元分类
The perceptron: A probabilistic model for information storage and organization in the brain.
1974 Paul Werbos提出了反向传播（Backpropagation）算法用于训练多层感知器
Beyond regression: New tools for prediction and analysis in the behavioral sciences.
2006 Geoffrey Hinton提出贪婪分层预训练和深度神经网络微调的方法
A fast learning algorithm for deep belief nets. Neural computation

我们可以利用深度神经网络学习丰富的特征来表示环境的模型，然后通过基于模型的深度强化学习（Model-based Deep Reinforcement Learning）训练机器人（Robotics）来慢慢靠近通用人工智能......