自动学习——《Learning to Teach》——ICLR2018

1. 自动学习（AutoML）：通过自动化的方式，机器试图学习到最优的学习策略，从而避免机器学习从业者低效的手动调整方式。
2. 经典的自动学习方法：
   （1）用于超参数调节的贝叶斯优化（Bayesian Optimization）
   （2）用于优化器和网络结构调整的元学习技术（Meta learning/Learning to learn）
3. 传统的机器学习算法还是最近的自动学习算法，重点都是如何让AI更好的学习：两种学习算法的训练过程都是在固定的数据集上，通过最小化固定的损失函数，优化得到位于模型假设空间（Hypothesis Space）里最优的模型。差别仅仅在于优化过程是否是自动进行的。
4. Learning to Teach：
   （1）数据教学力图为机器学习过程寻找到最优的数据集——教科书
   （2）损失函数教学力图为机器学习过程寻找到最优的损失函数——优秀教师
   （3）模型空间教学力图为机器学习过程定义最优的模型假设空间——教给学生的技能集合（skills set）
5. 论文定义了两个模型：学生模型和教师模型，前者即为通常意义下的机器学习模型，后者则负责为前者提供合适的数据、损失函数或者模型假设空间。
6. 论文只进行了数据教学的实验：学生模型是用于分类的深度神经网络，适用随机梯度下降来进行优化。教师模型是一个三层的前向网络，其职责是负责为学生模型的每步更新提供合适的批次数据（Mini-batch Data）。使用强化学习中的Reinforce算法来进行教师模型的训练更新。
7. 问题的关键：如何训练教师模型？While one can choose different approaches to train the teacher model, in this paper, we employ reinforcement learning (RL) for this purpose. （论文原文）
   具体步骤：（论文原文）
   
   
8. 如何通过教师模型来输出下一步学生模型所需要的Mini-batch Data?（重点关注数据教学的实验部分）
   mini-batch stochastic gradient descent (SGD) as its learning rule (i.e., the argmin part in Eqn. 1). Mini-batch SGD is a sequential process, in which mini-batches of data {D1, • • •Dt, … } arrive sequentially in a random order. Here Dt = (d1, • • • , dM) is the mini-batch of data arriving at the t-th time step and consisting of M training instances.
   Furthermore, in reality it is computationally prohibitive to scan over all the remaining training data to select out Dt at each step. To overcome this, after receiving the randomly arrived mini-batch Dt of M training instances, our teacher model A dynamically determine which instances in Dt are used for training and the others are abandoned.

reference