Paper1 Review《Deep learning》笔记

《Deep learning》三位大佬的review：

时间安排

学习建议

深度学习方法，是通过组合多层次的表示（该表示由每一层简单非线性模块产生），产生更抽象的表示，从而学习到满足要求的复杂函数。

2. 监督学习
   one-hot
   dataset: 输入数据及其对应标签
   train: 通过计算目标函数（输出与标签之间的误差），使用BP算法来调整内部的参数（weights）减小误差。
   梯度下降：
   

3. 反向传播算法BP
   链式法则：$△x->△y->△z$
   反向传播： 有最终神经元l的输出 - 标签 作为误差的导数，并将该导数与上一层特定神经元k的导数求加权和，作为上一层的导数。（这里的权值为w）
   反向传播算法就是链式法则的应用，通过自上而下的梯度计算（output-target作为初始梯度），得到所有层的梯度，最后直接计算权值的梯度。

4. 卷积神经网络 cnn
   全连接层，对结果的输出，flatten
   feature map : 特征映射，输入图像和卷积核卷积后生成的feature map，图像特征。
   同一层中不同的feature map 使用不同的卷积核，原因是：1局部值的高相关性，2特征平移不变性
   

5. CNN理解图片
   深度
   成功的因素：大数据、高性能GPU、ReLUs、正则化技术dropout、训练数据生成
   应用领域：手机、相机、机器人、自动驾驶等

6. 分布表示和语言模型
   Embedding：（映射或嵌入到低维空间）
   one-hot 到 word Embedding， 包含语义信息，维度更低
   
   sentence Embedding：？？
   ————————
   skip-gram
   

7. 理解RNN
   带有存储功能的神经网络
   （遗忘门，输入们，输出门）
   RNN在每个时间点连接参数值，参数只有一份
   LSTM 能解决梯度消失和梯度爆炸，能处理更长序列，记忆更多以前的hidden layer的信息。

8. 大佬的展望

• 非监督学习
• 强化学习 （反馈是延迟的）
• 生成对抗网络GAN （薄利润和纳什均衡）
• 自监督学习（self supervised learning） 部分预测整体，过去预测未来，现在预测过去，未来预测现在等等。

上课笔记，错误之处，请指出。