[2022]李宏毅深度学习与机器学习第一部分必修部分笔记

做笔记的目的

1、监督自己把50多个小时的视频看下去，所以每看一部分内容做一下笔记，我认为这是比较有意义的一件事情。
2、路漫漫其修远兮，学习是不断重复和积累的过程。怕自己看完视频不及时做笔记，学习效果不好，因此想着做笔记，提高学习效果。
3、因为刚刚入门深度学习，听课的过程中，理解难免有偏差，也希望各位大佬指正。

首先介绍了ML的三个任务

ML的总体来说就是Looking for Function，每个Function可以实现特定的任务，而特定的任务大致可以分为三类：

1. 回归 ，输出是一个数值；
2. 分类 ，给定选项（classes），Function给出correct one；
3. 结构学习 ，生成或者创造特定结构的内容；

ML的三个步骤

1. 构造Function ，这个函数里面要有需要学习的参数；
2. 定义损失函数 ，损失函数衡量结果的好坏，具体任务的损失函数并不一样；
3. 优化 ，Gradient Descent（梯度下降）方法进行优化，这里涉及到一个超参数$\eta$学习率；
   在听课的时候，有同学说，为什么损失可以是负值，老师解释到，根据不同的损失函数，有可能出现负值。
   这里有一个思考问题，梯度下降的方法会让模型进入局部最优解，我们是如何解决的？

通过线性模型，引出ML。

这里老师讲课的方式非常好，让我知道了为什么要用ML去做一些复杂的任务。
单一的线性模型比较简单，只能是一条直线，我们可以通过累加sigmoid函数去模拟曲线，同时如果有多个特征输入模型时，可能比单个特征输入模型的效果好，所以有进行了结合，最终得到了最后一个式子。

batch、epoch、和更新$\theta$的次数关系

一个batch更新一次$\theta$，所以一个epoch更新$\theta$的次数和batch的个数有关
一个思考问题：为什么要分一个一个batch？

Deep Learning

把一层的所有neuron统称为hidden layer，同时通过不断堆叠layer，从而达到deep的感官效果，所以就叫deep learning

双十一前夜，想快点去购物车shopping，写这些就差不多了。后面想到什么慢慢补充把