机器学习笔记（李宏毅 2021/2022）——第一节：基本概念

相关视频（B站）

2021-（上）-机器学习基本概念简介
2021-（下）-深度学习基本概念简介

说明

李宏毅老师的机器学习课程主要内容是深度学习，传统机器学习内容推荐吴恩达老师的机器学习课程。
由于我先学过吴恩达老师的机器学习课程，所以该课程笔记很多地方就简单记录一下。

一、2021-（上）-机器学习基本概念简介

这节内容就是简单介绍一下机器学习的概念，讲了机器学习的三大步骤。（这三大步骤放在深度学习同样适用，毕竟深度学习是机器学习的子集）

1.机器学习是什么？

机器学习就是让机器具备找一个函式的能力。

2.ML三大任务

• Regression，回归问题（输出为连续数值）
• Classification，分类问题（输出为离散数值）
• Structured learning，结构学习（输出为一个有结构的内容，如一张图画、一段文字）

3.机器学习步骤

• Function with unknown parameters(写出一个带有未知参数的函数)
  （Ex. Linear Model y=wx+b. 这里y即是一个model，w、b为待训练的参数）

• Define loss fun from training data(定义loss函数)

• Optimization(优化的方法为Gradient decent)

4.Error Surface

不同的w跟b的组合,都去计算它的Loss,然后就可以画出以下这一个等高线图

在这个等高线图上面,越偏红色系,代表计算出来的Loss越大,就代表这一组w跟b越差,如果越偏蓝色系,就代表Loss越小,就代表这一组w跟b越好.

4.Domain Knowledge

通常一个模型的修改来自你对这个问题的理解，即Domain Knowledge。

二、2021-（下）-深度学习基本概念简介

这一节解释了深度学习为什么能拟合非线性函数

1.拟合一条分段折线

对于下面这条红线（piecewise linear curve），你永远不能用Linear Model来很好的拟合它。所以我们需要一个更加有弹性的，有未知参数的Function。

我们可以观察一下红色的这一条曲线,它可以看作是一个常数,再加上一群蓝色的这样子的 Function,.
这个蓝色的 Function,它的特性是

• 当输入的值,当 x 轴的值小於某一个这个 Treshold 的时候,它是某一个定值
• 大於另外一个 Treshold 的时候,又是另外一个定值,
• 中间有一个斜坡
  
  那么这条红线就可以由这四条蓝线相加得到。事实上，
• 任何piecewise linear curve（分段线性线段）都可以看作是一个常数，再加上一堆蓝色的Function。
• 任何连续曲线，你只要取足够多的转折点，你都能用piecewise linear curve去逼近他

2.怎么表示这个蓝色折线呢？

那么如何来表示这个蓝色的折线呢（即Hard Sigmoid）？这里用了Sigmoid函数，它可以逼近Hard Sigmoid。

我们只需要调整w、b、c的值就可以制造不同形状的Sigmoid Function。

所以你只要有不同的 w 不同的 b 不同的 c，你就可以製造出不同的 Sigmoid Function，把不同的Sigmoid Function 叠起来以后，你就可以去逼近各种不同的Piecewise Linear 的 Function，然后Piecewise Linear 的 Function，可以拿来近似各种不同的 Continuous 的 Function。

3.再多考虑多个输入的特征

上面我们仅仅考虑了一个feature，那么再多考虑多个输入的特征要怎么做呢？我们这里用

• i来表示不同的sigmoid函数
• j来表示Feature的编号。

这边本来是

我们把Sigmoid替换掉里面的东西，得到

这里用图形的方式来展示，其实就是单层的神经网络。

4.深度学习

如果我们这里把输出的a1、a2、a3作为input，再多做几次，那其实就是Deep Learning了。

5.ReLU（额外内容）

Hard Sigmoid的表示方法这里一定要用Sigmoid吗？其实也可以用ReLU函数。一个Hard Sigmoid就是两个ReLU相加得到的。

ReLU的式子写作