机器学习笔记(李宏毅 2021/2022)——第一节:基本概念

相关视频(B站)

2021-(上)-机器学习基本概念简介
2021-(下)-深度学习基本概念简介

说明

李宏毅老师的机器学习课程主要内容是深度学习,传统机器学习内容推荐吴恩达老师的机器学习课程。
由于我先学过吴恩达老师的机器学习课程,所以该课程笔记很多地方就简单记录一下。

一、2021-(上)-机器学习基本概念简介

这节内容就是简单介绍一下机器学习的概念,讲了机器学习的三大步骤。(这三大步骤放在深度学习同样适用,毕竟深度学习是机器学习的子集)

1.机器学习是什么?

机器学习就是让机器具备找一个函式的能力。

2.ML三大任务

  • Regression,回归问题(输出为连续数值)
  • Classification,分类问题(输出为离散数值)
  • Structured learning,结构学习(输出为一个有结构的内容,如一张图画、一段文字)

3.机器学习步骤

  • Function with unknown parameters(写出一个带有未知参数的函数)
    (Ex. Linear Model y=wx+b. 这里y即是一个model,w、b为待训练的参数)

  • Define loss fun from training data(定义loss函数)

  • Optimization(优化的方法为Gradient decent)

4.Error Surface

不同的w跟b的组合,都去计算它的Loss,然后就可以画出以下这一个等高线图
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第1张图片
在这个等高线图上面,越偏红色系,代表计算出来的Loss越大,就代表这一组w跟b越差,如果越偏蓝色系,就代表Loss越小,就代表这一组w跟b越好.

4.Domain Knowledge

通常一个模型的修改来自你对这个问题的理解,即Domain Knowledge。

二、2021-(下)-深度学习基本概念简介

这一节解释了深度学习为什么能拟合非线性函数

1.拟合一条分段折线

对于下面这条红线(piecewise linear curve),你永远不能用Linear Model来很好的拟合它。所以我们需要一个更加有弹性的,有未知参数的Function。
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第2张图片
我们可以观察一下红色的这一条曲线,它可以看作是一个常数,再加上一群蓝色的这样子的 Function,.
这个蓝色的 Function,它的特性是

  • 当输入的值,当 x 轴的值小於某一个这个 Treshold 的时候,它是某一个定值
  • 大於另外一个 Treshold 的时候,又是另外一个定值,
  • 中间有一个斜坡
    机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第3张图片
    那么这条红线就可以由这四条蓝线相加得到。事实上,
  • 任何piecewise linear curve(分段线性线段)都可以看作是一个常数,再加上一堆蓝色的Function。
  • 任何连续曲线,你只要取足够多的转折点,你都能用piecewise linear curve去逼近他

2.怎么表示这个蓝色折线呢?

那么如何来表示这个蓝色的折线呢(即Hard Sigmoid)?这里用了Sigmoid函数,它可以逼近Hard Sigmoid。
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第4张图片
我们只需要调整w、b、c的值就可以制造不同形状的Sigmoid Function。
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第5张图片
所以你只要有不同的 w 不同的 b 不同的 c,你就可以製造出不同的 Sigmoid Function,把不同的Sigmoid Function 叠起来以后,你就可以去逼近各种不同的Piecewise Linear 的 Function,然后Piecewise Linear 的 Function,可以拿来近似各种不同的 Continuous 的 Function。
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第6张图片

3.再多考虑多个输入的特征

上面我们仅仅考虑了一个feature,那么再多考虑多个输入的特征要怎么做呢?我们这里用

  • i来表示不同的sigmoid函数
  • j来表示Feature的编号。

这边本来是
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第7张图片
我们把Sigmoid替换掉里面的东西,得到
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第8张图片
这里用图形的方式来展示,其实就是单层的神经网络。
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第9张图片

4.深度学习

如果我们这里把输出的a1、a2、a3作为input,再多做几次,那其实就是Deep Learning了。

5.ReLU(额外内容)

Hard Sigmoid的表示方法这里一定要用Sigmoid吗?其实也可以用ReLU函数。一个Hard Sigmoid就是两个ReLU相加得到的。
机器学习笔记(李宏毅 2021/2022)——第一节:基本概念_第10张图片
ReLU的式子写作
在这里插入图片描述

你可能感兴趣的:(机器学习【李宏毅】,机器学习,人工智能,python,深度学习)