【机器学习 - 李宏毅 - 学习笔记 - 学习地址：b站 - 持续更新】

机器学习相关规定

（1）机器学习 ≈ 找一个函数

（2）这门课关注深度学习

（3）输入可以是多种形式（我们将会用类神经网络制作这些函式）：

（4）1-5节用到的方法：Supervised Learning

（6）第六节用到的方法：

 

 

（5）第7节用到的方法：Supervised Learning显然是非常花费时间的，--> Self-supervised Learning（引入预训练）

Pre-trained Model --- Foundation Model（基本功）例子：bert模型

（6）第12节用到的方法（不知道怎么标注的时候）：Reinforcement Learning

（7）进阶课程：

1）第8节：Anomaly Detection （异常检测）

2）第9节：Explainable AI（可解释性AI）

 

3）第10节：Model Attack（模型攻击）

 4）第11节：Domain Adaptation

 5）第13节：Network Compression（模型的压缩）

 

6）第14节：Life-long Learning

 7）第15节：Meta Learning = Learn to Learn（学习如何学习）

 

 

（8）作业：

 

第一节：机器学习基本概念简介

机器学习找函式分为三个步骤

1：写出带有未知参数的函式 y = b + wx(i)

2：定义一个Loss（也是一个函式）--- 设定b和w是好还是不好呢？

      Loss的计算是要从训练资料入手的，假设一对b和w，然后真实值（Label）与函式值做差取绝对值，就是Loss；

      三年来，每一天的误差，都可以算出来，用e（i）表示，再统统＋起来【这里我们先选MAE】

      

      

      L越大，越不好

      

      

 

      画出等高线，偏红色的（b，w）不好，蓝色的（b，w）好，选出蓝色的一对，放在Model里面，我们的预测才会更精准

3、解最佳化的问题【这门课里面，用到的方法是Gradient Descent】

      

      Gradient Descent的方法解释：

      

      假设未知参数只有一个（w），先不看b；w取不同值，我们就会得到不同的Loss：

      

      怎么样找一个w，来让Loss最小呢：

      1）首先先随机找一个初始的点（w0）；

      2）之后计算在w=w0的时候这个参数对loss的微分是多少，如果是负数（左高右低），增大w的值，如果是正数（左低右高），减小w的值

      ​​​​​​​

      η是自己设定的，η大，update量就很大，反之，update量就很小；

      hyperparameter是自己设定的东西。

     3）接下来就反复进行刚刚的操作 计算w1，w2，...，wt

      

      停止的原因：自己想停止了；或者 微分等于0

      

      这个方法的弊端：我们可能找到的点，不是最佳点（不是真正的痛点）

      回过头来，计算两个参数的问题：

      ​​​​​​​

      不断更新点：

      

机器学习三个步骤：

 

      之后需要不断根据理解修改模型：

      ​​​​​​​

      这样的模型叫作 Linear model 

      这种模型有弊端：

      

      因此我们需要一个更复杂、更有弹性的模型

      任务一：改写第一步：

      

      All Piecewise Linear Curves = constant + sum of a set of 线段

      

      曲线也是ok的：

      ​​​​​​​

      逼近蓝色的function：

      

      修改三个参数的效果如下：

      

      最终效果：

      

      最终对比：

      

      

      ​​​​​​​

      

      最终如下：

      

       

      符号注释：

      

      

      任务二：重新计算新的Loss

      方法跟之前一模一样：

      

      任务三：Optimization

      方法跟之前也一样，找到让L最小的θ

      

      更新数据：

      

      通常实际操作下：会分割任务量：

      

      继续优化：

      

       

      

      

      结果如下：

      

      

      这种训练模型的名字是 Neuron --- Neural Network --- Deep learning

      

      

      但是越深也不一定越好：

      

      预测的话，要选3层的，因为它的效果更好