李宏毅2021机器学习课程笔记-Introduction of Machine/Deep Learning

• 用一句话概括来说，机器学习就是让机器具备找一个函式的能力。

• 概念

  • Regression：函数输出为一个数值的任务
  • Classification：分类任务
  • Structured Learning：机器产生有结构化的输出的任务，如写文章等

• 机器学习训练步骤【以Linear model为例】
  1、写出带有未知参数的函式，函式形式往往依赖于domain language
  2、从训练数据中计算Loss。Loss是关于未知参数的函数，将不同的未知参数值和训练数据代入1中的函式，将正确数据与代入得到的值进行误差计算，所有误差和求平均得到Loss。误差计算方法如：

  • 直接计算差求绝对值，MAE
  • 均方差MSE
  • 用各参数值及Loss绘制等高线图Error surface，越偏红色系误差越大，越偏蓝色系误差越小。
    

  3、最优化Optimization：找使得Loss最小的未知参数值。

  • 这门课只会用到：Gradient Desent【以一维参数为例】
    • 随机初始化参数
    • 计算Loss与参数的微分，要使Loss变小，微分为负，则增大参数，微分为正，则减小参数
    • 学习速率learning rate，需自己设定（hyperparameters），用于控制每次改变参数的程度
    • 参数调整的步伐可以用学习速率*微分
    • 该方法局限性：只能找到local minima，没法真的找到global minima（但其实这不是真正的痛点，后面的课程会讲真正的痛点）
      

• Model Bias：该Model不能模拟问题的真实状况

• 用不同的sigmoid function逼近piecewise linear的function，进而用于近似不同的continuous function
  
  用线性代数向量矩阵的方式表示：
  

• Optimization实际上不是用整个L来更新gradient，而是把L分成许多Batch，每次用一个Batch来更新gradient。
  更新一次为一个update，把所有batch过一遍进行更新称为一个epoch
  【-》本节课提到的hyperparameters：learning rates、Sigmoid个数、epoch中update个数（Batch size）、对输入使用activation function处理的次数】

• Activation function（e.g. sigmoid function、ReLU）

？为什么要deeper？做多几层的意义何在？