【机器学习2021-李宏毅】机器学习任务攻略笔记

• Traning data
  
• Testing data
  

Train model步骤：

1. 写出有未知数的function：

   • $y=f_{\theta }(x)$

   • 用Theta(θ)代表function中所有的未知数

   • input为feature

2. define loss(function) from traning data

   • loss is a function：$L(\theta )$
   • 输入为一组参数，loss function的作用为判断这一组参数好还是不好。

3. optimization

   • ${\theta }^{\ast }=\underset{\theta }{\mathrm{argmin}}L$

   • 求解θ使得L(θ)越小越好，L(θ)最小时的θ称为${\theta }^{\ast }$

finally, Use $y=f_{{\theta }^{\ast }}(x)$ to label the testing data

output:

General Guide

如何想把model训练的更好，那么就要先看看loss on traning data：

• loss 过大
  • Model bias
    • model太简单→根本没有最小的期望Theta(大海捞针但针不在海里)
    • 解决：设一个更大的model，增加model的弹性，例如增加公式的未知数、参考的资料等
  • Optimization Issue
    • 问题在于有但是找不到最小的Theta(大海捞针，捞不到)
    • 此门课只会使用Gradient Descent
• loss过小
  • 接着查看loss on testing data(lotd)的大小:
    • 若lotd过大
      • overfitting
      • mismatch
    • 若lotd过小，则恭喜，success！

Model bias

模型太简单，导致根本找不到找不到全局θ的使得L(θ)最小。应调整模型，使模型变复杂，更有弹性。

Optimization Issue

存在使得L(θ)最小的全局θ，但是找不到θ。典型的就像图中${\theta }^{\ast }$一样，遇到了local minima的问题。

Overfitting

过拟合是什麼？缺乏应变能力，只契合训练资料，因此在测试资料上会跳痛。
当学习器把训练样本学得"太好"了的时候，
很可能巳经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，
这样就会导致泛化性能下降这种现象在机器学习中称为 “过拟合”(overfitting).

解决

1. 增加训练资料

   • 寻找新的资料
   • Data augmentation→对现有资料做更动，变成(假)新的资料

2. constrained model(给model一些限制，最好是跟题目要求有关的限制。)

   e.g.已知题目可能会是2次函数，就把model限制在2次；给模型太大的限制→可能会回到Model Bias的问题

   • less parameters, sharing parameters
   • less features
   • early stopping
   • regularization
   • dropout

Mismatch

your traning and testing data have different distributions.