【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略

文章目录

  • 写在前面
    • 2.1 机器学习任务攻略
      • 机器学习三部曲:1.定义含有参数的f;2.构造含有参数的loss;3.找到最优解θ
      • General Guide
        • Model Bias
        • Optimization Issue
        • 怎么判断是Model Bias 还是 Optimization?(越大的网络loss反而更高是Optimization的问题,注意与过拟合的区别:过拟合是训练集表现好,但是测试集表现差)
          • 先用小模型(甚至不是NN方法)看一下loss,再train 深的模型的loss,如果loss还大,那么是Optimization问题(大的模型loss应该更低)
        • Overfitting:是train的loss小,test的loss大才是overfitting
          • 解决Overfitting:More training data(可能是最有效的方法,但是不现实),Data augmentation(要根据自己对资料的特性,理解来做Data augmentation,没人会做图像上下颠倒,不然网络会学到奇奇怪怪的东西)
        • Bias-Complexity Trade-off
          • 并不是选test loss最低的模型
        • Cross Validation
          • N-fold Cross Validation
    • General Guide(大总结)
      • mismatch(所以要做 数据分析,看看训练和测试资料是否 分布相似)

写在前面

[视频学习-bilibili] | [课程主页——sample code & slide] | [ML2021学习笔记]

2.1 机器学习任务攻略

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第1张图片

机器学习三部曲:1.定义含有参数的f;2.构造含有参数的loss;3.找到最优解θ

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第2张图片

General Guide

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第3张图片

Model Bias

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第4张图片

Optimization Issue

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第5张图片

怎么判断是Model Bias 还是 Optimization?(越大的网络loss反而更高是Optimization的问题,注意与过拟合的区别:过拟合是训练集表现好,但是测试集表现差)

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第6张图片
【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第7张图片

先用小模型(甚至不是NN方法)看一下loss,再train 深的模型的loss,如果loss还大,那么是Optimization问题(大的模型loss应该更低)

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第8张图片

Overfitting:是train的loss小,test的loss大才是overfitting

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第9张图片
【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第10张图片
【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第11张图片

解决Overfitting:More training data(可能是最有效的方法,但是不现实),Data augmentation(要根据自己对资料的特性,理解来做Data augmentation,没人会做图像上下颠倒,不然网络会学到奇奇怪怪的东西)

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第12张图片

Early stopping
【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第13张图片
【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第14张图片

Bias-Complexity Trade-off

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第15张图片

并不是选test loss最低的模型

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第16张图片
【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第17张图片

Cross Validation

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第18张图片

N-fold Cross Validation

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第19张图片

General Guide(大总结)

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第20张图片

mismatch(所以要做 数据分析,看看训练和测试资料是否 分布相似)

【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第21张图片
【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第22张图片
【李宏毅2021机器学习深度学习】2-1 机器学习任务攻略_第23张图片

你可能感兴趣的:(深度学习_李宏毅,深度学习)