吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题

吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题

    • 7-1.过拟合问题 The problem of overfitting
    • 7-2.代价函数 Cost function
    • 7-3.线性回归的正则化
    • 7-4.Logistic.回归的正则化

7-1.过拟合问题 The problem of overfitting

等同于算法具有高方差high variance
Reasons:too many features
Property:fit the trainning set very well,fail to generalize to new exaamples
解决方法:
吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第1张图片

7-2.代价函数 Cost function

惩罚项
参数的数值越小,得到的假设函数就越平滑(简单),就不容易过拟合
吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第2张图片
正则化项 regularization term:保持参数尽可能小
lamb da正则化参数 regularization parameter:控制两个不同目标之间的取舍

7-3.线性回归的正则化

吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第3张图片
在线性回归中,如果lambda很大,导致对参数的惩罚很大,除theta_0的参数都趋于0,则假设函数为水平直线,欠拟合

  • 梯度下降算法
    吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第4张图片
    注意 1-alpha*(lambda/m)仅仅是略小于1 的数,考虑其对式子的影响
  • 正规方程算法

吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第5张图片

  • 不可逆问题Non-invertibility
    吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第6张图片

7-4.Logistic.回归的正则化

  • 代价函数
    吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第7张图片
  • 梯度下降算法
    吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第8张图片
  • 更高级的优化算法
    代价函数,梯度都要改
    吴恩达机器学习笔记week7——正则化 regularization 处理过拟合问题_第9张图片

你可能感兴趣的:(机器学习)