机器学习基石 - Regularization

机器学习基石下 (Machine Learning Foundations)—Mathematical Foundations
Hsuan-Tien Lin, 林轩田,副教授 (Associate Professor),资讯工程学系 (Computer Science and Information Engineering)

Regularized Hypothesis Set

  • step back = constrained optimization of Ein E i n

  • Constraint

    机器学习基石 - Regularization_第1张图片机器学习基石 - Regularization_第2张图片机器学习基石 - Regularization_第3张图片机器学习基石 - Regularization_第4张图片机器学习基石 - Regularization_第5张图片

Weight Decay Regularization

  • The Lagrange Multiplier

    机器学习基石 - Regularization_第6张图片

  • Augmented Error
    机器学习基石 - Regularization_第7张图片
    机器学习基石 - Regularization_第8张图片

  • weight-decay regularization

    机器学习基石 - Regularization_第9张图片

  • Legendre Polynomials 勒让德多项式

    其正交性是任意两个式子相乘,在[-1, 1]上的积分为0

Regularization and VC Theory

  • 不懂啊

General Regularizers

  • 几种方法

机器学习基石 - Regularization_第10张图片

  • L2 and L1 Regularizer

机器学习基石 - Regularization_第11张图片

  • The Optimal λ λ

机器学习基石 - Regularization_第12张图片

你可能感兴趣的:(机器学习基石,机器学习)