【机器学习(三)】拉格朗日对偶性

本篇是关于机器学习的第三篇,这一系列的文章主要是参考李航老师的《统计学习方法》一书,以及兼考虑周志华老师的《机器学习》一书

本篇不是李航老师的《统计学习方法》中的一部分,主要是对第二篇感知机中所涉及到的拉格朗日对偶性进行补充。

方法的目的

  • 目的:为解决约束最优化问题,常使用拉格朗日对偶性将原始问题转换为对偶问题

转化步骤

  • 通过引入拉格朗日乘子,得到拉格朗日方程。此时原始问题就转换为拉格朗日方程的极小极大问题
    • 当x满足约束条件时,拉格朗日函数的最大化会等于原始问题中的函数
    • 当x不满足约束条件时,拉格朗日函数的最大化会等于无穷大
  • 通过解决对偶问题,即拉格朗日函数的极大极小化问题,来获得极小极大化问题的最优解

充分必要条件——KKT条件

  • 原始问题和对偶问题同解的充分必要条件是满足KKT条件
    • 关于x的偏导为0
    • 不等式约束项为0
    • 不等式约束为小于等于约束
    • 不等式约束项的乘子大于等于0(因此当乘子大于0时,不等式约束为0i)
    • 等式约束项为0

(公式和图片待补充。。。。)

你可能感兴趣的:(Machine,Learning)