机器学习

• 1.白板推导系列,up主
  shuhuai008的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili

• 2.up主,主要是机器学习的数学推导
  GRNovmbrain的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili

• up主,陆小亮,读书笔记视频<<统计学习方法>>
  陆小亮的个人空间_哔哩哔哩_Bilibili

• 林轩田<<机器学习基石>>
  林轩田机器学习基石(国语)_哔哩哔哩_bilibili

• 3.覃秉丰up主,不仅讲机器学习的算法基础,项目实战,还讲python Matplotlib及Pytorch和TensorFlow等课程
  覃秉丰的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili

• sklearn学习,up主
  菜菜TsaiTsai的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili

• 新的up主,主要涉及到机器学习的数学,算法
  这个程序没问题的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili

• 这个up主讲了些数学方法,比如拉格朗日乘子法就是在他这里学的
  来学习吧喵的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili

• 计量经济学入门
  计量经济学入门_哔哩哔哩_bilibili

• 中科大,凸优化课程
  中科大-凸优化_哔哩哔哩_bilibili

• 浙江大学课程,没讲数学细节,讲了脉络,结论,授课老师说有实践的作业(人脸识别),这部分作业可以看下
  (强推)浙大2021-机器学习_哔哩哔哩_bilibili

• 深度之眼,讲的很浅显,适合用来大致过一遍
  深度之眼官方账号的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili

---

SVM

• 知乎文章:
  零基础学SVM—Support Vector Machine(一) - 知乎 (zhihu.com)

• 林轩田<<机器学习技法>> SVM无出其右
  机器学习技法（林轩田）_哔哩哔哩_bilibili

• 推导超平面方程:
  https://www.bilibili.com/video/BV1Za4y157EW?p=1

• 点到超平面距离:
  https://www.bilibili.com/video/BV1Pv411z7J4?from=search&seid=17956506754038541702

• 求距离最小-->求倒数最大
  机器学习算法基础-覃秉丰_哔哩哔哩_bilibili

*辨析,将(点到超平面的距离与|w|乘积)认为是1,其实就是添加了一条约束条件

林轩田_SVM_点到超平面距离缩放为1.png

林轩田_SVM_约束条件缩放.png

推导出标准问题

林轩田_SVM最优化推导结果.png

来实际应用下求解下

林轩田_SVM标准问题的一次简单示例求解.png

最优化问题的数学储备不足,跳去先看

• 拉格朗日乘子法:
  【微积分】第11话 拉格朗日乘数法_哔哩哔哩_bilibili
• 上面新和up主,专门讲机器学习数学相关的,讲的拉格朗日乘子法的推导与几个示例,里面将目标函数取log简化,然后再构造拉格朗日乘子的技巧很值得学习
  【2021最全人工智能|AI数学基础课程】附送课程笔记、源代码等资料（第一章至第十二章）_哔哩哔哩_bilibili

林老师将一般问题-->二次规划

林轩田_SVM一般问题转二次规划.png

• 仿射
  2、仿射集_哔哩哔哩_bilibili

• 拉格朗日乘子的一般式
  

  唐宇迪_拉格朗日乘子法一般形式.png

• 拉格朗日乘子的广义式,主要表达了各维的权重,用向量w来表示
  

  覃秉丰_广义拉格朗日乘子_xyz用向量w表示各维上的权重.png

• KKT解释
  如何通俗地讲解对偶问题？尤其是拉格朗日对偶lagrangian duality？ - 知乎 (zhihu.com)

• KKT条件
  最优化理论与方法-第八讲-约束优化（一）：KKT条件_哔哩哔哩_bilibili

对偶问题,需要先弄清楚凸优化问题,即要弄清楚仿射和凸集,才能理解到不等约束条件是 <= 0;而不是 >= 0

• 何为凸函数,凸集?
  第11章 拉格朗日与对偶_哔哩哔哩_bilibili

• 凸函数、下水平集、范数 海森矩阵
  【凸优化笔记2】-凸函数、下水平集、范数 - 知乎 (zhihu.com)

• 讲的比较细,讲了从拉格朗日函数到拉格朗日对偶;以及为什么要搞成拉格朗日对偶
  第七章 支持向量机 带读 李航 《统计学习方法》 机器学习工程师养成记_哔哩哔哩_bilibili

• up主手工推导SVM
  支持向量机(SVM)手动推导全过程_哔哩哔哩_bilibili

• 南开大学 SVM拉格朗日对偶
  SVM 支持向量机_哔哩哔哩_bilibili

• 对偶推导,可以借鉴参考
  机器学习系列0.2.2——拉格朗日对偶性_哔哩哔哩_bilibili