机器学习笔记

前言：

1、掌握机器学习基础知识。
2、掌握梯度下降、线性回归、线性分类、决策树、SVM、贝叶斯分类器、随机森林、CNN、RNN、GAN等机器学习算法及公式推导。
3、完成homework，并用python(tf/pt) 实现一些机器学习经典项目的算法。

正文：

1、视频课程

b站 吴恩达_ml、机器学习西瓜书白话解读
b站李宏毅_ml（上）、李宏毅_ml(下) 、 李宏毅_GAN
机器学习白板推导 、《西瓜书》算法讲解 、《统计学习方法》算法实现
跟着哪一个学都行，不习惯英语可以看李宏毅的台普，白板推导也是强力推荐，tql。
李宏毅个人主页 可以下载课件和HW-生成对抗网络（GAN）

2、参考教材

周志华《机器学习》链接：https://pan.baidu.com/s/1Cobt-76sIKVtSd4hxHo3Qw 提取码：pncp
李航《统计学习方法》链接：https://pan.baidu.com/s/1xqq-vwKqPnbQ7LBhpfkJ4Q 提取码：cfjl
葫芦娃《百面机器学习》链接：https://pan.baidu.com/s/1Xm9iMFkmvMrBjB_HV05sHg 提取码：1m0k
李宏毅_ml（上）课件 链接：https://pan.baidu.com/s/12Y4DYD3YSYHY58NnrDvOOA 提取码：yk1k
李宏毅_ml（下）课件 链接：https://pan.baidu.com/s/1RowvifqDrfzyNNARTME3Ww 提取码：oeww
李宏毅_GAN 课件 链接：https://pan.baidu.com/s/1v3-rJXIGNvcgjd9eJmHuuA 提取码：x9fe

3、NOTES

吴恩达机器学习笔记（到SVM） 、吴恩达机器学习Notes
李宏毅机器学习Notes 、李宏毅ml_HW
王博西瓜书《手推笔记》1-8章(github link) 、南瓜书pumpkin-book(西瓜书公式推导) 、西瓜书课后题参考答案
机器学习白板推导_LATEX编辑

4、Andrew NG课程目录

一、 引言
1.1 欢迎
1.2 机器学习是什么？
1.3 监督学习（supervised learning）
1.4 无监督学习（unsupervised learning）
二、单变量线性回归
2.1 模型表示
2.2 代价函数（cost function）
2.3 代价函数的直观理解I
2.4 代价函数的直观理解II
2.5 梯度下降法
2.6 梯度下降的直观理解
2.7 梯度下降的线性回归
2.8 接下来的内容
三、线性代数回顾
3.1 矩阵和向量
3.2 加法和标量乘法
3.3 矩阵向量乘法
3.4 矩阵乘法
3.5 矩阵乘法的性质
3.6 逆、转置
四、多变量线性回归
4.1 多维特征
4.2 多变量梯度下降
4.3 梯度下降法实践1-特征缩放
4.4 梯度下降法实践2-学习率
4.5 特征和多项式回归(非线性)
4.6 正规方程法(normal equation)
4.7 正规方程及不可逆性（选修）
五、Octave教程(Octave Tutorial)
5.1 基本操作
5.2 移动数据
5.3 计算数据
5.4 绘图数据
5.5 控制语句：for，while，if语句
5.6 向量化 88
5.7 工作和提交的编程练习
六、逻辑回归logistic regression
6.1 分类问题
6.2 假说表示
6.3 判定边界
6.4 代价函数
6.5 简化的成本函数和梯度下降
6.6 高级优化
6.7 多类别分类：一对多
七、正则化
7.1 过拟合的问题
7.2 代价函数
7.3 正则化线性回归
7.4 正则化的逻辑回归模型
第八、神经网络：表述
8.1 非线性假设
8.2 神经元和大脑
8.3 模型表示1
8.4 模型表示2
8.5 样本和直观理解1
8.6 样本和直观理解II
8.7 多类分类
九、神经网络的学习
9.1 代价函数
9.2 反向传播算法
9.3 反向传播算法的直观理解
9.4 实现注意：展开参数
9.5 梯度检验
9.6 随机初始化
9.7 综合起来
9.8 自主驾驶
十、应用机器学习的建议
10.1 决定下一步做什么
10.2 评估一个假设
10.3 模型选择和交叉验证集
10.4 诊断偏差和方差
10.5 正则化和偏差/方差
10.6 学习曲线
10.7 决定下一步做什么
十一、机器学习系统的设计
11.1 首先要做什么
11.2 误差分析
11.3 类偏斜的误差度量
11.4 查准率和查全率之间的权衡
11.5 机器学习的数据
十二、支持向量机
12.1 优化目标
12.2 大边界的直观理解
12.3 数学背后的大边界分类
12.4 核函数1
12.5 核函数2
12.6 使用支持向量机
十三、聚类
13.1 无监督学习：简介
13.2 K-均值算法
13.3 优化目标
13.4 随机初始化
13.5 选择聚类数
十四、降唯
14.1 动机一：数据压缩
14.2 动机二：数据可视化
14.3 主成分分析问题
14.4 主成分分析算法
14.5 选择主成分的数量
14.6 重建的压缩表示
14.7 主成分分析法的应用建议
十五、异常检测
15.1 问题的动机
15.2 高斯分布
15.3 算法
15.4 开发和评价一个异常检测系统
15.5 异常检测与监督学习对比
15.6 选择特征
15.7 多元高斯分布
15.8 使用多元高斯分布进行异常检测
十六、推荐系统
16.1 问题形式化
16.2 基于内容的推荐系统
16.3 协同过滤
16.4 协同过滤算法
16.5 向量化

5、李宏毅课程目录

P1 机器学习介绍
P2 为什么要学习机器学习
P3 回归 Pytorch中常用Loss函数

P4 回归-演示
P5 误差从哪来？
P6 梯度下降
P7 梯度下降（用AOE演示）
P8 梯度下降（用Minecraft演示）
P9 作业1-PM2.5预测
P10 概率分类模型 生成模型（generative model）和判别模型（discriminative model）

P11 logistic回归 逻辑回归（logistic regression）原理详解 逻辑回归的本质——极大似然估计

P12 作业2-赢家还是输家
P13 深度学习简介
P14 反向传播 反向传播（backpropagation）算法

P15 深度学习初试 神经网络中Batch-size（BGD/SGD/mini-BGD）、Epochs、Iteration相关理解、 iteration、epoch、batchsize的定义

P16 Keras2.0
P17 Keras演示
P18 深度学习技巧 梯度消失与梯度爆炸问题、泛化能力
、Early Stopping、正则化、L1正则化与L2正则化的区别、Dropout原理解析

P19 Keras演示2
P20 Tensorflow 实现 Fizz Buzz
P21 卷积神经网络 CNN、CNN是什么

P22 为什么要“深度”学习？
P23 半监督学习
P24 无监督学习-线性降维
P25 无监督学习-词嵌入
P26 无监督学习-领域嵌入
P27 无监督学习-深度自编码器
P28 无监督学习-深度生成模型I
P29 无监督学习-深度生成模型II
P30 迁移学习
P31 支持向量机
P32 结构化学习-介绍
P33 结构化学习-线性模型
P34 结构化学习-结构化支持向量机
P35 结构化学习-序列标注
P36 循环神经网络I
P37 循环神经网络II
P38 集成学习
P39 深度强化学习浅析
P40 机器学习的下一步
P1 机器学习的下一步
P2 异常检测
P3 Attack ML models
P4 Explainable ML
P5 Life-Long Learning
P6 元学习
P7 自编码
P8 网络压缩
P9 GAN
P10 Transformer

6、西瓜书目录

第一章 绪论
第二章 模型评估与选择
第三章 线性模型
第四章 决策树
第五章 神经网络
第六章 支持向量机
第七章 贝叶斯分类器
第八章 集成学习
第九章 聚类
第十章 降维与度量学习
第十一章 特征选择与稀疏学习
第十二章 计算理论学习
第十三章 半监督学习
第十四章 概率图模型
第十五章 规则学习
第十六章 强化学习

7、经典项目及代码

8、数学基础

高等数学
线性代数
线性代数-同济第六版 教材链接 提取码：qy4q
概率论-数理统计-随机过程
浙大-概率论与数理统计 课件下载
最优化理论-凸优化、最小二乘与线性规划 (最优化理论与凸优化)

个人学习计划
1、先听李宏毅的机器学习课程（2017年40讲+2019年61讲），掌握基础知识。
2、再看西瓜书、花书，完成课后习题，用python实现算法。