【机器学习 吴恩达】2022课程笔记（持续更新）

一、机器学习

1.1 机器学习定义

计算机程序从经验E中学习，解决某一任务T，进行某一性能P，通过P测定在T上的表现因经验E而提高

eg：跳棋程序
E： 程序自身下的上万盘棋局
T： 下跳棋
P： 与新对手下跳棋时赢的概率

1.2 监督学习 supervised learning

1.2.1 监督学习定义

给算法一个数据集，其中包含了正确答案，算法的目的是给出更多的正确答案

如预测房价（回归问题）、肿瘤良性恶性分类（分类问题）

1.3 无监督学习 unsupervised learning

1.3.1 无监督学习定义

只给算法一个数据集，但是不给数据集的正确答案，由算法自行分类。

如聚类
1.谷歌新闻每天收集几十万条新闻，并按主题分好类
2.市场通过对用户进行分类，确定目标用户
3.鸡尾酒算法：两个麦克风分别离两个人不同距离，录制两段录音，将两个人的声音分离开来（只需一行代码就可实现，但实现的过程要花大量的时间）

1.3.2 聚类算法

二、单变量的线性回归 univariate linear regression

2.1 单变量线性函数

假设函数 h_θ(x) = θ₀ + θ₁x
代价函数 平方误差函数或者平方误差代价函数

h(x(i))是预测值，也写做y帽，y(i)是实际值，两者取差
分母的2是为了后续求偏导更好计算。

目标： 最小化代价函数，即minimize J(θ0, θ1)

• 得到的代价函数的 三维图如下
  
• 将三维图平面化 等高线图 contour plot
  等高线的中心对应最小代价函数
  

2.2 梯度下降算法 Gradient Descent algorithm

算法思路

• 指定θ0 和 θ1的初始值
• 不断改变θ0和θ1的值，使J(θ0,θ1)不断减小
• 得到一个最小值或局部最小值时停止

梯度： 函数中某一点(x, y)的梯度代表函数在该点变化最快的方向
（选用不同的点开始可能达到另一个局部最小值）

梯度下降公式

• θ0和θ1应同步更新，否则如果先更新θ0，会使得θ1是根据更新后的θ0去更新的，与正确结果不相符

• 原理：偏导表示的是斜率，斜率在最低点左边为负，最低点右边为正。 在移动过程中，偏导值会不断变小，进而移动的步幅也不断变小，最后不断收敛直到到达最低点；在最低点处偏导值为0，不再移动
  

关于α的选择
如果α选择太小，会导致每次移动的步幅都很小，最终需要很多步才能最终收敛
如果α选择太大，会导致每次移动的步幅过大，可能会越过最小值，无法收敛甚至会发散

2.3 用于线性回归的梯度下降 ——Batch梯度下降

• 公式推导
  
• 梯度回归的局限性： 可能得到的是局部最优解
  线性回归的梯度下降的函数是凸函数，bowl shape，因此没有局部最优解，只有全局最优解
  

三、numpy的向量Vectors、矩阵Matrices

参考课后作业 C1_W2_Lab01_Python_Numpy_Vectorization_Soln
or
网上教程

四、多元线性回归 multiple linear regression

4.1多变量线性回归函数

• 多元特征表示

x⁽ⁱ⁾ 表示第 i 组样本
x_j⁽ⁱ⁾ 表示第 i 组样本中的第 j 个数据

• 特征参数
  
• 多元变量线性回归模型
  

4.2 多元梯度下降法 Gradient Descent With Multiple Variables

• 损失函数计算J
  
• 计算梯度
  
• 梯度下降实现

4.3 特征缩放 feature scaling

• 目的 ：让梯度下降运行的更快

• 问题：当特征范围相差太大时，会一直来回振荡，梯度下降效率低。如下例中，x1范围为0~2000， x2范围为 1~5
  

在课后作业 C1_W2_Lab03_Feature_Scaling_and_Learning_Rate_Soln
让中解释了为什么要采用特征缩放=》在梯度下降过程中对参数的更新可以使每个参数的进展相等！！！！！！！

4.3.1 Mean normalization 均值归一化

4.3.2 Z-score normalization Z-score归一化

• 最终缩放范围
  

课后作业 C1_W2_Lab03_Feature_Scaling_and_Learning_Rate_Soln
第一步发现从每个特征中去除平均值或平均数值。这就留下了以零为中心的特征。很难看到 "年龄 "特征的差异，但 "尺寸（平方英尺）"显然是在零附近。第二步是除以方差。这使得两个特征都以零为中心，尺度相似。

4.4 如何选择学习率

4.4.1 学习曲线 learning curve

通过学习曲线，可以找到何时可以开始训练我的模型，即多少次iterations后收敛

还有一种方法是：自动收敛测试 automatic convergence test

4.4.2 学习率的选择

• 问题：如果学习率太大或者太小的情况、J代码写错了
  
• 选取合适的α：
• …， 0.001，0.003，0.01，0.03，0.1，0.3，1，…
  以3为倍数找到一个最大值，以该最大值 或比该最大值略小的值作为α
  

4.5 特征工程 feature engineering

python中科学计数法E
*

英文积累

• with respect to 关于
• training example 训练示例
• derivative 导数 derivation 推导
• 1 over m m分之一
• sum of i equals 1 through m i从1到m的总和
• calculus 微积分
• convergence 收敛 diverge. 发散
• local minimum 局部最小值 global
• convex function 凸函数，碗型，一个局部最小值
• intuitive name 直观的名称
• subset 子集
• automate 使自动化
• plotting routines 绘图例程
• Convention 惯例
• embedded comments 嵌入的注释
• quiver plot 箭头图 查看两个参数的梯度的方法
• magnitude 大小 幅度 规模
• scaled 比例的 scale 尺度、缩放 scale well to 适用于可用于
• primarily for 主要用于
• A versus B A 与B的关系
• measure of 衡量
• in line with 符合 一致
• a contour plot 等高线图
• steady (monotonic) progress 稳步（单调）前进
• Zooming in, 放大
• oscillates from positive to negative 在正数和符数之间摆动
• delve into 研读
• subscript sub 下标 superscript 上标
• parentheses 括号
• algebra 代数 linear algebra 线性代数
• dot products 点积 the product of 积
• numerical linear algebra library 数值线性代数库 numpy
• vertorization 矢量化
• square bracket 方括号 [ ]
• period 句点 dot 点 comma 逗号
• fairly seamlessly 相当完美 无缝的
• specify the shape 指定形状
• a mainstay of 主要内容 ，中流砥柱 main stay
• aligning 对齐
• back-end 后端的
• display precision 显示精度
• notionally 在概念上
• 1-D 一维的
• roughly 大致的
• Going forward 往后
• scatter plot 散点图
• standard deviation 标准差 deviation 偏差
• normal distribution 正态分布
• as a rule of thumb 根据经验
• aim for about -1 争取约为 -1
• flatten out 拉平了 变平了
• trade-of 权衡
• threefold 3 倍
• overshooting 过头了
• oscillating 摆动 震荡
• magnitude 大小