Week1

• 监督学习 Supervised Learning
  数据集有明确的答案，根据样本数据预测
  分类问题
  回归问题
• 无监督学习 Unsupervised Learning
  数据集没有答案，自动分局特征分类
• 单变量线性回归 Linear Regression With One Variable
  • 模型表示
    代价函数
  • 梯度 gradient
    梯度就是偏导数, 而斜率是梯度的一个特例
  • 梯度下降 Gradient Descent
    对于一个可微分的函数，确定一组初始值，找到这组值对应的梯度，然后在梯度相反的方向对这组值进行减小，通过不断的寻找梯度并减小这组值，最后找到使函数值最小的组合值
  • 批量梯度下降 Batch Gradient Descent
    在梯度下降的每一步中都使用了所有的样本，得到的是一个全局最优解，如果训练样本过大，那么迭代速度则会过慢
    
  • 随机梯度下降 Stochastic Gradient Descent
    在梯度下降的每一步中选取一个样本来求取梯度，并不是每一步都是全局最优解，但整体方向是全局最优的，最后可能会在全局最优解附近，由于只使用了部分样本，速度较快
    
  • 线性回归运用梯度下降
    
    
    改写为
    
    
• 深入浅出-梯度下降法及其实现
• Gradient
• 机器学习-随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent)