【线性回归】多元的线性回归

〇、数学表示

• n: 特征量的维度

• 下图表示第i个样本的特征向量的第j个特征分量

  
  
• h(x)=θ0x0+θ1x1+θ2x2+θ3x3+...+θnxn=Θ.T X
  x0=1

一、多元梯度下降的实用技巧

• feature scaling
  缩放
  特征分量的大小要适当，不然可能会让条件数特别大，难以收敛
  最好将每个分量都控制在[-1,1]
• mean normalization
  “均值归一化”
  xj←（xj-μj）/sj
  μj : 均值
  sj ：max-min,区间长度
• 根据代价函数的变化调增参数

1. 随着迭代次数增加，代价函数变化小于阈值，可以停止迭代了
2. 代价函数随着迭代次数增加不收敛，learning rate 太大了，要调小

3. 代价函数随着迭代次数增加下降不够快，learning rate可能要调大

   
   
   learning rate合适，过小，过大