回归模型的建立过程

• 假设回归模型为： y=f(X|θ) y = f ( X | θ )
  
  • 如在现行回归中： f(X|W)=WTX f ( X | W ) = W T X ,模型参数为W（线性组合权重）
• 训练：根据训练数据 D{Xi,yi}Ni=1 D { X i , y i } i = 1 N 学习映射 f f (模型参数)
• 预测：对新的测试数据X进行预测： y^=f(X) y ^ = f ( X ) (带帽表示预测值)
• 学习目标：使训练集上预测值与真值之间的差异最小
  
  • 损失函数：度量模型预测值与真实值之间的差异，如：
    
    L(f(X),y)=12(f(x)−y)2 L ( f ( X ) , y ) = 1 2 ( f ( x ) − y ) 2
  • 则目标函数为：
    
    J(θ)=1N∑i=1NL(f(xi|θ),yi) J ( θ ) = 1 N ∑ i = 1 N L ( f ( x i | θ ) , y i )