机器学习中的回归理解

1. 机器学习中回归（自变量x和应变量y）之间的关系由两种？

   确定性关系（函数关系）：如线性相关，能够找到函数或者曲线能够进行拟合。

   非确定性关系（相关关系）：如正相关，或者负相关。

2. 如何判断这些散点，是否可以用直线进行拟合？

   我们可以算法它们之间的x和y的相关系数:

    

 

 

 

 

 

算出它们之间的相关系数，相关系数越大，则越可以用直线进行拟合。

3.怎么求拟合直线方程？

    我们可以基于均方误差最小化来进行模型求解的方法称为最小二乘法，然后求出线性回归模型的最小二乘参数估计(w,b)，分别对其求导等等算出

    也可以通过矩阵求出：将w转化成(w,b)，将x转换成(x t,1),这就变成了矩阵形式，对其求导，w和b,然后根据矩阵的逆矩阵求法。

   当然还有其他线性回归，如对数线性回归，对数几率回归