线性回归和逻辑回归

线性回归：

线性回归在我的理解就是让自变量和自变量对应的值适当改动然后用图像进行函数化。

我看完题最直观的感觉是它就是利用已知数据通过函数模型来预测未知样本。

我把解题的思路分成三步

第一步是找到模型。

书上给出的模型是y=b+w*x,通过y=b+w*x模型确定哪个函数更好更接近真实值更有利于判断。

第二步是区分哪种函数更好

当时我就想到了最小二乘法，用最小二乘法来判断直线，当最小二乘法最小时预测的值就会更准确。

第三步求解w

y=A*w(A是特征值即为已知数据的性质组成的矩阵，比如说三个性质分别是平方，经度，纬度，然后从上到下每一行都是一个房子的这些性质）。

如果w有解就直接可以得出

如果w无解那么就需要利用矩阵（向量）转换成y_=W*X,用投影的方法来求W为何值时投影的值与原有的值，可以推出w=（A转置乘A)的逆乘A的转置乘y。

另：

使用线性回归的条件是有曾经具有性质的数据（例如曾经成交的房子的平方，经度，纬度）和曾经已有数据对应的y值（例如房子价格），这样才能进行预测。

逻辑回归：

因为线性回归只能使用线性模型所以无法解决一些二类线性不可分数据集。逻辑回归本质上就是用回归的方法解决分类的问题，即对要预测的分类结果的概率值作为回归的对象，当概率值超过设定的某个阈值的时候，就将其看作某个类别。

逻辑回归的解题思路分为三部分，跟线性回归求解步骤差不多

第一步是找到模型。

给出的模型有两个，一个是算y=x+b模型（上面线性回归的那个方程）,另一个是y=1/(1+e的-z次方)。

第二步是判断什么时候能够更接近真实值。

通过对二类分类的情况分析，可知我们的目的是求取参数w和b，使得sigmoid函数对0类和1类的分类结果尽可能取最大值，但是定义的是求最小值于是加个负号求最小值。

第三步求解w和b

利用梯度下降法求其最小值。

注：

Sigmoid函数在零点取得最大值，在零点变化率快，而在远离零点的点，sigmod函数的变化缓慢（饱和区间）。