机器学习课程学习阶段总结

机器学习课程学习阶段总结

线性回归 & 逻辑回归

逻辑回归 是一种分类算法，和之前的线性回归不是同一类问题，但是对于处理问题上有相同的思想。 对于线性回归问题，有较容易理解的思路。首先指定一个形式确定的

hθ(x)=θTx
然后根据所有样本计算代价函数，距离的平方取平均再乘个系数:
J(θ)=12m∑mi=1(hθ(x(i))−y(i))2
简单的理解就是根据假设函数得出的结果与实际样本的“远近”程度。我们希望求出代价函数最小值所在点对应向量 θ 。之后将 θ 带入到假设函数中，就得到较好的拟合结果。而代价函数中唯一的变量就是 θ ，所以可以通过求导（偏导数）的方法求出 θ 。

而逻辑回归的假设函数不再是简单的

hθ(x)=θTx
而是更适合用于之后数学计算过程的
hθ(x)=g(θTx)
该假设函数的性质较特殊，可以最终通过判断 θTx 的正负来得出y=0或1。h(x)改变了，代价函数也跟着改变：根据样本的y=0或1有两段函数（涉及到log等，十分巧妙）,同样的，我们希望求出代价函数的最小值对应的 θ ，由于 θ 是代价函数的唯一变量，可以求导（偏导）得到，经过求导，非常非常巧合，导函数的形式和线性回归一致（但是本质不一致，因为假设函数就完全不同），所以可以用梯度下降的方法求出来最小值，以及对应的 θ 。

最后视频介绍了 fmin函数，主要是有助于求出代价函数的最小值，函数采用更高级的算法，但是目的还是求解代价函数最小。所以，在使用高级函数前，我们要得到数学模型。 总而言之，求解这两类问题，首先确定 hθ(x) 的形式，然后确定 J(θ) 的形式， 再通过代入所有的样本，得到 J(θ) 的具体表达式。最后求 J(θ) 的最小值，以及对应的 θ ， 放回 hθ(x) 中，得出结论。 ​ ​ ​ ​
​