吴恩达机器学习笔记——第二周

多变量线性回归

假设

h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + θ 3 x 3 + θ 4 x 4 h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+\theta_4x_4 hθ(x)=θ0+θ1x1+θ2x2+θ3x3+θ4x4
为了表示方便,我们定义一个单纯为了计算方便的特征,也就是 x 0 = 1 x_0=1 x0=1.
此时 h θ ( x ) = θ T x h_\theta(x)=\theta^Tx hθ(x)=θTx, x x x θ \theta θ都是n+1维的向量

代价函数

同单变量线性回归。

梯度下降算法求解

在这里插入图片描述

梯度下降算法的优化

为了使得梯度下降算法正常的工作,最好各个特征值的大小和范围都比较接近,否则会出现如下图一样的运算路径。
所以需要调整变量的范围,使得范围接近、均值为0,即对变量做如下处理:
x = x − μ s x=\frac{x-\mu}{s} x=sxμ
这里的 μ \mu μ是x的均值;s是x的方差,或者较为实用的是可以取(max-min).

使用线性拟合二次或者三次曲线

x x x视作 x 1 x_1 x1,将 x 2 x^2 x2视作 x 2 x_2 x2,将 x 3 x^3 x3视作 x 3 x_3 x3.

正规方程法求解

θ = ( X T X ) − 1 X T y \theta=(X^TX)^{-1}X^Ty θ=(XTX)1XTy
正规方程法不需要尝试,只需一次计算即可获得结果。
但是计算复杂度高,只适用于低纬度的矩阵运算。

你可能感兴趣的:(机器学习)