吴恩达机器学习笔记（1）
1.监督学习的过程
将监督学习的数据集分为自变量（x）和因变量（y）。有监督学习算法的任务是，生成一个函数，将预测时需要用到的x输入进去，能输出相应的结果。
2.代价函数
以回归算法为例，设假设函数为 h θ ( x ) = θ 0 + θ 1 ∗ x h_\theta(x)=\theta_0+\theta_1*x hθ(x)=θ0+θ1∗x,代价函数（cost function）为 J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)}) J(θ0,θ1)=2m1∑i=1m(hθ(x(i))−y(i)),则为了找到最适合的 θ 0 , θ 1 \theta_0,\theta_1 θ0,θ1,则应找到代价函数相应的最小值。
3.梯度下降
梯度下降Gradient descent是用来找到最适合的 θ 0 , θ 1 \theta_0,\theta_1 θ0,θ1的算法。通过计算代价函数的偏导数，找到 θ 0 , θ 1 \theta_0,\theta_1 θ0,θ1变化的方向，改变 θ 0 , θ 1 \theta_0,\theta_1 θ0,θ1，的值，从而使代价函数的值降到局部最低点。
for j=0 and j=1
θ j : = θ j − α ∂ ∂ θ j j ( θ 0 , θ 1 ) \theta_j:=\theta_j-\alpha\frac{\partial}{\partial \theta_j}j(\theta_0,\theta_1) θj:=θj−α∂θj∂j(θ0,θ1)
即
θ 0 : = θ 0 − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) θ 1 : = θ 1 − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x ( i ) \theta_0:=\theta_0-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)}) \\\theta_1:=\theta_1-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)} θ0:=θ0−αm1i=1∑m(hθ(x(i))−y(i))θ1:=θ1−αm1i=1∑m(hθ(x(i))−y(i))x(i)
α \alpha α是学习率learning rate，作用是控制我们以多大的幅度改变参数
4.多元线性回归
多元线性回归的参数相比于二元线性回归更多。假设函数 h θ ( x ) = θ 0 + θ 1 x 1 + θ 2 x 2 + … + θ n x n h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+…+\theta_nx_n hθ(x)=θ0+θ1x1+θ2x2+…+θnxn
对于上述情况，假设 x 0 = 1 x_0=1 x0=1,则有 h θ ( x ) = θ 0 x 0 + θ 1 x 1 + θ 2 x 2 + … + θ n x n h_\theta(x)=\theta_0x_0+\theta_1x_1+\theta_2x_2+…+\theta_nx_n hθ(x)=θ0x0+θ1x1+θ2x2+…+θnxn,define θ = [ θ 0 θ 1 ⋮ θ n ] \theta=\begin{bmatrix}\theta_0\\\theta_1\\\vdots\\\theta_n\end{bmatrix} θ=⎣⎢⎢⎢⎡θ0θ1⋮θn⎦⎥⎥⎥⎤, x = [ x 0 x 1 ⋮ x n ] x=\begin{bmatrix}x_0\\x_1\\\vdots\\x_n\end{bmatrix} x=⎣⎢⎢⎢⎡x0x1⋮xn⎦⎥⎥⎥⎤,则有 h θ ( x ) = θ ⊤ x h_\theta(x)=\theta^{\top}x hθ(x)=θ⊤x
Cost function: J ( θ ) = J ( θ 0 , θ 1 , … , θ n ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) J(\theta)=J(\theta_0,\theta_1,…,\theta_n)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)}) J(θ)=J(θ0,θ1,…,θn)=2m1∑i=1m(hθ(x(i))−y(i))
Gradient descent:
f o r j = 0 , 1 , . . . , n θ j : = θ j − α ∂ ∂ θ j J ( θ ) = θ j − α 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) for\;j=0,1,...,n\\ \theta_j:=\theta_j-\alpha\frac{\partial}{\partial \theta_j}J(\theta) \\ =\theta_j-\alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x^{(i)}_j forj=0,1,...,nθj:=θj−α∂θj∂J(θ)=θj−αm1i=1∑m(hθ(x(i))−y(i))xj(i)
多元线性回归梯度下降算法的优化
1.特征缩放
将特征向量中每个特征变量都缩放到相似区间内，从而使梯度下降更为精确和快速
特征变量除以最大值
均值归一化： x i = x i − μ i s i x_i=\frac{x_i-\mu_i}{s_i} xi=sixi−μi,其中 μ i \mu_i μi是 x i x_i xi的平均值， s i = m a x x i − m i n x i s_i=max_{x_i}-min_{x_i} si=maxxi−minxi是 x i x_i xi的范围
2.调整学习率 α \alpha α
如果 α \alpha α太小，那么代价函数收敛会很缓慢；如果 α \alpha α太大，那么代价函数可能会不收敛。
5.自定义特征和多项式回归
假如我们有一个房价数据集，里面包含房子的长和宽还有相应的房价。我们建立回归模型的时候，自变量不一定要局限于长和宽，我们可以自己定义一个特征 x = l e n g t h ∗ w i d t h x=length*width x=length∗width,用特征x来建立回归模型预测房价。
在比如说，现有数据集如下图
如图所示，该数据集并不适合做线性回归，这时候就可以考虑多项式回归。例如将特征变量设置为 s i z e size size和 s i z e \sqrt{size} size两个，即 h θ ( s i z e ) = θ 0 + θ 1 ∗ ( s i z e ) + θ 2 ∗ ( s i z e ) h_\theta(size)=\theta_0+\theta_1*(size)+\theta_2*(\sqrt{size}) hθ(size)=θ0+θ1∗(size)+θ2∗(size)
6.正规方程求解 θ \theta θ
set：
x ( i ) = [ x 0 ( i ) x 1 ( i ) x 2 ( i ) ⋮ x m ( i ) ] , X = [ ( x ( 1 ) ) ⊤ ( x ( 2 ) ) ⊤ ( x ( 3 ) ) ⊤ ⋮ ( x ( m ) ) ⊤ ] y = [ y ( 1 ) y ( 2 ) y ( 3 ) ⋮ y ( m ) ] x^{(i)}=\begin{bmatrix}x_0^{(i)}\\x_1^{(i)}\\x_2^{(i)}\\\vdots\\x_m^{(i)}\end{bmatrix}\;, X=\begin{bmatrix}(x^{(1)})^\top\\(x^{(2)})^\top\\(x^{(3)})^\top\\\vdots\\(x^{(m)})^\top\end{bmatrix} y=\begin{bmatrix}y^{(1)}\\y^{(2)}\\y^{(3)}\\\vdots\\y^{(m)}\end{bmatrix} x(i)=⎣⎢⎢⎢⎢⎢⎢⎡x0(i)x1(i)x2(i)⋮xm(i)⎦⎥⎥⎥⎥⎥⎥⎤,X=⎣⎢⎢⎢⎢⎢⎡(x(1))⊤(x(2))⊤(x(3))⊤⋮(x(m))⊤⎦⎥⎥⎥⎥⎥⎤y=⎣⎢⎢⎢⎢⎢⎡y(1)y(2)y(3)⋮y(m)⎦⎥⎥⎥⎥⎥⎤
则用以下公式即可求得最合适的 θ \theta θ值：
θ = ( X ⊤ X ) − 1 X ⊤ y \theta=(X^\top X)^{-1}X^\top y θ=(X⊤X)−1X⊤y
在处理线性回归问题时，如果要求的参数不多（小于1w），则用正规方程比较好。
在 θ \theta θ中所含的参数很多时用梯度下降更好。
其他更复杂模型的代价函数，有时候正规方程并不适用，此时也是梯度下降更好。
正规方程比较好。
在 θ \theta θ中所含的参数很多时用梯度下降更好。
其他更复杂模型的代价函数，有时候正规方程并不适用，此时也是梯度下降更好。