1.梯度下降法
上文写的求解损失函数的最小二乘法
除了最小二乘法还可以使用梯度下降求解。
我们先随机给θ一个值，然后朝着负梯度的方向移动，也就是迭代，每次得到的θ值使用J(θ)比之前更小。
这个α是指学习率，或者说是步长，这个影响的迭代的快慢。
我们函数y = (x - 0.1)²/2为例，使用梯度下降的方法，求其y达到最小时，x的值
代码示例
# coding:utf-8
import numpy as np
import matplotlib.pyplot as plt
from matplotlib import font_manager
font = font_manager.FontProperties(fname="/usr/share/fonts/wps-office/msyhbd.ttf", size=25)
class OneGard(object):
def __init__(self,fx,hx):
"""
:param fx: 原函数
:param hx: 导函数
"""
self.fx = fx
self.hx = hx
self.x = None
self.GD_X = []
self.GD_Y = []
self.iter_num = 0
self.f_change = None
self.f_current = None
def gard_fun(self,x, alpha=0.5):
"""
梯度下降
:param x: 初始随机x值
:param alpha: 学习率
:return:
"""
self.x = x
self.f_change = self.fx(self.x)
self.f_current = self.f_change
self.GD_X.append(x)
self.GD_Y.append(self.f_current)
while self.f_change > 1e-10 and self.iter_num < 100:
self.iter_num += 1
self.x = self.x - alpha * self.hx(self.x)
tmp = self.fx(self.x)
self.f_change = np.abs(self.f_current - tmp)
self.f_current = tmp
self.GD_X.append(self.x)
self.GD_Y.append(self.f_current)
def f(x):
"""
y = (x - 0.1)²/2
:param x:
:return:
"""
return (x - 0.1) ** 2 /2
def h(x):
"""
y = (x - 0.1)²/2的导数
:param x:
:return:
"""
return (x - 0.1)
gard = OneGard(f, h)
gard.gard_fun(x=4,alpha=0.5)
print("最终x:{:.2f},y:{:.2f}" .format(gard.x, gard.f_current))
print("迭代次数{}" .format( gard.iter_num))
print("迭代过程x的取值:\n{}".format(gard.GD_X))
# 画图
X = np.arange(-4, 4.5, 0.05)
Y = np.array(list(map(lambda t: f(t), X)))
plt.figure(figsize=(20,10), facecolor='w')
plt.plot(X, Y, 'r-', linewidth=2)
plt.plot(gard.GD_X, gard.GD_Y, 'bo--', linewidth=2)
plt.show()
结果为
最终x:0.10,y:0.00
迭代次数19
迭代过程x的取值:
[4, 2.05, 1.075, 0.5874999999999999, 0.34374999999999994, 0.221875, 0.1609375, 0.13046875000000002, 0.11523437500000001, 0.10761718750000002, 0.10380859375000001, 0.10190429687500001, 0.1009521484375, 0.10047607421875, 0.10023803710937501, 0.10011901855468751, 0.10005950927734375, 0.10002975463867188, 0.10001487731933595, 0.10000743865966798]图像如下：
机器学习中梯度下降常用的有三种：
批量梯度下降(BGD)、随机梯度下降(SGD)、小批量梯度下降(MBGD)。
参考 梯度下降法的三种形式BGD、SGD以及MBGD
（这个写的清楚明了，以前学的时候，脑子听成了浆糊，看了这篇文，我是豁然开朗）
2.多项式回归
线性回归针对的是θ而言是一种,对于样本本身而言,样本可以是非线性的。
例如
这时我们可以领x1 = x, x2 = x²，
得到如下
这样就转变成我们的熟悉的线性回归。
多项式扩展，就是将低纬度空间的点映射到高纬度空间中。
3.其他线性回归
3.1Ridge回归
线性回归的L2正则化通常称为Ridge回归，也叫作岭回归，与标准线性回归的差异，在于它在损失函数上增加了一个L2正则化的项。
λ是常数系数，是正则化系数，属于一个超参数，需要调参。
λ太小就会失去处理过拟合的能力，太大就会因力度过大而出现欠拟合的现象。
3.2 LASSO回归
使用L1正则的线性回归模型就称为LASSO回归，和Ridge回归区别在于，它加的是L1正则化的项。
3.3 弹性网络
弹性网络，Elasitc Net，同时使用L1正则和L2正则
3.4 Ridge回归和LASSO回归比较
1）两者都可以都可以来解决标准线性回归的过拟合问题。
2）LASSO可以用来做特征选择，但Ridge回归则不行，因为LASSO能够使得不重要的变量的系数变为0，而Ridge回归则不行。
参考 线性回归、lasso回归、岭回归以及弹性网络的系统解释
4.代码示例
岭回归预测波士顿房价
from sklearn.datasets import load_boston
from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from matplotlib import pyplot as plt
from matplotlib import font_manager
font = font_manager.FontProperties(fname="/usr/share/fonts/wps-office/msyhbd.ttf", size=25)
def radge_fun():
"""
岭回归预测波士顿房价
:return:
"""
lb = load_boston()
x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.2)
x_std = StandardScaler()
y_std = StandardScaler()
x_train = x_std.fit_transform(x_train)
x_test = x_std.transform(x_test)
y_train = y_std.fit_transform(y_train.reshape(-1,1))
y_test = y_std.transform(y_test.reshape(-1,1))
model = Ridge(alpha=1.0)
model.fit(x_train, y_train)
y_predict = y_std.inverse_transform(model.predict(x_test))
return y_predict, y_std.inverse_transform(y_test)
def draw_fun(y_predict, y_test):
"""
绘制房价预测与真实值的散点和折线图
:param y_predict:
:param y_test:
:return:
"""
x = range(1,len(y_predict)+1)
plt.figure(figsize=(25, 10), dpi=80)
plt.scatter(x, y_test, label="真实值",color='blue')
plt.scatter(x, y_predict,label='预测值', color='red')
plt.plot(x,y_test)
plt.plot(x,y_predict)
x_tick = list(x)
y_tick = list(range(0,60,5))
plt.legend(prop=font, loc='best')
plt.xticks(list(x), x_tick)
plt.yticks(y_tick)
plt.grid(alpha=0.8)
plt.show()
if __name__ == '__main__':
y_predict, y_test = radge_fun()
draw_fun(y_predict, y_test)
结果