Pytorch(二) --梯度下降法
针对y=wx+b，利用梯度下降法求得相对应的w和b，此时，w和b是一个近似解，而不是确切解。
上图是针对y=wx的梯度下降法的步骤，y=w*x+b的步骤与之类似，只不过分为两步，w和b。
代码如下所示：
import numpy as np
import matplotlib.pyplot as plt
#y = 2*x+3
x_data = [1.0,2.0,3.0]
y_data = [5.0,7.0,9.0]
#随机初始化w和b
w=1.0
b=1.0
lr = 0.01
def forward(x):
return w*x+b
#损失函数
def cost(xs,ys):
cost = 0
for x,y in zip(xs,ys):
y_pred = forward(x)
cost+=(y_pred-y)**2
return cost/len(xs)
#梯度降函数
def gradient(xs,ys):
gradw=0
gradb=0
for x,y in zip(xs,ys):
gradw+=2*x*(x*w+b-y)
gradb+=2*(x*w+b-y)
return gradw/len(xs),gradb/len(xs)
epoch_list = []
cost_list = []
print('predict (before training)',4,forward(4))
for epoch in range(10000):#迭代10000次
cost_val = cost(x_data,y_data)
gradw,gradb = gradient(x_data,y_data)
w-=lr*gradw
b-=lr*gradb
print('epoch:',epoch,'w=',w,'b=',b,'loss=',cost_val)
epoch_list.append(epoch)
cost_list.append(cost_val)
print('predict (after training)',4,forward(4))
plt.plot(epoch_list,cost_list)
plt.ylabel('cost')
plt.xlabel('epoch')
plt.show()
最终的结果如下所示：
epoch: 9999 w= 2.0000000000202744 b= 2.9999999999539115 loss= 3.061922477666832e-22
与真实结果相差很小，比起穷举法，节省很多时间。
SGD(随机梯度下降法)
上面求梯度的方法是利用了所有的样本求梯度，而在面对大量的样本时，这样做耗时严重，而且样本中所掺杂的噪声样本会影响最终的结果，因此，随机梯度下降法是很好的选择，每次只选择一个样本求梯度，然后更新梯度，最终也会获得很好的结果。
两种求梯度方法的优缺点：
1）
优点：可以并行计算，计算效率高。
缺点：最终的结果误差较大。
2）
优点：最终的结果较为准确。
缺点：不能并行计算，计算效率比较低。
采取折中的办法------Mini batch
SGD代码如下所示：
def SGD(x,y):
return 2*x*(x*w+b-y),2*(x*w+b-y)
epoch_list = []
cost_list = []
print('predict (before training)',4,forward(4))
for epoch in range(10000):
cost_val = cost(x_data,y_data)
gradw,gradb = gradient(x_data,y_data)
w-=lr*gradw
b-=lr*gradb
print('epoch:',epoch,'w=',w,'b=',b,'loss=',cost_val)
epoch_list.append(epoch)
cost_list.append(cost_val)
print('predict (after training)',4,forward(4))
plt.plot(epoch_list,cost_list)
plt.ylabel('cost')
plt.xlabel('epoch')
plt.show()
结果如下：
epoch: 9999 w= 2.0000000000202744 b= 2.9999999999539115 loss= 3.061922477666832e-22
努力加油a啊