深度学习导论--线性神经网络、delta学习规则、梯度下降法(python实现)

线性神经网络

  1. 与感知器区别
    • 感知器激活函数输出两种值,使用sign函数调整权值
    • 线性神经网络激活函数(线性函数)输出任意值,使用LMS(最小均方)调整权值和偏置
    • purelin函数(y=x)

LMS学习规则:最小均方规则

线性神经网络结构

深度学习导论--线性神经网络、delta学习规则、梯度下降法(python实现)_第1张图片

  • purelin用于训练

  • sign用于预测

delta学习规则:连续感知器学习规则

利用梯度下降法的一般性学习法则

代价函数(损失函数)

深度学习导论--线性神经网络、delta学习规则、梯度下降法(python实现)_第2张图片

梯度下降

深度学习导论--线性神经网络、delta学习规则、梯度下降法(python实现)_第3张图片

梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。

在单变量的实值函数的情况,梯度只是导数,或者,对于一个线性函数,也就是线的斜率。

梯度下降的问题

  1. 学习率难取
    1. 太大震荡大
    2. 太小收敛慢
  2. 容易陷入局部最优解

解决异或问题

深度学习导论--线性神经网络、delta学习规则、梯度下降法(python实现)_第4张图片

下面的代码部分,就是在输入中添加非线性输入,实现解决异或问题

代码

import numpy as np
import matplotlib.pyplot as plt

class LinearNeuralNetwork(object):
    def __init__(self, data, label,learing_rate,epoch):
        self.data = data
        self.label = label
        self.learning_rate = learing_rate
        self.W = (np.random.random(data.shape[1]) - 0.5) * 2
        self.output = 0
        self.epoch=epoch
        
        
    #更新权值
    def update(self, data, label):
        self.output = np.dot(data, self.W.T)
        # 取平均后,收敛得更快了
        delta_W = self.learning_rate * ((label - (self.output).T).dot(data)) 
        self.W += delta_W
        #self.output = np.sign(np.dot(self.W, data))
    #训练
    def fit(self, data, label):
        n = 0
        while n<self.epoch:
            self.update(data, label)
            o=np.sign(np.dot(data, self.W.T))#公式写错,应该是data*W,不是W*data结果不同
            n += 1
        print("epochs:", n)
        print(self.W)
        print("output:")
        print(o)
        return
    #获取权值
    def getW(self):
        return self.W
    #预测
    def predict(self, testData):
        return np.sign(np.dot(self.W, testData))
if __name__ == '__main__':
    #输入数据
    X = np.array([[1,0,0,0,0,0],[1,0,1,0,0,1],[1,1,0,1,0,0],[1,1,1,1,1,1]])
    #标签
    Y = np.array([-1,1,1,-1])
    LNN=LinearNeuralNetwork(X,Y,0.11,10000)
    LNN.fit(X,Y)
#求解表达式
def calculate(x,root):
    a = W[5]
    b = W[2]+x*W[4]
    c = W[0]+x*W[1]+x*x*W[3]
    if root==1:
        return (-b+np.sqrt(b*b-4*a*c))/(2*a)
    if root==2:
        return (-b-np.sqrt(b*b-4*a*c))/(2*a)
x1 = [0,1]
y1 = [1,0]
#负样本
x2 = [0,1]
y2 = [0,1]
W=LNN.getW()    

xdata = np.linspace(-1,2)

plt.figure()

plt.plot(xdata,calculate(xdata,1),'r')
plt.plot(xdata,calculate(xdata,2),'r')

plt.plot(x1,y1,'bo')
plt.plot(x2,y2,'yo')
plt.show()

print(W)

深度学习导论--线性神经网络、delta学习规则、梯度下降法(python实现)_第5张图片

你可能感兴趣的:(深度学习导论,神经网络,python,深度学习,机器学习,人工智能)