二分类线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1或者-1值。
简单来说,就是在平面坐标轴画一条直线,把点分为两类。
例如下面的图:
下面是运行程序,只考虑了最简单的模型的实现,针对上面的例题
# -*- coding: utf-8 -*-
"""
Created on Mon Aug 27 15:11:52 2018
@author: zlee
@感知机学习算法的原始形式
"""
import matplotlib.pyplot as plt
from pylab import plot
import numpy as np
#将要进行处理的点数据集合
x = [[3,3],[4,3],[1,1]]
y = [1,1,-1]
#方程的系数
w=[0,0]
b=0
alpha = 1
sign = 0
#sgn函数
def sgn(x):
if x > 0:
return 1
else :
return -1
#进行求解超平面
while sign == 0 :
sign = 1
for i in range(0,len(x)):
while (sgn(np.dot(w,x[i]) + b) != y[i]):
w[0] = w[0] + alpha * y[i] * x[i][0]
w[1] = w[1] + alpha * y[i] * x[i][1]
b = b + alpha * y[i]
sign = 0
print(w)
print(b)
ascent = -w[0]/w[1]#斜率
intercept = -b/w[1]#截距
x = np.linspace(0,5,50)
y = ascent * x + intercept
#折线图绘制函数
plt.axis([0,5,0,5])#设置边界范围
plt.scatter(1,1)#画出点
plt.scatter(3,3)
plt.scatter(4,3)
plt.plot(x,y)#连成线
plt.show()
可以看到w为[1,1],b为-3.
神经网络的基础模型:输入层,隐含层,输出层。
下面是最简单的拓扑模型
这个图代表输入输出两层神经元的简单连接。这里有n个神经元代表输入口。
总的加权和就是每个点Xi与其权重Wi的乘积,如下式所示:
我们一般采用符号函数sgn(x)来当作单层感知器的传递函数,即输出:
即可转化为:
单层感知器其局限性:
因为处理函数是线性的,所以中间怎么处理都是线性的,最后的结果能表示的范围也是很小的,它毕竟不是非线性的。
由于它只有一层功能神经元,所以学习能力非常有限。
为此我们引入激活函数,来加入非线性的函数处理,这样最后的处理结果可以变化为多种非线性的结果,拟合效果更加好。
https://blog.csdn.net/panda07100/article/details/38580993
我们通常将多层感知机这样的多层结构称之为是神经网络