感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机预测是用学习得到的感知机模型对新输入实例进行分类。
2.1 感知机模型
在这里插入图片描述
感知机是一种线性分类模型，属于判别函数。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合{f|f(x)=wx+b}.
感知机的几何解释：
线性方程 wx+b=0
对应于特征空间Rn中的一个超平面S，其中w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两部分，即正负两类。超平面S称为分离超平面。如图：
在这里插入图片描述
2.2 感知机学习策略
L2 范数：欧式距离
在这里插入图片描述
在这里插入图片描述
2.3 感知机学习算法
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同。
Gram 矩阵
定义
在这里插入图片描述
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
class Model:
def __init__(self):
self.w = np.ones(len(data[0]) - 1, dtype=np.float32)
self.b = 0
self.l_rate = 0.1
def sign(self, x, w, b):
y = np.dot(x, w) + b
return y
# 随机梯度下降法
def fit(self, X_train, y_train):
is_wrong = False
while not is_wrong:
wrong_count = 0
for d in range(len(X_train)):
X = X_train[d]
y = y_train[d]
if y * self.sign(X, self.w, self.b) <= 0:
self.w = self.w + self.l_rate * np.dot(y, X)
self.b = self.b + self.l_rate * y
wrong_count += 1
if wrong_count == 0:
is_wrong = True
return 'Perceptron Model!'
# 使用鸢尾花load_iris数据中的sepal length,sepal width
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['label'] = iris.target # 分类
df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
data = df.iloc[:100, [0, 1, -1]].values
X, y = data[:, :-1], data[:, -1]
y = np.array([1 if i == 1 else -1 for i in y])
perceptron = Model()
perceptron.fit(X, y)
x_point = np.linspace(4, 7, 10)
y_point = -(perceptron.w[0] * x_point + perceptron.b) / perceptron.w[1] # 直线方程
plt.plot(x_point, y_point)
plt.scatter(data[:50, 0], data[:50, 1], color='blue', label='0')
plt.scatter(data[50:100, 0], data[50:100, 1], color='orange', label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()
plt.show()
image.png
直接调用scikit-learn函数代码
import sklearn
from sklearn.linear_model import Perceptron
clf = Perceptron(fit_intercept=True,
tol=None,
max_iter=1000,
shuffle=True)
clf.fit(X, y)
# 画布大小
plt.figure(figsize=(10,10))
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.scatter(data[:50, 0], data[:50, 1], c='blue', label='0',)
plt.scatter(data[50:100, 0], data[50:100, 1], c='orange', label='1')
# 画感知机的线
x_points = np.linspace(4,7,10)
y_points = -(clf.coef_[0][0]*x_points + clf.intercept_)/clf.coef_[0][1]
plt.plot(x_points, y_points)
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()
plt.show()
image.png