2 感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机预测是用学习得到的感知机模型对新输入实例进行分类。

2.1 感知机模型

在这里插入图片描述

感知机是一种线性分类模型，属于判别函数。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合{f|f(x)=wx+b}.
感知机的几何解释：
线性方程 wx+b=0
对应于特征空间Rn中的一个超平面S，其中w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两部分，即正负两类。超平面S称为分离超平面。如图：

在这里插入图片描述

2.2 感知机学习策略
L2 范数：欧式距离

在这里插入图片描述

在这里插入图片描述

2.3 感知机学习算法

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同。

Gram 矩阵
定义

在这里插入图片描述

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris


class Model:
    def __init__(self):
        self.w = np.ones(len(data[0]) - 1, dtype=np.float32)
        self.b = 0
        self.l_rate = 0.1

    def sign(self, x, w, b):
        y = np.dot(x, w) + b
        return y

    # 随机梯度下降法
    def fit(self, X_train, y_train):
        is_wrong = False
        while not is_wrong:
            wrong_count = 0
            for d in range(len(X_train)):
                X = X_train[d]
                y = y_train[d]
                if y * self.sign(X, self.w, self.b) <= 0:
                    self.w = self.w + self.l_rate * np.dot(y, X)
                    self.b = self.b + self.l_rate * y
                    wrong_count += 1
            if wrong_count == 0:
                is_wrong = True
        return 'Perceptron Model!'


# 使用鸢尾花load_iris数据中的sepal length,sepal width
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['label'] = iris.target  # 分类
df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
data = df.iloc[:100, [0, 1, -1]].values
X, y = data[:, :-1], data[:, -1]
y = np.array([1 if i == 1 else -1 for i in y])
perceptron = Model()
perceptron.fit(X, y)
x_point = np.linspace(4, 7, 10)
y_point = -(perceptron.w[0] * x_point + perceptron.b) / perceptron.w[1]  # 直线方程
plt.plot(x_point, y_point)
plt.scatter(data[:50, 0], data[:50, 1], color='blue', label='0')
plt.scatter(data[50:100, 0], data[50:100, 1], color='orange', label='1')
plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()
plt.show()

image.png

直接调用scikit-learn函数代码

import sklearn
from sklearn.linear_model import Perceptron

clf = Perceptron(fit_intercept=True,
                 tol=None,
                 max_iter=1000,
                 shuffle=True)
clf.fit(X, y)
# 画布大小
plt.figure(figsize=(10,10))
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False

plt.scatter(data[:50, 0], data[:50, 1], c='blue', label='0',)
plt.scatter(data[50:100, 0], data[50:100, 1], c='orange', label='1')

# 画感知机的线
x_points = np.linspace(4,7,10)
y_points = -(clf.coef_[0][0]*x_points + clf.intercept_)/clf.coef_[0][1]
plt.plot(x_points, y_points)

plt.xlabel('sepal length')
plt.ylabel('sepal width')
plt.legend()
plt.show()

image.png