统计学习方法 李航 感知机模型 python sklearn 实现 及课后习题

• 李航
  感知机（perception）是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1.感知机对应于输入空间（特征空间）中将实例化分为正负两类的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知及算法具有简单而易于实现的优点，分为原始形式和对偶形式。感知机预测是利用学习到的感知机模型对新的输入实例进行分类。感知机1957年由Rosenblatt提出，是神经网络和支持向量机的基础。

• 收敛性证明结果：
  k < (R/Y)^2 ,其中，k为误分类次数，R为||xi||的最大值i=1,2,3...n, Y为yi(Wopt*xi + Bopt)的最小值。这个定理表明，误分类次数是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面，也就是说，当训练数据集线性可分时，感知基学习算法原始形式迭代是收敛的。但是当初始值及更新样本不定时学出来的超平面是变化的，故需要加约束条件，SVM就是加了约束条件。当训练数据集线性不可分时，感知机学习算法不收敛，迭代结果将会发生震荡。

• 对偶形式
  对偶形式的基本思想，将权重w和偏置b表示为实例xi和yi的线性组合形式，通过求解其系数，从而求解最终的的w和b

• python代码：辅助理解感知机算法

import numpy as np

data = np.array([[3, 3], [4, 3], [1, 1]])
label = np.array([1, 1, -1])
class preceptron(object):
    def __init__(self, data,label,l=1):
        self.a = np.zeros([len(data), 1])
        self.b = 0
        self.l = 1
        self.count = 0
        self.data = data
        self.label = label

    def model(self):
        gram_matrix = self.__get_gram_matrix(self.data)
        flag = True
        index = 0
        while flag:
            index += 1
            i = index % len(self.data)
            self.__updata_wb(gram_matrix, self.label, i)
            if self.count == len(data):
                flag = False
        return np.sum(self.a * self.data, axis=0), self.b

    def __get_gram_matrix(self, data):
        return np.matmul(data, np.transpose(data))

    def __updata_wb(self, gram_matrix, label, i):

        sum = 0
        for j in range(len(self.a)):
            sum += self.a[j] * label[j] * gram_matrix[j][i]
        if label[i] * (sum  + self.b) <= 0:
            self.a[i] += self.l
            self.b += label[i]
            self.count = 0
            return self.__updata_wb(gram_matrix, label, i)
        else:
            self.count += 1
            return


w, b = preceptron(data,label).model()
print('W %s, \nb %s.\n' % (w, b))

• sklearn代码：所用数据为kaggle中mnist数据，将特征PCA至六维

# -*- coding: utf-8 -*-

"""
使用sklearn实现的感知机算法进行分类的一个实例，
使用数据集是Kaggle数字手写体数据库
"""



import pandas as pd

import numpy as np

from sklearn.linear_model import Perceptron
from sklearn.decomposition import PCA

import sklearn



# 加载数据集

def load_data(filename, n, mode):

    data_pd = pd.read_csv(filename)

    data = np.asarray(data_pd)

    pca = PCA(n_components=n)

    if not mode == 'test':

        dateset = pca.fit_transform(data[:, 1:])

        return dateset, data[:, 0]

    else:

        dateset = pca.fit_transform(data)

        return dateset, 1



def main(train_data_path, test_data_path, n_dim):

    train_data, train_label = load_data(train_data_path, n_dim, 'train')

    print("Train set :" + repr(len(train_data)))

    test_data, _ = load_data(test_data_path, n_dim, 'test')

    print("Test set :" + repr(len(test_data)))

    ppn = Perceptron()

    # 训练数据集

    ppn.fit(train_data, train_label)

    # 训练准确率

    score = ppn.score(train_data, train_label)

    print(">Training accuracy = " + repr(score))

    predictions = []

    for index in range(len(test_data)):

        # 预测

        result = ppn.predict([test_data[index]])

        predictions.append([index + 1, result[0]])

        print(">Index : %s, predicted = %s" % (index + 1, result[0]))

    columns = ['ImageId', 'Label']

    save_file = pd.DataFrame(columns=columns, data=predictions)

    save_file.to_csv('ppn.csv', index=False, encoding="utf-8")



if __name__ == ''__main__'':

    train_data_path = 'train.csv'

    test_data_path = 'test.csv'

    n_dim = 6

    main(train_data_path, test_data_path, n_dim)

课后习题

喜欢的关注点赞哈