（李航统计学习方法）感知机Python实现

机器学习的三要素：模型，策略，算法
模型：感知机是二分类线性分类模型，属于判别模型。
策略：基于误分类点到超平面的总距离。
学习算法：略
感知机存在的问题：

1. 存在多解，解依赖于初始超平面的选择以及迭代过程中误分类点的选择。
2. 训练集线性不可分，算法无法收敛，解决方法：pocket算法或者使用核函数。
3. 无法解决异或问题

Python代码实现：

import numpy as np
def train(X_train,Y_train):
    print(np.shape(X_train))
    m,n=np.shape(X_train)
    w=np.zeros((n,1))
    b=0
    while True:
        count=m
        for i in range(m):
            result=Y_train[i]*(np.dot(X_train[i],w)+b)
            if result<=0:
                count-=1
                for j in range(n):
                    w[j]=w[j]+X_train[i][j]*Y_train[i]
                b=b+Y_train[i]
                print("w:",w)
                print("b:",b)
                break
        if count==m:
            break
    return  w,b
def predict(w,b,X_test):
    y_=np.dot(X_test,w)+b
    return np.where(y_>1,1,-1)
def main():
    X_train=np.array(([3,3],[4,3],[1,1]))
    Y_train=np.array(([1,1,-1]))
    w,b=train(X_train,Y_train)
    X_test=np.array(([2,3],[-15,6],[1,4]))
    print(predict(w,b,X_test))
if __name__=='__main__':
    main()