机器学习初识
1). 监督学习(supervised learning)，无监督学习(unsupervised learning)，半监督学习(Semi-Supervised Learning)，强化学习（reinforcement Learning ）
2). 监督学习(supervised learning)和无监督学习(unsupervised learning)的判断：
是否有监督（supervised），就看输入数据是否有标签（label）。输入数据有标签，则为有监督学习，没标签则为无监督学习。
3). 监督学习：回归(Regression，连续）、分类（Classification，离散)
无监督学习：聚类（clustering）
分类算法KNN：
K近邻算法，即K-Nearest Neighbor algorithm，简称KNN算法。
可认为是：找最接近K的那个邻居。
实例：肿瘤良，恶性判断(手动实现)
from matplotlib import pyplot as plt
import numpy as np
raw_data_X = [[3.393533211, 2.331273381],
[3.110073483, 1.781539638],
[1.343808831, 3.368360954],
[3.582294042, 4.679179110],
[2.280362439, 2.866990263],
[7.423436942, 4.696522875],
[5.745051997, 3.533989803],
[9.172168622, 2.511101045],
[7.792783481, 3.424088941],
[7.939820817, 0.791637231]
]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
X_train = np.array(raw_data_X)
y_train = np.array(raw_data_y)
预测
# 假设新来一个样本数据判断x是恶性还是良性
x = np.array([8.093607318, 3.365731514])
plt.scatter(X_train[y_train==0,0],X_train[y_train==0,1],color = 'r') #setosa
plt.scatter(X_train[y_train==1,0],X_train[y_train==1,1],color = 'b') #versicolor
plt.scatter(x[0],x[1],color = 'g') #virginica
plt.show()
通过knn算法来预测
from math import sqrt
# 计算x距离所有的是十个个点的距离，然后选距离最近的前k个
# distances = []
# for x_train in X_train:
# d = sqrt(np.sum((x_train-x)**2))
# distances.append(d)
distances = [sqrt(np.sum((x_train-x)**2)) for x_train in X_train]
distances
[4.812566907609877,
5.229270827235305,
6.749798999160064,
4.6986266144110695,
5.83460014556857,
1.4900114024329525,
2.354574897431513,
1.3761132675144652,
0.3064319992975,
2.5786840957478887]
nearst = np.argsort(distances)
nearst
array([8, 7, 5, 6, 9, 3, 0, 1, 4, 2], dtype=int64)
# 假设我们指定K的值是6
k =6
top_k_y =[y_train[i] for i in nearst[:6]]
top_k_y
[1, 1, 1, 1, 1, 0]
# 数据统计量大的话使用的统计办法
from collections import Counter
votes = Counter(top_k_y)
votes
Counter({1: 5, 0: 1})
# 返回数量前 i 的数据信息
votes.most_common(1)
[(1, 5)]
predict_y = votes.most_common(1)[0][0]
predict_y
1
x患者是恶性肿瘤的可能性大