机器学习算法--python--sklearn--后续神经网络

机器学习算法

1 概念

机器学习算法分类：监督学习、无监督学习、强化学习

基本的机器学习算法：线性回归、支持向量机(SVM)、最近邻居(KNN)、逻辑回归、决策树、k平均、随机森林、朴素贝叶斯、降维、梯度增强

公式、图示、案例

1.1 分类

机器学习算法大致可以分为三类：

监督学习算法 (Supervised Algorithms）:在监督学习训练过程中，可以由训练数据集学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。该算法要求特定的输入/输出，首先需要决定使用哪种数据作为范例。例如，文字识别应用中一个手写的字符，或一行手写文字。主要算法包括神经网络、支持向量机、最近邻居法、朴素贝叶斯法、决策树等。

无监督学习算法 (Unsupervised Algorithms):这类算法没有特定的目标输出，算法将数据集分为不同的组。

强化学习算法 (Reinforcement Algorithms):强化学习普适性强，主要基于决策进行训练，算法根据输出结果（决策）的成功或错误来训练自己，通过大量经验训练优化后的算法将能够给出较好的预测。类似有机体在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。在运筹学和控制论的语境下，强化学习被称作“近似动态规划”（approximate dynamic programming，ADP）。

1.2 基本的机器学习算法：

线性回归算法 Linear Regression；支持向量机算法 (Support Vector Machine,SVM)；最近邻居/k-近邻算法 (K-Nearest Neighbors,KNN)；逻辑回归算法 Logistic Regression；决策树算法 Decision Tree；k-平均算法 K-Means；随机森林算法 Random Forest；朴素贝叶斯算法 Naive Bayes；降维算法 Dimensional Reduction；梯度增强算法 Gradient Boosting

2 基本的机器学习算法

2.1 线性回归算法 Linear Regression

回归分析（Regression Analysis）是统计学的数据分析方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测其它变量的变化情况。

线性回归算法（Linear Regression）的建模过程就是使用数据点来寻找最佳拟合线。公式，y = mx + c，其中 y 是因变量，x 是自变量，利用给定的数据集求 m 和 c 的值。
线性回归又分为两种类型，即 简单线性回归（simple linear regression)，只有 1 个自变量；*多变量回归（multiple regression)，至少两组以上自变量。

2.2 支持向量机算法 (Support Vector Machine,SVM)----------sklearn

支持向量机/网络算法(SVM)属于分类型算法。SVM模型将实例表示为空间中的点，将使用一条直线分隔数据点。需要注意的是，支持向量机需要对输入数据进行完全标记，仅直接适用于两类任务，应用将多类任务需要减少到几个二元问题。经典的SVM只给出了二类分类的算法，现实中数据可能需要解决多类的分类问题。因此可以多次运行SVM，产生多个超平面，如需要分类1-10种产品，首先找到1和2-10的超平面，再寻找2和1,3-10的超平面，以此类推，最后需要测试数据时，按照相应的距离或者分布判定。

#线性   
from sklearn import svm  
import numpy as np  
import matplotlib.pyplot as plt  

np.random.seed(0)  
x = np.r_[np.random.randn(20,2)-[2,2],np.random.randn(20,2)+[2,2]] #正态分布来产生数字,20行2列*2  
y = [0]*20+[1]*20 #20个class0，20个class1  

clf = svm.SVC(kernel='linear')  
clf.fit(x,y)  

w = clf.coef_[0] #获取w  
a = -w[0]/w[1] #斜率  
#画图划线  
xx = np.linspace(-5,5) #(-5,5)之间x的值  
yy = a*xx-(clf.intercept_[0])/w[1] #xx带入y，截距  

#画出与点相切的线  
b = clf.support_vectors_[0]  
yy_down = a*xx+(b[1]-a*b[0])  
b = clf.support_vectors_[-1]  
yy_up = a*xx+(b[1]-a*b[0])  

print("W:",w)  
print("a:",a)  

print("support_vectors_:",clf.support_vectors_)  
print("clf.coef_:",clf.coef_)  
  
plt.figure(figsize=(8,4))  
plt.plot(xx,yy)  
plt.plot(xx,yy_down)  
plt.plot(xx,yy_up)  
plt.scatter(clf.support_vectors_[:,0],clf.support_vectors_[:,1],s=80)  
plt.scatter(x[:,0],x[:,1],c=y,cmap=plt.cm.Paired) #[:，0]列切片，第0列  
  
plt.axis('tight')  
  
plt.show()  

W: [0.90230696 0.64821811]
a: -1.3919804762557653
support_vectors_: [[-1.02126202  0.2408932 ]
 [-0.46722079 -0.53064123]
 [ 0.95144703  0.57998206]]
clf.coef_: [[0.90230696 0.64821811]]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HFnVmrS2-1651486207999)(MLA_files/MLA_5_1.png)]

2.3 最近邻居/k-近邻算法 (K-Nearest Neighbors,KNN)----------sklearn

KNN算法是一种基于实例的学习，或者是局部近似和将所有计算推迟到分类之后的惰性学习。用最近的邻居（k）来预测未知数据点。k 值是预测精度的一个关键因素，无论是分类还是回归，衡量邻居的权重都非常有用，较近邻居的权重比较远邻居的权重大。

KNN 算法的缺点是对数据的局部结构非常敏感。计算量大，需要对数据进行规范化处理，使每个数据点都在相同的范围。

延伸：KNN 的一个缺点是依赖于整个训练数据集，学习向量量化（Learning Vector Quantization，LVQ)是一种监督学习的人神经网络算法，允许你选择训练实例。LVQ 由数据驱动，搜索距离它最近的两个神经元，对于同类神经元采取拉拢，异类神经元采取排斥，最终得到数据的分布模式。如果基于 KNN 可以获得较好的数据集分类效果，利用 LVQ 可以减少存储训练数据集存储规模。典型的学习矢量量化算法有LVQ1、LVQ2和LVQ3，尤以LVQ2的应用最为广泛。

下面将经过编码来了解KNN算法：

https://blog.csdn.net/weixin_39881922/article/details/80419270?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147734516782184669562%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147734516782184669562&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-5-80419270.142^v9pc_search_result_cache,157^v4control&utm_term=KNN+sklearn&spm=1018.2226.3001.4187

2.4 逻辑回归算法 Logistic Regression----------sklearn

逻辑回归算法（Logistic Regression）一般用于需要明确输出的场景，如某些事件的发生（预测是否会发生降雨）。通常，逻辑回归使用某种函数将概率值压缩到某一特定范围。
例如，Sigmoid 函数（S 函数）是一种具有 S 形曲线、用于二元分类的函数。它将发生某事件的概率值转换为 0, 1 的范围表示。

Y = E ^（b0＋b1 x）/（1 + E ^（b0＋b1 x ））
以上是一个简单的逻辑回归方程，B0，B1是常数。这些常数值将被计算获得，以确保预测值和实际值之间的误差最小。

https://blog.csdn.net/cymy001/article/details/78556968?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147946916780357236149%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147946916780357236149&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-14-78556968.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+LR&spm=1018.2226.3001.4187

2.5 决策树算法 Decision Tree----------sklearn

决策树（Decision tree）是一种特殊的树结构，由一个决策图和可能的结果（例如成本和风险）组成，用来辅助决策。机器学习中，决策树是一个预测模型，树中每个节点表示某个对象，而每个分叉路径则代表某个可能的属性值，而每个叶节点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出，通常该算法用于解决分类问题。

一个决策树包含三种类型的节点：

决策节点：通常用矩形框来表示

机会节点：通常用圆圈来表示

终结点：通常用三角形来表示

简单决策树算法案例，确定人群中谁喜欢使用信用卡。考虑人群的年龄和婚姻状况，如果年龄在30岁或是已婚，人们更倾向于选择信用卡，反之则更少。

通过确定合适的属性来定义更多的类别，可以进一步扩展此决策树。在这个例子中，如果一个人结婚了，他超过30岁，他们更有可能拥有信用卡（100% 偏好）。测试数据用于生成决策树。

注意：对于那些各类别样本数量不一致的数据，在决策树当中信息增益的结果偏向于那些具有更多数值的特征。

https://blog.csdn.net/wangxingfan316/article/details/82115452?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147984516782248522785%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147984516782248522785&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-1-82115452.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E5%86%B3%E7%AD%96%E6%A0%91&spm=1018.2226.3001.4187

2.6 k-平均算法 K-Means----------sklearn

k-平均算法(K-Means)是一种无监督学习算法，为聚类问题提供了一种解决方案。
K-Means 算法把 n 个点（可以是样本的一次观察或一个实例）划分到 k 个集群（cluster），使得每个点都属于离他最近的均值（即聚类中心，centroid）对应的集群。重复上述过程一直持续到重心不改变。

https://blog.csdn.net/EleanorWiser/article/details/70226704?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147997016782388056432%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147997016782388056432&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-3-70226704.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+k-means&spm=1018.2226.3001.4187

https://blog.csdn.net/lynn_001/article/details/86679270?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165147997016782388056432%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165147997016782388056432&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-5-86679270.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+k-means&spm=1018.2226.3001.4187

2.7 随机森林算法 Random Forest----------sklearn

随机森林算法（Random Forest）的名称由 1995 年由贝尔实验室提出的random decision forests 而来，正如它的名字所说的那样，随机森林可以看作一个决策树的集合。
随机森林中每棵决策树估计一个分类，这个过程称为“投票（vote）”。理想情况下，我们根据每棵决策树的每个投票，选择最多投票的分类。

https://blog.csdn.net/qq_34106574/article/details/82016442?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165148015216781483741390%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165148015216781483741390&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-18-82016442.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97&spm=1018.2226.3001.4187

https://blog.csdn.net/qq_29750461/article/details/81516008?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165148015216781483741390%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165148015216781483741390&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-4-81516008.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E9%9A%8F%E6%9C%BA%E6%A3%AE%E6%9E%97&spm=1018.2226.3001.4187

2.8 朴素贝叶斯算法 Naive Bayes----------sklearn

朴素贝叶斯算法（Naive Bayes）基于概率论的贝叶斯定理，应用非常广泛，从文本分类、垃圾邮件过滤器、医疗诊断等等。朴素贝叶斯适用于特征之间的相互独立的场景，例如利用花瓣的长度和宽度来预测花的类型。“朴素”的内涵可以理解为特征和特征之间独立性强。

与朴素贝叶斯算法密切相关的一个概念是最大似然估计(Maximum likelihood estimation)，历史上大部分的最大似然估计理论也都是在贝叶斯统计中得到大发展。例如，建立人口身高模型，很难有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取分布的均值与方差。

https://blog.csdn.net/luanpeng825485697/article/details/78967139?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165148038316782184646422%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165148038316782184646422&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-7-78967139.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF&spm=1018.2226.3001.4187

https://blog.csdn.net/kancy110/article/details/72763276?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165148038316782184646422%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=165148038316782184646422&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_allfirst_rank_ecpm_v1~hot_rank-2-72763276.142^v9pc_search_result_cache,157^v4control&utm_term=sklearn+%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF&spm=1018.2226.3001.4187

2.9 降维算法 Dimensional Reduction----------sklearn

在机器学习和统计学领域，降维是指在限定条件下，降低随机变量个数，得到一组“不相关”主变量的过程，并可进一步细分为特征选择和特征提取两大方法。

一些数据集可能包含许多难以处理的变量。特别是资源丰富的情况下，系统中的数据将非常详细。在这种情况下，数据集可能包含数千个变量，其中大多数变量也可能是不必要的。在这种情况下，几乎不可能确定对我们的预测影响最大的变量。此时，我们需要使用降维算法，降维的过程中也可能需要用到其他算法，例如借用随机森林，决策树来识别最重要的变量。

https://blog.csdn.net/qq_30868737/article/details/112618519

2.10 梯度增强算法 Gradient Boosting

梯度增强算法（Gradient Boosting）使用多个弱算法来创建更强大的精确算法。它与使用单个估计量不同，而是使用多个估计量创建一个更稳定和更健壮的算法。梯度增强算法有几种：

XGBoost  — 使用线性和树算法

LightGBM  — 只使用基于树的算法
梯度增强算法的特点是精度较高。此外，LightGBM 算法具有令人难以置信的高性能。

https://blog.csdn.net/BF02jgtRS00XKtCx/article/details/116246443

https://itpcb.com/a/1362924

https://blog.csdn.net/fengdu78/article/details/115475480#:~:text=%E4%B8%89%E5%A4%A7Boosting%E7%AE%97%E6%B3%95%E5%AF%B9%E6%AF%94.%20%E9%A6%96%E5%85%88%EF%BC%8CXGBoost%E3%80%81LightGBM%E5%92%8CCatBoost%E9%83%BD%E6%98%AF%E7%9B%AE%E5%89%8D%E7%BB%8F%E5%85%B8%E7%9A%84SOTA%EF%BC%88state%20of%20the%20art%EF%BC%89Boosting%E7%AE%97%E6%B3%95%EF%BC%8C%E9%83%BD%E5%8F%AF%E4%BB%A5%E5%BD%92%E7%B1%BB%E5%88%B0%E6%A2%AF%E5%BA%A6%E6%8F%90%E5%8D%87%E5%86%B3%E7%AD%96%E6%A0%91%E7%AE%97%E6%B3%95%E7%B3%BB%E5%88%97%E3%80%82.,%E4%B8%89%E4%B8%AA%E6%A8%A1%E5%9E%8B%E9%83%BD%E6%98%AF%E4%BB%A5%E5%86%B3%E7%AD%96%E6%A0%91%E4%B8%BA%E6%94%AF%E6%92%91%E7%9A%84%E9%9B%86%E6%88%90%E5%AD%A6%E4%B9%A0%E6%A1%86%E6%9E%B6%EF%BC%8C%E5%85%B6%E4%B8%ADXGBoost%E6%98%AF%E5%AF%B9%E5%8E%9F%E5%A7%8B%E7%89%88%E6%9C%AC%E7%9A%84GBDT%E7%AE%97%E6%B3%95%E7%9A%84%E6%94%B9%E8%BF%9B%EF%BC%8C%E8%80%8CLightGBM%E5%92%8CCatBoost%E5%88%99%E6%98%AF%E5%9C%A8XGBoost%E5%9F%BA%E7%A1%80%E4%B8%8A%E5%81%9A%E4%BA%86%E8%BF%9B%E4%B8%80%E6%AD%A5%E7%9A%84%E4%BC%98%E5%8C%96%EF%BC%8C%E5%9C%A8%E7%B2%BE%E5%BA%A6%E5%92%8C%E9%80%9F%E5%BA%A6%E4%B8%8A%E9%83%BD%E6%9C%89%E5%90%84%E8%87%AA%E7%9A%84%E4%BC%98%E7%82%B9%E3%80%82.%20%E4%B8%89%E5%A4%A7%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8E%9F%E7%90%86%E7%BB%86%E8%8A%82%E6%88%91%E4%BB%AC%E6%9C%AC%E6%96%87%E4%B8%8D%E5%81%9A%E5%8F%99%E8%BF%B0%EF%BC%8C%E5%8F%AF%E5%8F%82%E8%80%83%20%E3%80%90%E5%8E%9F%E5%88%9B%E9%A6%96%E5%8F%91%E3%80%91%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E5%85%AC%E5%BC%8F%E6%8E%A8%E5%AF%BC%E4%B8%8E%E4%BB%A3%E7%A0%81%E5%AE%9E%E7%8E%B030%E8%AE%B2.pdf%20%E3%80%82.%20%E9%82%A3%E4%B9%88%E8%BF%99%E4%B8%89%E5%A4%A7Boosting%E7%AE%97%E6%B3%95%E5%8F%88%E6%9C%89%E5%93%AA%E4%BA%9B%E5%A4%A7%E7%9A%84%E6%96%B9%E9%9D%A2%E7%9A%84%E5%8C%BA%E5%88%AB%E5%91%A2%EF%BC%9F.

OVER
%E4%B9%88%E8%BF%99%E4%B8%89%E5%A4%A7Boosting%E7%AE%97%E6%B3%95%E5%8F%88%E6%9C%89%E5%93%AA%E4%BA%9B%E5%A4%A7%E7%9A%84%E6%96%B9%E9%9D%A2%E7%9A%84%E5%8C%BA%E5%88%AB%E5%91%A2%EF%BC%9F.

OVER