第四章广义线性模型-"耿直"的算法模型这章主要介绍了线性模型,怎么模拟直线,线性回归,岭回归,Lasso(套索)回归.不过这本书都不怎么讲数学,原理基本不讲.没有讲出线性回归,岭回归,Lasso回归的本质差异,需要额外补充资料学习.这章主要用到sklearn.linear_model模块:linear_model模块4.1线性模型的基本模型线性模型一般预测公式:ŷ=w0+∑i=1~n(xi*wi

前言：文章内容参考了以下书籍：【机器学习实战】、【深入浅出Python机器学习】，主要是对KNN算法的实现进行总结归纳；使用编程语言：python3；目录一、kNN代码实现1、classify0函数实现

决策树很容易实现过拟合，随机森林（一种集合算法）可解决这个问题jupyter实现importnumpyasnpimportmatplotlib.pyplotaspltfrommatplotlib.colorsimportListedColormap#导入随机森林模型fromsklearn.ensembleimportRandomForestClassifier#载入红酒数据集fromsklearn

机器学习正在迅速改变我们的世界。我们几乎每天都会读到机器学习如何改变日常的生活。如果你在淘宝或者京东这样的电子商务网站购买商品，或者在爱奇艺或是腾讯视频这样的视频网站观看节目，甚至只是进行一次百度搜索，就已经触碰到了机器学习的应用。使用这些服务的用户会产生数据，这些数据会被收集，在进行预处理之后用来训练模型，而模型会通过这些数据来提供更好的用户体验。此外，目前还有很多使用机器学习技术的产品或服务即

内容简介机器学习正在迅速改变我们的世界。我们几乎每天都会读到机器学习如何改变日常的生活。如果你在淘宝或者*这样的电子商务网站购买商品，或者在爱奇艺或是腾讯视频这样的视频网站观看节目，甚至只是进行一次百度搜索，就已经触碰到了机器学习的应用。使用这些服务的用户会产生数据，这些数据会被收集，在进行预处理之后用来训练模型，而模型会通过这些数据来提供更好的用户体验。此外，目前还有很多使用机器学习技术的产品或

决策树：实现分类jupyter实现importnumpyasnpimportmatplotlib.pyplotaspltfrommatplotlib.colorsimportListedColormap#导入tree模型和数据集加载工具fromsklearnimporttree,datasets#导入数据集拆分工具fromsklearn.model_selectionimporttrain_tes

《深入浅出Python机器学习》读书笔记，第三章K近邻算法目录一、K近邻算法的原理二、K近邻算法的用法1K近邻算法在分类任务中的应用1.1生成训练集数据1.2用训练数据训练模型1.3测试模型2K近邻算法处理多元任务分类

【导读】机器学习正在迅速改变我们的世界。我们几乎每天都会读到机器学习如何改变日常的生活。如果你在淘宝或者京东这样的电子商务网站购买商品，或者在爱奇艺或是腾讯视频这样的视频网站观看节目，甚至只是进行一次百度搜索，就已经触碰到了机器学习的应用。使用这些服务的用户会产生数据，这些数据会被收集，在进行预处理之后用来训练模型，而模型会通过这些数据来提供更好的用户体验。此外，目前还有很多使用机器学习技术的产品

最近在看《深入浅出Python机器学习》，敲案例时发现matplotlib里cmap参数的使用方法发生了一些变化，索性整理了一下cmap相关的内容，这里是matplotlib的官方颜色图，文中也会放出。

第三章K最近邻算法-近朱者赤,近墨者黑3.1kNN原理在分类上,原理是取最近的k个点,按这些点的类标签来决定未知点的类型.在回归上,取最近k个点的y值取平均作为预测值.默认的k是5,根据经验可以调5,10.参数最好要优化.metric和p可以改变距离的测量.weights可以改变各特征的权重(默认均等).TODO:如果分类时,k个点最多的类有2甚至3种,是根据最近原则来确定类么?3.2kNN的用法

第三章K最近邻算法-近朱者赤,近墨者黑3.1kNN原理在分类上,原理是取最近的k个点,按这些点的类标签来决定未知点的类型.在回归上,取最近k个点的y值取平均作为预测值.默认的k是5,根据经验可以调5,10.参数最好要优化.metric和p可以改变距离的测量.weights可以改变各特征的权重(默认均等).TODO:如果分类时,k个点最多的类有2甚至3种,是根据最近原则来确定类么?3.2kNN的用法

#导入数据集获取工具#fromsklearn.datasetsimportfetch_mldata#加载MNIST手写数字数据集#mnist=fetch_mldata('MNISToriginal')#报错,无法获取,参考:https://blog.csdn.net/Dontla/article/details/99677247#获取scikit数据根目录fromsklearn.datasetsi

目录1、支持向量机的基本原理2、支持向量机的核函数和参数选择3、支持向量机实例---对波士顿房价进行回归分析备注：本文主要来自于对《深入浅出python机器学习》书籍的学习总结笔记，感兴趣的同学可以购买本书学习

通过学习对比，《深入浅出Python机器学习》和《机器学习实战》是我们学习机器学习的最合适的选择。

#6.3.1数据集的准备importpandasaspddata=pd.read_csv('adult.csv',header=None,index_col=False,names=['年龄','单位性质','权重','学历','受教育时长','婚姻状况','职业','家庭状况','种族','性别','资产所得','资产损失','周工作时长','原籍','收入'])data_lite=data[[

深入浅出Python机器学习_学习笔记前80多页可以参考这里,这本书在出版社的介绍和源代码第一章概述有监督学习:通过训练集数据建模,对新的数据样本进行分类或者回归分析.数据集包含样品特征变量及分类标签.

资料：《深入浅出Python机器学习》学习时间：2018.10目录0写在开头1KNN2广义线性模型线性回归岭回归lasso回归（套索回归）弹性网模型其他线性模型3朴素贝叶斯朴素贝叶斯算法的不同方法4决策树和随机森林决策树随机森林

目录1、线性模型基本原理1.1线性模型一般公式1.2线性模型图形表示2、线性模型分类及模型实现3、线性模型的优缺点备注：本文主要来自于对《深入浅出python机器学习》书籍的学习总结笔记，感兴趣的同学可以购买本书学习

目录1、决策树1.1决策树的基本原理1.2决策树的优势和不足2、随机森林2.1随机森林的基本原理2.2随机森林的优势和不足3、实战案例---收入预测案例备注：本文主要来自于对《深入浅出python机器学习

目录1.K最近邻算法原理2.K最近邻算法项目实战2.1电影分类2.2酒分类3.K最近邻算法优缺点备注：本文主要来自于对《深入浅出python机器学习》书籍的学习总结笔记，感兴趣的同学可以购买本书学习,学习的本质就是形成自己的逻辑

福利规则：1、本公众号（Python猫）读者，在后台回复1123获取抽奖码，即可参与2、书籍：清华大学出版社，《深入浅出Python机器学习》2本3、活动截止时间：2018年11月29日18:184、附加规则

我在学习机器学习过程中，认为大家可以参考《跟着迪哥学Python数据分析与机器学习实战》和《深入浅出Python机器学习》。

管道模型的概念及用法管道模型的基本概念前面我们学习了如何使用交叉验证对模型进行评估，以及如何使用网格搜索来找到模型的最优参数。如果我们要用某个数据集进行模型训练的话，很可能进行如下操作：选择使用MLP多层感知神经网络作为下一步要用的分类器模型（因为MLP是典型的需要进行数据预处理的算法模型），用StandardScaler作为数据预处理的工具，使用make_blobs生成样本数量为200，分类数为

文本数据的特征提取、中文分词及词袋模型使用CountVectorizer对文本进行特征提取之前接触数据的特征大概可以分为两类：一类是用来表示数值的连续特征；另一类是表示样本所在分类的类型特征。而在自然语言处理的领域中，我们会接触到第三类数据类型——文本数据。文本数据在计算机中往往被存储为字符串类型（string），在不同场景中，文本数据的长度差异会非常大，这也使得文本数据的处理方式与数值型数据的处

数据表达使用哑变量转化类型特征哑变量（DummyVariables），也称为虚拟变量，是一种在统计学和经济学领域非常常用的，用来把某些类型变量转化为二值变量的方法，在回归分析中的使用尤其广泛。例如我们在之前使用pandas的get_dummies将adult数据集中的类型特征转换成了用0和1表达的数值特征。下例中对get_dummies的使用：从结果可以看出，pandas的DataFrame生成的

数据预处理使用StandScaler进行数据预处理首先手工生成一些数据：用make_blobs函数时，指定了样本数量n_samples为40，分类centers为2，随机状态random_state为50，标准差cluster_std为2.从图中可以看出数据集中样本有2个特征，分别对应x轴和y轴，特征1的数值大约在-8~7之间，特征2的数值大约在-10~10之间。用StandardScaler对数

神经网络的前世今生这一部分时对先驱们的致敬，若是不想看可以直接跳过。在1943年，美国神经解剖学家沃伦麦克洛奇（WarrenMcCulloch）神经网络和数学家沃尔特皮茨（WalterPitts）就提出了一个脑神经元的抽象模型，被称为M-P模型（McCulloch-Pittsneuron，MCP）。1958年，著名的计算机科学家弗兰克罗森布拉特（FrankRossenblatt）基于M-P模型提出

支持向量机SVM的基本概念支持向量机SVM的基本原理当数据线性不可分时，增加数据的维度，将其投射至高维空间，从而引出了SVM。在SVM中用的最普遍的两种把数据投射到高维空间的方法是多项式内核（Ploynomial）和径向基内核（Radialbasisfunctionkernel，RBF）。其中多项是内核比较容易理解，它是通过把原始特征进行乘方来把数据投射到高维空间，比如特征1乘2次方、特征2乘三次

决策树决策树的基本原理决策树是一种在分类与回归中都有非常广泛应用的算法，它的原理是通过对一系列问题进行ifelse的推导，最终实现决策。决策树的构建使用酒的数据集演示一下。注意：此处为了方便演示，我们只取了数据集中样本的前两个特征。实际中，问题的数量越多，就代表决策树的深度越深，此处我们用的最大深度为1，所以max_depth=1。进一步看看分类器的表现如何。显然，最大深度为1时只分了两类，效果不

朴素贝叶斯基本概念/td>贝叶斯定理请看后续概率论篇朴素贝叶斯的简单应用在过去7天，有4天没有下雨（用0表示），三天下雨（用1表示）。这7天里气象的情况如下表：刮北风闷热多云天气预报有雨第1天否是否是第2天是是是否第3天否是是否第4天否否否是第5天否是是否第6天否是否是第7天是否否是用0表示否，1表示是。可得数组X=[0,1,0,1],[1,1,1,0],[0,1,1,0],[0,0,0,1],[

线性模型的基本概念线性模型的一般公式在机器学习领域，常用的线性模型包括线性回归、岭回归、套索回归、逻辑回归和线性SVC等。假如我们有一条直线，其方程是y=0.5x+3,通过两个点（（1，3）和（4，5））的直线模型：线性模型的图形表示打印直线方程：当数据有三个点（（1，3）、（4，5）和（3，3））时：可以看出没有穿过任何一个点，而是位于一个和3个点的距离相加最小的位置，直线方程为：我们以scik

Python的下载与安装不同系统安装教程后面暂时没写，后面补上。linux和MACOSX自带了Python2.7.x，需另外安装最新版本。但是系统运行依赖于自带的Python2.7.x，因此请务必不要删除系统自带的版本。JupyterNotebook的安装与使用方法在linux下，运行如下命令pip3installjupyter一些必需库的安装及功能简介在linux系统或者MACOSX，只需要在终

什么是机器学习机器学习一个计算机程序在使用既有的经验(E)执行某类任务(T)的过程中被认定为是“具备学习能力的”，那么它一定需要展现出：利用现有的经验(E)，不断改善其完成既定任务(T)的性能(P)的特质。(更倾向于机器学习实际应用)机器学习应用场景电子商务中的智能推荐社交网络中的效果广告互联网金融中的内容审查智能物流、智能家居、无人驾驶等。机器学习该如何入门从编程入手，比如当下正热火朝天的Pyt

简单页面的爬取准备Request库和UserAgent在日常工作中我们有时候需要一个简单的程序代替人工进行大规模的阅读去爬取有用的信息，也就是我们常说的“爬虫”程序。首先我们需要安装一个简单的Requests库（当然你也可以安装其它的库进行爬虫）pipinstallrequestsRequest库是一个常用的http请求库，它本身是用Python编写的。Request基于urllib，但是比url

K最近邻算法的原理K最近邻算法就是目标数据点在现有数据集中，离哪一部分最近就将其划分为哪一部分。而K字母的含义就是近邻的个数。在scikit-learn中，K最近邻算法的K值是通过N_neighbors参数来调节的，默认值是5.K最近邻算法可以用于回归，原理和其用于分类是相同的。当我们使用K最近邻回归计算某个数据点的预测值时，模型会选择离该数据点最近的若干个数据集中的点，并将它们的y值取平均值，并

1、使用交叉验证进行模型评估scikit-learn中的交叉验证在统计学中，交叉验证法是一种非常常用的对于模型泛化性能进行评估的方法。和之前用的train_test_split方法所不同的是，交叉验证法会反复地拆分数据集，并用来训练多个模型。所以我们说这种方法更加粗暴。在scikit-learn中默认使用的交叉验证法是K折叠交叉验证法(k-foldcrossvalidation)。这种方法将数据集

#使用StandardScaler进行数据预处理importnumpyimportmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_blobsX,y=make_blobs(n_samples=40,centers=2,random_state=50,cluster_std=2)plt.scatter(X[:,0],X[:,1],c=y,cma

importnumpyasnpimportmatplotlib.pyplotaspltline=np.linspace(-5,5,200)plt.plot(line,np.tanh(line),label='relu')plt.plot(line,np.maximum(line,0),label='relu')#a=[]#foriinline:#j=1/(1+np.exp(-i))#a.appen

%matplotlibinline#支持向量机SVM的核函数importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportsvmfromsklearn.datasetsimportmake_blobsX,y=make_blobs(n_samples=50,centers=2,random_state=6)print('X:\n',X,'\n