简介：决策树是一种基本的分类与回归方法。下面的笔记主要记录用于分类的决策树。决策树模型呈树形结构，在分类中，表示基于特征对实例进行分类的过程。其主要优点是：模型具有可读性，分类速度快。学习时利用训练数据，根据损失函数最小化原则建立决策树模型。决策树学习通常包括三个步骤：特征选择、决策树的生成、决策树的修剪。决策树模型与学习决策树模型：分类决策树模型是一种描述对实例进行分类的树形结构（注意：kd树是

线性支持向量机线性支持向量机定义线性支持向量机线性支持向量机学习算法代码案例TensorFlow案例地址线性支持向量机实际场景中训练数据往往不是线性可分的，当训练数据近似线性可分时，就需要使用线性支持向量机或软间隔支持向量机。给定训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1,y1)

朴素贝叶斯条件概率特征条件独立假设朴素贝叶分类器朴素贝叶斯分类算法原理学习与分类算法朴素贝叶斯算法原理模型多项式模型高斯模型伯努利模型多项式模型的朴素贝叶斯分类器实现代码高斯模型的朴素贝叶斯分类器实现代码代码案例地址条件概率朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。要明白什么是贝叶斯定理，则先复习一下几个术语：条件概率、特征条件独立假设.什么是条件概率？P(A∣B)P(A|B)P(A

朴素贝叶斯机器学习实战代码详见：https://editor.csdn.net/md?articleId=105165351优缺点优点：在数据较少的情况下仍然有效；可以处理多类别问题缺点：对于输入数据的准备方式较为敏感？适用数据类型：标称型数据本章概要朴素贝叶斯是典型的生成模型。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y)P(X,Y)，然后求得后验概率分布P(Y∣X)P(Y|X)P(

统计学习方法笔记（1）—感知机引言感知机模型模型简述感知机算法思想感知机算法性质算例实现导入数据使用前两类莺尾花数据利用感知机进行线性分类小结参考轻松一刻引言下午拜读了李航老师的《统计学习方法》的感知机部分

决策树模型呈树状结构，是一种基本的分类与回归方法。在分类任务中，表示基于特征对实例进行分类的过程。特征选择特征选择在于选取对训练数据具有分类能力的特征，也就是决定用哪个特征来划分特征空间。一般特征选择的准则是信息增益或信息增益比。信息增益在介绍信息增益前，先了解一下熵以及条件熵的概念。熵熵表示随机变量不确定性的度量。设X表示一个取值有限的离散随机变量，其概率分布为：P(X=xi)=pi,i=1,2

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类模型。通过给定训练数据，学习输入x/输出y的联合概率分布P(x,y)，然后用贝叶斯定理求出后验概率最大的输出y，作为预测结果。贝叶斯定理贝叶斯定理是关于随机事件A和B发生的条件概率，P(B|A)是在A发生的情况下B发生的可能性。定理简化版如下：P(B∣A)=P(A,B)P(A)=P(A∣B)P(B)P(A)P(B|A)=\frac{P(A,B)}

感知机是二类分类的线性分类模型，输入为实例的特征向量，输出为实例的类别。感知机学习旨在求出将训练数据进行线性划分的分离超平面。感知机模型输入x表示实例的特征向量，输出空间是y={+1,-1}，由输入空间到输出空间的函数：f(x)=sign(w⋅x+b)f(x)=sign(w\cdotx+b)f(x)=sign(w⋅x+b)，称为感知机。w和b为模型参数，sign为符号函数。感知机的几何解释对应线性

这是我参加mlhub123组织的书籍共读计划的读书笔记，活动见mlhub第一期读书计划阅读章节：第三章：k近邻法开始时间：2018-09-29结束时间：2018-10-23（比较忙）目标：读完第三章，掌握基本概念，产出一篇笔记博客地址k近邻法（k-nearestneighbor，k-NN）是一种基本分类与回归方法，本书只讨论分类形式：k近邻算法k近邻模型k近邻法的实现：kd树k近邻算法什么是k近邻

统计学习方法笔记(一)1.1实现统计学习方法的步骤1.得到一个有限的训练数据集。2.确定包含所有可能的模型的假设空间，即学习模型的集合。3.确定模型选择的准则，即学习策略。

统计学习方法笔记(第四章个人笔记)标签：统计学习方法朴素贝叶斯法描述：朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练数据集，首先基于特征条件独立假设学习输入与输出的联合概率分布

统计学习方法笔记(第三章个人笔记)标签：机器学习深度学习K近邻算法1.描述：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近（可以用欧氏距离或者其他距离，但是要知道，用不同距离得到的最近邻点是会有一定差异的

这是我参加mlhub123组织的书籍共读计划的读书笔记，活动见mlhub第一期读书计划阅读章节：第一章：统计学习方法概论开始时间：2018-09-14结束时间：2018-09-16目标：读完第一章，掌握基本概念，产出一篇笔记博客地址第一章主要对全书内容做了一个内容的概括：统计学习：定义、研究对象和方法监督学习统计学习三要素：模型、策略、算法模型评估与选择：包括正则化、交叉验证与学习的泛化能力生成模

统计学习方法笔记第二章感知机1.感知机模型2.感知机学习策略2.1数据集的线性可分性2.2感知机学习策略3.感知机的学习算法3.1原始形式学习算法3.2算法的收敛性3.3对偶算法4.python实现5.

NLP学习总结持续更新中统计学习方法笔记CS229课程笔记CS224课程笔记优秀知乎论文github统计学习方法笔记http://www.hankcs.com/ml/the-perceptron.htmlCS229

第二章感知机（perceptron）感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实力划分为正负两类的分离超平面，属于判别模型。函数：f(x)=sign(w∗x+b)f(x)=sign(w*x+b)f(x)=sign(w∗x+b)损失函数：L(w,b)=−Σyi(w∗xi+b)L(w,b)=-\Sigma{y_{i}

1.1统计学习统计学习也称统计机器学习主要特点：以计算机及网络为平台，建立在计算机及网络之上以数据为研究对象，是数据驱动的学科统计学习的目的是对数据进行预测和分析统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测和分析统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科统计学习的对象是数据，从数据出发，提取数据特征，抽象出数据的模型，发现数据中的知识，又

统计学习方法笔记-决策树很多集成学习器，他们的基本模型都是决策树，我们经常提到的gbdt模型，它的基模型就是CRAT树.决策树是什么东西？

统计学习基础什么是学习HerbertA.Simon定义：如果一个系统能够通过执行某个过程改进它的性能，这就是学习什么是统计学习统计学习(statisticallearning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。也称统计机器学习(statisticalmachinelearning)统计学习的特点以计算机及网络为平台以数据为研究对象，是数据驱动的学科目的是

统计学习方法-k近邻k近邻方法是一种惰性学习算法，可以用于回归和分类，它的主要思想是投票机制，对于一个测试实例xjx_jxj,我们在有标签的训练数据集上找到和最相近的k个数据，用他们的label进行投票，分类问题则进行表决投票，回归问题使用加权平均或者直接平均的方法。算法和模型由于这个模型很容易理解，我们直接给出kNN分类模型其算法伪代码:输入:训练数据T={(x1,y1),(x2,y2),...

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。每次迭代分两部：E步求期望，M步求极大9.1EM算法的引入概率模型既含有观测变量，又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法，当含有隐变量时就要使用EM法：隐变量的极大似然估计9.1.1EM算法例：三硬币模型y是观测变量，取值1或0；z是隐变量，表示A的结果（不可见）0是模型参数：π，p，q根据极大似然原理：求解上

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。每次迭代分两部：E步求期望，M步求极大9.1EM算法的引入概率模型既含有观测变量，又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法，当含有隐变量时就要使用EM法：隐变量的极大似然估计9.1.1EM算法例：三硬币模型y是观测变量，取值1或0；z是隐变量，表示A的结果（不可见）0是模型参数：π，p，q根据极大似然原理：求解上

8.2AdaBoost算法的训练误差分析AdaBoost最基本的性质，通过学习过程不断减少训练误差，即在训练数据集上的分类误差率。8.2.1训练误差界其中：8.2.2二分类问题的训练误差界通过分离误差界表明：AdaBoost的每次迭代可以减少它在训练数据集上的分类误差率，表明了作为提升方法的有效性。8.3AdaBoost算法的解释解释：加法模型；损失函数为指数函数；学习算法为前向分步算法；二分类学

7.3非线性支持向量机与核函数7.3.1核技巧非线性分类问题非线性解决思路：转化为线性分类问题核技巧：欧几里得空间与希尔伯特空间：https://blog.csdn.net/shijing_0214/article/details/51052208核函数定义核技巧在支持向量机中的应用线性支持向量机中的目标函数和分类决策函数的内积用核函数来代替：这等价于经过映射函数将原来的输入空间变换到一个新的特征

第七章支持向量机支持向量机（supportvectormachines,SVM)是一种二类分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器。7.1线性可分支持向量机与硬间隔最大化7.1.1线性可分支持向量机支持向量机的学习都是在特征空间进行的。学习的目标：特征空间找到一个分离超平面w*x+b=0将实例分到不同的类。感知机利用误分类最小策略求得分离超平面；线性可分向量机利用间隔最大化（凸二

第一章统计学习方法概论1.1统计学习统计学习特点：计算机网络平台，数据驱动，构建模型，预测分析统计学习对象：data，具有一定统计规律的数据统计学习目的：预测分析统计学习方法：模型，策略，算法；统计学习方法的步骤：统计学习方法的研究：理论与应用统计学习方法重要性：数据挖掘领域核心技术1.2监督学习1.2.1基本概念输入空间，输出空间，特征空间实例的特征向量表示:特征空间：表示实例的特征向量的集合训

感知机感知机（perceptron）是二类分类的线性分类模型，其输入是实例的特征向量，输出为实例的类别，取+1和-1两个值。感知机对应于输入空间中将实例分为正负两类的分离超平面，属于判别模型。感知机学习算法分为原始形式和对偶形式原始形式算法步骤matlab代码实现function[w,b]=original_style(training_set,study_rate)%training_set是一

统计学习的过程：确定包含所有可能模型的假设空间确定各个模型学习的策略利用不同的算法求解各个模型进行模型评估和选择：对各个模型进行评估，最终选择最优模型利用最优的模型对数据进行预测或分析。例子：用房屋价格预测的例子更好理解这一个过程。真实房价y与房屋面积(x1)、房间数量(x2)等特征有关。现在要求我们建模实现房屋价格的预测问题。第一步，我们应该先确定假设空间。可以用线性回归模型f1(x)=wTx假

决策树是一种基本的分类与回归的方法，这里只讨论其分类过程。分类决策树模型由结点和有向边组成，结点分为内部结点和叶结点，内部结点代表代表一个特征或属性，叶结点代表分类结果。根节点包含着所有的属性，从根节点开始，对实例通过某一特征进行测试，根据测试结果将实例分配到其子节点，如此递归地生成一棵决策树。最后的决策树可用if-then规则来描述。对于三个特征的样本，从根节点到叶结点的一条路径可描述为“若特征

朴素贝叶斯法是一种分类方法，基于两个条件：①贝叶斯定理；②特征条件之间相互独立的假设。掌握朴素贝叶斯法的思想，需先掌握概率论的相关内容：条件概率，联合概率分布，先验概率，后验概率，独立性，贝叶斯公式等。1.1朴素贝叶斯法的基本原理朴素贝叶斯法通过训练数据集学习联合概率分布P（X，Y），具体地：①先学习先验概率分布，其中Ck代表不同的类别；②再学习条件概率分布，即在已知类别的条件下，属于某个特征的概

K近邻法（KNN）是一种基本的分类与回归的方法，这里只介绍其分类问题。KNN算法的基本思想：对于一个新的输入数据点，在训练集中找到与它距离最近的K个点，若这K个点中大部分属于A类，则该数据点也属于A类。算法流程：特殊地，若K=1，则相当于离输入实例最近的一个样本实例直接决定了它的类别。KNN模型的三要素：距离度量、K值选择、分类决策规则。距离度量：数据点之间的距离有很多度量标准，一般来说可概括为下

补充关于线性可分数据集，感知机学习算法的收敛性证明。引入符号：，相当于对权值向量w扩充了一维，用b来扩充。，相当于对输入向量x扩充了一维，用1来扩充。则显然：现已知有一个线性可分的数据集，即存在一个超平面，能将其中所有的数据点都正确地分类。现要证明这个算法是收敛的，即能通过有限次的迭代将这个超平面求出来。对于该超平面，通过对系数的适当放缩，可使得权值向量的模为1。如，若已知该超平面为x+y+1=0

1.1基本概念感知机是一个二分类的线性分类模型，输入为特征向量，输出为对该特征向量的预测类别，取1或者-1。感知机的形式化定义：其中：①sign（x）为符号函数，若x≥0，则函数值为1，否则为-1；②wx+b中，w叫权值向量，b叫偏置值，wx+b=0称为感知机的分离超平面。如在二维坐标系中，wx+b=0代表一条直线，将平面分成两部分，在三维空间中，wx+b=0代表一个平面，将三维空间分成两部分。1

1模型选择与评估一个模型，若对数据的预测值与真实值很接近，那么便是一个好的模型。换句话说，好的模型对数据的预测能产生更小的误差。而误差分为两种：基于训练集的训练误差和基于测试集的测试误差。训练误差反映的是一个问题是否容易学习，而测试误差才反映了模型对未知数据的预测能力，即测试误差小的模型，它的预测能力也必定更好。对于未知数据的预测能力，我们也称为泛化能力。2过拟合问题过拟合指的是一个模型在训练集上

1.1基本概念统计学习是计算机基于数据构建概率统计模型并用该模型进行预测与分析的一门学科，也称统计机器学习。统计学习的特点：建立在计算机网络之上，以数据为驱动进行建模并预测分析的一门学科。是概率论、统计学、信息论、最优化等多领域相结合的交叉学科。统计学习的对象：数据。统计学习的目的：通过概率建模来挖掘已知数据中蕴含的内在规律，并以此来指导对未知数据的预测与分析。统计学习的组成：监督学习、半监督学习

感知机（perceptron）是二分分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型，感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式，感知机预测是用学习得到的感知机模型对新的输入实例进行分类，感知机19

感想这个算法既可以做分类也可以做回归树，但是这篇文章没有给做回归的例子，回归的算法只是阐述了概念上的，但是做分类的算法阐述的比较详细，用的是基尼指数来创建树的，和前面的ID3和C4.5的建树过程有点区别。基尼系数不好懂，最好的方式是根据下面的例子手算一遍就明白了介绍分类与回归树（classificationandregressiontree,CART）模型由Breiman等人在1984年提出，是应

朴素贝叶斯法基于贝叶斯定理和条件独立假设，是一种生成判别的方法，因为是生成概率分布模型，它的效率很高很快，且可适用小样本问题和样本不平衡问题。4.1朴素贝叶斯法的学习与分类已知类集合为，对于一个输入的特征向量,我们的预测问题通常可以表示为求即求当输入向量时，分类结果y的概率最大的那一类。那么怎样求呢？我们考虑用贝叶斯定理那么问题就转化为求和那这俩又是什么玩意儿呢？也就是ck类的数据里面是的数据的概

#-*-coding:utf-8-*-importosimportoptparse#命令行参数解析#----------------------------------------------------------------optparser=optparse.OptionParser()optparser.add_option("-i","--input",default="",help="

代码实现上一节，我们介绍了感知机算法（PLA）的理论知识，本节，我们主要讲解一下利用Python实现感知机算法。算法一首选，我们利用Python，按照上一节介绍的感知机算法基本思想，实现感知算法的原始形式和对偶形式。#利用Python实现感知机算法的原始形式#-*-encoding:utf-8-*-"""Createdon2017.6.7@author:Ada"""importnumpyasnpi

统计学习方法概论本系列文为李航博士的《统计学习方法》一书的个人简要笔记，供日后遗忘时翻阅1统计学习统计学习/统计机器学习定义：计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析统计学习目标：考虑学习什么样的模型和如何学习模型，使得模型能对数据进行准确的预测与分析，同时也要考虑尽可能地提高学习效率统计学习组成：监督学习、非监督学习、半监督学习和强化学习等监督学习定义：从给定的、有限的、用于

统计学习方法是基于训练数据构建统计模型，从而对数据进行预测和分析。统计学习分为，监督学习（supervisedlearning），非监督学习，半监督学习和强化学习（reinforcementlearning），其中以监督学习最为常见和重要，所以这里只讨论监督学习统计学习的过程如下，1.获取训练数据集合2.确定假设空间，即所有可能的模型的集合3.确定模型选择的准则（什么是最优模型的标准），即学习的策

统计学习方法笔记–第二章感知机perceptron感知机是二类分类的线性分类算法模型1.模型其中w为权值，b为偏置。

统计学习方法第一章笔记赫尔伯特·西蒙曾经对学习下定义：“如果一个系统能够通过执行某个过程改进它的性能，这就是学习。”现在人们提到的机器学习就是统计机器学习。统计学习包括监督学习（supervisedlearning）、非监督学习（unsupervisedlearning）、半监督学习（semi-supervisedlearning）和强化学习（reinforcementlearning）。本书主要

K近邻法：（分类回归方法）k近邻算法简单、直观给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个3比例，这k个实例的多数属于某个类，就把该输入实例分为这个类。当K=1时，又称为最近邻算法，这时候就是将训练数据集中与x最邻近点作为x的类。k近邻法主要考虑三个基本要素——距离度量（就是两个点之间怎么才算相似呢，要给出个距离计算公式），k值（要考虑近邻多少个点），分类决策规则（找

之前都是手写笔记，但是由于习惯不好，笔记老是找不到，又有很多人推荐我写博客方便以后查看，所以这几天会将我之前的笔记，一点点的写到这里来，但是由于CSDN的博客设置不是很会用，会很粗糙哦。。。首先是李航老师的统计学习方法，一直认为是入门的非常经典的一本书，里面的理论知识非常适合新手看。接下来，是我当时写的一些笔记。（一）统计学习方法概论统计学习三要素：方法=模型+策略+算法模型：在监督学习过程中，模

贝叶斯定理（Bayes theorem） 这是关于“逆概”或“后验概率”的定理，之所以需要这个定理是因为后验概率是以“果”来推导“因”，所以往往难以直接统计出。 但是后验概率却非常重要，因为在现实生活中，往往都只能观测到一些表面的“果”，需要去推断“因”。 而bayes定理就给出一种计算后验概率的方法。 以例子来说明，一个班级中n个学生，有男生也有女生 两个features，短发;长发，穿裤子;

感知机（perceptron），听着很牛比，其实就是二类分类的线性分类模型 属于判别模型，1957年由Rosenblatt提出，是神经网络和支持向量机的基础 任何统计机器学习都是三要素，只需要说清楚模型，策略和算法 感知机模型 感知机是一种线性分类模型。 假设空间是定义在特征空间中的线性分类模型或线性分类器，即函数集合   几何解释为， 线性方程，wx+b=0，对应于特征空间中

K近邻法（K-nearest neighbor，k-NN），这里只讨论基于knn的分类问题，1968年由Cover和Hart提出，属于判别模型 K近邻法不具有显式的学习过程，算法比较简单，每次分类都是根据训练集中k个最近邻，通过多数表决的方式进行预测。所以模型需要保留所有训练集数据，而象感知机这样的模型只需要保存训练后的参数即可，训练集不需要保留 K近邻算法 K近邻法三要素 和其他统计学

统计学习方法是基于训练数据构建统计模型，从而对数据进行预测和分析。 统计学习分为，监督学习（supervised learning），非监督学习，半监督学习和强化学习（reinforcement learning），其中以监督学习最为常见和重要，所以这里只讨论监督学习 统计学习的过程如下， 1. 获取训练数据集合 2. 确定假设空间，即所有可能的模型的集合 3. 确定模型选择的准则（什么是最优模