更多文章可以访问我的博客Aengus|Blog决策树的概念比较简单，可以将决策树看做一个if-then集合：如果“条件1”，那么...。决策树学习的损失函数通常是正则化后极大似然函数，学习的算法通常是一个递归的选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。可以看出，决策树算法一般包含特征选择，决策树的生成与决策树的剪枝过程。特征选择信息增益熵和条件熵在了解

更多文章可以访问我的博客Aengus|Blog逻辑斯谛回归（LogisticRegression）模型是经典的分类方法，而最大熵则是概率模型中学习的一个准则，将其推广到分类问题得到最大熵模型（maximumentropymodel）。两者都属于对数线性模型。逻辑斯谛模型逻辑斯谛分布设是连续随机变量，服从逻辑斯谛分布是指具有以下分布函数和密度函数：其中，是位置参数，为形状参数。逻辑斯谛分布的密度函数

简介感知机（perceptron）是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型，解决的问题是分类问题。目标/目的：求出将训练数据进行线性划分的分类超平面，为此导入误分类的损失函数，利用梯度下降法对损失函数进行最小化，求的感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始

概论1.统计学习方法三要素：模型（model）、策略（strategy）、算法（algorithm）2.实现步骤得到有限的训练数据集合确定包含所有可能的模型的假设空间，即学习模型的集合确定模型选择的准则，即学习的策略实现求解最优模型的算法通过学习方法选择最优模型利用学习的最优模型对新数据进行预测或分析3.统计学习基本分类监督学习从标注数据中学习预测模型的机器学习问题，本质是学习输入到输出的映射的统

更多文章可以访问我的博客Aengus|Blogk近邻法即kNN算法，是假设给定一个训练集，对于每个训练样本的分类已经确认，当对测试样本分类时，根据其k个最近邻的训练样本的类别，通过多数表决的方式进行预测。kNN算法没有显式的学习过程。kNN算法假设给定的训练集为，其中，，步骤为：（1）根据给定的距离度量（即距离计算方法），在训练集中找出与测试样本的前个最近邻的点，涵盖这个点的的邻域记作；（2）在中

实现的比较粗糙，代码如下：classPerceptron:importnumpyasnpdef__init__(self,w=0,b=0,lr=1,epoch=100):self.weight=wself.bias=bself.lr=lr#lr:learningrateself.epoch=epochdefsign(self,x):ifnp.dot(np.array(self.weight),x)

MachineLearningDeepLearningSeq2SeqLSTMAttentionSelf-AttentionTransfomerBert(这周目标）读研期间收集的学习资料汇总（持续更新中）MachineLearning西瓜书以及统计学习方法笔记

推荐阅读：小白之通俗易懂的贝叶斯定理（Bayes’Theorem）朴素贝叶斯法是一种多分类算法，它的基础是“朴素贝叶斯假设”（假设实例的各个特征具有条件独立性）。根据训练集估计模型的先验概率、条件概率，再按照后验概率最大化的准则，给出输入实例的分类预测。它的算法实现很简单，但理论证明并不容易。具体来说，通过极大似然估计法估计先验概率、条件概率，计算过程比较复杂，书上也没有给出。本章主要分为3个部分

第十一章：条件随机场11.1概率无向图模型定义：联合概率分布满足成对，局部or全局Markov性，就称之为probabilisticundirectedgraphicalmodelorMarkovrandomfield；11.2条件随机场的定义与形式给定观测求状态；定义：若随机变量Y构成的无向图，对于任意结点满足Markovrandomfield，那么称其条件概率分布为条件随机场；11.3条件随机

第二章感知机目录第二章感知机2.1感知机模型2.2感知机学习策略2.2.1数据集的线性可分性；2.2.2感知机学习策略2.3感知机学习算法2.3.1感知机学习算法的原始形式2.3.2感知机学习算法的原始形对偶式2.1感知机模型感知机是二类分类的线性分类模型，判别模型输入x（属于X）表示为实例的特征向量；对应与输入空间（特征空间）的点；输出y表示实例的类别取+1,-1；输入空间到输出空间的函数：f(

1引言1957年Rosenblatt提出感知机模型，它是神经网络和支持向量机的基础。其主要适用于分类任务，训练好的感知机模型可将数据集正确地分为两类：超平面以上为正类，超平面以下为负类(后面会讲到感知机是一个超平面)。它通过利用梯度下降法最小化损失函数的思想让感知机学习到最优的状态，使得数据集的误分类点个数为0。其优点主要体现在其算法实现相对简单。2理论2.1定义设输入特征向量为，感知机权重为，偏

统计学习方法笔记（一）：感知机前言：本文是基于李航老师《统计学习方法》的笔记~感知机学习的目的：求出将训练数据进行线性划分的分离超平面。

前言决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则（if-then）的方法。决策树分为分类树和回归树两种，分类数对离散变量做决策树，回归树对连续变量做决策树。本节主要讨论用于分类的决策树。在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失

一马尔可夫模型我们通过一个具体的例子来介绍一下什么是马尔可夫模型我们假设天气有3种情况，阴天，雨天，晴天，它们之间的转换关系如下:(稍微解释一下这个图，我们可以这样认为，已知第一天是阴天，那第二天是阴天的概率是0.1，第二天是晴天的概率是0.3，第二天是雨天的概率是0.6)每一个状态转换到另一个状态或者自身的状态都有一定的概率。马尔可夫模型就是用来表述上述问题的一个模型。有这样一个状态链，第一天是

统计学习方法笔记第一章:统计学习概论1.1统计学习统计学习(statisticallearning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。

一、基本概念假设空间（Hypothesisspace）相对“输入空间”、“输出空间”、“特征空间”等向量空间，假设空间的概念比较抽象。首先它是一个“映射”的集合。什么是映射呢？在这里暂且理解为函数吧。输入空间中的一个n维向量x，通过函数f(⋅)f(\cdot)f(⋅)得到了输出空间中的m维向量y：注意：按照符号规定,x(i)x^{(i)}x(i)表示此向量的第iii个分量(特征),xix_{i}x

目录1.1统计学习1.2统计学习的分类1.2.1基本分类监督学习定义：无监督学习强化学习半监督学习主动学习1.2.2按模型分类1.2.3按算法分类1.2.4按技巧分类贝叶斯学习（Bayesianlearning）核方法（kernelmethod）1.3统计学习的三要素模型策略算法1.1统计学习统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。也可以说统计学习就是

第一章笔记，统计学习及监督学习概论目录第一章笔记，统计学习及监督学习概论1.1统计学习1.统计学习的特点2.统计学习的对象3.统计学习的方法4.统计学习的研究1.2统计学习的分类1.2.1基本分类1.监督学习（1）输入空间、特征空间和输出空间；（2）联合概率分布（3）假设空间2.无监督学习3.强化学习4.半监督学习与主动学习1.2.2按模型分类1.概率模型与非概率模型2.线性模型与非线性模型3.参

前言：参考了一位NLP学长的博客，受益颇多，跟着学长学习李航老师的《统计学习方法》，希望整理一些重点，便于翻阅，日积月累，为三年后的面试打下基础！代码来自：https://www.pkudodo.com基本内容（一）感知机定义：代码：（二）K-邻近定义：代码：（三）朴素贝叶斯定义：代码：（四）决策树定义：代码：（五）逻辑回归定义：（一）感知机定义：感知机是二分类的线性模型,属于判别模型.感知机学习

k近邻法(k-NN)是一种基于实例的学习方法，无法转化为对参数空间的搜索问题（参数最优化问题）。它的特点是对特征空间进行搜索。除了k近邻法，本章还对以下几个问题进行较深入的讨论:切比雪夫距离L∞(xi,xj)L_{\infty}\left(x_{i},x_{j}\right)L∞(xi,xj)的计算“近似误差”与“估计误差"的含义k-d树搜索算法图解一、算法输入：训练集T={(x1,y1),(x2

奇异值分解是一种矩阵因子分解方法，是线性代数的基础概念，在统计学习中被广泛运用，PCA,LSA,pLSA都要用到SVD，而EM,LSA,MCMC,又是LDA的基础，故有了这个笔记顺序任意一个m*n矩阵，都可以表示为三个矩阵的乘积（因子分解）形式，分别是m阶正交矩阵，由降序排列的非负的对角线元素组成的m*n矩形对角矩阵，n阶正交矩阵成为该矩阵的奇异值分解，矩阵的奇异值分解一定存在但是不唯一。奇异值分

地址放在这里统计学习方法笔记.

统计学习方法笔记当正负样本极度不均衡时存在问题！比如，正样本有99%时，分类器只要将所有样本划分为正样本就可以达到99%的准确率。但显然这个分类器是存在问题的。

条件随机场的预测算法预测问题：给定条件随机场P(Y|X)P(Y|X)和输入序列（观测序列）x，求条件概率最大的输出序列y∗y∗。条件随机场的预测算法是著名的维特比算法。y∗=argmaxyPw(y|x)=argmaxy(wF(y,x))y∗=arg⁡maxy⁡Pw(y|x)=arg⁡maxy⁡(wF(y,x))条件随机场的预测问题变为求非规范化概率最大的最优路径问题：maxy(wF(y,x))ma

条件随机场的概率计算问题问题描述：给定条件随机场P(Y|X)P(Y|X)，输入序列x和输出序列y，计算条件概率P(Yi=yi|x),P(Yi−1=yi−1,Yi=yi|x)P(Yi=yi|x),P(Yi−1=yi−1,Yi=yi|x)以及相应的数学期望的问题。一、前向-后向算法对每个指标i=0,1,⋯,n+1i=0,1,⋯,n+1，定义前向向量αi(x)αi(x)：对于α0(y|x)α0(y|x)

条件随机场条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率模型，其假设输出随机变量构成马尔可夫随机场概率无向图模型概率无向图模型，又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布。一、模型定义1、图是由结点及连接节点的边组成的集合。无向图是指边没有方向的图。概率图模型是由图表示的概率分布。设有联合概率分布P(Y)P(Y)，YY是一组随机变量，由无向图G=(V,E)G=(

非线性支持向量机非线性支持向量机定义非线性支持向量机算法非线性支持向量机学习算法代码案例TensorFlow案例地址非线性支持向量机定义非线性支持向量机从非线性分类训练集，通过核函数与软间隔最大化，或凸二次规划，学习得到的分类决策函数f(x)=sign⁡(∑i=1Nαi∗yiK(x,xi)+b∗){f(x)=\operatorname{sign}\left(\sum_{i=1}^{N}\alpha

最大熵模型最大熵模型最大熵原理最大熵模型代码实现案例地址最大熵模型最大熵模型(maximumentropymodel)可以用于二分类，也可以用于多分类。其是由最大熵原理推导实现的，所以讲最大熵模型时，绕不开最大熵原理。最大熵原理什么是最大熵原理？最大熵原理认为，学习概率模型时，在所有可能的概率模型（概率分布）中，熵最大的模型就是最好的模型。最大熵原理通常表述为在满足约束条件的模型集合中选取熵最大的

逻辑斯谛回归与最大熵模型主要用于统计学习中的经典分类方法逻辑斯谛回归模型1、定义：设X是连续随机变量，其具有的分布函数和密度函数：F(x)=P(X≤x)=11+e−(x−μ)/γF(x)=P(X≤x)=11+e−(x−μ)/γf(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2其中，μμ为位置参数，γ>0γ>0

  实现k近邻算法时，首要考虑的问题是如何对训练数据进行快速的k近邻搜索。这点在特征空间的维数大于训练数据容量时尤为重要。构造kd树  kd树是一种对k为空间中的实例点进行存储的一边对其进行快速检索的树形数据结构。kd树是二叉树，表示对k维空间的一个划分（partition）。构造kd树相当于不断地用垂直于坐标轴的超平面将k维空间切分。构成一系列的k维超矩形区域。kd树的每个结点对应于一个k维的超

kd树kd树简介构造平衡kd树算法原理kd树代码实现案例地址kd树简介kdkdkd树是一种对kkk维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。kdkdkd树构造方法：构造根结点使根结点对应于kkk维空间中包含所有实例点的超矩形区域；递归生成子结点通过递归方法，不断地对kkk维空间进行切分，生成子结点。在超矩形区域(结点)上选择一个坐标轴和在此坐标轴上的一个切分点，确定一个超平面，这

感想logisticregression它本身的原理非常好懂，对于二分类问题，其实就是一个sigmoid函数，把它的计算结果当成概率值，哪个大就分到那一类。对于多分类，本质上就是一个softmax函数，归一化后，输出当成概率值，哪个大就属于哪个类。本质上都是用拉格朗日乘法，然后转化成对偶问题求解的，这个方法跟SVM的求解方法没什么两样。但是对于模型的训练，我还是没弄明白牛顿法和拟牛顿法的真正要义，

逻辑斯谛回归是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。逻辑斯谛回归模型逻辑斯谛分布：设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列的分布函数和密度函数：式中，μ为位置参数，γ>0为形状参数逻辑斯谛分布的密度函数f(x)和分布函数F(x)的图形分别如下图所示，分布函数属于逻辑斯谛函数，图形是一条

1.3模型学习的最优化算法逻辑斯谛回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化的方法都适用，保证能找到全局最优解。常用的方法有迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法或拟牛顿法一般收敛速度更快。1.3.1改进的迭代尺度法改进的迭代尺度法（improvediterativ

统计学习方法笔记第二章-感知机2.1感知机模型2.2感知机学习策略2.2.1数据集的线性可分型2.2.2感知机学习策略2.3感知机学习算法2.3.1感知机算法的原始形式2.3.2算法的收敛性感知机的介绍

李航·统计学习方法笔记·第6章logisticregression与最大熵模型（2）·最大熵模型标签（空格分隔）：机器学习教程·李航统计学习方法李航统计学习方法笔记第6章logisticregression

第6章logisticregression与最大熵模型（1）·逻辑斯蒂回归模型标签（空格分隔）：机器学习教程·李航统计学习方法第6章logisticregression与最大熵模型1逻辑斯蒂回归模型Logisticdistribution1一维逻辑斯蒂分布的数学定义2logistic分布的均值和方差3何时需要用到Logistic分布二项逻辑斯蒂回归模型及其特点1二项逻辑斯蒂回归模型2二项逻辑斯蒂回

感知器本章概要感知器是根据输入实例的特征向量x对其进行二类分类的线性分类模型：f(x)=sign(w⋅x+b)f(x)=sign(w\cdotx+b)f(x)=sign(w⋅x+b)感知器模型对应于输入空间中的分离超平面w⋅x+b=0w\cdotx+b=0w⋅x+b=0感知器学习的策略是极小化损失函数：minw,bL(w,b)=−∑xi∈Myi(w⋅xi+b)min_{w,b}L(w,b)=-\s

统计学习方法概论1.1统计学习统计学习（statisticslearning）：计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析。也称为统计机器学习（statisticsmachinelearning）。统计学习的特点：以计算机及网络为平台，是建立在计算机及网络之上的；以数据为研究对象，是数据驱动的学科；目的是对数据进行预测与分析；统计学习以方法为中心，统计学习方法构建模型并应用模型进

1.1统计学习三要素统计学习方法=模型+策略+算法1.1.1模型上一节已介绍过，在监督学习过程中，模型就是要学习的条件概率分布或者决策函数，假设空间中包含了所有可能得模型，通常有无数种。当模型分别为决策函数时，假设空间的表达形式为：，X和Y分别定义在为输入空间和输出空间上的变量。或者，参数向量的表达形式。同理，当模型为条件概率分布时，假设空间的表达形式为：或者当谈到模型时，只用到这两种模型中的一种

2.1感知机模型模型函数：其中感知机属于线性模型，因为其含有超平面将空间分为两个部分，位于超平面两侧的点分别是正、负两类。2.2感知机的学习策略感知机模型的学习策略是让误分类的点到超平面的距离最小。那么误分类的点怎么求呢？我们已知对于一个点，如果被正确分类，那么预测结果与真实的分类应该是同号的，即或，所以当分类错误时，两者符号应该是相反的。因此有：我们通过几何知识可知，对于空间中的一个点，它到超平

简介感知机模型感知机学习策略数据集的线性可分性感知机学习策略感知机学习算法感知机学习算法的原始形式算法的收敛性感知机学习算法的对偶形式总结简介感知机（perceptron）是二类分类的线性分类模型，输入为特征向量，输出为+1和-1二值。感知机学习旨在求出将训练数据进行线性划分的分离超平面，属于判别模型。通过导入基于误分类的损失函数，利用梯度下降对损失函数进行极小化，求得感知机模型。感知机学习算法分

简介k近邻算法k近邻模型模型距离度量k值的选择分类决策规则k近邻算法的实现：kd树构造kd树搜索kd树简介k近邻法是一种基本分类与回归方法。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决方式预测。因此，不具有显示的学习过程。k值的选择、距离度量、分类决策规则是k近邻法的三个基本要素。于1968年由Cover和Hart提出。k近

简介朴素贝叶斯法的学习与分类基本方法后验概率最大化含义朴素贝叶斯法的参数估计极大似然估计学习与分类算法朴素贝叶斯算法(naiveBayesalgorithm)贝叶斯估计小结简介朴素贝叶斯(naiveBayes)法师基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输

自编程实现详见：https://blog.csdn.net/leemusk/article/details/105596434SVM的特点优点：泛化错误率低，计算开销不大，结果易解释缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题使用数据类型：数值型和标称型数据基本概念希尔伯特空间H\mathcal{H}H：完备的，可能是无限维的，被赋予內积的线性空间完备的：对极限是封闭

统计学习方法笔记文章目录统计学习方法笔记CHAP1:统计学习方法概论1.1统计学习简述1.2监督学习1.3统计学习三要素1.4模型的评估与选择1.5泛化能力1.6生成模型和判别模型Chap2：感知机2.0

前言首先我们需要知道的是SMO算法适用于求解凸二次规划问题的最优解，在详细讲解SMO之前，我们需要了解坐标上升法，该算法每一轮迭代得到多元函数中的一个参数，通过多次迭代直到收敛得到所有参数解。如Θ=[θ1,θ2,θ3]\Theta=[\theta_1,\theta_2,\theta_3]Θ=[θ1,θ2,θ3]，每一轮只计算θi\theta_iθi，经过三次迭代得到Θ\ThetaΘ。SMO的特点S

统计学习的基本假设：X和Y具有联合概率分布，并且训练数据与测试数据被看作是依据联合概率分布独立同分布产生的。（测试数据和训练数据独立同分布，才可能由学习到的模型去预测未来的数据）。统计学习的三个要素：模型：监督学习过程中，模型就是所要学习的条件概率分布或者决策函数（你要学习到什么样的模型）策略：按照什么样的准则学习或者选择最优模型。（有了模型的类型，按照什么方式来计算这个模型，经验风险最小还是结构

基本的朴素贝叶斯方法：假设我们面对的是一个分类问题，一个样本点的特征向量和类别标签为：我们期望在知道x的情况下得到y=cj的概率，即：如果我们想要具体的知道这个样本属于哪一类别的概率最大，即需要求解最大的后验概率：先验概率为：条件概率为：朴素贝叶斯方法做了条件独立性假设，于是可以有：以上的条件独立假设等于说是用于分类的特征在确定的条件下都是条件独立的，那么现在再来看后验概率：我们要求的最大后验概率

简介决策树模型与学习决策树模型决策时与if-then规则决策树与条件概率分布决策树学习特征选择特征选择问题信息增益信息增益比决策树的生成ID3算法C4.5生成算法决策树的剪枝CART算法CART生成回归树的生成分类树的生成CART剪枝小结简介决策树是一种基本的分类与回归方法，其主要的优点为模型具有可读性，分类速度快。学习时，根据损失函数最小化的原则建立决策树模型。预测时，利用决策树模型进行分类。决