逻辑斯蒂回归LogisticRegressor处理二分类任务一.逻辑斯蒂回归1.模型2.代价函数（损失函数）3.优化算法二.代码实现1.二维二分类2.多维二分类本系列为观看吴恩达老师的[中英字幕]吴恩达机器学习系列课程做的课堂笔记。图片来自视频截图。不得不说，看了老师的视频真的学到了很多。即使数学不好的同志们也可以看懂，真的可谓是细致入微了。一.逻辑斯蒂回归1.模型学过深度学习的同志们对这张图一定

逻辑回归（LR）我的理解是，逻辑回归就是以改进的线性回归的方法求分类，改进的内容就是引入了非线性函数，最常用的就是sigmoid函数。如下图就是sigmoid函数，横轴z=0时，纵轴g(z)=0.5，z趋向于负无穷时，g(z)趋向于0，z趋向于正无穷时，g(z)趋向于1。其中z=thetaT*X，g(z)表示概率，逻辑回归目标函数的推导见下图。逻辑回归最经典的是二分类函数，二分类回归常用的损失函数

文章目录贝叶斯线性回归推断预测参考文献贝叶斯线性回归线性回归当噪声为高斯分布的时候，最小二乘损失导出的结果相当于对概率模型应用MLE，引入参数先验分布是高斯分布，那么MAP的结果相当于岭回归的正则化，如果先验是拉普拉斯分布，那么相当于Lasso的正则化。利用贝叶斯方法来求解参数的后验分布，线性回归的模型假设为：f(x)=wTxy=f(x)+εε∼N(0,σ2)\begin{aligned}f(x)

文章目录5.2数据预处理5.2.1缺失值处理5.2.2数据规范化5.2.3主成分分析5.3线性回归(回归模型)5.4逻辑回归（分类模型）5.5神经网络5.5.3Python神经网络分类应用5.5.4Python神经网络回归应用5.6支持向量机核函数选择：5.7K-均值聚类PythonK-均值聚类算法应用5.2数据预处理5.2.1缺失值处理importpandasaspdimportnumpyasn

文章目录高斯混合模型极大似然估计EM求解GMM参考文献高斯混合模型为了解决高斯模型的单峰性的问题，引入多个高斯模型的加权平均来拟合多峰数据：p(x)=∑k=1KαkN(μk,Σk)p(x)=\sum\limits_{k=1}^K\alpha_k\mathcal{N}(\mu_k,\Sigma_k)p(x)=k=1∑KαkN(μk,Σk)引入隐变量zzz，表示对应样本xxx属于哪一个高斯分布，该变量

【机器学习算法笔记】6.降维与主分量分析（PCA）6.1PCA算法特征选择问题是指将数据空间变换到特征空间，我们希望设计一种变换使得数据集由维数较少的有效特征来表示。

决策树（DT）树模型如何切分特征衡量标准如何选择特征衡量决策树不纯度的方法剪枝策略树模型决策树：从根节点开始一步步走到叶子节点（决策）所有的数据最终都会落到叶子节点，既可以分类也可以回归。决策树对于特征判断的顺序比较严格，如果判断顺序不同，最终的结果可能不同树的组成：根节点、非叶子结点与分支、叶子节点如何切分特征衡量标准熵：表示随机变量不确定性的度量，即混乱程度。不确定性越大，得到的熵值也就越大。

【机器学习算法笔记】5.自组织映射SOM自组织映射是一类非监督学习算法自组织原则：1、自增强：如果两个神经元是同时激活的，则突触强度会选择性地增强；如果是异步激活的，突触强度会减弱2、竞争原则：可用资源的局限使得最强健增长的突触是以其他神经元作为代价的

文章目录降维线性降维-主成分分析PCA原始空间重构最大投影方差最小重构距离SVD与PCoAP-PCA参考文献降维解决过拟合问题除正则化和添加数据外，降维就是最好的方法。一个nnn维球的体积可表示为：CRnCR^nCRn那么在球体积与边长为2R2R2R的超立方体比值为：lim⁡n→0CRn2nRn=0\lim\limits_{n\rightarrow0}\frac{CR^n}{2^nR^n}=0n→

一、概述支持向量机（SupportVectorMachine，SVM）的基本模型是定义在特征空间上间隔最大的线性分类器，它是一种二分类模型，当采用了适当的核技巧后，支持向量机可以用于非线性分类。（1）线性可分支持向量机（硬间隔支持向量机）：当训练数据线性可分时，通过硬间隔最大化，可以学得一个线性可分支持向量机。（2）线性支持向量机（软间隔支持向量机）：当训练数据近似线性可分时，通过软间隔最大化，学

线性回归的实验过程参数直接求解方法数据预处理梯度下降模块学习率对结果的影响学习率衰减3种策略的对比多项式回归模型复杂度样本数量对实验的影响正则化的作用参数直接求解方法如下图所示，根据目标函数的极值可以直接求出参数theta的表达式，用这种方法也可以直接求出线性回归的最终结果，但是这种方法并非适用于所有数据，因为theta的求解公式中包含了特征矩阵的逆矩阵，求解逆矩阵是有前提条件的，不是所有的矩阵都

这是我的第一篇笔记，主要用来归纳几种经典的机器学习算法的思想、适用性、优缺点等。主要是失业在家，需要每天给自己点任务，接受大家监督。序言一些基础知识的引入，但是并没有递进关系。判别式和生成式模型机器学习方法按照训练数据有无标签将算法分成有监督和无监督的算法，这个概念浅显易懂就不多说。但是最近刷互联网公司的真题时多次预测判别式和生成式模型，就有必要提一提。判别式模型和生成式模型都是有监督的学习方法，

机器学习算法笔记(二十七)：混淆矩阵、精准率与召回率、F1Score转自：https://louyu.site/articles/machine-learning/2019/09/?

【机器学习算法笔记】2.学习算法与最小均方算法（LMS）最小均方算法是一个非常流行的在线学习算法。其是建立在自适应滤波和自适应调整权重上的。

文章目录玻尔兹曼机受限玻尔兹曼机推断BinaryRBM参考文献玻尔兹曼机玻尔兹曼机是一种存在隐节点的无向图模型。在图模型中最简单的是朴素贝叶斯模型（朴素贝叶斯假设），引入单个隐变量后，发展出了GMM，如果单个隐变量变成序列的隐变量，就得到了状态空间模型（引入齐次马尔可夫假设和观测独立假设就有HMM，KalmanFilter，ParticleFilter），为了引入观测变量之间的关联，引入了一种最大

机器学习算法笔记前面大部分来源:【机器学习】【白板推导系列】【合集1～23】，笔记主要参考Bilibili-机器学习白板系列，其它参考的大部分资料也均已列出，纯属个人笔记，如有不当之处，见谅！

逻辑回归(LR)算法概述逻辑回归（LogisticRegression）是用于处理因变量为分类变量的回归问题，常见的是二分类或二项分布问题，也可以处理多分类问题，它实际上是属于一种分类方法。逻辑回归算法原理预测函数和决策边界逻辑回归的预测函数可以表示为：举一个例子，假设我们有许多样本，并在图中表示出来了，并且假设我们已经通过某种方法求出了LR模型的参数（如下图）：这时，直线上方所有样本都是正样本y

文章目录PCA算法简介相关矩阵原理特征值与特征向量正定矩阵与正交向量PCA原理推导函数求解PCA算法流程PCAmatlab计算PCA实现鸢尾花分类PCA数据降维处理KNN实现分类效果总结PCA算法简介主成分分析（英语：Principalcomponentsanalysis，PCA）是在不损失或者不很损失原始数据信息的情况下将一个多维数据进行降维处理，其中降维有两个目的：◆减少输入信息，突出特征信息

朴素贝叶斯(NB)算法概述朴素贝叶斯（NaïveBayes,NB）算法，是一种基于贝叶斯定理与特征条件独立假设的分类方法。朴素：特征条件独立；贝叶斯：基于贝叶斯定理。属于监督学习的生成模型，实现简单，并有坚实的数学理论（即贝叶斯定理）作为支撑。在大量样本下会有较好的表现，不适用于输入向量的特征条件有关联的场景。朴素贝叶斯算法原理贝叶斯定理条件概率：就是事件AAA在另外一个事件BBB已经发生条件下的

介绍：在sklearn库中，KNeighborsClassifier是实现K近邻算法的一个类，一般都使用欧式距离进行测量。这个类的结构如下：sklearn.neighbors.KNeighborsClassifierclasssklearn.neighbors.KNeighborsClassifier(n_neighbors=5,weights=’uniform’,algorithm=’auto’

文章目录线性动态系统模型定义LDS滤波递推公式PredictionUpdate参考文献线性动态系统动态系统两大问题：{LearningInference:p(Z∣X){decoding→HMM      (维特比)probofevidence→p(O∣λ)(前向/后向)filtering:    p(zt∣x1,x2,⋯ ,xt)smoothing:      p(zt∣x1,x2,⋯ ,xT)(

KNN算法算法概述K最近邻(K-NearestNeighbor,KNN)算法，是著名的模式识别统计学方法，在机器学习分类算法中占有相当大的地位。它是一个理论上比较成熟的方法。既是最简单的机器学习算法之一，也是基于实例的学习方法中最基本的，又是最好的文本分类算法之一。算法原理：“近朱者赤近墨者黑”KNN的输入是测试数据和训练样本数据集，输出是测试样本的类别。KNN没有显示的训练过程，在测试时，计算测

决策树(DecisionTree)算法算法概述本文主要介绍机器学习中的决策树模型。决策树模型是一类算法的集合，在数据挖掘十大算法中，具体的决策树算法占有两席位置，即C4.5和CART算法。决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。同时也特别适合集成学习比如随机森林

机器学习开发的流程（sk-learn）加载数据集数据预处理选择模型（算法）训练模型评估模型如果模型达到要求，进入实战如果模型达不到要求,可以优化(调参数).扩展数据集,增加泛化能力,可以换模型——————————————————————·监督学习算法——————K-近邻算法（KNN）样本集包含每条数据与分类的对应关系输入新数据，将新数据的每个特征与样本集中数据对应特征比较计算新数据与样本集每条数据

一、什么是KNN(k近邻)算法?简单来说KNN算法就是通过在训练数据中找到最接近预测数据的均值，比如现在有一个人想要知道他的房子在某同城能租到的价格，他拿到了最近一年的所有租房记录(模拟训练数据)accommodates(容纳人数)bedrooms(卧室数量)bathrooms(卫生间数量)price(价格)3118542110042210811160211791043280他的房子数据是(测试数

1.偏差与方差的理解在训练机器学习模型时，使用不同的训练集很可能会得到不同的估计模型，估计模型随着训练集的改变而变化的程度就叫做方差variance。我们训练得到的估计模型与实际真实模型的偏差即为bias，估计与实际差距越大，bias就越高。为了得到较低的误差，需要尽可能地降低方差和偏差，然而这两者不能同时减小，在bias与variance之间存在一个权衡trade-off。低偏差的模型可以很好的

一、k近邻算法1、概述k近邻（k-NearestNeighbor，简称kNN）算法是一种常见的监督学习算法。其工作机制可概括为：给定测试样本，基于某种距离度量找出训练集中与其距离最近的k个训练样本，通常k是不大于20的整数。然后基于这k个“邻居”的类别信息来进行预测，通常使用投票法，即选择这k个样本中出现最多的类别来标记测试样本，在回归任务中可使用“平均法”，即将这k个训练样本标记的平均值作为预测

（1）容斥原理a.容斥原理是组合数学方法，可以求解集合、复合事件的概率等。b.计算几个集合并集的大小，先计算出所有单个集合的大小，减去所有两个集合相交的部分，加上三个集合相交的部分，再减去四个集合相交的部分，以此类推，一直计算到所有集合相交的部分。c.概率论:事件Ai(i=1,...,n)，P(Ai)为对应事件发生的概率。至少一个事件发生的概率：转自：https://blog.csdn.net/m

线性回归算法算法概述在统计学中，线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是由一个或多个称为回归系数的模型参数的线性组合而成。回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之

机器学习三个步骤Step1：ModelStep2：GoodnessofFunctionStep3：GradientDe’scent线性模型（linearmodel）y=b+w1x1+w1x2…神经网络TotalLoss等于CrossEntrpy之和使用GradientDescent使用backprapogation算偏微分使用dropout优化技巧：当神经网络很深时，训练结果不一定更好，因为有梯度

文章目录ParticleFilterSIS参考文献ParticleFilterKalman滤波根据线性高斯模型可求得解析解，但是在非线性、非高斯的情况下无法得到解析解，对这类一般的情况，则要采用粒子滤波的方法对于复杂的概率分布，可以通过一个简单的概率分布q(z)q(z)q(z)作为桥梁进行采样（重要性采样），求得概率分布函数积分值（期望）:E[f(z)]=∫zf(z)p(z)dz=∫zf(z)p(

基本概念分类**监督式学习：**多轮学习以达到目的：实现回归或分类**非监督式学习：**特定方法实现聚类。（由于目的性不明确，所以一般没有多轮）**强化学习：**不断学习，永无止境**分类算法：**适用因变量为离散变量**回归算法：**适用因变量为连续变量聚类和分类的差别：**聚类：**无限种类别可能**分类：**有限种类别可能监督式学习工作机制：这个算法由一个目标变量或结果变量（或因变量）组成。

支持向量机(SVM)算法概述支持向量机（supportvectormachines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机当训练样本线性不可分时，通过核技巧和

西瓜书里面常用的三个数据集，西瓜数据集2.0，3.0，4.0整理如下，注意中文容易出现乱码。西瓜数据集2.0西瓜数据集3.0西瓜数据集4.0importpandasaspddefcreateDataSet_2():dataSet_2=[#1['青绿','蜷缩','浊响','清晰','凹陷','硬滑','好瓜'],#2['乌黑','蜷缩','沉闷','清晰','凹陷','硬滑','好瓜'],#3['

一、概述在工程实践中，我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。数据预处理的常用流程为：去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析。二、数据预处理方法1.去除唯一属性唯一属性通常是一些id属性，这些属性并不能刻画样本自身的分布规律，所以简单地删除这些属性即可。2.处理缺

最近有两个多月的时间没来更新博客，是一直在忙着一件事——将博客中的一些文章整理成书。一开始写博客，给自己的文章建了一个响亮的标题《简单易学的机器学习算法》，但是发现写着写着，每一个算法也变得没那么简单易学，因此想对这些零散的知识点做一次全面的整理。最初是一年前有了这个念头，一直没有去实践，自己给自己找了很多的借口，今年8月份，这个念头又一次那么强烈的袭上心头，没有太多思考，说干就干。。。决定了，但

形式：采用sigmoid函数：g(z)=11+e−z其导数为g′(z)=(1−g(z))g(z)假设：即：若有m个样本，则似然函数形式是：对数形式：采用梯度上升法求其最大值求导：更新规则为：可以发现，则个规则形式上和LMS更新规则是一样的，然而，他们的分界函数hθ(x)却完全不相同了（逻辑回归中h(x)是非线性函数）。关于这部分内容在GLM部分解释。注意：若h(x)不是sigmoid函数而是阈值函

形式：采用sigmoid函数：g(z)=11+e−z其导数为g′(z)=(1−g(z))g(z)假设：即：若有m个样本，则似然函数形式是：对数形式：采用梯度上升法求其最大值求导：更新规则为：可以发现，则个规则形式上和LMS更新规则是一样的，然而，他们的分界函数hθ(x)却完全不相同了（逻辑回归中h(x)是非线性函数）。关于这部分内容在GLM部分解释。注意：若h(x)不是sigmoid函数而是阈值函

形式h(x)=∑i=0nθixi=θTx代价函数:J(θ)=12∑i=1m(h(x(i)θ)−y(i))2LMS(LeastMeanSquares)算法参数更新原则梯度下降法，参数沿着使代价函数下降最快的方向改变，其中α为学习速率单样本更新可以看到，当误差(y(i)−hθ(x(i)))越大时，参数更新幅度越大，反之较小。这只是针对一个样本的情况，当有多个样本时，有以下两种方法更新参数批处理算法随机

我们之前学习的算法都是基于p(y|x;θ),他的思想是找出找出一个决策边界来将两类分开，而生成算法是先对两个类别分别建模，为了将样本分开，将样本代入两个模型，看样本与哪个类别更匹配。这种试图直接从输入x映射到类别标签{0,1}的算法被称为判别学习算法；而通过计算p(x|y)（和p(y)）来得到模型的算法被称为生成学习算法通过贝叶斯函数得到p(y|x)=p(x|y)p(y)p(x),argmaxyp

我们之前学习的算法都是基于p(y|x;θ),他的思想是找出找出一个决策边界来将两类分开，而生成算法是先对两个类别分别建模，为了将样本分开，将样本代入两个模型，看样本与哪个类别更匹配。这种试图直接从输入x映射到类别标签{0,1}的算法被称为判别学习算法；而通过计算p(x|y)（和p(y)）来得到模型的算法被称为生成学习算法通过贝叶斯函数得到p(y|x)=p(x|y)p(y)p(x),argmaxyp

blog.csdn.net/shizhixinWeibo：http://weibo.com/zhixinshiEmail:[email protected]:2016-04-19Note:本笔记是机器学习算法笔记系列之深入理解主成分分析

Author:shizhixinBlog:http://blog.csdn.net/shizhixinWeibo：http://weibo.com/zhixinshiEmail:[email protected]:2016-04-14Note:本笔记是本人根据网上和书本资料总结，并对所有作者表示感谢，特别感谢致谢文献中提到的作者！本笔记仅供学习交流！1概述真实的训练数据总是存在各种各样的

Author:shizhixinBlog:http://blog.csdn.net/shizhixinWeibo：http://weibo.com/zhixinshiEmail:[email protected]:2016-04-14Note:本笔记是本人根据网上和书本资料总结，并对所有作者表示感谢，特别感谢致谢文献中提到的作者！本笔记仅供学习交流！1概述真实的训练数据总是存在各种各样的

Author:shizhixinBlog:http://blog.csdn.net/shizhixinWeibo：http://weibo.com/zhixinshiEmail:[email protected]:2016-04-14Note:本笔记是本人根据网上和书本资料总结，并对所有作者表示感谢，特别感谢致谢文献中提到的作者！本笔记仅供学习交流！1概述真实的训练数据总是存在各种各样的

这方法是昨天听同学提起的，大致翻看了几篇博客跟论文，这里写下自己的理解从样本相似性到图根据我们一般的理解，聚类是将相似的样本归为一类，或者说使得同类样本相似度尽量高，异类样本相似性尽量低。无论如何，我们需要一个方式度量样本间的相似性。常用的方式就是引入各种度量，如欧氏距离、余弦相似度、高斯度量等等。度量的选择提现了你对样本或者业务的理解。比如说如果你要比较两个用户对音乐选择的品味，考虑到有些用户习

序言准备写一个机器学习算法笔记系列博客，主要想针对每个算法，在三个层次上进行展开：基础理论的推演；本篇主要想讲述算法的数学详细推演过程，从基础理论上对算法有所了解。

1、集成学习：多个learner共同决策，但会消耗计算资源和存储资源2、bagging:boostingaggregating同智分类器集成——大多数情况异智分类器集成同智：分类器是同一种3、boosting：例如：一共有200个样本，learner1训练完成之后有17个样本判别错误，那么下一次就在200的基础上加上17，一共217个样本送给learner2.......如此循环往复，得到很多le