【知乎同步：https://zhuanlan.zhihu.com/p/305028771】【统计学习方法】学习笔记-第1章-统计学习及监督学习概论1.1统计学习统计学习(statisticallearning

李航是五官科门诊一名普通医生，工作时常需要和形形色色的人打交道。

距离度量可以参照之前李航-第3章k近临法的度量实例点的相似程度。距离度量In[1]:...:defminkowskiDist(v1,v2,p):...:"""假设v1和v2是两个等长的数值型数组...

k近邻法“k近法”在算法层面理解容易，可以从使用“k近邻法”处理分类问题入手，解释机器学习中的各种概念和一般流程。k近邻法的基本思想“k近邻法”几乎是所有机器学习算法中最简单的算法，它用于分类的核心思想就是“物以类聚，人以群分”，即未标记样本的类别由距离其最近的个邻居投票来决定。说明：图片来自周志华《机器学习》第10章第1节。（图片来自周志华《机器学习》第10章第1节）有监督学习、分类学习、回归有

笔者主要参考学习的是李航老师《统计学习方法（第二版）》[1]和周志华老师的西瓜书《机器学习》[2]。如有错误疏漏，烦请指正。如要转载，请联系笔者，[email protected]。

1.感知机模型详解感知机由1957年提出，感知机模型较为简单，是NN和SVM的基础模型。结构如下图perceptron.jpg定义：给定训练集合2.原始学习方法一个常见的想法是给定误分类点集合,3.学习方法的对偶形式对偶形式的思想在于，4.代码实现抽象类classifier.py感知机模型perceptron.py测试test_perceptron.py#classifier.pyclassCla

两本经典教科书，统计学习方法和机器学习图片发自App统计学习方法-李航终极算法：机器学习和人工智能如何重塑世界【美】佩德罗·多明戈斯

MachineLearning-DeepLearning-NLP-LeetCode-StatisticalLearningMethod最近在学习机器学习，深度学习，自然语言处理，统计学习方法等知识，理论学习主要根据重磅

MachineLearning-DeepLearning-NLP-LeetCode-StatisticalLearningMethod最近在学习机器学习，深度学习，自然语言处理，统计学习方法等知识，理论学习主要根据重磅

(书面内容参考《统计学习方法》李航）感知机（perceptron）是二分类的线性模型，旨在求出将训练数据进行线性划分的分离超平面。

在经典的机器学习教材《统计学习方法》（StatisticalLearningMethods）中，李航详细介绍了逻辑回归算法的原理、优化方法和应用场景。B

最近利用工作之余的时间正在学习李航博士的《统计学习方法》，一方面希望能够通过写作整理思路，另一方面，分享学习心得也希望可以和志同道合的小伙伴们共同探讨进步啦~github传送门：GitHub-wyynevergiveup

决策树详解决策树的结构根节点内部结点叶节点决策树算法特征的划分选择信息增益信息增益率基尼系数决策树剪枝预剪枝后剪枝连续属性与缺失值连续属性处理缺失值处理多变量决策树决策树算法的“增量学习”决策树的结构  一般的，决策树由一个根节点、若干个内部节点、若干个叶节点构成，这些节点由边组成（《统计学习方法

感知机2.1感知机模型感知机模型属于一种判别模型，感知机的定义如下：（定义2.1）感知机：假设输入空间（特征空间）为，输出空间为y={+1,-1}，那么函数:被称为感知机，可见感知机的本质就是一个符号化函数，其中：显然，感知机是一种线性分类器。2.2数据集的线性可分特性，感知器学习方法（定义2.2）数据集的线性可分性：对一个数据集，其中，，,如果存在某一个超平面S，使能够把数据的正实例与负实例完全

在本篇文章中，我们主要是手撕Logistic回归，这个在李航老师的《统计学习方法》一书中也叫做为逻辑斯谛回归。

前面写的一些统计学习方法都是属于监督学习（supervisedlearning），这篇主成分分析（principalcomponentsanalysis，简称PCA）和下一篇聚类分析（clustering

前言机器学习入门，主要参考网络教学视频及统计学习方法这本书，侧重学习基础学习及推导学习理论1.Python与数学牛顿迭代法—Apple的学习笔记2.数学梯度下降—Apple的学习笔记3.机器学习K临近算法

全书章节第1章统计学习方法概论第2章感知机第3章k近邻法第4章朴素贝叶斯法第5章决策树第6章逻辑斯谛回归与最大熵模型第7章支持向量机第8章提升方法第9章EM算法及其推广第10章隐马尔可夫模型第11章条件随机场第

更多文章可以访问我的博客Aengus|Blogk近邻法即kNN算法，是假设给定一个训练集，对于每个训练样本的分类已经确认，当对测试样本分类时，根据其k个最近邻的训练样本的类别，通过多数表决的方式进行预测。kNN算法没有显式的学习过程。kNN算法假设给定的训练集为，其中，，步骤为：（1）根据给定的距离度量（即距离计算方法），在训练集中找出与测试样本的前个最近邻的点，涵盖这个点的的邻域记作；（2）在中

1.书籍统计学习，李航，清华大学出版社这本书是国内为数不多的关于机器学习写的非常好的入门级别的一本书

技术交流QQ群:1027579432，欢迎你的加入！图1.jpg图2.jpg图3.jpg图4.jpg图5.jpg图6.jpg图7.jpg图8.jpg

概率潜在语义分析概率潜在语义分析是利用概率生成模型对文本集合进行话题分析的方法概率潜在语义分析受潜在语义分析的启发提出两者可以通过矩阵分解关联起来给定一个文本集合，通过概率潜在语义分析，可以得到各个文本生成话题的条件概率分布，以及各个话题生成单词的条件概率分布概率潜在语义分析的模型有生成模型，以及等价的共现模型其学习策略是观测数据的极大似然估计，其学习算法是EM算法生成模型表示文本生成话题，话题生

真的很想吐槽一下李航老师后面的附录，看的我是云头雾里，上网查了很多资料才搞懂。

编程书籍的整理和收集目录:AI与算法数学之美机器学习凸优化理论统计学习方法数据挖掘与

2018-8-6个人前置条件：已经将《统计学习方法》《机器学习实战》一刷80%西瓜书一刷50%，tensorflow实战一刷70%kaggle上参与过titanic(Top6%)和数字识别(Top12%

核函数介绍二、交叉检验的介绍三、具体代码实现svm分类svm回归网格搜索与k折交叉验证类别预测前言由于水平有限支持向量机（supportvectormachine）的数学原理和证明就不讲了想知道可以去看李航的机器学习或者西瓜书

  EM算法是一种迭代算法，是一种用于计算包含隐变量概率模型的最大似然估计方法，或极大后验概率。EM即expectationmaximization，期望最大化算法。1.极大似然估计  在概率模型中，若已知事件服从的分布或者其他概率模型的参数，那么我们可以通过计算得到某事件发生的概率。而在估计中，这些变成了方向过程：已知一组数据发生的结果，相当于获得了经验概率，通过这组数据假设模型服从什么分布，再

28岁，她嫁给了她的高中同学李航。按她所说，李航十几年来一直暗恋着她，满心都是她，不嫁给李航，再也找不到更合适的人了！我们在群里笑她：“婚礼上准备留两桌还是三桌给前任呀？”

学习打卡内容：阅读《李航统计学习方法》的65-74页学习Gini指数学习回归树剪枝根据自己阅读，先写出自己所认为的笔记。前面学习了决策树的建立方法。

国内计算机视觉CV方向的大牛/导师李航：http://research.microsoft.com/en-us/people/hangli/是MSRAWebSearchandMiningGroup高级研究员和主管

参考资料：《西瓜书》p73-p95《百面机器学习》p80-89《统计学习方法》p55-p75《机器学习_学习笔记(allinone)V0.96》p622-p650《DecisionTree-SuperAttributes

一个统计学习方法基本上由三个部分组成：模型+策略+算法1，模型，，即输入样本特征，可以返回样本值或概率值的函数2，策略，有了模型，如何确定模型中的参数呢？如何根据训练数据拟合一个不错的模型呢？

逻辑回归概述2逻辑回归公式推导与求解2.1公式推导2.2公式求解3基于Python的实现3.1可接收参数3.2完整代码示例1逻辑回归概述逻辑回归（LogisticRegression）是一种用于分类问题的统计学习方法

最大熵模型：舟晓南：统计学习方法-最大熵模型解析|数据分析，机器学习，学习历程全记录已知最大熵模型为：《统计学习方法》中直接给出对数似然函数为：现在解释如何得到上式的对数似然函数：首先根据对数似然函数的一般形式给出

Python复现，使用了随机梯度下降法，梯度下降法，adagrad和对偶形式四种算法：舟晓南：感知机模型python复现-随机梯度下降法；梯度下降法；adagrad；对偶形式在《统计学习方法》的感知机算法章节中

基本原理参考：李航的《统计学习方法》AdaBoost通过加大分类误差率小的弱分类器的权重，使其在表决中起

李航的蓝皮书《统计学习方法》，可谓是机器学习的中文经典。其中所设计的一些算法，是机器学习的基础。这篇博文将要讲述蓝皮书中的第四章朴素贝叶斯法。

2、方法统计学习方法包括监督学习、非监督学习、半监督学习和强化学习。3、三要素统计学习方法三要素包括模型的假设空间、模型选择的准则以及模型学习的算法，简称为模型、策略和算法。

《机器学习》周志华k近邻学习《统计学习方法》李航k近邻法KNN算法思想k-最近邻(k-NearestNeighbour,kNN)算法是一种基本分类与回归方法，属于监督学习方法，其工作机制非常简单：给定测试样本

感知器感知器是二类分类的线性分类模型，属于辨别模型。输出为实例的类别，取+1与-1二值。目的是求出将训练数据进行线性划分的分离超平面。误分类点判别的结果与输入的类别不同（异号）则为误分点，那么判据为image.png损失函数通过求出误分类点到超平面的总距离，评价划分效果的好坏。求总距离最小时的情况，利用梯度下降法，分别求w，b的偏导数。image.pngimage.pngimage.pngimag

本文包含：1.走近k近邻-你周围的人决定了你是怎样的人2.重要概念3.k近邻算法的数学形式4.k近邻模型的直观认识5.如何计算距离6.k值的选择7.k近邻算法的损失函数8.kd树数据结构9.搜索kd树KNN模型Python复现，使用了线性扫描；权值优化两种算法：舟晓南：k近邻（KNN）模型python复现-线性扫描；带权值的近邻点优化方法1.走近k近邻-你周围的人决定了你是怎样的人：人是群居动物，

最近利用工作之余的时间正在学习李航博士的《统计学习方法》，一方面希望能够通过写作整理思路，另一方面，分享学习心得也希望可以和志同道合的小伙伴们共同探讨进步啦~github传送门：GitHub-wyynevergiveup

以下文章来源于NewBeeNLP，作者一块小蛋糕前段时间读完了李航、何向南的《DeeplearningformatchinginsearchandRecommendation》，文章思路清晰，总结详实到位

我主要给大家讲解代码，理论部分给大家推荐3本书：《机器学习实战中文版》《机器学习》周志华《统计学习方法》李航以上3本书，第一本是基于python2的代码实现；剩余两本主要作为第一本书理论省略部分的补充，

【机器学习】带读李航第一章-第四章《统计学习方法第二版监督学习》跟我一起从菜鸟成长为大神_

最近利用工作之余的时间正在学习李航博士的《统计学习方法》，一方面希望能够通过写作整理思路，另一方面，分享学习心得也希望可以和志同道合的小伙伴们共同探讨进步啦~github传送门：GitHub-wyynevergiveup

书目：周志华机器学习西瓜书李航统计学习方法方向：计算机视觉图像处理、物体检测、语义分割(锤子手机的爆炸功能)自然语言处理机器翻译、信息抽取、情感分析机器翻译的几个阶段：基于规则的翻译方法基于统计的翻译方法基于神经网络的翻译方法基于中间语言的翻译方法基于实例的翻译方法语音任务语音识别

《说服的艺术》，《关键20小时快速学会任何技能》数学《统计学习方法》作者：李航王萱认为，这本书由浅入深，涉及的知识面非常广，算法包括NB、LR、SVM、CART、GBDT、感知机、最大熵、EM、HMM、

ResamplingMethods它们涉及从训练集中重复抽取样本，并在每个样本上重新拟合感兴趣的模型，以获得有关拟合模型的额外信息交叉验证可以用来估计与给定的统计学习方法相关的测试误差，以评估其性能，或者选择合适的灵活性水平

回归、分类知识点1、书籍：2、回归知识点3、分类知识点1、书籍：《概率论与数理统计》、《统计学习方法》2、回归知识点1、损失函数多元求导与最小二乘2、凸函数与梯度下降3、正则化与范数（过拟合）4、模型误差