【机器学习】西瓜书学习心得及课后习题参考答案—第6章支持向量机1.试证明样本空间中任意点x到超平面(w,b)的距离为式(6.2)。

前言：讲真，复习这块我是比较头大的，之前的线代、高数、概率论、西瓜书、樱花书、NG的系列课程、李宏毅李沐等等等等…那可是花了三年学习佳实践下来的，现在一想脑子里就剩下几个名词就觉得废柴一个了，朋友们有没有同感

学这个课程的同时，也在看《机器学习》(周志华)，所以会将书和视频的内容结合来看，综合学习。本篇主要是第二周课程中讲到的：二分分类、Logistic回归、损失函数、梯度下降、向量化。

决策树直观上，决策树是一个树结构，从根节点开始，测试待分类项中相应的特征属性（每次只测一个特征维度），并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果西瓜书里的图在挑西瓜模型中

继续学习西瓜书。争取在寒假结束之前可以把西瓜书完整的学习一遍。

12月22日，有幸听了南京大学周志华教授题为“新型机器学习神经元模型的探索”的讲座。现场热闹非凡，大家像追星一样拿着“西瓜书”找周教授签名。周教授讲得依旧循循善诱，由浅入深，听得我很入迷，故作此记。

本章节是对我学习完机器学习（周志华）第七章所做出来的总结第七章贝叶斯分类器7.1贝叶斯决策论贝叶斯决策伦是概率框架下实施决策的基本方法。

参考了统计学习方法，西瓜书，MachineLearnigwithpython做的总结，所以不能作为教程，还包含自己用sklearn做的一些对比实验，原文是写在jupyter上的，这里是直接转为.md导过来的

主要来自周志华《机器学习》一书，数学推导主要来自简书博主“形式运算”的原创博客，包含自己的理解。有任何的书写错误、排版错误、概念错误等，希望大家包含指正。由于字数限制，分成五篇博客。

C++实现神经网络神经网络神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。感知机与多层网络y=f(∑iωixi−θ)y=f(\sum_i\omega_ix_i-\theta)y=f(i∑ωixi−θ)感知机油两层神经元组成，权重ωi(i=1,2,...,n)\omega_i(i=1,2,...,n)ωi(i=1,2,.

支持向量机SVM支持向量机1.函数间隔与几何间隔1.1函数间隔1.2几何间隔2.最大间隔与支持向量3.从原始优化问题到对偶问题4.核函数5.软间隔支持向量机上篇主要介绍了神经网络。首先从生物学神经元出发，引出了它的数学抽象模型–MP神经元以及由两层神经元组成的感知机模型，并基于梯度下降的方法描述了感知机模型的权值调整规则。由于简单的感知机不能处理线性不可分的情形，因此接着引入了含隐层的前馈型神经网

上篇主要介绍了鼎鼎大名的EM算法，从算法思想到数学公式推导（边际似然引入隐变量，Jensen不等式简化求导），EM算法实际上可以理解为一种坐标下降法，首先固定一个变量，接着求另外变量的最优解，通过其优美的“两步走”策略能较好地估计隐变量的值。本篇将继续讨论下一类经典算法–集成学习。集成学习集成学习1.个体与集成2.Boosting3.Bagging与RandomForest3.1Bagging3.

神经网络神经网络神经网络1.神经元模型2.感知机与多层网络3.BP神经网络算法4.全局最小与局部最小5.深度学习在机器学习中，神经网络一般指的是“神经网络学习”，是机器学习与神经网络两个学科的交叉部分。所谓神经网络，目前用得最广泛的一个定义是“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应”。1.神经元模型神经网络中最基本的单元

1.机器学习基本术语机器学习machinelearning：致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。学习算法learningalgorithm：关于在计算机上从数据中产生的模型model的算法。数据集dataset：记录的集合；示例instance/样本sample：每条记录是关于一个事件或对象的描述；属性attribute/特征feature：反映事件或对象在某方面的表现或性

说明：小白学习记录，写文档是为了督促自己学习，零基础开始接触机器学习，刚开始读这本书，只是简单梳理知识啦。向大佬致敬，小白打扰了。3.1基本形式1.问题描述：给定由d个属型描述的示例，其中在第个属性上的取值，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即函数形式，一般用向量形式写成，其中，和学得之后，模型就得以确定。2.线性模型的优点（1）形式简单、易于建模，但却蕴含着机器学习中一些重

在开始这篇文章之前，我想先介绍一下马尔可夫性：当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。1、势函数在考察马尔可夫随机场之前，我们先来考察一下马尔可夫随机场中的势函数。势函数Φ的作用是定量刻画变量级XQ中变量之间的相关关系，它应该是非负函数，

西瓜书第十三章-半监督学习一、未标记样本二、生成式方法三、半监督SVM四、图半监督学习五、基于分歧的方法六、半监督聚类一、未标记样本形式化地看，有训练样本集Dl={(x1,y1),(x2,y2),⋯ ,

spm_id_from=333.999.0.0&vd_source=9607a6d9d829b667f8f0ccaaaa142fcb1.吴恩达机器学习课程已学完，时间较久了，后续可以重新听一遍，整理一下笔记2.白板推导读西瓜书统计学习方法看完了

9.聚类9.1.聚类任务聚类是一种经典的无监督学习方法，无监督学习的目标是通过对无标记训练样本的学习，发掘和揭示数据集本身潜在的结构与规律，即不依赖于训练数据集的类标记信息。聚类则是试图将数据集的样本划分为若干个互不相交的类簇，从而每个簇对应一个潜在的类别。聚类直观上来说是将相似的样本聚在一起，从而形成一个类簇（cluster）。那首先的问题是如何来度量相似性（similaritymeasure）

代码importpandasaspdfromsklearn.linear_modelimportLogisticRegressionfromsklearn.feature_extraction.textimportCountVectorizerdf_train=pd.read_csv('./train_set.csv')df_test=pd.read_csv('./test_set.csv')df

zhuanlan.zhihu.com/p/57689719概念集成学习（ensemblelearning）通过构建多个个体学习器并结合起来完成学习任务。做一个简单分析，考虑二分类问题，假定基本分类器的错误率为,有由基分类器相互独立，设X为T个基分类器分类正确的次数，因此根据Hoeffding不等式令得由上面的式子可以得到，个体分类器的数目越大。错误率将指数级下降，最终变为0。要获得好的集成，个体学

当不具备归纳偏好时，模型给出的判断可能是随机的，这样的结果显然没有意义。任何一个有效的机器学习算法必有其归纳偏好。奥卡姆剃刀：若有多个假设和观察一致，则选最简单的一个。只有在特定情况下，学习算法才有优劣之分。符号学习：如决策树，能产生明确的概念表示。连接学习：如神经网络（包括深度学习）产生的是“黑箱”模型。统计学习：包括“支持向量机”和“核方法”。

一、绪论引言机器学习所研究的主要内容：从数据中产生“模型”的算法，即学习算法。本书用“模型”泛指从数据中学得的结果。有的文献用“模型”指全局性结果（例如一颗决策树），用“模式‘指局部性结果（例如一条规则）基本术语数据集、训练集、测试集；监督学习·····等等机器学习的目标是使学得的模型能很好的适用于新样本，即泛化能力：假设空间归纳与演绎是科学推理的两大基本手段；机器学习是“从样例/数据中学习”，是

主要符号表LaTeX符号说明Howtoreadletter?\mathit{x}标量\boldsymbol{x}向量\mathrm{x}变量集\mathbf{A}矩阵\mathbf{I}单位阵\mathcal{X}样本空间或状态空间calligraphicX\mathcal{D}概率分布ƊcalligraphicD\mathit{H}数据样本（数据集)\mathcal{H}假设空间calligra

本周工作计划：西瓜书两章学习。后台开发准备线性回归的组内交流吃牛蛙（其实也可以吃别的）坚持一哈吧，就快放假了。

暑假的时候在学习机器学习，买的第一本书是大名鼎鼎的的周志华老师的西瓜书，但由于是水平有限，所以看到了一半还是云里雾里的。

学习过程中参考链接如下（周志华西瓜书也讲得很详细）：机器学习中的范数规则化之（一）L0、L1与L2范数-zouxy09的专栏-CSDN博客(1封私信/9条消息)0范数、1范数、2范数有什么区别？

近年来，机器学习技术的快速发展推动了语音、自然语言处理、机器视觉等多个领域获得巨大进步，也带动了人工智能相关产业的蓬勃发展。回顾机器学习最近30年的发展历程，各种学习方法推陈出新、不断演进。但是，在此历程中，通过构建并结合多个学习器来完成学习任务的集成学习方法，始终是提升学习效果的重要手段，成为机器学习领域的“常青树”，受到学术界和产业界的广泛关注。在这个深度学习应用取得巨大成功的当下，我们无法忽

下面是直观解释：《机器学习》--周志华下面在那一个具体的例子：如果我们有6个数据，我们选择用怎么样的回归曲线对它拟合呢？

近年来，机器学习技术的快速发展推动了语音、自然语言处理、机器视觉等多个领域获得巨大进步，也带动了人工智能相关产业的蓬勃发展。回顾机器学习最近30年的发展历程，各种学习方法推陈出新、不断演进。但是，在此历程中，通过构建并结合多个学习器来完成学习任务的集成学习方法，始终是提升学习效果的重要手段，成为机器学习领域的“常青树”，受到学术界和产业界的广泛关注。在这个深度学习应用取得巨大成功的当下，我们无法忽

机器学习——周志华_笔记机器学习——周志华_笔记机器学习——周志华_笔记神经网络介绍支持向量机SVM介绍贝叶斯分类器EM算法集成学习聚类降维与度量学习特征选择与稀疏学习计算学习理论半监督学习概率图模型强化学习神经网络介绍神经网络介绍

上篇主要介绍了半监督学习，首先从如何利用未标记样本所蕴含的分布信息出发，引入了半监督学习的基本概念，即训练数据同时包含有标记样本和未标记样本的学习方法；接着分别介绍了几种常见的半监督学习方法：生成式方法基于对数据分布的假设，利用未标记样本隐含的分布信息，使得对模型参数的估计更加准确；TSVM给未标记样本赋予伪标记，并通过不断调整易出错样本的标记得到最终输出；基于分歧的方法结合了集成学习的思想，通过

上篇主要介绍了概率图模型，首先从生成式模型与判别式模型的定义出发，引出了概率图模型的基本概念，即利用图结构来表达变量之间的依赖关系；接着分别介绍了隐马尔可夫模型、马尔可夫随机场、条件随机场、精确推断方法以及LDA话题模型：HMM主要围绕着评估/解码/学习这三个实际问题展开论述；MRF基于团和势函数的概念来定义联合概率分布；CRF引入两种特征函数对状态序列进行评价打分；变量消去与信念传播在给定联合概

上篇主要介绍了一种机器学习的通用框架–集成学习方法，首先从准确性和差异性两个重要概念引出集成学习“好而不同”的四字真言，接着介绍了现阶段主流的三种集成学习方法：AdaBoost、Bagging及RandomForest，AdaBoost采用最小化指数损失函数迭代式更新样本分布权重和计算基学习器权重，Bagging通过自助采样引入样本扰动增加了基学习器之间的差异性，随机森林则进一步引入了属性扰动，最

周志华老师的《机器学习》这本书作为该领域的入门教材，在内容上涵盖机器学习基础知识的很多方面。全书

前言本笔记是笔者学习西瓜书所做笔记，转载请附本文链接及作者信息。

今天给大家推荐一位认识的好朋友：top985高校AI博士，其开源了周志华西瓜书《机器学习》纯手推笔记！Github|博士大佬周志华《机器学习》手推笔记正式开！

4.1基本流程decisiontree决策树的目的是为了产生一棵泛化能力强的树——用测试集检测泛化能力如图4.1所示，从树的根结点，到叶子结点（也就是判别结果），其中一般会经过若干个中间结点，每个中间结点对应一个属性测试，例如图中的色泽属性，根蒂属性，敲声属性。其中根结点是包含样本全集的，每经过一个中间结点，则会根据中间结点属性测试的结果划分到子结点中。其基本流程遵循**“分而治之”**divid

从头开始实现神经网络：入门](http://python.jobbole.com/82208/)原英文版ImplementingaNeuralNetworkfromScratch-AnIntroduction周志华教授

《机器学习》西瓜书课后习题3.3——python实现对率回归（梯度下降法）《机器学习》西瓜书P69：3.3编程实现对率回归，并给出西瓜数据集3.0a上的结果首先我们回归一下什么的是对率回归？

周志华老师亲讲-西瓜书全网最详尽讲解-1080p高清原版《机器学习初步》周志华机器学习（西瓜书）学习笔记（持续更新）周志华《MachineLearning》学习笔记绪论基本术语数据集（dataset）：

文章目录参考资料1.欧氏距离2.曼哈顿距离3.切比雪夫距离4.闵可夫斯基距离5.标准化欧氏距离6.马氏距离7.巴氏距离8.汉明距离9.夹角余弦10.杰卡德相似系数11.皮尔逊系数参考资料ML-NLP机器学习各种距离优缺点常见距离度量方法优缺点对比K近邻算法的核心在于找到实例点的邻居，这个时候，问题就接踵而至了，如何找到邻居，邻居的判定标准是什么，用什么来度量。这一系列问题便是下面要讲的距离度量表示

1.机器学习首先推荐的一本书的周志华的《机器学习》，网称西瓜书，这是机器学习领域的经典入门教材之一，是一本大而全的书！内容中有用到西瓜举例子。

目录4.1基本流程决策树学习基本算法4.2划分选择4.2.1信息增益信息熵信息增益西瓜例子4.2.2增益率4.2.3基尼指数4.3剪枝处理4.3.1预剪枝4.3.2后剪枝4.4连续与缺失值4.4.1连续值处理连续属性离散化西瓜例子4.4.2缺失值处理信息增益西瓜例子4.5多变量决策树轴平行决策树斜决策树4.1基本流程决策树:样本分类可看作基于树结构,来进行决策的过程.基本流程:"分而治之"(div

第七章贝叶斯分类器7.1贝叶斯决策论（BayesianDecisionTheory）7.1.1先验概率（PriorProbability）7.1.2后验概率（PosteriorProbability）7.1.3似然度（Likelihood）7.1.4决策规则（DecisionRule）7.1.5期望损失（ExpectedLoss）7.1.6条件风险（ConditionalRisk）7.1.7总体风

参考：BV1qY4y187Ff第一部分：机器学习回归算法1.机器学习概述数据挖掘：大规模机器学习算法去计算用户情况计算机视觉：无人驾驶汽车推荐算法……预测样本->特征抽取（转换成计算机能够理解的数据，重要！提取特征）->学习函数->预测实用工具：Numpy科学计算pandas数据分析matplotlib数据可视化scikit-learn机器学习2.回归算法监督学习（有标签）、无监督学习（无标签）回

不赘述，原理可参考：《机器学习》周志华《机器学习实战》网络博客、百度因为研究数据不公开，本期数据采用随机构造数据，如下代码：##【代码1】随机产生点##i

下面是西瓜书里

学习器（打分器）既产生ROC曲线【西瓜书图2.4】，又产生代价曲线【西瓜书图2.5】。代价曲线（常将错误率称为代价），代价曲线为一种特殊的直线簇的包络。

importmathimportoperatordefcreateDataSet():labels=['年龄','工作','房子','信贷情况']#特征标签dataSet=[[0,0,0,0,'no'],[0,0,0,1,'no'],[0,1,0,1,'yes'],[0,1,1,0,'yes'],[0,0,0,0,'no'],[1,0,0,0,'no'],[1,0,0,1,'no'],[1,1,1