西瓜书学习笔记系列第15页

Task02详读西瓜书+南瓜书第3章

总结3线性判别分析本节大纲参考前言学习说明：预习，再看直播回放1一元线性回归与多元线性回归预习：西瓜书3.1、3.2一元线性回归直播回放：https://www.bilib

数据闲逛人·2022-11-27 03:01

Task03详读西瓜书+南瓜书第4章

文章目录前言决策树总结参考前言学习说明：预习，再看直播回放决策树西瓜书4.1、4.2直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?

数据闲逛人·2022-11-27 03:31

datawhale-吃瓜教程（西瓜书+南瓜书）-支持向量机

datawhale-吃瓜教程-支持向量机Task01：概览西瓜书+南瓜书第1、2章Task02：详读西瓜书+南瓜书线性模型Task03：详读西瓜书+南瓜书决策树Task04：详读西瓜书+南瓜书神经网络Task05

小740·2022-11-27 03:00

datawhale-吃瓜教程（西瓜书+南瓜书）-决策树

datawhale-吃瓜教程-决策树Task01：概览西瓜书+南瓜书第1、2章Task02：详读西瓜书+南瓜书第3章Task03：详读西瓜书+南瓜书第4章Task04：详读西瓜书+南瓜书第5章Task05

小740·2022-11-27 03:30

机器学习_西瓜书_C4决策树

目录4.1算法原理决策树结构结点非可分:递归结点可分：MAX结点纯度purity(单结点同类别)4.2划分方法ID3决策树IterativeDichotomiser迭代二分器(离散值)C4.5决策树(连续值)CART决策树ClassificationAndRegressionTree4.3剪枝pruning,连续值,缺失值预剪枝prepruning后剪枝postpruning连续值处理缺失值处理4

大老猪·2022-11-27 03:29

task3：西瓜书第四章（1）

本次是阅读西瓜书第四章，以下为笔者是在阅读第四章决策树时一些之前不曾关注地方的补充。1.实际决策树学习算法是基于启发式算法，如贪婪算法，寻求在每个节点上的局部最优决策。

Pickle_chen·2022-11-27 03:58

吃瓜Task3 西瓜书第四章决策树

基本流程划分选择优化方法离散转连续基本概念决策树，是一类经典的机器学习方法。顾名思义，决策树是一棵树，树形结构与线性模型不同，他目的更明确在分类而非回归。而决策，则指向一系列的评价指标。以人做决策为例，购买一个物品的最直接决策是：他是否满足需求，如果满足，就购买，不满足，就不买。这是一个二分类问题，但是当多个物品都满足需求，我们就会提出更高的要求，它好看吗？它便宜吗？它质量好吗此时，我们遇到了新的

无知之人_dream·2022-11-27 03:27

计算机视觉论文-2021-03-01

本专栏是计算机视觉方向论文收集积累，时间：2021年3月1日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-11-26 19:48

机器学习入门-西瓜书总结笔记第四章

西瓜书第四章-决策树一、基本流程二、划分选择1.信息增益2.增益率3.基尼指数3.剪枝处理四、连续值与缺失值1.连续值处理2.缺失值处理五、多变量决策树提示：后续精简一、基本流程决策树（decisiontree

一入材料深似海·2022-11-26 15:09

机器学习西瓜书第四章决策树读书笔记

感觉这章挺有意思的，这是我感兴趣的几个点：一是在进行决策时，进行分支的依据，我们通过信息熵（informationentropy）来作为度量样本集合纯度的指标；二是信息增益（informationgain）,我们通过信息增益的值来选择最优划分属性。同时，减枝处理涉及到了特征的选择，其中也用到了奥卡姆剃刀原则，删去无关的内容之后可能会提高决策树的拟合程度，减少了杂乱信息对决策的影响。4.1基本流程一

猾枭·2022-11-26 15:08

《机器学习》（西瓜书）第四章

4.1决策树基本流程在对一个事例进行判定时，通常会进行一系列的“子决策”，下一步的考虑基于上一步的前提。一颗决策树包含一个根结点，若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列。直观地理解：ifelse语句，对一个东西多次判断正反。因此

江鸟61·2022-11-26 14:17

Machine Learning in Action机器学习——第二章k-近邻算法代码详解（一）

（有兴趣的小伙伴可以参阅《西瓜书》与《南瓜书》），当然就方便来说，可能k-近邻算法更加方便并且容易理解。一般的，k-近邻算法可以应用的范围特别广，因为他本身就是一个分类问题。在书中介绍的就是有电

lee＆jim·2022-11-26 14:46

【学习笔记】西瓜书机器学习之第三章：逻辑回归南非男性心脏病分类预测（二）

（手写推导的公式传了好几次都传不上来）以下是南非男性心脏病的一个逻辑回归例子：传统的逻辑回归的代码应该将偏置加入到X中，再在weights的首位加个1，方便矩阵运算。我这里是分开算得importpandasaspdimportnumpyasnpimportrandomimportmatplotlib.pyplotasplt"""强烈建议一步一步来，每一步看看输出的结果是不是自己想要的。"""#载入

黄星 .·2022-11-26 10:55

机器学习西瓜书期末复习(2022HENU)

期末复习之机器学习选择题10*2填空题10*1判断题10*2简答题4*5计算题2*15文章目录期末复习之机器学习第一章绪论第二章模型评估与选择习题第三章线性模型习题第四章决策树习题第五章神经网络习题第六章支持向量机习题第七章贝叶斯分类器习题第八章集成学习习题第九章聚类（无监督学习）习题第一章绪论机器学习的定义机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。经验在计算机系统中通常

半儿~·2022-11-26 02:05

Task03 吃瓜教程——西瓜书第四章决策树

决策树（Decisiontree）是一种常见的机器学习方法，常用于分类任务。包括一个根节点，若干内部节点和若干叶子节点。一、决策树的流程二、划分选择信息增益增益率基尼指数三、剪枝处理剪枝（pruning）是解决过拟合问题的主要手段。预剪枝后剪枝四、连续与缺失值连续值处理缺失值处理五、多变量决策树

zaishaoyi·2022-11-26 02:27

西瓜书第七章习题及答案

学习笔记：给定某系统的若干样本x，计算该系统的参数即，条件概率公式：P(c|x)=P(x∣c)∗P(c)P(x)\frac{P(x|c)*P(c)}{P(x)}P(x)P(x∣c)∗P(c)p（c）：没有数据支持下，θ发生的概率-----------先验概率。类先验概率P(c）表达了样本主问中各类样本所占的比例?根据大数定律，当训练集包含充足的独立同分布样本时P(c）可通过各类样本出现的频率来

小鹿学程序·2022-11-26 02:51

西瓜书第九章习题及答案

9.4importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltdataset=pd.read_csv('F:\\python\\dataset\\watermelon_4.csv',delimiter=",")data=dataset.valuesdatadata:Kmeans实现importrandom#距离defdistance(x

小鹿学程序·2022-11-26 02:51

机器学习西瓜书第四章——决策树

原文转自机器学习-第四章决策树读书笔记（周志华）正文周志华的机器学习第四章讲的是关于决策树。1.决策树的基本流程顾名思义，决策树就是基于树的结构来进行决策的。如图4.1所示，从树的根结点，到叶子结点（也就是判别结果），其中一般会经过若干个中间结点，每个中间结点对应一个属性测试，例如图中的色泽属性，根蒂属性，敲声属性。其中根结点是包含样本全集的，每经过一个中间结点，则会根据中间结点属性测试的结果划分

moyu916·2022-11-26 02:48

西瓜书第六章课后题

本文章有的是自己做的，有的是参考其他人的答案，毕竟能力有限，完全使用的放上原博主的博客，仅做自己个人学习使用。如有冒犯和侵权，本人会立刻进行删除，感谢这些能做出来的大神。6.1试证明样本空间中任一点xxx到超平面(w,b)(w,b)(w,b)的距离为式6.2r=∣wTx+b∣∣∣w∣∣(6.2)r=\frac{|w^Tx+b|}{||w||}(6.2)r=∣∣w∣∣∣wTx+b∣(6.2)答：①设

叭了个叭了个叭了叭·2022-11-26 02:17

西瓜书第四章

西瓜书第四章4.11、自信息I(X)=−logb p(x)I(X)=-log_b\,p(x)I(X)=−logbp(x)信息熵（自信息期望）：度量X的不确定性，信息熵越大越不确定。

Altira·2022-11-26 02:13

在瑞士卷数据集上使用python绘制测地线

在学习西瓜书上的流形学习时，我们学习到了测地线的概念，那么如何画测地线呢?本文将使用python简单的实现一下在瑞士卷数据集上测地线的绘制。

淡写 ╮ 青春·2022-11-25 21:36

20221124【深度学习】学习笔记

今日学习目录今日学习一、pytorch编程和DL基础知识1.torch.meshgrid()函数2.torch.linspace()函数3.凸函数与凹函数4.Hessian矩阵、正定矩阵二、西瓜书2.1

脑瓜嗡嗡0608·2022-11-25 20:39

机器学习：8.机器学习-线性回归

D、建立西瓜书销量与时间之间的线性关系。BC2、若线性回归方程得到多个解，下面哪些方法能够解决此问题？A、获取更多的训练样本B、选取样本有效的特征，使样本数量大于特征数C、加入正则

HNU岳麓山大小姐·2022-11-25 14:34

西瓜书chapter4简摘

基本流程和划分选择决策树学习的关键是第8行，即如何选择最优划分属性一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的"纯度"（purity)越来越高.几个概念：信息熵：度量样本集合纯度的一种指标，越小纯度越高信息增益：采用一种属性进行划分所带来的“最佳纯度提升”，利用信息增益对决策树的划分属性进行选择。增益率：信息增益偏好于可取数值较多的的属性，为避免

yabgtz23·2022-11-25 13:34

西瓜书第四章--决策树

4.1基本流程顾名思义，决策树是基于树结构来进行决策的一种机器学习算法。一般来说，一颗决策树由一个根节点、若干个内部节点和若干个叶节点组成，其中叶节点对应最终决策结果，其他节点对应一个属性测试（即条件判断）。决策树学习的目的：产生一颗泛化能力强，处理未见示例强的决策树模型。其基本流程如下：可以看出，决策树学习的关键是第8行，从众多的属性中选择最优划分属性。那么这个过程怎么实现呢？实现过程见4.2。

冰冰ing·2022-11-25 13:32

西瓜书学习-线性回归

1.基本形式，向量形式（1）线性模型一般具有解释性，如：从式子中可以看到根蒂是最重要的表示每个属性对应的权重，值在0~1之间，表示的是第i个属性占最后结果的百分比，也可以理解为属性的重要性。（2）许多强大的非线性模型，可在线性模型的基础上通过引入层级结构或高维特征而得1.1什么叫线性线性函数≠线性回归方程首先看这三个函数，读者大致判断一下这三个函数，哪些是线性回归，哪些是非线性回归？答案是：方程一

普通网友·2022-11-25 13:00

python实现决策树西瓜书_西瓜书学习笔记-决策树

决策树1基本流程决策树基于树结构进行决策，决策过程的每个判定问题都是对某个属性的“测试”。一般的，一棵决策树包含一个根节点、若干内部节点和叶子结点。叶子结点对应的是决策结果，其它结点对应的是一个属性测试。每个几点所包含的样本集合根据属性的测试结果划分到不同的子结点中，根结点包含所有的样本集。其基本流程符合分而治之的策略。决策树的生成是个递归的过程，显然能发现三种导致递归返回的情况：1、当前节点所包

weixin_39645019·2022-11-25 13:30

西瓜书-决策树

这里只实现了对于离散值来计算的生成的决策树，代码如下：frommathimportlogimportpandasaspdimportmatplotlib.pyplotaspltfrommatplotlib.font_managerimportFontPropertiesdefcreatDataSet():dataset=[['青绿','蜷缩','浊响','清晰','凹陷','硬滑','是'],['

pepsi_w·2022-11-25 13:59

西瓜书习题 - 4.决策树

1.决策树基本流程1、下列选项哪个是决策树的预测过程？将测试示例从一个中间节点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶节点将测试示例从一个中间节点开始，沿着划分属性所构成的“判定测试序列”上行，直到根节点将测试示例从叶节点开始，沿着划分属性所构成的“判定测试序列”上行，直到根节点将测试示例从根节点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶节点2、决策树学习的策略是什么？分

加油呀，哒哒哒·2022-11-25 13:59

西瓜书习题 - 3.线性模型

1.线性回归1、以下哪个不是线性模型的优势？简单复杂基本可理解性好2、示例的属性可以属于下列哪个类别？无序的离散属性连续属性有序的离散属性以上都对3、一卖伞商家想利用天气来预测销售额，已知他只考虑温度、湿度、降雨量三种天气特征。若商家使用线性回归模型预测，则模型的输入是____(填写阿拉伯数字)维度的。32.最小二乘解1、最小二乘参数估计得到的线性回归模型满足什么性质？均方误差为0均方误差最大均方

加油呀，哒哒哒·2022-11-25 13:29

西瓜书-第3章-线性模型

0、广义线性模型y=g-1(wTx+b)只需找一个单调可微函数即可真实标记与线性回归模型的预测值联系起来，就可得出多种狭义线性模型1、基本形式f(x)=wTx+b2、对数线性回归lny=wTx+b3、对数几率回归ln(y/1-y)=wTx+b4、线性判别分析（LDA），不搬推导过程了，这里知道Sb、Sw以及w的公式即可。二分类问题上，通过投影，让同类的投影点尽可能接近，异类的尽可能远离；若将数据投

路飞的纯白世界·2022-11-25 13:59

《西瓜书》-决策树

fromsklearn.treeimportDecisionTreeClassifierfromsklearn.model_selectionimporttrain_test_splitfromsklearn.preprocessingimportLabelEncoderimportpandasaspdimportiodata_str=output=io.StringIO('''编号,色泽,根蒂,

Kobe_hyx·2022-11-25 13:28

西瓜书---读书笔记4 决策树

第四章决策树人类面临决策过程时，就是用树的思维来解决的问题。决策树的目的是产生一个泛化能力强的树。原理：根节点-à子节点（属性，feature）à叶节点（决策结果）每个叶节点的得到都是通过一个决策过程实现的。在三种情况下，根节点或者是子节点会转化成叶节点：没有属性可以划分了，或者是所有样本在属性上取值相同当前节点下，所有样本属于一个类别了没有符合当前节点属性的样本了决策树实现过程：（伪代码）输入：

皮卡猪猪·2022-11-25 13:26

西瓜书-简单线性模型

线性模型，当然就是最简单的模型了，形如3.1和3.2这两个公式，显然w和x都为向量，当然w可以为标量，此时对应的就是最简单的线性模型，其次就是多元线性模型。线性模型可以做什么?答:分类和回归。这样自然要去回答分类和回归是什么，回归就是预测的函数值是连续的，而分类拟合的函数值就是离散的，典型的就是二分类，预测的是0和1.那么如何才能得到一个好的线性回合模型？自然就是要使得预测的结果和实际值差距小，但

qq_33588413·2022-11-25 13:56

西瓜书-Task03-决策树

1.基本概念与流程决策树是一种常见的机器学习方法。一般的，一棵决策树包含一个根节点、若干个内部节点和若干个叶节点。叶节点对应于决策结果，其他每个节点则对应于一个属性测试。其基本决策算法如下图所示：决策树的生成是一个递归过程，以下三种情形会导致递归返回：（1）当前结点包含的样本全属于同一属性，无需划分；（2）当前属性集为空，或是所有样本在所有属性上取值相同，无法划分；（3）当前结点包含的样本集合为空

东东强233·2022-11-25 12:50

西瓜书-Task02-线性模型

1.基本形式线性模型试图学得一个通过属性的线性组合来进行预测的函数，即一般用向量形式写成：非线性模型：在线性模型的基础上通过引入层级结构或高维映射而得。2.线性回归线性回归试图学得确定w和b的方法：关键在于如何衡量f(x)与y之间的差别，可通过均方误差来进行处理，通过使均方误差最小化来求得对应的w和b，即多元线性回归：下面更一般的情形是针对数据集D而言，样本由d个属性描述，则任务变成如下所示：同样

东东强233·2022-11-25 12:19

Day03-《西瓜书》-决策树(DataWhale)

四、决策树(decisiontree)4.1基本流程决策树是通过一系列规则对数据进行分类的过程。决策树表示给定特征条件下类的条件概率分布决策树组成：内部结点(internalnode)：表示一个特征或属性叶结点(leafnode)：一个类别或某个值决策树生成步骤：特征选择决策树生成决策树的修剪4.2决策树算法4.2.1基础知识信息熵自信息：I(X)=−logbp(x)I(X)=-log_bp(x)

liying_tt·2022-11-25 12:17

Day02-《西瓜书》-线性模型(DataWhale)

三、线性模型出处：Datawhale吃瓜教程（https://www.bilibili.com/video/BV1Mh411e7VU）具有很好的可解释性(comprehensibility)机器学习三要素：模型：根据具体问题，确定假设空间策略：根据评估标准，确定选取最优模型的策略（通常会产生一个“损失函数”）算法：求解损失函数，确定最优模型3.1基本形式给定d个属性描述的示例x=(x1,x2,..

liying_tt·2022-11-25 12:17

我与西瓜书2----线性模型

上一章，讲了基本概念和关于模型选择与评估的概念。这一张学习线性回归，并根据线性回归加上模型选择与评估的知识来实例化。1、线性回归（LinearRegression）（又名最小二乘法，ordinaryleastsquaresOLS）：基于均方误差最小化来进行模型求解的方法。优点：线性回归没有参数，这是一个优点，但也因此无法控制模型的复杂度。另外线性模型具有很好的可解释性（comprehensibil

donggui8650·2022-11-25 12:15

西瓜书-线性模型

转载于:https://www.cnblogs.com/yunshangyue71/p/11534510.html

aong4563·2022-11-25 12:14

周志华西瓜书学习笔记----线性模型

文章目录一、线性模型二、损失函数三、寻找损失函数的最小值1.最小二乘法2.梯度下降法1.学习率2.代码实现四、对数几率回归1、损失函数一、线性模型f(x)是线性模型的基本形式，数据集中有多少个属性（维度）就应该有几个自变量。当然，也可以存在一个自变量的有种次方形式，并将不同次方的自变量写成x1，x2，x3等。机器学习是通过数据集中的数据得到每个自变量前的参数。二、损失函数机器学习需要得到目标函数中

Ω2πA 》·2022-11-25 12:43

周志华西瓜书学习笔记----决策树

文章目录一、决策树1.ID3(利用信息增益选择属性）1.计算根节点的信息熵2.计算每个属性的信息熵3.划分2.C4.5(利用信息增益率）3.基尼指数二、剪枝1.预剪枝一、决策树1.ID3(利用信息增益选择属性）实际上决策树就是一个迭代的计算信息熵的过程。1.计算根节点的信息熵这一步就是计算label的信息熵可以看见label（好瓜）是二分类，有8个是，9个否。2.计算每个属性的信息熵每个属性都有几

Ω2πA 》·2022-11-25 12:43

西瓜书第三章-线性模型

1.基本形式给定m个样本{Xi}i=1...m，每个Xi由d个属性描述，整体样本为一个m*d的矩阵，每个样本有一个真实值yi，yi=wXi+bi，我们要求的就是对应的w和和bi。w为1*d大小，Xi为d*1大小，bi为1*1大小。拓展：若每个样本的真实值是一个向量，假如说是n维的向量，那yi=wXi+bi中，w为n*d大小，Xi为d*1大小，bi为n*1大小。(多因变量的多元线性回归)2.线性回归

kurok_·2022-11-25 12:13

【西瓜书】4-决策树

文章目录4.1-基本流程4.2-划分4.2.1-信息增益(ID3)4.2.2-信息增益率(C.45)4.2.3-基尼指数(CART)4.3-剪枝处理4.4-连续与缺失值4.4.2-连续值处理4.4.1-缺失值处理4.5-多变量决策树碎碎念4.1-基本流程决策树(DTs)是一种用于分类和回归的非参数有监督学习方法。其目标是创建一个模型，通过学习从数据特性中推断出的简单决策规则来预测目标变量的值1。例

超级虚空·2022-11-25 12:40

【西瓜书】3-线性模型

文章目录3.1-基本形式3.1.1-基本形式3.1.1-向量形式3.2-线性回归3.2.1-性能度量3.2.2-多元线性回归3.2.3-广义线性模型3.3-对数几率回归3.4-线性判别分析3.5-多分类学习3.5.1-ECOC3.6-类别不平衡问题碎碎念参考3.1-基本形式3.1.1-基本形式f(x)=w1x1+w2x2+⋯+wdxd+b(3.1)f(x)=w_1x_1+w_2x_2+\dots+

超级虚空·2022-11-25 12:10

西瓜书.第五章（神经网络）重点最全整理+课后习题

（神经网络知识很多且复杂，此篇是周志华老师的西瓜书对神经网络的解释，仔细学习后我对神经网络部分有了更深刻的认识，在此处致谢周老师，我也在持续学习中，之后在其他资料或文献中总结的概念也会更新在此处）五.神经网络

千千离·2022-11-25 10:09

计算机视觉论文-2021-07-01

本专栏是计算机视觉方向论文收集积累，时间：2021年7月1日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-11-25 08:27

机器学习笔记-西瓜书第三章线性模型

线性模型线性回归1.基本形式f(x)=wTx+b其中w和b可以通过学习得到。线性模型有很好的可解释性2.线性回归(linearregression):从一堆数据集中学习出一个线性模型尽可能准确地预测输出。3.均方误差是回归任务中常用的性能度量。其几何意义对应了蝉蛹的欧式距离(Euclideandistance)，基于均方误差最小化进行模型求解的方法称为最小二乘法。即试图找到一条直线，使得样本到直线

liekkas966·2022-11-24 22:15

西瓜书第三章线性模型（线性回归和对数几率回归）

1.线性回归问题定义：给定数据集D=(x1,y1),x2,y2,......,(xm,ym)D={(x_1,y_1),x_2,y_2,......,(x_m,y_m)}D=(x1,y1),x2,y2,......,(xm,ym),其中，xi=(xi1;xi2;......;xid,yi∈ℜx_i=(x_{i_1};x_{i_2};......;x_{i_d},y_i\in\Rexi=(xi1;xi

x@临霖·2022-11-24 22:15

推荐频道

西瓜书学习笔记系列