西瓜书第12页

周志华《机器学习》课程系列笔记——目录导航页

周志华老师的网络教学视频中，与其西瓜书相比确实少了一些内容。但幸运的是，缺失的内容实际上对于初学者来说并不会产生太大影响。目前这一笔记也遵循视频内容，相比西瓜书中也会有一些缺失，敬请谅解。可

Sinocifeng·2022-11-28 07:20

西瓜书第五章

第五章5.1单个M-P：感知机（sgn激活函数、阶跃函数）、对数几率回归（Sigmoid激活函数）多个M-P：神经网络5.2y=f(∑iwixi−θ)=f(wT+b)y=f(\sum_iw_ix_i-\theta)=f(w^T+b)y=f(i∑wixi−θ)=f(wT+b)n维空间的超平面：超平面方程不唯一法向量w垂直于超平面法向量w和位移向b确定一个唯一超平面法向量指向的那一半空间为正空间，另一

Altira·2022-11-27 19:37

《机器学习》周志华（西瓜书）的简单笔记

异常样本检测：可视化，概率统计（正态分布，高斯分布），PCA降维去除异常值，isolationforest（那些密度很高的簇是可以被切很多次才会停止切割，但是那些密度很低的点很容易很早的就停到一个子空间了）学习器在所有新样本上的误差——泛化误差（generalizationerror）学习能力过强，以至于把训练样本所包含的不太一般的特性都学到了——过拟合（overfitting）机器学习的大部分带

rainy bamboo·2022-11-27 10:58

机器学习理论 | 周志华西瓜书第十三章：半监督学习

第十三章半监督学习此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中…13.1未标记样本1、一些概念主动学习(activelearning)：使用尽量少的query获得经良好的性能半监督学习(semi-supervisedlearning)：让学习器不依赖外界交互，自动利用未标记样本来提升学习性能2、一些假设聚类假设(clusterassumption)：假设数据存在簇结构，同一个簇的样本

ZIYUE WU·2022-11-27 10:49

送书|“零基础学机器学习”作者创作手记

2014年吴恩达在Coursera开了机器学习课，2015年周志华老师出了西瓜书，而2017年李彦宏把无人驾驶车开上了五环，AlphaGo打遍天下无敌手，波士顿动力机器人学会了后空翻，人

文文学霸·2022-11-27 10:49

机器学习理论 | 周志华西瓜书第十二章：计算学习理论

第十二章计算学习理论此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中…12.1基础知识1、概述目的：分析学习任务的困难本质，为学习算法提供理论保证）2、一些定义令h为从X到Y的映射，h的泛化误差：E(h;D)=Px∼D(h(x)≠y)E(h;\mathcal{D})=P_{\bmx\sim\mathcal{D}}(h(\bmx)≠y)E(h;D)=Px∼D(h(x)=y)h在D上的经验

ZIYUE WU·2022-11-27 10:48

机器学习理论 | 周志华西瓜书第八章：集成学习

第八章集成学习此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中…8.1个体与集成集成学习的一般结构示意图个体学习器(individuallearner)基学习器(baselearner)同质(homogenous)集成：集成中只包含同种类型的个体学习器基学习器——同质集成中的个体学习器基学习算法(baselearningalgorithm)——相应的学习算法组建学习器(component

ZIYUE WU·2022-11-27 10:18

机器学习内卷了吗？

2014年吴恩达在Coursera开了机器学习课，2015年周志华老师出了西瓜书，而2017年李彦宏把无人驾驶车开上了五环，

咖哥·2022-11-27 10:47

西瓜书入门辅助【机器学习周志华】一些关于机器学习的重要基础概念提炼

周志华.机器学习=MachineLearning.清华大学出版社,2016.Print.第一章：绪论机器学习所研究的主要内容：关于在计算机上从数据中产生模型model的算法，即学习算法(learningalgorithm)数据集：数据记录的集合；示例instance：每条记录关于的一个事件或对象，一个示例称为一个特征向量属性attribute/特征feature：事件或对象在某方面的性质或表现属性

我绕过山腰雨声敲敲·2022-11-27 10:16

机器学习笔记（十一）-聚类（Clustering）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

997and·2022-11-27 08:03

深度学习/机器学习资料汇总

MachineLearningDeepLearningSeq2SeqLSTMAttentionSelf-AttentionTransfomerBert(这周目标）读研期间收集的学习资料汇总（持续更新中）MachineLearning西瓜书以及统计学习方法笔记

金州啦啦啦啦文·2022-11-27 07:50

西瓜书笔记（第六章支持向量机）

西瓜书笔记（第六章支持向量机）6.1间隔与支持向量直观上看，应该去找位于两类训练样本“正中间”的划分超平面，即图6.1中红色的那个，因为该划分超平面对训练样本局部扰动的“容忍”性最好.例如，由于训练集的局限性或噪声的因素

xhy.·2022-11-27 07:07

西瓜书--第六章支持向量机

6.1支持向量机概述6.1.1为什么引入支持向量机1.感知机的分类超平面不唯一解决方法：增加约束，如SVM的最大化间隔2.感知机无法解决非线性问题解决方法：使用核方法，映射到高维空间6.1.2支持向量机二分类模型基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机支持向量机还包括核技巧，这使它成为实质上的非线性分类器支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次

仰望星空的小马可·2022-11-27 07:06

【西瓜书】第六章支持向量机---学习笔记

1.间隔与支持向量1.1算法原理：对于线性可分数据集，从几何角度，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，泛化性能更好。1.2点xxx到超平面的距离r=∣wTx+b∣∣∣w∣∣r=\frac{|w^Tx+b|}{||w||}r=∣∣w∣∣∣wTx+b∣,假设超平面(w,b)(w,b)(w,b)能将训练样本正确分类，即对于(xi,yi)∈D(x_i,y_i)\inD(

qq_31514061·2022-11-27 07:59

机器学习中的数学基础（二）

机器学习中的数学基础（二）2线代2.1矩阵2.2矩阵的秩2.3内积与正交2.4特征值与特征向量2.5SVD矩阵分解2.5.1要解决的问题2.5.2基变换2.5.3特征值分解2.5.4奇异值分解（SVD）在看西瓜书的时候有些地方的数学推导

三耳01·2022-11-27 07:28

Datawhale-Task3决策树算法梳理

熵联合熵条件熵信息增益基尼不纯度）2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景3.回归树原理4.决策树防止过拟合手段5.模型评估6.sklearn参数详解，Python绘制决策树参考：西瓜书

Zzichen_ovo·2022-11-27 03:07

Task03：详读西瓜书+南瓜书第4章

目录决策树决策树学习基本算法划分选择1.信息增益信息熵信息增益（informationgain）①ID3决策树2.增益率②C4.5决策树启发式规则3.基尼指数基尼值基尼指数③CART决策树决策树决策树学习基本算法划分选择决策树学习的关键就是如何进行划分。如图所示，划分选择有三种划分方式。基于“信息增益”的划分，基于“增益率”的划分，基于“基尼指数”的划分。三种划分方式对应了三种著名的决策树学习算法

weixin_45592399·2022-11-27 03:07

10月Datawhale组队学习：Task01：概览西瓜书+南瓜书第1、2章

边学习边思考边记录边整理，抱着兴趣浏览，带着问题阅读，做着习题强化，理清教材的思维脉络，争取早日将机器学习知识体系化！第1章绪论1.1引言引例：好西瓜的判定关键知识点：机器学习（machinelearning）、模型（model）、学习算法（learningalgorithm）1.2基本术语示例（instance）/样本（sample）：一个事件或对象，在空间中又可称为特征向量（featureve

LordMelbourne·2022-11-27 03:37

《西瓜书》第四章决策树笔记

文章目录4.1基本流程4.1.1组成4.1.2目的4.1.3策略4.1.4算法4.2划分选择4.2.1信息增益-ID3决策树4.2.1.1信息熵4.2.1.1信息增益4.2.2增益率-C4.5决策树4.2.3基尼指数-CART决策树4.2.3.1基尼值4.2.3.2基尼指数4.3剪枝处理4.3.1预剪枝4.3.2后剪枝4.4连续与缺失值4.4.1连续值处理4.4.2缺失值处理4.5多变量决策树4.

甲壳剑齿鸟·2022-11-27 03:06

Task03 详读西瓜书+南瓜书第4章

Task03详读西瓜书+南瓜书第4章1决策树基本流程概念：基于树结构来进行决策，体现人类在面临决策问题时一种很自然的处理机制具备条件：每个非叶节点表示一个特征属性测试每个分支代表这个特征属性在某个值域上的输出每个叶子节点存放一个类别每个节点包含的样本集合通过属性测试被划分到子节点中

阿_边·2022-11-27 03:06

DataWhale-西瓜书+南瓜书-第4章决策树学习总结-Task03-202110

4.1决策树的基本流程4.2划分选择4.2.1信息增益“信息熵”是度量样本集合纯度最常用的一种指标。信息增益定义为：一般而言，信息增益越大，则意味着使用某属性进行划分所获得的纯度提升越大。4.2.2增益率信息增益偏好可取数目较多的属性，所以要使用“增益率”。IV(a)称为属性a的固有值，属性a的可能取值数目越多，IV(a)越大。4.2.3基尼系数CART决策树算法使用“基尼系数”来选择划分属性。属

JZT2015·2022-11-27 03:35

Task02详读西瓜书+南瓜书第3章

总结3线性判别分析本节大纲参考前言学习说明：预习，再看直播回放1一元线性回归与多元线性回归预习：西瓜书3.1、3.2一元线性回归直播回放：https://www.bilib

数据闲逛人·2022-11-27 03:01

Task03详读西瓜书+南瓜书第4章

文章目录前言决策树总结参考前言学习说明：预习，再看直播回放决策树西瓜书4.1、4.2直播回放：https://www.bilibili.com/video/BV1Mh411e7VU?

数据闲逛人·2022-11-27 03:31

datawhale-吃瓜教程（西瓜书+南瓜书）-支持向量机

datawhale-吃瓜教程-支持向量机Task01：概览西瓜书+南瓜书第1、2章Task02：详读西瓜书+南瓜书线性模型Task03：详读西瓜书+南瓜书决策树Task04：详读西瓜书+南瓜书神经网络Task05

小740·2022-11-27 03:00

datawhale-吃瓜教程（西瓜书+南瓜书）-决策树

datawhale-吃瓜教程-决策树Task01：概览西瓜书+南瓜书第1、2章Task02：详读西瓜书+南瓜书第3章Task03：详读西瓜书+南瓜书第4章Task04：详读西瓜书+南瓜书第5章Task05

小740·2022-11-27 03:30

机器学习_西瓜书_C4决策树

目录4.1算法原理决策树结构结点非可分:递归结点可分：MAX结点纯度purity(单结点同类别)4.2划分方法ID3决策树IterativeDichotomiser迭代二分器(离散值)C4.5决策树(连续值)CART决策树ClassificationAndRegressionTree4.3剪枝pruning,连续值,缺失值预剪枝prepruning后剪枝postpruning连续值处理缺失值处理4

大老猪·2022-11-27 03:29

task3：西瓜书第四章（1）

本次是阅读西瓜书第四章，以下为笔者是在阅读第四章决策树时一些之前不曾关注地方的补充。1.实际决策树学习算法是基于启发式算法，如贪婪算法，寻求在每个节点上的局部最优决策。

Pickle_chen·2022-11-27 03:58

吃瓜Task3 西瓜书第四章决策树

基本流程划分选择优化方法离散转连续基本概念决策树，是一类经典的机器学习方法。顾名思义，决策树是一棵树，树形结构与线性模型不同，他目的更明确在分类而非回归。而决策，则指向一系列的评价指标。以人做决策为例，购买一个物品的最直接决策是：他是否满足需求，如果满足，就购买，不满足，就不买。这是一个二分类问题，但是当多个物品都满足需求，我们就会提出更高的要求，它好看吗？它便宜吗？它质量好吗此时，我们遇到了新的

无知之人_dream·2022-11-27 03:27

计算机视觉论文-2021-03-01

本专栏是计算机视觉方向论文收集积累，时间：2021年3月1日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-11-26 19:48

机器学习入门-西瓜书总结笔记第四章

西瓜书第四章-决策树一、基本流程二、划分选择1.信息增益2.增益率3.基尼指数3.剪枝处理四、连续值与缺失值1.连续值处理2.缺失值处理五、多变量决策树提示：后续精简一、基本流程决策树（decisiontree

一入材料深似海·2022-11-26 15:09

机器学习西瓜书第四章决策树读书笔记

感觉这章挺有意思的，这是我感兴趣的几个点：一是在进行决策时，进行分支的依据，我们通过信息熵（informationentropy）来作为度量样本集合纯度的指标；二是信息增益（informationgain）,我们通过信息增益的值来选择最优划分属性。同时，减枝处理涉及到了特征的选择，其中也用到了奥卡姆剃刀原则，删去无关的内容之后可能会提高决策树的拟合程度，减少了杂乱信息对决策的影响。4.1基本流程一

猾枭·2022-11-26 15:08

《机器学习》（西瓜书）第四章

4.1决策树基本流程在对一个事例进行判定时，通常会进行一系列的“子决策”，下一步的考虑基于上一步的前提。一颗决策树包含一个根结点，若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列。直观地理解：ifelse语句，对一个东西多次判断正反。因此

江鸟61·2022-11-26 14:17

Machine Learning in Action机器学习——第二章k-近邻算法代码详解（一）

（有兴趣的小伙伴可以参阅《西瓜书》与《南瓜书》），当然就方便来说，可能k-近邻算法更加方便并且容易理解。一般的，k-近邻算法可以应用的范围特别广，因为他本身就是一个分类问题。在书中介绍的就是有电

lee＆jim·2022-11-26 14:46

【学习笔记】西瓜书机器学习之第三章：逻辑回归南非男性心脏病分类预测（二）

（手写推导的公式传了好几次都传不上来）以下是南非男性心脏病的一个逻辑回归例子：传统的逻辑回归的代码应该将偏置加入到X中，再在weights的首位加个1，方便矩阵运算。我这里是分开算得importpandasaspdimportnumpyasnpimportrandomimportmatplotlib.pyplotasplt"""强烈建议一步一步来，每一步看看输出的结果是不是自己想要的。"""#载入

黄星 .·2022-11-26 10:55

机器学习西瓜书期末复习(2022HENU)

期末复习之机器学习选择题10*2填空题10*1判断题10*2简答题4*5计算题2*15文章目录期末复习之机器学习第一章绪论第二章模型评估与选择习题第三章线性模型习题第四章决策树习题第五章神经网络习题第六章支持向量机习题第七章贝叶斯分类器习题第八章集成学习习题第九章聚类（无监督学习）习题第一章绪论机器学习的定义机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。经验在计算机系统中通常

半儿~·2022-11-26 02:05

Task03 吃瓜教程——西瓜书第四章决策树

决策树（Decisiontree）是一种常见的机器学习方法，常用于分类任务。包括一个根节点，若干内部节点和若干叶子节点。一、决策树的流程二、划分选择信息增益增益率基尼指数三、剪枝处理剪枝（pruning）是解决过拟合问题的主要手段。预剪枝后剪枝四、连续与缺失值连续值处理缺失值处理五、多变量决策树

zaishaoyi·2022-11-26 02:27

西瓜书第七章习题及答案

学习笔记：给定某系统的若干样本x，计算该系统的参数即，条件概率公式：P(c|x)=P(x∣c)∗P(c)P(x)\frac{P(x|c)*P(c)}{P(x)}P(x)P(x∣c)∗P(c)p（c）：没有数据支持下，θ发生的概率-----------先验概率。类先验概率P(c）表达了样本主问中各类样本所占的比例?根据大数定律，当训练集包含充足的独立同分布样本时P(c）可通过各类样本出现的频率来

小鹿学程序·2022-11-26 02:51

西瓜书第九章习题及答案

9.4importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltdataset=pd.read_csv('F:\\python\\dataset\\watermelon_4.csv',delimiter=",")data=dataset.valuesdatadata:Kmeans实现importrandom#距离defdistance(x

小鹿学程序·2022-11-26 02:51

机器学习西瓜书第四章——决策树

原文转自机器学习-第四章决策树读书笔记（周志华）正文周志华的机器学习第四章讲的是关于决策树。1.决策树的基本流程顾名思义，决策树就是基于树的结构来进行决策的。如图4.1所示，从树的根结点，到叶子结点（也就是判别结果），其中一般会经过若干个中间结点，每个中间结点对应一个属性测试，例如图中的色泽属性，根蒂属性，敲声属性。其中根结点是包含样本全集的，每经过一个中间结点，则会根据中间结点属性测试的结果划分

moyu916·2022-11-26 02:48

西瓜书第六章课后题

本文章有的是自己做的，有的是参考其他人的答案，毕竟能力有限，完全使用的放上原博主的博客，仅做自己个人学习使用。如有冒犯和侵权，本人会立刻进行删除，感谢这些能做出来的大神。6.1试证明样本空间中任一点xxx到超平面(w,b)(w,b)(w,b)的距离为式6.2r=∣wTx+b∣∣∣w∣∣(6.2)r=\frac{|w^Tx+b|}{||w||}(6.2)r=∣∣w∣∣∣wTx+b∣(6.2)答：①设

叭了个叭了个叭了叭·2022-11-26 02:17

西瓜书第四章

西瓜书第四章4.11、自信息I(X)=−logb p(x)I(X)=-log_b\,p(x)I(X)=−logbp(x)信息熵（自信息期望）：度量X的不确定性，信息熵越大越不确定。

Altira·2022-11-26 02:13

在瑞士卷数据集上使用python绘制测地线

在学习西瓜书上的流形学习时，我们学习到了测地线的概念，那么如何画测地线呢?本文将使用python简单的实现一下在瑞士卷数据集上测地线的绘制。

淡写 ╮ 青春·2022-11-25 21:36

20221124【深度学习】学习笔记

今日学习目录今日学习一、pytorch编程和DL基础知识1.torch.meshgrid()函数2.torch.linspace()函数3.凸函数与凹函数4.Hessian矩阵、正定矩阵二、西瓜书2.1

脑瓜嗡嗡0608·2022-11-25 20:39

机器学习：8.机器学习-线性回归

D、建立西瓜书销量与时间之间的线性关系。BC2、若线性回归方程得到多个解，下面哪些方法能够解决此问题？A、获取更多的训练样本B、选取样本有效的特征，使样本数量大于特征数C、加入正则

HNU岳麓山大小姐·2022-11-25 14:34

西瓜书chapter4简摘

基本流程和划分选择决策树学习的关键是第8行，即如何选择最优划分属性一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的"纯度"（purity)越来越高.几个概念：信息熵：度量样本集合纯度的一种指标，越小纯度越高信息增益：采用一种属性进行划分所带来的“最佳纯度提升”，利用信息增益对决策树的划分属性进行选择。增益率：信息增益偏好于可取数值较多的的属性，为避免

yabgtz23·2022-11-25 13:34

西瓜书第四章--决策树

4.1基本流程顾名思义，决策树是基于树结构来进行决策的一种机器学习算法。一般来说，一颗决策树由一个根节点、若干个内部节点和若干个叶节点组成，其中叶节点对应最终决策结果，其他节点对应一个属性测试（即条件判断）。决策树学习的目的：产生一颗泛化能力强，处理未见示例强的决策树模型。其基本流程如下：可以看出，决策树学习的关键是第8行，从众多的属性中选择最优划分属性。那么这个过程怎么实现呢？实现过程见4.2。

冰冰ing·2022-11-25 13:32

西瓜书学习-线性回归

1.基本形式，向量形式（1）线性模型一般具有解释性，如：从式子中可以看到根蒂是最重要的表示每个属性对应的权重，值在0~1之间，表示的是第i个属性占最后结果的百分比，也可以理解为属性的重要性。（2）许多强大的非线性模型，可在线性模型的基础上通过引入层级结构或高维特征而得1.1什么叫线性线性函数≠线性回归方程首先看这三个函数，读者大致判断一下这三个函数，哪些是线性回归，哪些是非线性回归？答案是：方程一

普通网友·2022-11-25 13:00

python实现决策树西瓜书_西瓜书学习笔记-决策树

决策树1基本流程决策树基于树结构进行决策，决策过程的每个判定问题都是对某个属性的“测试”。一般的，一棵决策树包含一个根节点、若干内部节点和叶子结点。叶子结点对应的是决策结果，其它结点对应的是一个属性测试。每个几点所包含的样本集合根据属性的测试结果划分到不同的子结点中，根结点包含所有的样本集。其基本流程符合分而治之的策略。决策树的生成是个递归的过程，显然能发现三种导致递归返回的情况：1、当前节点所包

weixin_39645019·2022-11-25 13:30

西瓜书-决策树

这里只实现了对于离散值来计算的生成的决策树，代码如下：frommathimportlogimportpandasaspdimportmatplotlib.pyplotaspltfrommatplotlib.font_managerimportFontPropertiesdefcreatDataSet():dataset=[['青绿','蜷缩','浊响','清晰','凹陷','硬滑','是'],['

pepsi_w·2022-11-25 13:59

西瓜书习题 - 4.决策树

1.决策树基本流程1、下列选项哪个是决策树的预测过程？将测试示例从一个中间节点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶节点将测试示例从一个中间节点开始，沿着划分属性所构成的“判定测试序列”上行，直到根节点将测试示例从叶节点开始，沿着划分属性所构成的“判定测试序列”上行，直到根节点将测试示例从根节点开始，沿着划分属性所构成的“判定测试序列”下行，直到叶节点2、决策树学习的策略是什么？分

加油呀，哒哒哒·2022-11-25 13:59

推荐频道

西瓜书