西瓜书第2页

西瓜书-AdaBoost

zhuanlan.zhihu.com/p/57689719概念集成学习（ensemblelearning）通过构建多个个体学习器并结合起来完成学习任务。做一个简单分析，考虑二分类问题，假定基本分类器的错误率为,有由基分类器相互独立，设X为T个基分类器分类正确的次数，因此根据Hoeffding不等式令得由上面的式子可以得到，个体分类器的数目越大。错误率将指数级下降，最终变为0。要获得好的集成，个体学

weixin_34418883·2023-12-04 04:15

西瓜书-第1章-绪论

当不具备归纳偏好时，模型给出的判断可能是随机的，这样的结果显然没有意义。任何一个有效的机器学习算法必有其归纳偏好。奥卡姆剃刀：若有多个假设和观察一致，则选最简单的一个。只有在特定情况下，学习算法才有优劣之分。符号学习：如决策树，能产生明确的概念表示。连接学习：如神经网络（包括深度学习）产生的是“黑箱”模型。统计学习：包括“支持向量机”和“核方法”。

路飞的纯白世界·2023-12-04 04:14

西瓜书-第1章-绪论笔记

一、绪论引言机器学习所研究的主要内容：从数据中产生“模型”的算法，即学习算法。本书用“模型”泛指从数据中学得的结果。有的文献用“模型”指全局性结果（例如一颗决策树），用“模式‘指局部性结果（例如一条规则）基本术语数据集、训练集、测试集；监督学习·····等等机器学习的目标是使学得的模型能很好的适用于新样本，即泛化能力：假设空间归纳与演绎是科学推理的两大基本手段；机器学习是“从样例/数据中学习”，是

一燊芊芊·2023-12-04 04:43

西瓜书-主要符号表

主要符号表LaTeX符号说明Howtoreadletter?\mathit{x}标量\boldsymbol{x}向量\mathrm{x}变量集\mathbf{A}矩阵\mathbf{I}单位阵\mathcal{X}样本空间或状态空间calligraphicX\mathcal{D}概率分布ƊcalligraphicD\mathit{H}数据样本（数据集)\mathcal{H}假设空间calligra

abka·2023-12-04 04:39

周工作计划2019-01-15

本周工作计划：西瓜书两章学习。后台开发准备线性回归的组内交流吃牛蛙（其实也可以吃别的）坚持一哈吧，就快放假了。

MikeShine·2023-11-27 15:12

机器学习实战之K近邻方法心得体会

暑假的时候在学习机器学习，买的第一本书是大名鼎鼎的的周志华老师的西瓜书，但由于是水平有限，所以看到了一半还是云里雾里的。

学习的学习者·2023-11-24 05:11

笔记-L1、L2范数理解

学习过程中参考链接如下（周志华西瓜书也讲得很详细）：机器学习中的范数规则化之（一）L0、L1与L2范数-zouxy09的专栏-CSDN博客(1封私信/9条消息)0范数、1范数、2范数有什么区别？

ZSYGOOOD·2023-11-24 00:24

机器学习基础(三): 模型评估与选择 - 方差与偏差

前言本笔记是笔者学习西瓜书所做笔记，转载请附本文链接及作者信息。

阿瑟_TJRS·2023-11-21 21:16

惊叹！中科院学霸和本硕博985在读博士的AI进阶之路

风度78·2023-11-20 09:07

《机器学习》西瓜书课后习题3.3——python实现对率回归

《机器学习》西瓜书课后习题3.3——python实现对率回归（梯度下降法）《机器学习》西瓜书P69：3.3编程实现对率回归，并给出西瓜数据集3.0a上的结果首先我们回归一下什么的是对率回归？

Yozu_Roo·2023-11-14 23:10

西瓜书笔记

周志华老师亲讲-西瓜书全网最详尽讲解-1080p高清原版《机器学习初步》周志华机器学习（西瓜书）学习笔记（持续更新）周志华《MachineLearning》学习笔记绪论基本术语数据集（dataset）：

Moliay·2023-11-11 00:51

今天也在认真分享·2023-11-08 11:32

西瓜书笔记4: 决策树

目录4.1基本流程决策树学习基本算法4.2划分选择4.2.1信息增益信息熵信息增益西瓜例子4.2.2增益率4.2.3基尼指数4.3剪枝处理4.3.1预剪枝4.3.2后剪枝4.4连续与缺失值4.4.1连续值处理连续属性离散化西瓜例子4.4.2缺失值处理信息增益西瓜例子4.5多变量决策树轴平行决策树斜决策树4.1基本流程决策树:样本分类可看作基于树结构,来进行决策的过程.基本流程:"分而治之"(div

lagoon_lala·2023-11-07 16:22

西瓜书读书笔记整理（七）—— 第七章贝叶斯分类器

第七章贝叶斯分类器7.1贝叶斯决策论（BayesianDecisionTheory）7.1.1先验概率（PriorProbability）7.1.2后验概率（PosteriorProbability）7.1.3似然度（Likelihood）7.1.4决策规则（DecisionRule）7.1.5期望损失（ExpectedLoss）7.1.6条件风险（ConditionalRisk）7.1.7总体风

smile-yan·2023-11-05 16:17

【西瓜书+花书】速通

参考：BV1qY4y187Ff第一部分：机器学习回归算法1.机器学习概述数据挖掘：大规模机器学习算法去计算用户情况计算机视觉：无人驾驶汽车推荐算法……预测样本->特征抽取（转换成计算机能够理解的数据，重要！提取特征）->学习函数->预测实用工具：Numpy科学计算pandas数据分析matplotlib数据可视化scikit-learn机器学习2.回归算法监督学习（有标签）、无监督学习（无标签）回

NN今夜无眠·2023-11-04 03:53

集成学习——AdaBoost

下面是西瓜书里

没天赋的学琴·2023-10-29 10:32

（《机器学习》完整版系列）第2章模型评估与选择 ——2.5 代价的曲线美

学习器（打分器）既产生ROC曲线【西瓜书图2.4】，又产生代价曲线【西瓜书图2.5】。代价曲线（常将错误率称为代价），代价曲线为一种特殊的直线簇的包络。

人工干智能·2023-10-28 14:29

（西瓜书）ID3决策树代码详解

importmathimportoperatordefcreateDataSet():labels=['年龄','工作','房子','信贷情况']#特征标签dataSet=[[0,0,0,0,'no'],[0,0,0,1,'no'],[0,1,0,1,'yes'],[0,1,1,0,'yes'],[0,0,0,0,'no'],[1,0,0,0,'no'],[1,0,0,1,'no'],[1,1,1

xiao_haohao·2023-10-27 14:06

西瓜书决策树实现（基于ID3）——采用字典数据结构

很久没有更新，最近实现《西瓜书》决策树，贴出来给大家共享。

大叔变码农·2023-10-27 14:33

【机器学习】决策树（理论与代码）

计算可以参考周志华西瓜书。计算信息熵Ent(D)与信息增益Gain（D）。原理的话就是选取信息增益最大的为根，以此类推。

读书猿·2023-10-27 04:23

吃瓜教程3——决策树（西瓜书第四章）

目录一、算法原理从几何角度理解最终目的二、ID3决策树自信息信息熵信息增益ID3决策树三、C4.5决策树增益率一、算法原理从几何角度理解根据某种准则划分特征空间最终目的将样本越分越“纯”二、ID3决策树自信息信息熵（以离散型为例）即自信息的期望，度量随机变量X的不确定性，信息熵越大越不确定；X各个取值概率均等时信息熵最大（最不确定），某个取值概率为1时信息熵最小（最确定）。将样本类别标记y视作随机

雾里看花的学习日常·2023-10-26 22:12

吃瓜笔记04 决策树

学习内容：西瓜书和南瓜书--第4章讲解课程：Datawhale吃瓜教程（【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集_哔哩哔哩_bilibili）目录第4章决策树4.1算法流程4.2

cookie222·2023-10-26 22:05

ML in Action笔记——CH4 朴素贝叶斯

——摘自《西瓜书》朴素贝叶斯和贝叶斯的最大区别就是：朴素，即条件独立，算法引入朴素贝叶斯的目的是为了降低计算量优点：在数据较少的情况下仍然有效，可以处理多类别问题。缺点：对于输入数据的

猴子姑娘呀·2023-10-24 20:44

西瓜书——贝叶斯分类器+EM算法

西瓜书贝叶斯分类器详解https://blog.csdn.net/yangjingjing9/article/details/79986371贝叶斯分类器应用—水果分类https://blog.csdn.net

又笨又懒的猪·2023-10-24 05:46

周志华《机器学习》西瓜书新出算法推导视频！（超级详细）

如果你对人工智能跃跃欲试，第一步该怎么办？我通常的做法是，先收集人工智能有关的信息，或者问问身边正在学习的师兄师姐，寻求他们的方法或建议。如果你已经开始学习，并且了解一点机器学习这个概念，那么你就应该知道这本书“周志华《机器学习》”，号称人工智能领域中文版开山之作这是一本面向中文读者的机器学习教科书，适合正在学习机器学习的学生，以及对人工智能机器学习感兴趣的人士。为了让读者通过本书对机器学习有所了

深度之眼订阅号·2023-10-21 18:31

（西瓜书）一元线性归回代码详解

importnumpyasnpimportmatplotlib.pyplotaspltdeftrue_fun(X):#因为我们没有样本来训练，所以我们自己生成一些样本，假设true_fun是理想线性回归函数return1.5*X+0.2np.random.seed(0)#随机种子n_sample=30#生成30个样本点"""生成随机数据作为训练集"""train_X=np.sort(np.rand

xiao_haohao·2023-10-21 13:25

李航统计学习感知机算法实现

前言李航的《统计学习方法》和西瓜书是入门机器学习进而到深度学习的经典书籍，笔者是数学专业大二在读，在编程方面仍有许多不足之处，在已经看完相关经典书籍后开始编程实践。

没有改名卡y·2023-10-21 08:09

吃瓜教程1--概念准备

目录一、西瓜书准备篇1、绪论（1）假设空间（2）归纳偏好2、模型评估与选择（1）经验误差与过拟合（2）评估方法二、南瓜书准备篇机器学习的相关技术1.监督学习（1）Regression（2）Classification2

雾里看花的学习日常·2023-10-17 05:21

Day01-《西瓜书》-模型评估与选择(DataWhale)

一、绪论出处：Datawhale吃瓜教程（https://www.bilibili.com/video/BV1Mh411e7VU）案例：水果摊旁，挑个根蒂蜷缩，敲起来声音浊响的青绿西瓜。期待是皮薄后瓤甜的瓜1.1引言机器学习研究如何通过计算的手段，利用经验来改善系统自身的性能。经验以数据形式存在学习算法在计算机上从数据中产生模型的算法模型泛指从数据中学到的结果机器学习分类根据训练数据是否拥有标记信

liying_tt·2023-10-17 04:16

浅谈机器学习中的过拟合

本篇博客主要是基于花书（古德费洛的《DeepLearning》）和西瓜书（周志华的《机器学习》）撰写的，其中插入了博主的一些个人见解，如有不对之处希望大家指出来一起来讨论一下嘿嘿，万分感谢。

Maples丶丶·2023-10-16 04:10

树模型（一）孤立森林

孤立森林（IsolationForest）算法是西瓜书作者周志华老师的团队研究开发的算法，一般用于结构化数据的异常检测。

湿物男·2023-10-14 21:31

深度之眼-机器学习总结

为期三个月的西瓜书机器学习训练营结束，昨天听完了毕业典礼。

任嘉平生愿·2023-10-08 16:49

决策树-西瓜书

决策树生成是一个递归过程，递归返回的条件是：1.当前节点包含的样本属于同一类别，无需划分2.当前属性集为空，或所有样本在所有属性上取值相同3.当前节点包含的样本集合为空划分选择：信息墒、信息增益、（增益越大表示使用属性划分所获得的“纯度提升”越大）、增益率、基尼系数

Leslie__l·2023-10-08 09:10

【常见决策树算法逻辑理解以及代码实现（3）】ID3 (代码实现,包含绘图,西瓜书示例)

importmathimportmatplotlib.pyplotaspltD=[['青绿','蜷缩','浊响','清晰','凹陷','硬滑','是'],['乌黑','蜷缩','沉闷','清晰','凹陷','硬滑','是'],['乌黑','蜷缩','浊响','清晰','凹陷','硬滑','是'],['青绿','蜷缩','沉闷','清晰','凹陷','硬滑','是'],['浅白','蜷缩','浊响'

TomcatLikeYou·2023-10-07 16:10

【常见决策树算法逻辑理解以及代码实现（5）】CART (代码实现,包含绘图,西瓜书示例)

使用的面向对象方式编写,主要类是Cart类,直接传入数据和属性集合,然后draw就可以运行结果如下(每次运行属性值顺序可能会不同,由于hash问题,不用管,结果是一样的)全部代码可下载项目https://gitee.com/TomCoCo/mLearn.git这里是代码,有完整的注释,可以直接运行如上图核心方法createTreeimportmathimportmatplotlib.pyplota

TomcatLikeYou·2023-10-07 16:10

「Python」机器学习之线性判别分析（代码，不调包）

机器学习之线性判别分析（代码，不调包）前言1线性判别分析（LDA）2实现2.1LDA实现2.2数据集示例3最后前言语言：python库：numpy,matplotlib教材参考：《机器学习》——周志华2016版（“西瓜书

武的阶乘·2023-10-02 17:39

西瓜书

1.模型评估与选择1.1ROC与AUCROC的横轴为真正例率TPR，纵轴为假正例率FPR定义为：，ROC曲线的画法为：给定个正例和个反例。根据学习器的预测结果对样例进行排序（即每个样本为正例的概率），然后把分类阈值调最大，即把所有样例均预测为反例，画出(0,0)点。之后依次按照每个样本的概率从大到小调整阈值，分别计算TPR和FPR，作出整个ROC曲线如下图。可以看出，AUC的取值范围为[0.5,1

恰似一碗咸鱼粥·2023-10-01 05:53

西瓜书扩展_支持向量机_间隔与支持向量

二分类问题这里我们考虑的是一个两类的分类问题，数据点用来表示，这是一个维向量，而类别用来表示，可以取或者，分别代表两个不同的类：划分超平面方程一个线性分类器就是要在维的数据空间中找到一个分离超平面，其方程可以表示为：其中为法向量（控制超平面的旋转方向），为截距（控制超平面离原点的位置）我们令，在进行分类的时候，我们将数据点代入中，如果得到的结果，则赋予其类别，如果则赋予类别：几何间隔取任一样本点到

我_7·2023-09-29 12:48

西瓜书+南瓜树第八章集成学习

集成学习8.1个体与集成8.2Boosting8.2.1Boosting介绍8.2.2AdaBoost算法8.3Bagging与随机森林8.3.1Bagging8.3.2随机森林8.4多样性增强8.1个体与集成集合个体应该和而不同，①和指个体学习器的泛化误差应该小于随机误差，以二分类问题为例，就是指误差ϵ\epsilonϵ<0.5②不同指的是，个体学习器之间应该有所差异，这样集成学习才有意义收敛条

煞拉一Q·2023-09-28 00:52

机器学习西瓜书+南瓜书吃瓜教程学习笔记第五章神经网络

来自吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集第五章神经网络和周志华老师的机器学习西瓜书以下是我的学习笔记：神经网络：神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应

Unicorn婧·2023-09-28 00:49

机器学习西瓜书和南瓜书第6章学习笔记

一、支持向量机1.算法原理从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面。相比于感知机，其解唯一且不偏不倚，泛化性能更好。2.超平面维超平面性质如下：（1）超平面方程不唯一；（2）法向量和位移项确定唯一的超平面；（3）法向量垂直于超平面；（4）法向量指向的那一半空间为正空间，另一半为负空间；（5）任一点到超平面的距离公式为3.几何间隔给定数据集和超平面，，，，定义样本点

可爱的希格玛·2023-09-28 00:18

吃瓜笔记02：【西瓜书+南瓜书】第3章线性模型

线性模型是机器学习中最为基础的模型，很多复杂模型均可认为由线性模型衍生而得，无论是曾经红极一时的支持向量机还是如今万众瞩目的神经网络，其中都有线性模型的影子。3.1基本形式线性模型其实是一种建立输入变量和输出变量之间线性关系的方法。假设我们有一组输入数据，我们想要通过线性模型来预测或拟合相应的输出值（目标）。在最简单的情况下，线性模型的一般公式可以表示为：3.2线性回归线性回归是一种基本的回归分析

WH_Z0v0·2023-09-28 00:18

机器学习西瓜书+南瓜书吃瓜教程学习笔记第六章支持向量机

视频来源：b站直播+周志华老师机器学习西瓜树+南瓜书以下是我的学习笔记：支持向量机（supportvectormachines，SVM）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，通过对偶问题，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机当训练样本近似线性可分时，通过软间隔最大化，

Unicorn婧·2023-09-28 00:17

一起啃西瓜书

一起啃西瓜书（一）：绪论基本术语；假设空间；归纳偏好；一起啃西瓜书（二）：模型评估与选择经验误差和过拟合：错误率，精度，误差；评估方法：留出法，交叉验证法，自助法，调参与最终模型；性能优度：均方误差，错误率和精度

你欲何为R·2023-09-26 13:17

机器学习西瓜书+南瓜书吃瓜教程学习笔记第三章（二）

南瓜书视频链接以下是我的学习笔记1、多元线性回归首先跟着视频推了一遍，真的厉害，很清晰怎么来的多元线性回归与一元线性回归同理利用最小二乘法求w和b。这里我们讨论了如何使用线性模型进行回归学习，但若要做的是分类任务呢？只需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。2、对数几率回归虽然名字里带有回归，但是是一种分类算法。这种方法有很多优点，例如它是直接对分类可能性进行建

Unicorn婧·2023-09-24 04:32

机器学习西瓜书+南瓜书吃瓜教程学习笔记第四章决策树

1、算法原理从逻辑角度，一堆ifelse语句的组合从集合角度，根据某种准则划分特征空间最终目的：将样本越分越“纯”决策树是基于树结构来进行决策的例如，我们对“这是好瓜吗？”这样的问题进行决策时，通常会进行一系列的判断或“子决策”：我们先看“它是什么颜色？”，如果是“青绿色”，则我们再看“它的根蒂是什么形态？”，如果是“蜷缩”，我们再判断“它敲起来是什么声音？”，最后，我们得出最终决策：这是个好瓜，