【周志华第9页

机器学习笔记（十一）-聚类（Clustering）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

997and·2022-11-27 08:03

吃瓜笔记《机器学习》周志华第六章支持向量机

吃瓜笔记《机器学习》周志华第六章支持向量机支持向量机具有广泛的商业应用，掌握支持向量机具有很大的作用。刚刚读完第六章，整理一些资料。1.支持向量1.1线性可分首先我们先来了解下什么是线性可分。

irrationality·2022-11-27 07:40

机器学习笔记(第六章支持向量机)

机器学习（周志华著）Datawhale打卡第四天第六章支持向量机基本为什么使用支持向量对于给定训练集D={(x1,y1),...,(xm,ym)},y∈{−1,+1}D=\{(x_1,y_1),...,

猪里程·2022-11-27 07:59

机器学习--决策树（公式结论）

本文记录周志华《机器学习》决策树内容：***(文中公式内容均来自周志华《机器学习》)***决策树是基于树结构进行决策问题的算法，一般来说，一棵决策树包括一个根节点、若干内部节点和若干个叶子节点(决策结果

图灵保佑·2022-11-27 06:43

【实战 python】第4章决策树—— 信息增益 ID3（连续值处理）习题4.3 python实现

理论知识：笔记（四）机器学习（周志华）第4章决策树Homework4.3-ID3Model.py#!

B&&C·2022-11-26 23:15

yeahhhhhhhy·2022-11-26 23:08

k-近邻算法进行分类

最近学习机器学习，教材主要是周志华老师的《机器学习》和PeterHarrington的《机器学习实战》，周老师的书比较偏向于算法的讲解和推导，理论性很强，而《机器学习实战》更偏向机器学习算法的实际使用，

有理叔·2022-11-26 15:51

机器学习（周志华、李航）：决策树——算法原理及代码实现（持续更新）

文章目录4.1基本流程决策树与条件概率分布决策树学习4.2划分（特征）选择4.2.1信息增益李书示例周书示例4.2.2增益率4.2.3基尼指数4.3剪枝处理4.3.1预剪枝4.3.2后剪枝4.4连续与缺失值4.4.1连续值处理4.4.2缺失值处理确定划分属性操作4.5多变量决策树4.6CART算法4.6.1CART生成1.回归树生成2.分类树生成4.6.2CART剪枝代码实现4.1基本流程决策树（

阅读文献自力更生·2022-11-26 10:33

机器学习西瓜书第四章——决策树

原文转自机器学习-第四章决策树读书笔记（周志华）正文周志华的机器学习第四章讲的是关于决策树。1.决策树的基本流程顾名思义，决策树就是基于树的结构来进行决策的。

moyu916·2022-11-26 02:48

周志华《Machine Learning》学习笔记（4）--线性模型

笔记的前一部分主要是对机器学习预备知识的概括，包括机器学习的定义/术语、学习器性能的评估/度量以及比较，本篇之后将主要对具体的学习算法进行理解总结，本篇则主要是第3章的内容–线性模型。3、线性模型谈及线性模型，其实我们很早就已经与它打过交道，还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗？这就是线性模型的经典算法之一：根据给定的（x，y）点对，求出一条与这些点拟合效果最好的直线y=ax+b，

努力进行光合作用·2022-11-25 21:26

周志华西瓜书学习笔记----线性模型

文章目录一、线性模型二、损失函数三、寻找损失函数的最小值1.最小二乘法2.梯度下降法1.学习率2.代码实现四、对数几率回归1、损失函数一、线性模型f(x)是线性模型的基本形式，数据集中有多少个属性（维度）就应该有几个自变量。当然，也可以存在一个自变量的有种次方形式，并将不同次方的自变量写成x1，x2，x3等。机器学习是通过数据集中的数据得到每个自变量前的参数。二、损失函数机器学习需要得到目标函数中

Ω2πA 》·2022-11-25 12:43

周志华西瓜书学习笔记----决策树

文章目录一、决策树1.ID3(利用信息增益选择属性）1.计算根节点的信息熵2.计算每个属性的信息熵3.划分2.C4.5(利用信息增益率）3.基尼指数二、剪枝1.预剪枝一、决策树1.ID3(利用信息增益选择属性）实际上决策树就是一个迭代的计算信息熵的过程。1.计算根节点的信息熵这一步就是计算label的信息熵可以看见label（好瓜）是二分类，有8个是，9个否。2.计算每个属性的信息熵每个属性都有几

Ω2πA 》·2022-11-25 12:43

西瓜书.第五章（神经网络）重点最全整理+课后习题

（神经网络知识很多且复杂，此篇是周志华老师的西瓜书对神经网络的解释，仔细学习后我对神经网络部分有了更深刻的认识，在此处致谢周老师，我也在持续学习中，之后在其他资料或文献中总结的概念也会更新在此处）五.神经网络

千千离·2022-11-25 10:09

收藏！YOLOv4全文解读与翻译总结！（附思维导图和论文译文）

SophiaCV·2022-11-25 08:34

模型评估与选择周志华西瓜书

寻欢桑加油哇文章目录前言：一、欠拟合二、评估方法三、准确率与召回率四、ROC曲线五、二分类代价矩阵总结前言：本周的任务是啃西瓜，希望我可以坚持下来。提示：以下是本篇文章正文内容，纯纯小白一枚，欢迎大佬批评指正。一、欠拟合欠拟合比较容易克服，过拟合则是机器学习面临的关键障碍，能做的只有缓解或者说减少其风险。二、评估方法留出法；交叉验证法（特例：留一法LOO）；自助法（又称有放回采样，在数据集较小、难

欢桑·2022-11-24 22:40

拉格朗日乘子法

周志华《机器学习》如何理解拉格朗日乘子法？1.介绍拉格朗日乘子法(Lagrangemultipliers)是一种寻找多元函数在一组约束下的极值的方法。

泠山·2022-11-24 21:37

查准率与查全率

按照周志华《机器学习》中的例子，以西瓜问题为例。错误率：有多少比例的西瓜被判断错误；查

来一包板栗·2022-11-24 13:57

周志华《机器学习》——支持向量机

重写一下图中的公式：支持向量机的超平面应该满足：（其中i是第i个样例，若样例为正类，yi标记为1，即等价于公式括号里的部分大于等于1；若样例为负类，yi标记为-1，即等价于公式括号里的部分小于等于1）（即训练样本距离超平面的距离应该越远越好（两类分的越开越好））在寻找上述超平面的过程中可能会遇到各种问题，针对每种问题，我们又有各种解决方法：1、样本空间找不到一个很好的超平面进行划分——核函数上述最

zzmmhxs·2022-11-24 13:25

《机器学习》周志华第6章支持向量机。笔记+习题

裂开了呀，我高数都快忘完了这章对我来说太难了！！！！！非常感谢这个up主link.可以说是非常详细了。公式推导可以参考link.本章视频详细讲解link.《机器学习实战》参考link.理解这章要做什么**SVM性质：训练完成后，大部分训练样本不需要保留，最终模型仅与支持向量有关。这是这章重点解决的问题。之后在本文末尾再详细概括。6.1间隔与支持向量在样本空间中，用线性方程来表示划分超平面：ωTx+

汪呀呀呀呀呀呀呀·2022-11-24 12:52

【读书笔记】周志华机器学习第六章支持向量机

第六章支持向量机1间隔和支持向量2核函数3软间隔和正则化4参考文献1间隔和支持向量对上图所示的数据集，有多个超平面可以划分。直观上来说，最中间加粗的那个超平面是最好的，因为离两类数据都比较远。“离两类数据都比较远”的好超平面指的是离超平面最近的点到超平面的距离最大。yiwxi∣∣w∣∣y_i\frac{{\boldsymbolw}x_i}{||{\boldsymbolw}||}yi∣∣w∣∣wxi

CQ小熊家·2022-11-24 12:21

【周志华机器学习】六、支持向量机

文章目录参考资料前言：一个关于SVM的童话故事1.基本概念1.1函数间隔与几何间隔1.1.1函数间隔1.1.2几何间隔1.2最大间隔与支持向量1.3从原始优化问题到对偶问题2.核函数3.软间隔支持向量机4.SVM的一些问题5.LR(逻辑回归)和SVM的联系与区别5.1相同点5.2不同点6.线性分类器与非线性分类器的区别以及优劣参考资料Machine-learning-learning-notesL

CHH3213·2022-11-24 12:50

【周志华机器学习】支持向量机

第六章支持向量机间隔与支持向量对偶问题核函数软间隔与正则化支持向量回归间隔与支持向量分类学习最基本的想法就是基于训练集在样本空间中找到一个划分超平面，将不同类别的样本分开。但能将训练样本分开的划分超平面可能有很多，应该找哪一个呢？最直观的应该找正中间的超平面，它容忍度最高，鲁棒性最强。在样本空间中，划分超平面可以通过如下方程式来描述：其中，W为法向量，决定超平面的方向。b为位移项，决定了超平面与原

mikasaaaaa·2022-11-24 12:45

机器学习（周志华）第六章支持向量机

关于周志华老师的《机器学习》这本书的学习笔记记录学习过程本博客记录Chapter6支持向量机文章目录1间隔与支持向量2对偶问题3核函数4软间隔和正则化5支持向量回归6核方法1间隔与支持向量对于给定的训练集

YJY131248·2022-11-24 12:42

周志华机器学习（6）：支持向量机

周志华机器学习（6）：支持向量机6支持向量机6.1间隔与支持向量6.2对偶问题（dualproblem）6.3核函数6.4软间隔与正则化基本是大段摘录加上一些自己的补充，去除了冗余的话。

三耳01·2022-11-24 12:39

机器学习系列（4）：决策树

本文结合李航博士的《统计学习方法》与周志华老师的《机器学习》决策树部分，《统计学习方法》重理论的证明推导，《机器学习》注重讲解算法的特点与扩展。

Wwwwhy_　·2022-11-24 01:58

【MLA首日报告摘要】周志华、马毅等教授分享机器学习最新进展

来源：专知概要：第15届中国机器学习及其应用研讨会今天11月4日在北京交通大学举行，海内外从事机器学习及相关领域研究的10余位专家与会进行学术交流。第15届中国机器学习及其应用研讨会今天11月4日在北京交通大学举行，海内外从事机器学习及相关领域研究的10余位专家与会进行学术交流，包括特邀报告、顶会论文交流、以及TopConferenceReview等部分。1.深度森林初探这是由机器学习西瓜书作者、

人工智能学家·2022-11-24 01:25

机器学习（周志华）学习笔记（二）

机器学习（周志华）学习笔记（一）目录学习内容：三、线性模型3.1基本形式3.2线性回归3.3对数几率回归3.4线性判别分析(LDA)3.5多分类问题3.6类别不平衡学习时间：学习内容：三、线性模型3.1

ELDORADO_KDW·2022-11-24 00:02

周志华《机器学习》第三章课后习题

目录3.1试析在什么情形下式(3.2)中不必考虑偏置项b.3.2、试证明，对于参数w,对率回归的目标函数(3.18)是非凸的,但其对数似然函数(3.27)是凸的.3.3、编程实现对率回归,并给出西瓜数据集3.0α上的结果.3.4选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率。3.5编辑实现线性判别分析，并给出西瓜数据集3.0α上的结果.3.1试析在什么情形下式(3.2

An efforter·2022-11-23 23:43

机器学习——决策树（分类）

前言：内容参考周志华老师的《机器学习》，确实是一本好书，不过本科生读懂还是有很大难度的，大多数模型都是直接给出公式，其实自己私下有推导，涉及好多自己不懂的数学知识，会一点点补充的机器学习专栏：机器学习专栏文章目录一

Tao_RY·2022-11-23 12:39

读周志华《机器学习》第四章--决策树

目录一、决策树1.1原理1.2决策树的特点1.3决策树的三种基本类型二、ID3（信息增益）算法2.1信息熵2.2条件熵2.3信息增益详解3.ID3算法缺点三、C4.5算法（分类树）1.信息增益率2.剪枝2.1预剪枝2.2后剪枝3.缺点四、CART算法（分类树）4.1.连续特征处理4.2.离散特征处理4.3.基尼指数（分类树）4.4.基尼指数（回归树）五、连续与缺失值5.1连续值5.2缺失值六.多变

An efforter·2022-11-23 08:05

NNDL 作业3：分别使用numpy和pytorch实现FNN例题

过程推导-了解BP原理下附上周志华老师的机器学习中的一张图：推导：数值计算-手动计算，掌握细节代码实现-numpy手推+pytorch自动对比【numpy】和【pytorch】程序，总结并陈述。

冰冻胖头鱼·2022-11-23 04:02

一文读懂决策树剪枝

本文主要依据周志华的《机器学习》和李航的《统计学习方法》。

xisi克利夫·2022-11-22 22:33

第27期 Datawhale 组队学习吃瓜教程——西瓜书+南瓜书第六章 / 周志华《机器学习》

前言支持向量机（SVM）个人理解是建立在线性空间的基础之上，提供一种算法，使得分开的曲线距离正负样本距离较远，以增加其泛化性能。目录前言1.支持向量机1.0须知知识点1.0.1超平面1.0.1.1基础知识1.0.1.2数学推导1.0.1.3可参考文献：1.0.2几何间隔1.0.2.1基础知识1.0.2.2可参考文献1.0.3sign函数1.0.3.1定义1.0.3.2可参考文献1.1算法原理1.2

weixin_45856170·2022-11-22 17:17

第27期 Datawhale 组队学习吃瓜教程——西瓜书+南瓜书第五章 / 周志华《机器学习》

神经网络目录神经网络1.神经元模型1.1M-P神经元模型1.2激活函数2.感知机与多层神经网络2.1感知机2.2多层前馈神经网络3.误差逆传播算法（BP算法）参考文献:1.神经元模型1.1M-P神经元模型输出函数：y=f(∑i=1n(ωixi−θ))y=f(\sum^{n}_{i=1}(\omega_ix_i-\theta))y=f(i=1∑n(ωixi−θ))其中θ\thetaθ为阈值，ωi\o

weixin_45856170·2022-11-22 17:47

《机器学习实战》笔记——第四章：基于概率论的分类方法：朴素贝叶斯

1说明该书主要以原理简介+项目实战为主，本人学习的主要目的是为了结合李航老师的《统计学习方法》以及周志华老师的西瓜书的理论进行学习，从而走上机器学习的“不归路”。

圣西罗风之子·2022-11-22 15:53

机器学习（西瓜书）学习笔记二模型评估与选择

查全率与F1ROC与AUC代价敏感错误率与代价曲线比较检验假设检验交叉验证t检验McNemar检验Friedman检验与Nemenyi后续检验偏差与方差本章概览图片来自b站深度之眼UP（注：以下图片来自周志华

天天写点代码·2022-11-22 15:38

深度森林：常见Warning及解决方案

本人最近使用周志华的深度森林算法去解决一些问题，于是在github上下载了官方的Gcforest程序，下载地址：https://github.com/kingfengji/gcForest运行之后发现了一些

lyc0424·2022-11-22 11:50

【周志华机器学习】四、决策树

文章目录参考资料1.基本概念2.决策树的构造3.ID3算法（使用信息增益）4.C4.5算法(使用增益率)5.CART算法（使用基尼系数）三种不同的决策树算法小结6.剪枝处理7.连续值与缺失值处理7.1连续值处理7.2缺失值处理8.后记1.树形结构为什么不需要归一化?2.分类决策树和回归决策树的区别参考资料Machine-learning-learning-notesLeeML-NotesML-NL

CHH3213·2022-11-22 09:11

机器学习基础模型

（看不懂可以查看周志华《机器学习》P86页

snowy19130140·2022-11-22 09:05

机器学习入门分享

机器学习入门分享学习建议机器学习课程表吴恩达Cousera机器学习课程关于周志华《机器学习》Kaggle挑战赛/练习深度学习关于‘’花书‘’下一阶段：深入研究思想：最近上手机器学习，整理下我的学习规划学习建议

是一个Bug·2022-11-22 08:58

【机器学习】决策树算法的基本原理

参考周志华老师的《机器学习》一书，对决策树算法进行总结。

haha_point·2022-11-22 04:34

五月份组队学习【吃瓜教程】Task03打卡笔记

笔记部分内容来源于网络检索，如有侵权联系可删本次学习针对的对象：有高数、线代、概率论与数理统计基础的同学内容说明：周志华老师的“西瓜书”是机器学习经典入门教材，值得反复阅读，配合“南瓜书”从本科数学基础的视角进行讲解

miskirito·2022-11-21 23:49

五月份组队学习【吃瓜教程】Task01打卡笔记

本次学习针对的对象：有高数、线代、概率论与数理统计基础的同学内容说明：周志华老师的“西瓜书”是机器学习经典入门教材，值得反复阅读，配合“南瓜书”从本科数学基础的视角进行讲解，一起打好基础！

miskirito·2022-11-21 23:49

【机器学习】周志华西瓜书3.3题——Python代码实现，牛顿法与梯度下降法

#-*-coding:utf-8-*-"""牛顿法实现对率回归(LogisticRegression)来源:'机器学习,周志华'模型:P69problem3.3数据集:P89watermelon_3.0a

我在途中丶·2022-11-21 23:33

机器学习算法+代码

目标值监督学习：目标值为类别属于分类问题目标值为连续数据属于回归问题无监督学习无目标值3、机器学习流程获取数据数据处理特征工程机器学习模型-训练模型模型评估应用4、书籍、框架机器学习深度学习数集西瓜书–周志华花书框架

点击领取椭圆·2022-11-21 21:40

在计算机视觉方向如何快速提升自己?

如周志华老师的《机器学习》、李航老师的《统计学习方法》、《机器学习实践》、吴恩达老师的cs229、李宏毅老师的机器学习视频（B站就有

小白学视觉·2022-11-21 16:24

机器学习(六)决策树优化-剪枝

来自https://blog.csdn.net/u012328159/article/details/79285214决策树（decisiontree）(二)——剪枝**注：本博客为周志华《机器学习》读书笔记

黑洲非人lyf·2022-11-21 16:25

浅谈机器学习之——支持向量机

(注：本文大部分内容来自周志华老师的西瓜书）支持向量机浅谈机器学习之——支持向量机如何解决二分类问题？1、理想情况：样本完全线性可分2

Allen-one·2022-11-21 03:10

西瓜书与Scikit-learn

1.Overview在《机器学习》周志华中，只讲解了各个算法的原理，没有例程供大家学习。这个仓库主要是用scikit-learn机器学习库完成书上的例题。

HuimingPan·2022-11-21 02:04

西瓜书笔记Chapter1&2

序言南瓜书（机器学习公式详解）作者谢文睿老师在南瓜书前言中如此写到：“周志华老师的《机器学习》（西瓜书）是机器学习领域的经典入门教材之一，周老师为了使尽可能多的读者通过西瓜书对机器学习有所了解,所以在书中对部分公式的推导细节没有详述

名侦探波本·2022-11-21 02:03

推荐频道

【周志华