【周志华第11页

决策树从理论到实践

生成决策树在周志华老师的西瓜书中的伪代码参考如下。这段代码不难，简单分析：使用递归算法生成决策树。在样本数比较多的时候，程序效率可能不会很好，同时可能会爆栈。可以使用BFS或者DFS进行改写。

gokingd·2022-11-13 14:34

【机器学习】聚类【Ⅲ】高斯混合模型讲解

主要来自周志华《机器学习》一书，数学推导主要来自简书博主“形式运算”的原创博客，包含自己的理解。有任何的书写错误、排版错误、概念错误等，希望大家包含指正。由于字数限制，分成五篇博客。

不牌不改·2022-11-13 11:21

原型聚类（K-means聚类、LVQ、高斯混合聚类）

转自：周志华《机器学习》第9章转自：http://blog.csdn.net/sunanger_wang/article/details/88527461、K-means有样本D（x1,x2,...,xn

intelligence1994·2022-11-13 10:42

周志华《机器学习》笔记（三）——第3章线性模型

第3章线性模型1、线性回归2、逻辑回归（对数几率回归）3、线性判别分析（LDA）4、多分类学习5、类别不平衡线性模型是神经网络和深度学习的基础，原理比较简单，主要看书就行，重点是线性回归和对数几率回归这两节。1、线性回归求解方法：用最小二乘法使均方误差最小化，可以求出最优解。2、逻辑回归（对数几率回归）线性模型外面套上一层Sigmoid函数，就可以解决二分类问题。求解方法与线性回归一样，用最小二乘

不会写代码的牛马·2022-11-13 00:00

《机器学习》周志华(西瓜书)学习笔记第三章线性模型

机器学习西瓜书学习笔记总目录世上只有一种投资是只赚不赔的，那就是学习。当你的的能力还驾驭不了你的目标时，就应该沉下心来历练；当你的才华撑不起你的野心时，就应该静下心来学习第三章线性模型3.1基本形式线性模型(linearmodel)就是试图从由d个属性描述的示例中通过训练试图去学得一个通过属性的线性组合来进行预测的函数一般用向量形式写成x=(x1,x2…)，x1表示示例x在第1个属性的取值。w=(

Sundm@lhq·2022-11-13 00:29

机器学习算法：支持向量机（SVM）

参考书籍：Solem《python计算机视觉编程》、李航《统计学习方法》、周志华《机器学习》要理解好支持向量机需要较好的数学功底，且能不被公式以及文字绕晕，这里我们就理清楚支持向量机的大体过程。

夏天是冰红茶·2022-11-11 13:22

梦开始的地方，从最小二乘法开始学机器学习

文章目录梦开始的地方，从最小二乘法开始学机器学习00.参考资料01.从线性回归问题开始02.线性回归的问题提出03.线性回归问题的数学理论推导04.python代码实现00.参考资料我们的参考书有如下：[周志华老师的

神仙盼盼·2022-11-10 08:10

【吃瓜教程】周志华机器学习西瓜书第三章答案

线性模型结构梳理3.1试析在什么情形下式3.2中不必考虑偏置项b答案一：偏置项b在数值上代表了自变量取0时，因变量的取值；1.当讨论变量x对结果y的影响，不用考虑b；2.可以用变量归一化（max-min或z-score）来消除偏置。答案二：线性规划的两个实例相减可以消去b，所以可以令训练集的每一个样本减去第一个样本，然后对新的样本进行线性回归，此时就可不必考虑偏置项。（有点儿类似变量归一化的意思）

MaxQuYY·2022-11-10 07:23

机器学习之数据预处理sklearn.preprocessing

sklearn.preprocessing）方法二方法三方法四MinMaxScalerMaxAbsScalerNormalizationOneHotEncoder缺失值处理前言理论和实践是密不可分的，在学习sklearn之前最好能学习一下周志华老师的

千禧皓月·2022-11-09 21:57

机器学习笔记(3)---K-近邻算法(1)---约会对象魅力程度分类

参考资料《机器学习实战》，MachineLearninginAction，本文中简称MLiA《机器学习》周志华，本文简称西瓜书《Web安全之机器学习》刘焱著，本文中简称WSML(WebSecurityinMachineLearning

sweird·2022-11-09 12:14

机器学习笔记02——线性回归

周志华《机器学习》第三章https://blog.csdn.net/weixin_45666566/article/details/107137877其他up主博客总结目录一.线性回归API初步使用1.1

S1406793·2022-11-08 17:42

【周志华机器学习】九、聚类

文章目录参考资料1.基本概念1.1距离度量1.2性能度量1.2.1外部指标1.2.2内部指标2.原型聚类2.1K-Means1.k值的选择2.K-Means优缺点及改进2.2学习向量量化（LVQ）2.3高斯混合聚类（GMM）GMM与K-Means相比3.密度聚类4.层次聚类5.后记5.1KNN与K-means区别？5.2聚类算法如何评估参考资料Machine-learning-learning-n

CHH3213·2022-11-08 13:18

numpy实现周志华机器学习 9.5 密度聚类（DBSCAN算法）

本文主要参考周志华《机器学习》的9.6章节，对密度聚类做简单介绍，并使用numpy对具有代表性的DBSCAN密度聚类算法进行实现。1、何为密度聚类？

书剑与酒·2022-11-08 13:48

机器学习周志华笔记--聚类

聚类：无监督学习。性能度量：簇内相似度高且簇间相似度低。距离计算：闵可夫斯基距离：欧氏距离(p=2)or曼哈顿距离(p=1)1.原型聚类1）k均值聚类（k-meansclustering）：最小化平方误差。从样本集中随机选择k个样本作为初始均值向量——计算每个样本与各均值向量的距离，将样本划入距离最近的均值向量的簇内——求出新的均值向量，并更新——不断重复上述过程知道没有变化为止。2）学习向量量化

儒雅的晴天·2022-11-08 13:16

机器学习（一）——聚类

3.1有序属性3.2无序属性3.3混合属性4.原型聚类4.1k-means4.2学习向量量化（LVQ）4.3密度聚类（DBSCAN）4.4层次聚类（AGNES）4.5高斯混合聚类参考资料《机器学习》——周志华

冠long馨·2022-11-08 13:41

初识机器学习

AcomputerprogramissaidtolearnfromexperienceEwithrespecttosometaskTandsomeperformancemeasureP,ifitsperformanceonT,asmeasuredbyP,improveswithexperienceE.’用周志华老师西瓜书

深度学习不如深度入眠·2022-11-08 13:09

周志华机器学习——聚类算法。

聚类算法聚类算法是一种经典的无监督学习方法，无监督学习的目标是通过对无标记训练样本的学习，发掘和揭示数据集本身的潜在结构与j规律，即不依赖于训练数据集的类标记信息。聚类则试图将数据集的样本划分为若干个互相相交的类簇，从而每个簇对应一个潜在的类别。聚类直观上来说是将相似的样本聚集在一起，从而形成一个类簇，（Cluster),那首先的问题是如何度量相似性，这便是距离度量，在生活中，我们说差别小则相似，

big_matster·2022-11-08 13:08

机器学习-决策树

2.2C4.5决策树2.3CART决策树三、剪枝处理3.1预剪枝3.2后剪枝四、连续与缺失值4.1连续值处理4.2缺失值处理五、多变量决策树前言本文主要记录了有关机器学习问题中决策树的内容，思路均来源于周志华老师

第三人称&寒飔·2022-11-08 09:46

11月新书预告——GNN、深度学习和元宇宙

1.图神经网络：基础、前沿与应用吴凌飞崔鹏裴健赵亮编著张钹、韩家炜、沈向洋、周志华、李航等众多AI大咖鼎力推荐！图神经网络当前最全面，兼具前沿性和实践性的著作。

childchen·2022-11-07 16:37

机器学习【吴恩达|周志华|李宏毅|算法】清单 #收藏#

网络转自：https://blog.csdn.net/julialove102123/article/details/78729602系列学习记录：1、吴恩达机器学习系列；2、李宏毅机器学习课程；3、周志华西瓜书

guomutian911·2022-11-04 09:59

【机器学习】西瓜书_周志华，python实现基于信息熵进行划分选择的决策树算法

python：实现基于信息熵进行划分选择的决策树算法本文主要介绍本人用python基于信息熵进行划分选择的决策树代码实现，参考教材为西瓜书第四章——决策树。ps.本文只涉及决策树连续和离散两种情况，未考虑缺失值和剪枝。首先摘取一些书上比较关键的理论知识：1.决策树学习基本算法显然，决策树是一种递归算法，递归最重要的一点是return条件的设置，这里主要有三种情况会产生return：当前结点包含的样

六六六六神·2022-11-02 23:11

《机器学习实战笔记--第一部分分类算法：决策树 4》

下面我们以周志华老师的西瓜书为例画一个带有连续值分类的决策树。给定样本集D和连续属性a，假定a在D上出现了n个

z新一·2022-11-01 14:21

机器学习之西瓜书+南瓜书：第五章神经网络

参考链接：1、谢文睿-《第五章：神经网络》2、周志华老师的《机器学习》一、神经元模型MP神经元二、感知机与多层网络2.1模型2.2策略2.3算法三、误差逆传播算法（BP神经网络）3.1模型3.2策略3.3

wonderball·2022-11-01 03:02

机器学习笔记2：支持向量机原理基础

本篇图文主要参考(搬运)周志华教授的《机器学习》第六章。

Charlie1492·2022-10-30 02:32

周志华《Machine Learning》学习笔记（12）--降维与度量学习

转自：http://blog.csdn.net/u011826404/article/details/72123031上篇主要介绍了几种常用的聚类算法，首先从距离度量与性能评估出发，列举了常见的距离计算公式与聚类评价指标，接着分别讨论了K-Means、LVQ、高斯混合聚类、密度聚类以及层次聚类算法。K-Means与LVQ都试图以类簇中心作为原型指导聚类，其中K-Means通过EM算法不断迭代直至收

hhsh49·2022-10-30 02:00

周志华的《机器学习》西瓜书真的很难啃透吗？

相信大家和我一样，非李航的《统计学习方法》和周志华的《机器学习》莫属。周志华老师的《机器学习》，相信身边学机器学习的小伙伴可谓是人手一本了。but，这本书你真的啃下来了吗？

计算机视觉研究院·2022-10-27 21:43

一起啃西瓜书（四）

一起啃西瓜书（四）前言基本流程信息增益CART决策树剪枝处理预剪枝后剪枝连续与缺失连续值缺失多变量决策树前言本章内容为西瓜书第四章决策树，前面三章内容后期会补的注释：图片来源为网络寻找的西瓜书图示，与周志华老师的西瓜书实体书一致

唐十·2022-10-27 21:43

全国数据分析亚军教你0基础开展一个机器学习项目

我是一名0基础靠机器学习拿1.5万奖金的文科本科生跟您一样，我的学习刚开始走过很多弯路：硬啃周志华老师的《机器学习》西瓜书，一周才读了1页看吴恩达老师的《机器学习入门课》，看完连“线性回归”是什么都不知道分不清机器学习算法和算法的区别

向瑶函·2022-10-27 07:58

【机器学习-周志华】学习笔记-第十四章

记录第一遍没看懂的记录觉得有用的其他章节：第一章第三章第五章第六章第七章第八章第九章第十章十一章十二章十三章十四章十五章十六章隐马尔可夫模型概率图模型可大致分为两类：第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网；第二类是使用无向图表示变量间的相关关系，称为无向图模型或马尔可夫网。隐马尔可夫模型是结构最筒单的动态贝叶斯网，是一种著名的有向图模型。"马尔可夫链"表示：系统下一时

vircorns·2022-10-25 19:25

【周志华机器学习】十四、概率图模型

文章目录参考资料1.基本概念2.隐马尔可夫模型（HMM）2.1隐马尔可夫三大问题1.第一个问题解法2.第二个问题解法3.第三个问题解法3.马尔可夫随机场（MRF）3.1MRF性质3.2势函数4.条件随机场（CRF）5.学习与推断5.1变量消去5.2信念传播6.LDA话题模型7.后记7.1EM算法、HMM、CRF的比较参考资料Machine-learning-learning-notesLeeML-

CHH3213·2022-10-25 19:55

《机器学习》周志华学习笔记第十四章概率图模型（课后习题）python实现

一、基本内容1.隐马尔可夫模型1.1.假定所有关心的变量集合为Y,可观测变量集合为O,其他变量集合为R,生成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O)，给定一组观测变量值，推断就是要由P(Y,R,O)或者P(Y,R|O)得到条件概率分布P(Y,O).1.2.概率图模型大致分为两类：第一类是使用有向无环图表示变量间的依赖关系，称为有向图模型或贝叶斯网；第二类是使用无向

Rookiekk·2022-10-25 19:51

周志华《Machine Learning》学习笔记（16）--概率图模型

转自：http://blog.csdn.net/u011826404/article/details/75090562上篇主要介绍了半监督学习，首先从如何利用未标记样本所蕴含的分布信息出发，引入了半监督学习的基本概念，即训练数据同时包含有标记样本和未标记样本的学习方法；接着分别介绍了几种常见的半监督学习方法：生成式方法基于对数据分布的假设，利用未标记样本隐含的分布信息，使得对模型参数的估计更加准确

hhsh49·2022-10-25 19:18

机器学习（周志华）第十四章概率图模型

关于周志华老师的《机器学习》这本书的学习笔记记录学习过程本博客记录Chapter14文章目录1隐马尔可夫模型2马尔可夫随机场3条件随机场4学习与推断5近似推断6话题模型1隐马尔可夫模型概率图模型（probabilisticgraphicalmodel

YJY131248·2022-10-25 19:17

机器学习：超参数、训练集、验证集、测试集、归纳偏好、经验误差与过拟合、性能度量、机器学习发展现状

1.3归纳偏好1.4经验误差与过拟合1.5性能度量（performancemeasure）1.6机器学习发展现状声明：文章部分内容摘选于：机器学习系列（五）——训练集、测试集、验证集与模型选择《机器学习(周志华

唐樽·2022-10-25 14:09

小目标神器！TPH-YOLOv5：将Transformer预测加载Yolov5！

SophiaCV·2022-10-25 07:24

机器学习周志华

第一章绪论一.基本概念 1.引言 2.基本术语 3.假设空间 4.归纳偏好 5.第二章模型评估与选择 1.一种训练集一种算法（1）经验误差与过拟合（2）评估方法[训练集验证集与测试集] ①泛化能力+tranningset训练集 ②traningset测试集保留方法：留出法，交叉验证法，自助法 ③validationset验证集

zerohero007001·2022-10-24 18:50

【周志华机器学习】一、机器学习基本概念

文章目录参考资料1.概述1.1机器学习定义1.2基本术语2.模型的评估与选择2.1误差与过/欠拟合2.2评估方法2.3训练集与测试集的划分方法2.3.1留出法2.3.2交叉验证法2.3.3自助法2.4调参2.5性能度量2.5.1最常见的性能度量2.5.2查准率(精确率)/查全率(召回率)/F12.5.3ROC与AUC2.5.4代价敏感错误率与代价曲线3.特征工程3.1特征归一化3.2类别型特征3.

CHH3213·2022-10-24 18:20

周志华----机器学习

第2章----模型评估与选择很多学习器是为测试样本产生一个实值或概率预测，然后将这个预测值与一个分类阈值进行比较，若大于阈值分为正类，否则为反类。1、统计假设检验：学习器性能比较的重要依据假设检验：对学习器泛化错误率的某种判断。现实生活中只能获取测试错误率。交叉验证t检验：对不同的学习器的性能进行比较McNemar检验Friedman检验与Nemenyi后续检验2、人们除了通过实验估计其泛化性能，

rekure·2022-10-24 18:50

【周志华机器学习】总目录

一、机器学习基本概念二、比较检验–方差–偏差三、线性模型梯度下降简单介绍四、决策树五、神经网络神经网络理解：前向传播与反向传播神经网络之CNN神经网络之RNN门控循环单元六、支持向量机七、贝叶斯分类器八、集成学习XGBoostLightGBM九、聚类十、降维与度量学习kNN补充——近邻的距离度量十一、特征选择与稀疏学习十二、计算学习十三、半监督学习十四、概率图模型十五、规则学习

CHH3213·2022-10-24 18:50

机器学习——周志华（1）

1.基本概念1）"示例"(instance)或"样本"(sample)：这组记录的集合称为一个"数据集"(dataset)，其中每条记录是关于一个事件或对象的描述。2）"属性"(attribute)或"特征"(feature)：反映事件或对象在某方面的表现或性质的事项3）"属性空间"(attributespace)"样本空间"(samplespace)或"输入空间"：属性上的取值，属性张成的空间。

Intelligenth·2022-10-24 18:48

【周志华机器学习】绪论

第一章绪论机器学习的目标基本术语假设空间归纳偏好机器学习的目标机器学习致力于研究如何通过计算的手段，利用经验来玫善系统自身的性能。在计算机中，经验通常以数据形式存在，因此，机器学习研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。基本术语假定我们收集了一批关于西瓜的数据，例如(色泽=青绿;根蒂=蜷缩;敲声=浊响)，(色泽=乌黑;根蒂:稍蜷;敲声=沉闷)，(色泽=浅自;根蒂

mikasaaaaa·2022-10-24 18:47

【机器学习】第一章 - 机器学习概论 - 周志华机器学习笔记

【机器学习】第一章-机器学习概论-周志华机器学习笔记基本术语假设空间&版本空间归纳偏好为什么需要归纳偏好？-从版本空间中找出最准确的假设如何引导算法确立“正确的”偏好？

暖焱·2022-10-24 18:16

周志华《机器学习》个人笔记

这本书比较像导论性质，整体给你介绍下机器学习领域有哪些研究分支，以及这些研究分支中成熟的经典算法。这本书虽然也有算法描述，但这些算法都是实现底层机器学习算法的，如果没有编程基础或者现在主流的分布式编程的思想，想要直接自己动手据此写代码还是比较困难的。如果你想找的是直接上手coding的实践应用类的书籍，这本书可以放一放，等你先上手了再来。不是这本书难，其实它讲的东西都很简单，只是纯粹的它不是实践类

Just Jump·2022-10-24 18:46

周志华老师开课啦！机器学习视频课上线了（附地址）

主讲：周志华，南京大学教授人工智能从1956年正式成为一个学科，机器学习是人工智能的核心研究领域之一。今天的“人工智能热潮”正是由于机器学习等技术取得了巨大进展，并基于大数据、大算力发挥出巨大威力。

风度78·2022-10-24 18:46

周志华-机器学习.pdf 学习心得附整理材料

大神周志华的这本书可以说是让人深刻了解到了机器学习的内涵。总体来说机器学习应该按照如下步骤：语言：机器学习中常用的语言。书籍：书中自有黄金屋，机器学习中涉

普通网友·2022-10-24 18:15

周志华. 《机器学习》

目录前言第1章线性模型0.机器学习三要素1.一元线性回归1.1最小二乘法估计1.2极大似然估计1.3求解w和b1.4向量化2.多元线性回归2.1导出Ewhat2.2向量化Ewhat2.3求解what3.对数几率回归（逻辑回归）3.1极大似然估计3.2信息论4.二分类线性判别分析4.1算法原理4.2损失函数推导4.3拉格朗日乘子法4.4求解w4.5广义特征值4.6广义瑞利商未完待续~前言本篇主要总结

Cyanzzy·2022-10-24 18:15

周志华《机器学习》习题答案（不断更新中）

文章目录第1章绪论结语第1章绪论1.1求版本空间先看书中示例版本空间：从假设空间删除掉与正例不一致和与反例一致的假设后，剩余的假设所组成的集合。它可以看成是对正例的最大泛化。表1.1的训练数据集对应的假设空间应该如下：1色泽＝＊，根蒂＝＊，敲声＝＊2色泽＝青绿，根蒂＝＊，敲声＝＊3色泽＝乌黑，根蒂＝＊，敲声＝＊4色泽＝＊，根蒂＝蜷缩，敲声＝＊5色泽＝＊，根蒂＝硬挺，敲声＝＊6色泽＝＊，根蒂＝稍蜷，

不一样的天蝎座·2022-10-24 18:15

启蒙教师周志华亲自讲解，机器学习视频课上线了