西瓜书学习笔记系列第8页

【机器学习】周志华西瓜书第七章贝叶斯分类器习题--实现拉普拉斯修正的朴素贝叶斯分类器，以西瓜数据集3.0为训练集，对“测1”进行判别

watermelon_4.3.xlsxfromnumpyimport*importnumpyasnpimportpandasaspd#读取文件格式为xlsx的数据defdataLoad(filename):df=pd.read_excel(fliename,header=None)propLabelSet=df.values[0:1,1:-1]#属性列表['色泽''根蒂''敲声''纹理''脐部''

弓长纟隹为·2023-01-28 15:59

决策树代码（python）

ID3决策树前言最近学习决策树，看了周志华的西瓜书，也看了很多博客，此文记录一下学习心得，理论部分网上已经有很多了，此处不再赘述。由于本人对西瓜数据集的属性不太感冒，所以用的例子是男女，声音，头发。

D.ziyu·2023-01-28 08:53

【机器学习】周志华西瓜书第八章集成学习习题8.5--编程实现Bagging模型，以决策树桩为基学习器，在西瓜数据集3.0a上训练一个Bagging集成，并与教材图8.6进行比较。

（1）问题理解与分析编程实现Bagging模型，以决策树桩为基学习器，在西瓜数据集3.0a上训练一个Bagging集成，并与教材图8.6进行比较。（2）Bagging算法原理阐述若想得到泛化性能强的集成，集成中的个体学习器应尽可能相互独立；虽然“独立”在现实任务中无法做到，但可以设法使基学习器尽可能具有较大的差异。给定一个训练数据集，一种可能的做法是对训练样本进行采样，产生出若干个不同的子集，再从

弓长纟隹为·2023-01-27 17:40

《机器学习》西瓜书课后习题8.5——python实现基于决策树的Bagging算法

《机器学习》西瓜书课后习题8.5——python实现基于决策树的Bagging算法8.5试编程实现Bagging，以决策树桩为基学习器，在西瓜数据集3.0a上训练一个Bagging集成，并玉图8.6相比较写在前面

Yozu_Roo·2023-01-27 17:40

吃瓜第一次笔记【未整理完1.0version】

笔记待整理周志华教授建议使用西瓜书方式：学习机器学习的第一本书读三次第一次通读速度，细节不懂就略过，第一次要快，一个月内读完,目的是了解机器学习的疆域、基本思想、基本概念阅读其他具体分支的读物（三月、半年

MathPie·2023-01-27 10:56

西瓜书第三章笔记

西瓜书第三章笔记文章目录西瓜书第三章笔记线性模型线性回归广义线性模型对数线性模型对数几率回归线性判别分析(LinearDiscriminantAnalysis)LDA多分类学习一对一OvO：一对其余OvR

MathPie·2023-01-27 10:56

西瓜书决策树笔记

决策树DecisionTree文章目录决策树DecisionTree基本知识划分选择利用信息增益选择最优属性利用增益率选择最优属性利用基尼指数选择最优属性剪枝处理预剪枝后剪枝连续值处理二分法处理连续属性缺失值处理针对(1)针对问题(2)多变量决策树一些拓展基本知识一类常见的机器学习方法决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制。决策过程的最终结论对应了我们所希望

MathPie·2023-01-27 10:48

Logistic Regression 逻辑回归数学原理、python代码实现、实际应用

本篇主要参考的：《机器学习》西瓜书、博主文章：文章链接、以及知乎、百度等大神们的解惑文章第一次写文章，会继续优化，有错误的地方请读者评论直接指出~~线性回归模型的参数求解线性模型（linearmodel

茶树菇变身ing·2023-01-27 09:02

西瓜书南瓜书第一二章读后总结

兰特740·2023-01-27 09:22

西瓜书习题2.5的证明

关于西瓜书中AUC=1−lrankAUC=1-l_{rank}AUC=1−lrank的推导分析在期末考试暂时告一段落之后，可以将前段时间学习《机器学习》时整理的一部分内容更新了.在学习第二章的ROCROCROC

SARIHUST·2023-01-27 08:47

推荐：周志华《机器学习》西瓜书精炼版笔记来了！

西瓜书《机器学习》无疑是机器学习的必读书籍。本书作为该领域的入门教材，在内容上尽可能涵盖机器学习基础知识的各方面。

风度78·2023-01-27 08:12

西瓜书第四章个人总结（初学者自己整理）

学习完周志华老师的第四章决策树算法，还是有挺多地方不会的，推荐南瓜书的讲解。浅浅总结一下自己的问题和收获。首先是决策树的基本流程，决策树是基于树结构来进行决策的。根据流程图可以看到是根据判断一个好瓜的具体条件一步步进行，最终得出是不是好瓜。一棵决策树包含一个根节点，若干个内部节点和若干个叶节点，叶节点对应于决策结果。决策树学习的基本算法第8行，如何选择最优划分属性，是决策树学习的关键算法。那选择最

兰特740·2023-01-27 08:40

【西瓜书第二章】2.4.4 Friedman 检验和 Nemenyi 检验

边看代码边看书就好理解了#作者：要努力，努力，再努力#开发时间：2022/5/189:44importnumpyasnpimportmatplotlib.pyplotaspltdefFriedman(n,k,data_matrix):'''Friedman检验:paramn:数据集个数:paramk:算法种数:paramdata_matrix:排序矩阵:return:T1'''#计算每个算法的平均

不菜不菜·2023-01-26 14:24

西瓜书，南瓜书第六章：支持向量机

之前跟着统计学习方法对支持向量机进行了推导和学习，这次跟着datawhale和西瓜书又对支持向量机进行了深入复习，发现很多没有注意到的点，更为理解一些操作。

何草不玄丶·2023-01-26 12:13

《机器学习》西瓜书课后习题8.3——python实现基于决策树的AdaBoost算法

《机器学习》西瓜书课后习题8.3——python实现基于决策树的AdaBoost算法8.3从网上下载或自己编程实现AdaBoost，以不剪枝决策树作为基学习器，在西瓜数据集3.0a上训练一个AdaBoost

Yozu_Roo·2023-01-25 15:42

周志华-机器学习（西瓜书）集成学习课后练习题8.3 Adaboost & 8.5 Bagging Python实现

目录scikit-learn及其安装scikit-learn安装集成学习一、利用sklearn库进行分析8.38.5二、8.5编程实现引用scikit-learn及其安装scikit-learnscikit-learn是一个python的机器学习工具，可以进行简单高效的数据挖掘和数据分析，基于NumPy，SciPy和matplotlib构建。功能简介应用举例分类（Classification）识别

Piobac·2023-01-25 15:37

【机器学习】（西瓜书习题8.3）编程实现AdaBoost模型，以不剪枝决策树为基学习器，在西瓜数据集3.0a上训练一个AdaBoost集成，并与教材图8.4进行比较

（1）问题理解与分析编程实现AdaBoost模型，不剪枝决策树为基学习器，在西瓜数据集3.0a上训练一个AdaBoost集成，并与教材图8.4进行比较。（2）AdaBoost算法原理阐述集成学习是一种通过构建并结合多个学习器来完成学习任务的机器学习方法。同质集成中的个体学习器亦称“基学习器”。集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。根据个体学习器的生成方式，目前的

弓长纟隹为·2023-01-25 15:36

五月份组队学习【吃瓜教程】Task02打卡笔记

笔记部分内容来源于网络检索，如有侵权联系可删本次学习针对的对象：有高数、线代、概率论与数理统计基础的同学内容说明：周志华老师的“西瓜书”是机器学习经典入门教材，值得反复阅读，配合“南瓜书”从本科数学基础的视角进行讲解

miskirito·2023-01-25 11:52

【GAMES101】课堂笔记1--计算机图形学概述

文章目录前言课堂笔记1图形学介绍1.1图形学应用领域1.2图形学前沿Challenges2本课程介绍2.1课程内容2.2非课程内容2.3课程相关前言本文为GAMES101现代计算机图形学入门的学习笔记系列

beidou111·2023-01-25 11:49

Task01：概览西瓜书+南瓜书第1、2章

第一章绪论机器学习：定义：通过计算，利用经验（以数据的形式存在），改善性能。主要内容：从数据中产生“模型”的算法（学习算法）目标：模型适用“新样本”（泛化能力）1997年，Mitchell给出了一个形式化的定义：假设用P来评估计算机程序在某任务类T上的性能若一个程序利用经验E在T中任务上获得了性能改善则我们就说关于T和P，该程序对E进行了学习根据训练数据是否有标记信息：监督学习分类：预测离散值回顾

au1n·2023-01-25 11:11

【Datewhale一起吃瓜 Task1】周志华西瓜书第一章+第二章

这里写目录标题机器学习是干什么的机器学习的理论基础:PAC模型基本术语关于数据关于假设关于模型训练机器学习任务分类归纳偏好模型的评估和选择训练流程划分数据集的方法留出法交叉验证自助法性能度量机器学习是干什么的我们目前处于大数据时代，每天会产生数以亿计的数据。如何让数据产生价值，机器学习应运而生！机器学习致力于研究如何通过计算手段，能够利用经验来改善系统自身的性能。可以理解成：想办法让计算机自己分析

有理想、有本领、有担当的有志青年·2023-01-25 11:07

Datawhale吃瓜教程Task4

参考资料：【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集_哔哩哔哩_bilibili

丝竹青云·2023-01-25 11:28

强化学习与深度强化学习理解

强化学习主要参考西瓜书和一些网上视频加上个人理解，欢迎互动。强化学习的model如下图所示，机器在当前状态下做出动作a，然后环境反馈给机器下一个状态和一个奖励。

探索鸭·2023-01-24 12:18

机器学习【西瓜书/南瓜书】--- 第2线性模型（学习笔记+公式推导）

Task02详读西瓜书+南瓜书1基本形式假如说现在有一个正态分布，正态分布由mu和sigama决定，极大似然估计就是用来确定正态分布的这两个参数的3.2多元线性回归对线性回归方程进行化简将b=wd+1∗

爱吃肉爱睡觉的Esther·2023-01-24 11:29

西瓜数据集3.0 python_朴素贝叶斯python代码实现（西瓜书）

朴素贝叶斯python代码实现(西瓜书)摘要：朴素贝叶斯也是机器学习中一种非常常见的分类方法，对于二分类问题，并且数据集特征为离散型属性的时候，使用起来非常的方便。原理简单，训练效率高，拟合效果好。

weixin_39689347·2023-01-24 11:52

西瓜书学习记录_绪言

系列文章目录文章目录系列文章目录前言一、知识回顾二、课后习题思考1.3总结前言该系列文章主要用于记录笔者在大三下学期的西瓜书学习过程本文讨论西瓜书绪言中的学习体会以及对某些问题的思考一、知识回顾在经过预习

富士山下的春夏秋冬·2023-01-23 20:12

机器学习_周志华_西瓜书_学习笔记_第一章

绪论1.1引言以计算的手段利用经验（数据）来改善系统自身性能。在计算机上面从数据中产生模型，我们提供经验数据，基于经验和数据产生模型，面对新的情况模型会给我们相应的判断。另一本经典教材的作者Mitchell给出了一个形式化的定义，假设：P：计算机程序在某任务类T上的性能。T：计算机程序希望实现的任务类。E：表示经验，即历史的数据集。若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程

Tenora鸢栀·2023-01-23 20:41

西瓜书机器学习_三章

线性模型的向量形式：线性回归（最小二乘法）对于一个数据集，样本由个属性描述，通过求解和，使得。采用最小二乘法可求得：当为满秩矩阵或正定矩阵时，令上式等于0，可求得：当不满秩时，可能出现多解，此时需要依靠算法的归纳偏好决定模型的取舍，常见做法为引入正则化项。更一般的广义线性模型（例如对数线性模型）：对数几率回归（通过Sigmoid函数将线性回归的输出值转换为0/1值）一个常用的Sigmoid函数为对

CNGauss·2023-01-23 20:09

西瓜书机器学习_一二章

第一章学习任务大致可分为两类：有监督学习（分类、回归）和无监督学习（聚类）通常会假设样本空间的采样服从独立同分布原则归纳偏好：与数据集一致的假设可能有多种，好的算法有一定的偏好来在其中进行选择，而不是随机选择（如奥卡姆剃刀）NFL：所有的学习算法的性能期望值都相同第二章生成训练集与测试集的一般方法留出法：将数据集划为两个互斥的集合，一个为训练集，一个为测试集。划分时要尽可能保持数据分布的一致性，避

CNGauss·2023-01-23 20:39

Datawhale 吃瓜教程组队学习 task01

Datawhale吃瓜教程组队学习task01还没写完，会持续更新~~上个月看了周志华老师的机器学习视频课的前三章，但是后面中断了没看…(主要是懒)于是打算这个月继续来学习西瓜书和南瓜书Task01：概览西瓜书

临风而眠·2023-01-22 07:59

【学习笔记】西瓜书机器学习之第二章模型评估与选择及统计假设检验基础

1.评估方法为了对学习器的泛化误差进行评估，需要采用一个测试集（不在训练集里）来测试模型的能力。这时我们会将数据集D进行适当的处理，从D中获取训练集S和测试集T。不仅如此，有时在D中还需要有一个验证集（Validation）用于比较不同模型的结果。1.1留出法(Hold-Out)直接讲数据集分为两个互斥的集合。比如把数据集按照37分，7分作为训练集，3分作为测试集。一般会采用若干次随机划分，重复进

黄星 .·2023-01-19 06:47

周志华机器学习西瓜书第2章模型评估与选择——精度与模型泛化评估方法，自助法与集成学习

1.间接计算精度经常是直接计算正确率，间接计算精度：1-错误率一般模型错误的个数会少于正确的个数，计算错误率的效率会高于计算正确率训练过程中想观察模型的学习效果，而观察错误率的下降便是很好的办法之一2.模型的最终目的我们的目标永远不是去尽可能完美地拟合训练数据，而是去泛化到没见过的数据，在总体数据下追求完美所以，一定牢记，训练数据不是目的，测试数据才是目的训练数据本身会有干扰噪声，过好地拟合训练数

阿航626·2023-01-19 06:47

机器学习西瓜书第二章学习笔记--模型评估与选择

经验误差与过拟合训练集上产生的误差为经验误差，新样本上产生的为泛化误差，我们希望训练一个泛化误差小的模型，但事先并不知道新样本什么样，只能尽可能的使得经验误差比较小，过拟合就是经验误差小，但泛化误差大的现象，一般出现的原因是模型过于复杂，模型拟合能力太强，导致过多学习了训练样本自身的特点，而忽略了样本的普遍规律，而且过拟合是没法避免的，只能缓解。相应的欠拟合就是模型太简单，不能很好的拟合样本数据，

她的我·2023-01-19 06:46

机器学习西瓜书——第二章模型评估与选择

错误率——分类错误的样本数占样本总数的比例，即错误率E=a/m,如果在m个样本中有a个样本分类错误。精度——1-E=1-a/m,即精度=1-错误率误差(误差期望)——学习器的实际预测输出与样本的真实输出之间的差异。学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。过拟合——学习器已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化

一蓑烟雨晴·2023-01-19 06:13

机器学习--西瓜书思维导图

机器学习–西瓜书思维导图自己学习后总结的思维导图，如有错漏勿怪。总览决策树集成学习目录西瓜书学习后总结的思维导图点此进入查看思维导图点此查看思维导图

likehack·2023-01-19 06:42

【机器学习·西瓜书】第2章模型评估与选择＜1＞

第2章模型评估与选择1.数据集在机器学习过程中的分类（训练集、验证集、测试集）2.过拟合/欠拟合2.1经验误差与泛化误差2.2过拟合（定义、产生原因、解决办法）2.2.1过拟合的定义2.2.2过拟合的产生原因1.2.3过拟合的解决办法2.3欠拟合（定义、产生原因、解决办法）2.3.1欠拟合的定义2.3.2欠拟合的产生原因2.3.3欠拟合的解决方法3.评估方法（即训练集/测试集的划分方法）3.1留出

gm_Xian·2023-01-19 06:10

机器学习西瓜书第一章及第二章思维导图和相关注解

西瓜书第一章西瓜书第一章主要对基础术语进行了介绍，并举例解释相关含义，最后简要介绍了学科发展史以及各领域的顶级会议与期刊。

星空三千丈·2023-01-19 06:10

机器学习基本概念及问题梳理

前言：整理西瓜书第一、二章中的基本概念待办：第二章评估方法、性能度量及后续内容未整理下图梳理机器学习中部分概念模型评估与选择相关知识点：错误率（errorrate,E）：如果在m个样本中有a个样本分类错误

思想在拧紧·2023-01-18 20:59

西瓜书第一、二章——绪论、模型评估与选择

西瓜书第一、二章——绪论、模型评估与选择第一章绪论1.1、引言1.2、基本术语1.3、假设空间1.4、归纳偏好第二章模型评估与选择2.1、经验误差与过拟合2.2、评估方法2.2.1、留出法2.2.2、交叉验证法

hitsugaya837·2023-01-18 17:06

【机器学习】(西瓜书)第1章绪论 & 第2章模型评估与选择

一、绪论1.什么是机器学习（MachineLearning）？致力于研究如何通过计算的手段，利用数据（经验）来改善系统自身的性能。主要研究内容：是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learningalgorithm）——将经验数据提供给学习算法，学习算法就能基于数据产生模型；在面对新的情况时，模型会给我们提供相应的判断。（模型泛指数据中学到的结果。）2.基本术

bit_100·2023-01-18 17:33

西瓜书：第一章（绪论）&第二章（模型评估与选择）

【基本术语】模型/学习器：泛指从数据中学得的结果；其实就是通过观察获得的“经验”，当遇到新事物，有一定的判断依据。示例/样本：一个事物或对象的描述，例如“一个西瓜”，也就是一条数据属性/特征：反映事物或对象在某方面的表现或性质的事项，例如一个西瓜的“色泽”、“敲声”属性值：属性上的取值，例如“青绿”、“乌黑”属性空间/样本空间/输入空间：我们把属性作为坐标轴，可以构建一个多维空间，每个西瓜都可以找

Wan7777777·2023-01-18 17:03

第一章绪论+第二章模型评估与选择

系列文章目录本系列文章将总结《西瓜书》+《南瓜书》学习过程中的内容参考资料：1.《机器学习》周志华2.《机器学习公式详解》谢文睿秦州3.

symun·2023-01-18 17:01

周志华《机器学习》读书笔记--第一章绪论

附上西瓜书解读–南瓜书南瓜书Pumpkin-book写读书笔记之前说说自己的心理感受：关于机器学习其实在研一的时候由于好奇，和同学去旁听计算机专业选修课，当时那个老师上的就是机器学习，印象里偏神经网络多一些

王嘉尔的小奶酪.·2023-01-18 15:07

《西瓜书》笔记-第0章-引言

本人为某985学生，想在CSDN上发表一些自己的阅读笔记、阅读体会，一方面是为了整理自己所学知识，达到重新梳理，复习的作用，一方面是可能在一定程度上能够帮助网友们，非常希望志同道合的朋友们能发表一些意见，或在我思路、理解上有误的地方及时指出。我所阅读的书籍名字为《机器学习》，由周志华老师著作。个人感觉，这本书内容是从基础知识层面上覆盖机器学习的各个领域，文章内容阅读起来比较容易，配合《南瓜书》可以

WYH的日常·2023-01-18 15:36

机器学习【西瓜书/南瓜书】--- 第1章绪论+第二章模型选择和评估（学习笔记+公式推导）

【西瓜书+南瓜书】task01:第1、2章（2天）第一章绪论主要符号表下述这些符号在本书中将频繁的使用，务必牢记于心各个特殊符号所具有的的含义对上述部分定义做一下解释：向量有维度，其中的元素是有序的变量集是集合

爱吃肉爱睡觉的Esther·2023-01-18 15:06

bilibili西瓜书白板推导day1

先验概率：指的是事情还没有发生，求这件事情发生的可能性大小。利用现有材料进行计算，大多是历史材料；后验概率：指的是事情已经发生，求这件事情发生的原因是由某个因素的可能性的大小，使用贝叶斯公式计算；极大似然估计：其建立在极大似然原理上，一个随机试验可能会出现若干结果。如果A出现了，那么认为实验条件对A的出现有利，即出现概率P(A)较大。通过函数求导得到极值点，求得极大似然估计。频率派将参数看为常量，

zm_zsy·2023-01-18 14:46

机器学习 day1

书籍链接：http://tangshusen.me/Dive-into-DL-PyTorch/#/一、线性回归对于「线性模型」的内容，那我们就来看看「西瓜书」「统计学习方法」「ESL」「PRML」这几本书大概是怎么来讲解这部分内容的

dcr-lzh·2023-01-18 14:16

python实现决策树西瓜书_机器学习西瓜书 Day04 决策树

p73-p97第四章决策树4.1基本流程一棵决策树包含一个根节点，若干个内部节点和若干个叶节点；叶节点对应决策结果，其他每个节点对应于一个属性测试决策树学习基本算法伪码p74图4.2在算法中，选择最优划分属性成为了关键。4.2划分选择我们希望决策树的分支节点所包含的样本尽可能属于同一类别。即：结点的纯度(purity)越来越高。4.2.1信息增益信息熵度量法：Ent(D):见p75Ent越小，D的

weixin_39727706·2023-01-18 14:45

【机器学习-西瓜书】更文挑战【Day1】：1.1 引言

文章目录前言思维导图基于经验的判断机器学习的定义前言贵有恒，何必三更眠五更起最无益，只怕一日曝十日寒思维导图本节通过3个生活中的例子，给出了机器学习的定义。基于经验的判断傍晚微湿的路面、感到和风、天边有晚霞，可以推测出明天会是个好天气西瓜色泽青绿、根蒂蜷缩、敲声浊响，可以推测出是个正熟的好瓜学习上下足了功夫、弄清了概念、做好了作业，那么成绩一定差不了以上是几个生活中人们根据以往积累的经验来预判结果

无限无羡·2023-01-18 14:45

西瓜书学习笔记day2

模型评估与选择一、经验误差与过拟合错误率：分类错误的样本数占样本总数的比例。在m个样本中共有a个样本分类错误，则错误率E=a/m。精度：1-a/m误差：学习器实际预测输入与样本的真实输出之间的差异定义为误差。在训练集中的误差被称为训练误差，在新样本上的误差被称为泛化误差。过拟合：当学习器把训练样本学的“太好了”的时候，很可能会把训练样本的特性当作所有潜在样本所拥有的共性，从而模型的泛化性能下降，这

机智的冷露·2023-01-18 14:44

推荐频道

西瓜书学习笔记系列