西瓜书第9页

阅读笔记：《机器学习》西瓜书（9）——聚类

聚类聚类任务性能度量外部指标内部指标距离计算有序属性的距离计算无序属性的距离计算原型聚类k均值算法学习向量量化高斯混合聚类密度聚类DBSCAN层次聚类AGNES聚类任务在无监督学习中，由于训练样本并没有标签，一般使用聚类来揭示训练样本数据中的内在规律，为进一步的数据分析提供基础。聚类试图将训练样本在属性空间（特征空间、样本空间）中划分出若干个通常不相交的子集（簇）。这样，每个簇就对应于一些潜在的类

努力变强的EE狗·2022-12-16 11:08

Task01：概览西瓜书+南瓜书第1、2章（2天）

笔记参考和出处：《机器学习》周志华Datawhale吃瓜教程重学机器学习，巩固基础数学推导知识。原笔记用Typora完成，这里主要学习一些基本概念和一些概念的数学表达，方面在后面推导中快速建立体系。1-机器学习中的基本概念机器学习机器学习，致力于研究如何通过计算的手段,利用经验来改善系统自身的性能.在计算机系统中，“经验”通常以“数据”形式存在。因此,机器学习所研究的主要内容,是关于在计算机上从数

Flying Warrior·2022-12-14 16:34

《西瓜书》+《南瓜书》第一章笔记（Datawhale）

大部分都是基于《西瓜书》和《统计学习方法》的一些日常记录，本人学识浅薄，如果有存在理解、记录偏差的地方，希望大家能帮忙指出一下，笔者不胜感激！~第一章1.1引言什么是机器学习？

游弋诗·2022-12-14 16:33

机器学习-西瓜书、南瓜书第三章

线性模型基本形式一、线性回归回归任务最常用的性能度量是均方误差，因为均方误差有比较好的几何意义，对应了最常用的**“欧氏距离”，最小二乘法就是基于均方误差进行模型求解的。求解均方误差最小化的过程称为参数估计其实就是对w，b分别求导，令其等于0，找到最优的闭式解(解析解)。线性回归的基本思想是采用对输入样例各个特征进行线性加权的方式得到预测的输出，并将预测的输出和真实值的均方误差最小化。1）如果输入

GoAI·2022-12-14 16:28

【西瓜书】【南瓜书】第一，二章学习笔记

第一章机器学习：就是从已知的数据中寻找规律，用来预测未知的样本1.基本术语1.1数据集包含事物或对象某些方面特征的集合1.2特征模型输入需要数值化，对于较为抽象的输入，如声音等信息，需要将其转化为数值，才能输入模型。转化后的输入，被称作特征1.3特征向量就是把事物所有的属性转化为一组数值向量1.4训练集用于模型训练的训练数据集合1.5测试集最终用于评判算法模型效果的数据集合1.6分类预测值为类别（

qq_31514061·2022-12-14 16:58

《西瓜书》阅读笔记——第三章

3.1基本形式给定由ddd个属性描述的示例x=(x1;x2;...;xd)x=(x_1;x_2;...;x_d)x=(x1;x2;...;xd)其中xix_ixi均是xxx在第iii个属性上的取值，线性模型(linearmodel)试图学得一个通过属性的线性组合来进行预测的函数，即：f(x)=ω1x1+ω3x2+...+ωdxd+bf(x)=\omega_1x_1+\omega_3x_2+...+

Shannon_Lau·2022-12-14 16:25

西瓜书南瓜书笔记（第1、2章）

第1章绪论1、学习的形式化定义：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中的任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。2、【属性值】：如“青绿”【属性空间】==【样本空间】==【输入空间】【属性】==【特征】：如“色泽”【记录】==【示例】==【样本】==【特征向量】【数据集】【标记空间】==【输出空间】3、训练数据有无标记信息：监督学习和

ShowMinge·2022-12-14 16:22

吃瓜教程——datawhale10月组队学习

datawhale的十月组队学习——吃瓜教程task01:概览西瓜书+南瓜书第1、2章第一章绪论1、机器学习的一些符号定义(结合林轩田的机器学习)X:样本空间Y:输出空间A:算法合集D:数据集f:理想目标函数

scdctlt·2022-12-14 16:41

周志华机器学习（西瓜书）第一章绪论

（一）基本术语1.标记2.样例3.泛化能力4.过拟合（二）学习任务的分类学习任务种类：1.按照数值类型（1）分类：预测的是离散值（2）回归：预测的是连续值2.训练数据是否有标记（1）有监督学习：有标记，包括分类和回归。（2）无监督学习：无标记，包括聚类（对训练集进一步分组）（三）一些理论1.奥卡姆剃刀理论：多个假设与观察一致，选择最简单的。2.NFL（没有免费的午餐）：无论学习算法如何，期望性都相

骑士GG·2022-12-14 15:20

周志华《机器学习初步》绪论

NFL定理的寓意现实机器学习应用参考资料周志华老师对西瓜书的使用建议其实之前一直没有把西瓜书读进去，感觉略有些枯燥，翻了几页就感觉不想看，也许是定

临风而眠·2022-12-14 15:18

西瓜数据集3.0_西瓜书笔记——第一章

1.1引言1.2基本术语按照课文给的实例，关于西瓜的数据。数据集：整个所给的数据的集合称为数据集样本/示例：一个事件或者对象，这里的是一个西瓜属性/特征：事件或者对象的某方面的表现或性质，比如西瓜的色泽，根蒂，敲声属性值：属性的取值，比如色泽属性可以取青绿、乌黑属性空间/样本空间/输入空间：整个属性张成的空间，比如把上述的三个属性在一个三维坐标中表示出一个西瓜的三位空间，每一个西瓜都可以在在这个空

weixin_39869043·2022-12-14 15:43

流形的概念与应用

这是我的一大疑虑~~周志华的西瓜书第十章里有关于流形学习的概念——流形学习（manifoldlearning）是一类借鉴了拓扑流形概念的降维方法。“流形”是在局部与欧式空间同胚的空间，换言之，它在局部

缒一·2022-12-14 11:09

【机器学习】SVM多分类问题及基于sklearn的Python代码实现

对于这个点已经介绍的非常多了，不管是西瓜书还是各种博客，就是需要找到一个超平面，用这个超平面把数据划分成两个类别，最开始的SVM就是在二分类的问题上应用，在之后被扩展到多类别的分类。

镰刀韭菜·2022-12-14 07:39

计算机视觉论文-2021-07-08

本专栏是计算机视觉方向论文收集积累，时间：2021年7月8日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-12-14 06:17

西瓜书学习笔记第2章（模型评估与选择）

西瓜书学习笔记第2章（模型评估与选择）2.1经验误差与过拟合2.2评估方法2.2.1留出法（hold-out）2.2.2交叉验证法（crossvalidation）2.2.3自助法（bootstrapping

旋转的油纸伞·2022-12-14 06:21

回归，逻辑回归，线性判别的python实现-DataWhale吃瓜教程-task02

极大似然估计则是利用了联合分布及似然函数得到公式$E_{(w,b)}=$利用最优化的思路当$E_{(w,b)}=$最小时w,b的值求解方法包括梯度下降法，根据推到公式直接解损失函数：逐点计算平方损失误差，然后求平均数导数：西瓜书上公式

zaprily·2022-12-13 21:32

Task1 吃瓜教程-西瓜书第1-2章

zaishaoyi·2022-12-13 21:02

吃瓜教程 [西瓜书]任务打卡 Task1: 第一章

吃瓜教程[西瓜书]任务打卡Task1:第一章我是通过大数据挖掘竞赛入门机器学习,在此前并没有系统地学过基础理论,做的工作比较多的是通过复现大佬在kaggle,天池上的教程,调包实现编程的求解.因此,我这次通过参与

苏忘川·2022-12-13 21:01

Datawhale吃瓜教程-task4学习笔记（第五章）

下图为西瓜书中M-P神经元模型示意图。激活函数：典

___黎明的鱼·2022-12-13 21:28

吃瓜教程｜Task2（阅读西瓜书第3章）

文章目录一元线性回归多元线性回归对数几率回归二分类线性判别分析类别不平衡问题（Class-imbalance)一元线性回归输入的属性数目只有一个，对于离散属性，通过连续化的方式将其转化为连续值。学得：最小二乘法：基于均方误差最小化来进行模型求解，分别对w、b求偏导，同时令式子为0，可以求到w，b的闭式解。多元线性回归输入的属性数目有多个，同样试图学得：这里同样利用最小二乘法来对w，b进行估计，有求

HWH-·2022-12-13 21:58

吃瓜教程｜Task1（概览西瓜书第1、2章）

前言之前有概述性的看过西瓜书，但中间看到很多不会的内容都会选择性的跳过。这次借Datawhale组队学习的机会再温习一遍西瓜书，争取把基础打牢固一些，方便后面理论方面可以更进一步的推进。

HWH-·2022-12-13 21:28

周志华西瓜书学习笔记----绪论

三、归纳偏好前言这篇文章将记录西瓜书中绪论的学习。一、算法处理数据的流程在我们训练一个模型前我们需要准备一些数据，训练集是历史数据。

Ω2πA 》·2022-12-13 20:41

周志华机器学习--绪论

绪论第一章绪论第二章模型评估与选择第三章线性模型第四章决策树第五章支持向量机第六章神经网络第七章贝叶斯分类器第八章集成学习和聚类文章目录周志华机器学习--绪论前言一、基本术语二、归纳偏好三、NFL定理前言此笔记是根据周志华老师在学堂在线的课程而整理的，可配合西瓜书一起学习

馒头没有馅儿yolo·2022-12-13 20:39

菜鸟的机器学习笔记 ——0 前言

当时导师布置给我学习西瓜书的任务，奈何当时实在是过于晦涩，时间接较为紧迫，无法细致的研究。于是学会机器学习与深度学习的基础理论后，便开始上手敲代码，妥妥的调三侠。

潭中鱼可白许头·2022-12-13 08:05

西瓜书第三章：LDA(及详细Fisher实现),QDA的python实现[仅代码实现]

西瓜书第三章：LDA(及详细Fisher实现),QDA的python实现[仅代码实现]为了进行此实验，本人特地制作了一个训练集和一个测试集，这些测试集的参数如下：红点N(1,05)N(1,05)绿点N(

一般路过程序员·2022-12-13 00:50

1.2. Linear and Quadratic Discriminant Analysis（线性判别和二次判别分析）（一）

1.2.LinearandQuadraticDiscriminantAnalysis补：写完算法才发现这章内容有点长，所以我决定把LDA和QDA的区别和有关降维的应用放到下一章去讲一、简介西瓜书里是这样介绍的线性判别的

matrix_studio·2022-12-13 00:17

机器学习常用角标及其含义

星号*上角标含义西瓜书：(w∗,b∗)=argmax(w,b)∑i=1m(f(xi)−yi)2(w^*,b^*)=\underset{(w,b)}{argmax}\sum_{i=1}^m(f(x_i)-

MiaL·2022-12-12 14:13

机器学习（西瓜书）-模型评估与选择

模型评估与选择2.1经验误差与过拟合2.2评估方法2.2.1留出法2.2.2交叉验证法2.3.3自助法2.2.4调参与最终模型2.3性能度量2.3.1错误率与精度2.3.2查准率、查全率与Fl2.3.3ROC与AUC2.3.4代价敏感错误率与代价曲线2.4比较检验2.4.1假设检验2.4.2交叉验证t检验2.4.3McNemar检验2.4.4Friedman检验与Nemenyi后续检验2.5偏差与

桃子酱紫君·2022-12-12 13:32

西瓜书第四章习题及答案

解答：每个标记不同的数据特征向量都不相同，即树的每一条枝干（从根节点到叶子结点）就代表一种向量，这样的话决策树与训练集就是一致的了。解答：题目4.1中介绍了如果数据不含有冲突数据，那么就会产生绝对的过拟合现象，这也符合最小训练误差的准则，因此使用‘最小训练误差‘作为决策树划分选择准则的会产生在训练集上效果很好，而测试集上效果差的情况，即出现了过拟合现象。分析：表4.3属性数据值，有离散的有连续的，

小鹿学程序·2022-12-12 12:33

西瓜书机器学习笔记——朴素贝叶斯

机器学习笔记——朴素贝叶斯引例问题：现在周同学想购买一杯奶茶，如何判断奶茶是好喝(Y)还是不好喝(N)。概念为了判断奶茶好不好喝，引入四个特征：甜度、牛奶、冰块、茶叶。与几个概念后验概率：给定观测向量X(x1=甜度，x2=牛奶…)，观察特定类别的概率P(y|x)，类别：Y={y0=好喝，y1=不好喝}，特征：X(x1=甜度，x2=牛奶，x3=茶叶，x4=冰块），抽象化如下。风险：决策为Y时实际情况

Erik_Won·2022-12-11 23:36

《机器学习》周志华(西瓜书)学习笔记第十一章特征选择与稀疏学习

机器学习总目录第十一章特征选择与稀疏学习11.1子集搜索与评价给定属性集，其中有些属性可能很关键、很有用，另一些属性则可能没什么用.我们将属性称为"特征"(feature)：对当前学习任务有用的属性称为"相关特征"(relevantfeature)、没什么用的属性称为"无关特征"(irrelevantfeature).从给定的特征集合中选择出相关特征子集的过程，称为"特征选择"(featurese

Sundm@lhq·2022-12-11 09:22

西瓜书学习笔记——第十一章：特征选择与稀疏学习

第十一章：特征选择与稀疏学习11.1子集搜索与评价子集搜索特征子集评价11.2过滤式选择Relief的相关统计量11.3包裹式选择拉斯维加斯方法和蒙特卡罗方法：11.4嵌入式选择与L1正则化11.5稀疏表示与字典学习稀疏性11.6压缩感知11.1子集搜索与评价一般情况下，我们可以用很多属性/特征描述一个示例，而对于特定的学习任务，我们会发现已知的所有属性中，有些特征是与该学习任务的目标无关的（如预

Andrewings·2022-12-11 09:22

西瓜书-第11章-特征选择与稀疏学习

特征选择特征选择是一个重要的数据预处理过程，去除不相关的属性，可以减轻维数灾难，并且降低学习任务的难度。特征选择过程必须确保不丢失重要特征。需要去除的特征如无关特征和冗余特征（冗余特征有时能简化问题，具体问题具体分析）。特征选择的主要环节1、子集搜索前向搜索：假定特征子集{a2}最优，再把{a2}与剩余的各个特征子集组合出{a2，ai}评估，如果{a2，a4}最优，则保留，再用{a2，a4}进行下

路飞的纯白世界·2022-12-11 09:22

西瓜书研读——第三章线性模型：线性几率回归（逻辑回归）

西瓜书研读系列：西瓜书研读——第三章线性模型：一元线性回归西瓜书研读——第三章线性模型：多元线性回归主要教材为西瓜书，结合南瓜书，统计学习方法，B站视频整理~人群定位：学过高数会求偏导、线代会矩阵运算、

猛男技术控·2022-12-11 01:43

【西瓜书笔记】2. 对数几率回归

2.1对数几率回归模型指数族分布是一类分布的总称，该类分布的分布律（概率密度函数）的一般形式如下：p(y;η)=b(y)exp⁡(ηTT(y)−a(η))=b(y)exp⁡[η(θ)⋅T(y)−A(θ)]=b(y)exp⁡(η(θ)⋅T(y)−A(θ))=b(y)exp⁡(η(θ)⋅T(y)−A(θ))p(y;\eta)=b(y)\exp(\eta^{T}T(y)-a(\eta))\\=b(y)\

西风瘦马1912·2022-12-11 01:13

对数几率回归模型推导

对数几率回归模型推导原理不再赘述，以西瓜书为基础（P59），对数几率回归的似然函数为l(w,b)=∑i=1mln⁡p(yi∣xi

顶杰·2022-12-11 01:13

《简述一下SVM支持向量机的常用的核函数以及其产生的意义|CSDN创作打卡》

对于这样的问题，通过阅读西瓜书

机器想学习·2022-12-09 16:10

计算机视觉论文-2021-06-21

本专栏是计算机视觉方向论文收集积累，时间：2021年6月21日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-12-09 08:22

决策树代码代码——python源代码，看完你就完全懂了

决策树决策树在周志华的西瓜书里面已经介绍的很详细了(西瓜书P73-P79)，那也是我看过讲的最清楚的决策树讲解了，我这里就不献丑了，这篇文章主要是分享决策树的代码。

starry0001·2022-12-09 01:31

机器学习-logistic回归训练数据集

类别：机器学习个人笔记参考书籍：《统计学习》、《机器学习实战》、周志华大佬的西瓜书相关数学公式推导见我上传的手写PDF任务：学习《机器学习实战》P78页及P79页程序清单5-1和5-2，完成以下问题：1

平凡的小何同学·2022-12-08 20:01

python实现数据集按比例划分

西瓜书上一般的划分比例是7:3或者8:2，这个代码闲来无事写了一下，比较容易。

算法入门小飞机·2022-12-08 20:47

【西瓜书学习笔记】第5章神经网络

1.M-P神经元模型2.感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”，感知机能容易的实际逻辑与、或、非运算，即可以解决线性可分的问题，实现不了异或运算，即无法解决非线性可分问题3.多层前馈神经网络多个神经元构成的神经网络能够分类线性不可分的数据集，且有理论证明（通用近似定理）：只需一个包含足够多神经元的隐层，多层前馈网络（最经典的神经网络

爱学习的猫fly·2022-12-08 08:36

机器学习西瓜书第五章神经网络读书笔记

第5章神经网络5.1神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界所作出的交互反应神经网络中最基本的成分是神经元(neuron)模型当神经元兴奋时，就会向相邻的连的神经元传递化学物质，从而改变这些神经元的电位；如果某神经元的电位超过了阈值（threshold），那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质M-P神经元模型神经

猾枭·2022-12-08 08:36

西瓜书第六章支持向量机

文章目录一、间隔与支持向量二、对偶问题三、核函数原理四、软间隔和正则化一、间隔与支持向量西瓜书讲的太复杂了其实总的知识点个人认为上图就可以概括。

欢桑·2022-12-08 08:00

西瓜书第五章神经网络

由于电脑记录比较麻烦采用手写笔记的方式来进行记录。主要学习了感知机和神经网络的相关知识，学完之后对损失计算以及反向传播的过程的理解更加深刻了，学会了反向传播的公式推导过程。

Seven7_Lu·2022-12-08 08:00

西瓜书第五章神经网络笔记

神经网络根据是T.Kohonen1988年在urNetworks创刊给出的定义，神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能模拟生物神经系统对真是世界物体所作出的交互反应。一个经典问题是神经网络与机器学习的区别在于什么？具体可参考这篇博客下面我给出结论：机器学习是计算机程序基于给定的有限的数据，选定某个学习目标，建立模型学习，并通过优化算法优化参数，直到满足指标要求的整个过

LeaveElan·2022-12-08 08:00

【西瓜书】第5章神经网络---学习笔记

1.神经元模型广泛定义：由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。最基本的成分：神经元模型M-P神经元模型神经元接收到来自NNN个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过激活函数处理以产生神经元的输出.激活函数为模型添加非线性因素，使模型具有拟合非

qq_31514061·2022-12-08 08:26

西瓜书机器学习第五章读书笔记

文章目录前言5.1神经元模型5.2感知机和多层网络5.3误差逆传播算法5.4全局最小和局部最小前言新手，记录一下自己的理解，也是读书笔记，并不进行公式推导。(公式推导的视频也很多)5.1神经元模型神经网络是T.Kohonen在1988给出的定义因为阶跃函数的不连续和不光滑，所以我们的激活函数通常会采用sigmoid。5.2感知机和多层网络为什么要引入感知机和多层网络？在简单的处理中，比如与，或，非

lzmmmQAQ·2022-12-08 08:54

西瓜书《机器学习》阅读笔记之第五章神经网络

第5章神经网络5.1神经元模型神经网络中最基本的成分是神经元(neuron)模型，即上述定义中的"简单单元"[P96]在生物神经网络中1每个神经元与其他神经元相连，当它"兴奋"时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位;如果某神经元的电位超过了一个"阔值"(threshold)，那么它就会被激活?即"兴奋"起来，向其他神经元发送化学物质.[P96]神经元接收到来自n个其他神经元

Honyelchak·2022-12-08 08:52

Datawhale西瓜书第五章神经网络

M-P神经元（模拟生物行为的数学模型）：接收n个输入（来自其他神经元），给各个输入赋予权重计算加权和自身特有的阙值θ进行比较（减法），经过激活函数（模拟抑制和激活）处理得到输出（传递给下一个神经元）单个M-P神经元：感知机（sgn作激活函数），对数几率回归（signmoid作激活函数）多个M-P神经元：神经网络每个神经元信号不一样，权重不一样f（x）就是一个激活函数完全可以抽象成一个线性模型阶跃函

akriver·2022-12-08 08:49

推荐频道

西瓜书