西瓜书学习笔记系列第12页

机器学习常用角标及其含义

星号*上角标含义西瓜书：(w∗,b∗)=argmax(w,b)∑i=1m(f(xi)−yi)2(w^*,b^*)=\underset{(w,b)}{argmax}\sum_{i=1}^m(f(x_i)-

MiaL·2022-12-12 14:13

机器学习（西瓜书）-模型评估与选择

模型评估与选择2.1经验误差与过拟合2.2评估方法2.2.1留出法2.2.2交叉验证法2.3.3自助法2.2.4调参与最终模型2.3性能度量2.3.1错误率与精度2.3.2查准率、查全率与Fl2.3.3ROC与AUC2.3.4代价敏感错误率与代价曲线2.4比较检验2.4.1假设检验2.4.2交叉验证t检验2.4.3McNemar检验2.4.4Friedman检验与Nemenyi后续检验2.5偏差与

桃子酱紫君·2022-12-12 13:32

西瓜书第四章习题及答案

解答：每个标记不同的数据特征向量都不相同，即树的每一条枝干（从根节点到叶子结点）就代表一种向量，这样的话决策树与训练集就是一致的了。解答：题目4.1中介绍了如果数据不含有冲突数据，那么就会产生绝对的过拟合现象，这也符合最小训练误差的准则，因此使用‘最小训练误差‘作为决策树划分选择准则的会产生在训练集上效果很好，而测试集上效果差的情况，即出现了过拟合现象。分析：表4.3属性数据值，有离散的有连续的，

小鹿学程序·2022-12-12 12:33

西瓜书机器学习笔记——朴素贝叶斯

机器学习笔记——朴素贝叶斯引例问题：现在周同学想购买一杯奶茶，如何判断奶茶是好喝(Y)还是不好喝(N)。概念为了判断奶茶好不好喝，引入四个特征：甜度、牛奶、冰块、茶叶。与几个概念后验概率：给定观测向量X(x1=甜度，x2=牛奶…)，观察特定类别的概率P(y|x)，类别：Y={y0=好喝，y1=不好喝}，特征：X(x1=甜度，x2=牛奶，x3=茶叶，x4=冰块），抽象化如下。风险：决策为Y时实际情况

Erik_Won·2022-12-11 23:36

MachineLearning之降维艺术--PCA算法原理及多种方法实现

《DianchenRaw’sMachineLearning学习笔记系列----小白角度看机器学习》有导航，不迷路。

Dianchen_Raw·2022-12-11 16:12

《机器学习》周志华(西瓜书)学习笔记第十一章特征选择与稀疏学习

机器学习总目录第十一章特征选择与稀疏学习11.1子集搜索与评价给定属性集，其中有些属性可能很关键、很有用，另一些属性则可能没什么用.我们将属性称为"特征"(feature)：对当前学习任务有用的属性称为"相关特征"(relevantfeature)、没什么用的属性称为"无关特征"(irrelevantfeature).从给定的特征集合中选择出相关特征子集的过程，称为"特征选择"(featurese

Sundm@lhq·2022-12-11 09:22

西瓜书学习笔记——第十一章：特征选择与稀疏学习

第十一章：特征选择与稀疏学习11.1子集搜索与评价子集搜索特征子集评价11.2过滤式选择Relief的相关统计量11.3包裹式选择拉斯维加斯方法和蒙特卡罗方法：11.4嵌入式选择与L1正则化11.5稀疏表示与字典学习稀疏性11.6压缩感知11.1子集搜索与评价一般情况下，我们可以用很多属性/特征描述一个示例，而对于特定的学习任务，我们会发现已知的所有属性中，有些特征是与该学习任务的目标无关的（如预

Andrewings·2022-12-11 09:22

西瓜书-第11章-特征选择与稀疏学习

特征选择特征选择是一个重要的数据预处理过程，去除不相关的属性，可以减轻维数灾难，并且降低学习任务的难度。特征选择过程必须确保不丢失重要特征。需要去除的特征如无关特征和冗余特征（冗余特征有时能简化问题，具体问题具体分析）。特征选择的主要环节1、子集搜索前向搜索：假定特征子集{a2}最优，再把{a2}与剩余的各个特征子集组合出{a2，ai}评估，如果{a2，a4}最优，则保留，再用{a2，a4}进行下

路飞的纯白世界·2022-12-11 09:22

西瓜书研读——第三章线性模型：线性几率回归（逻辑回归）

西瓜书研读系列：西瓜书研读——第三章线性模型：一元线性回归西瓜书研读——第三章线性模型：多元线性回归主要教材为西瓜书，结合南瓜书，统计学习方法，B站视频整理~人群定位：学过高数会求偏导、线代会矩阵运算、

猛男技术控·2022-12-11 01:43

【西瓜书笔记】2. 对数几率回归

2.1对数几率回归模型指数族分布是一类分布的总称，该类分布的分布律（概率密度函数）的一般形式如下：p(y;η)=b(y)exp⁡(ηTT(y)−a(η))=b(y)exp⁡[η(θ)⋅T(y)−A(θ)]=b(y)exp⁡(η(θ)⋅T(y)−A(θ))=b(y)exp⁡(η(θ)⋅T(y)−A(θ))p(y;\eta)=b(y)\exp(\eta^{T}T(y)-a(\eta))\\=b(y)\

西风瘦马1912·2022-12-11 01:13

对数几率回归模型推导

对数几率回归模型推导原理不再赘述，以西瓜书为基础（P59），对数几率回归的似然函数为l(w,b)=∑i=1mln⁡p(yi∣xi

顶杰·2022-12-11 01:13

《简述一下SVM支持向量机的常用的核函数以及其产生的意义|CSDN创作打卡》

对于这样的问题，通过阅读西瓜书

机器想学习·2022-12-09 16:10

计算机视觉论文-2021-06-21

本专栏是计算机视觉方向论文收集积累，时间：2021年6月21日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-12-09 08:22

决策树代码代码——python源代码，看完你就完全懂了

决策树决策树在周志华的西瓜书里面已经介绍的很详细了(西瓜书P73-P79)，那也是我看过讲的最清楚的决策树讲解了，我这里就不献丑了，这篇文章主要是分享决策树的代码。

starry0001·2022-12-09 01:31

机器学习-logistic回归训练数据集

类别：机器学习个人笔记参考书籍：《统计学习》、《机器学习实战》、周志华大佬的西瓜书相关数学公式推导见我上传的手写PDF任务：学习《机器学习实战》P78页及P79页程序清单5-1和5-2，完成以下问题：1

平凡的小何同学·2022-12-08 20:01

python实现数据集按比例划分

西瓜书上一般的划分比例是7:3或者8:2，这个代码闲来无事写了一下，比较容易。

算法入门小飞机·2022-12-08 20:47

PCIe基础知识及Xilinx相关IP核介绍

PCIe学习笔记系列：PCIe基础知识及Xilinx相关IP核介绍概念了解：简单学习PCIe的数据链路与拓扑结构，另外看看有什么相关的IP核。

lu-ming.xyz·2022-12-08 18:02

GAN网络学习笔记系列2-Cluster GAN

1、文献创新及贡献：提出一种新的基于聚类机制的CGAN，通过one-hot编码变量和连续潜变量的混合中采样潜变量，再将一个反向网络（将数据投射到潜空间）和一个聚类特定损失值与其进行结合，能实现再潜空间中聚类。GAN再潜变量中虽然保留了观测数据信息，但散点再平滑分散的情况下的散分布导致没有可以观察的集群，因此本文提出了一种算法用以解决上述问题。文章贡献：1、利用离散-连续潜变量的混合，以便再潜空间中

男人啊，终归还是要放下些什么才行·2022-12-08 12:18

【西瓜书学习笔记】第5章神经网络

1.M-P神经元模型2.感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”，感知机能容易的实际逻辑与、或、非运算，即可以解决线性可分的问题，实现不了异或运算，即无法解决非线性可分问题3.多层前馈神经网络多个神经元构成的神经网络能够分类线性不可分的数据集，且有理论证明（通用近似定理）：只需一个包含足够多神经元的隐层，多层前馈网络（最经典的神经网络

爱学习的猫fly·2022-12-08 08:36

机器学习西瓜书第五章神经网络读书笔记

第5章神经网络5.1神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界所作出的交互反应神经网络中最基本的成分是神经元(neuron)模型当神经元兴奋时，就会向相邻的连的神经元传递化学物质，从而改变这些神经元的电位；如果某神经元的电位超过了阈值（threshold），那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质M-P神经元模型神经

猾枭·2022-12-08 08:36

西瓜书第六章支持向量机

文章目录一、间隔与支持向量二、对偶问题三、核函数原理四、软间隔和正则化一、间隔与支持向量西瓜书讲的太复杂了其实总的知识点个人认为上图就可以概括。

欢桑·2022-12-08 08:00

西瓜书第五章神经网络

由于电脑记录比较麻烦采用手写笔记的方式来进行记录。主要学习了感知机和神经网络的相关知识，学完之后对损失计算以及反向传播的过程的理解更加深刻了，学会了反向传播的公式推导过程。

Seven7_Lu·2022-12-08 08:00

西瓜书第五章神经网络笔记

神经网络根据是T.Kohonen1988年在urNetworks创刊给出的定义，神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能模拟生物神经系统对真是世界物体所作出的交互反应。一个经典问题是神经网络与机器学习的区别在于什么？具体可参考这篇博客下面我给出结论：机器学习是计算机程序基于给定的有限的数据，选定某个学习目标，建立模型学习，并通过优化算法优化参数，直到满足指标要求的整个过

LeaveElan·2022-12-08 08:00

【西瓜书】第5章神经网络---学习笔记

1.神经元模型广泛定义：由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。最基本的成分：神经元模型M-P神经元模型神经元接收到来自NNN个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过激活函数处理以产生神经元的输出.激活函数为模型添加非线性因素，使模型具有拟合非

qq_31514061·2022-12-08 08:26

西瓜书机器学习第五章读书笔记

文章目录前言5.1神经元模型5.2感知机和多层网络5.3误差逆传播算法5.4全局最小和局部最小前言新手，记录一下自己的理解，也是读书笔记，并不进行公式推导。(公式推导的视频也很多)5.1神经元模型神经网络是T.Kohonen在1988给出的定义因为阶跃函数的不连续和不光滑，所以我们的激活函数通常会采用sigmoid。5.2感知机和多层网络为什么要引入感知机和多层网络？在简单的处理中，比如与，或，非

lzmmmQAQ·2022-12-08 08:54

西瓜书《机器学习》阅读笔记之第五章神经网络

第5章神经网络5.1神经元模型神经网络中最基本的成分是神经元(neuron)模型，即上述定义中的"简单单元"[P96]在生物神经网络中1每个神经元与其他神经元相连，当它"兴奋"时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位;如果某神经元的电位超过了一个"阔值"(threshold)，那么它就会被激活?即"兴奋"起来，向其他神经元发送化学物质.[P96]神经元接收到来自n个其他神经元

Honyelchak·2022-12-08 08:52

Datawhale西瓜书第五章神经网络

M-P神经元（模拟生物行为的数学模型）：接收n个输入（来自其他神经元），给各个输入赋予权重计算加权和自身特有的阙值θ进行比较（减法），经过激活函数（模拟抑制和激活）处理得到输出（传递给下一个神经元）单个M-P神经元：感知机（sgn作激活函数），对数几率回归（signmoid作激活函数）多个M-P神经元：神经网络每个神经元信号不一样，权重不一样f（x）就是一个激活函数完全可以抽象成一个线性模型阶跃函

akriver·2022-12-08 08:49

西瓜书第5章神经网络读书笔记

第5章神经网络(NeuralNetworks)1.神经元模型1.1神经元(neuron)模型是神经网络最基本的成分1.2阈值(threshold)，亦称bias1.3M-P神经元模型激活函数(activationfunction)，亦称响应函数理想中的激活函数：阶跃函数将输入值映射为输出值”0”或”1”典型的激活函数：Sigmoid函数将可能在较大范围内变化的输入值挤压到(0,1)输出值范围内2.

Gaia0321·2022-12-08 08:49

西瓜书第五章神经网络学习笔记

这一章对人还是比较友好的，主要就是公式比较复杂，个人觉得这一章不如吴老师深度学习课程讲得好，有需要的小伙伴请移步B站学习。文章目录前言一、感知机与多层网络二、BP算法三、其他常见的神经网络RBF网络ART网络SOM网络级联相关网络Elman网络Boltzmann机三、深度学习前言``以下是我个人的一些理解。多多见谅一、感知机与多层网络感知机有两层神经元组成，分为输入层和输出层，输入层接受外界输入信

欢桑·2022-12-08 08:15

【强烈推荐】Github star 10K+，南瓜书来啦！周志华机器学习详细公式推导！

机器学习与AI生成创作·2022-12-07 10:41

啃周志华《机器学习》西瓜书难吗？

不少读者反应，觉得周志华老师的西瓜书很难，难道真的很难？其实对于零基础的小白来说，是真的很难，这本书不适合刚入门的学者学习！作为周老师的“扛鼎之作”，这本《机器学习》是真的很经典！

AI引路星·2022-12-07 10:09

机器学习公式详解南瓜书 PDF 全文内容详细分享

pwd=2o55周的机器学习（俗称“西瓜书”）是机器学习领域的经典入门教材之一。

JYMA12358·2022-12-07 10:06

PyTorch框架从零实现Logistic回归（非torch.nn）

在周志华老师“西瓜书”中，机器学习所研究的主要内容是关于在计算机上从数据中产生“模型”的算法。

JMDou·2022-12-07 06:04

PyTorch 学习笔记（六）：PyTorch hook 和关于 PyTorch backward 过程的理解 call

您的位置首页PyTorch学习笔记系列PyTorch学习笔记（六）：PyTorchhook和关于PyTorchbackward过程的理解发布:2017年8月4日7,195阅读0评论在看pytorch官方文档的时候

weixin_ry5219775·2022-12-07 02:26

数据挖掘实验——python实现朴素贝叶斯分类

．实验目的 1.了解朴素贝叶斯算法基本原理； 2.能够使用朴素贝叶斯算法对数据进行分类二．实验内容利用贝叶斯算法或者决策树算法进行数据分类操作数据集：汽车评估数据集关于朴素贝叶斯原理和案例可以看西瓜书详解

你今天学习了嘛·2022-12-07 01:42

【西瓜书笔记】补充1：logistic回归及其损失函数，梯度下降推导

Logistic回归理论知识补充建模流程假设我们建立一个二分类模型。假设有两个人A、B在争论如何对一个新样本xxx进行0-1二分类，他们两个分别对新样本进行打分，如果A的分数大于B的分数，则样本被预测为1，反之则被预测为0。假设两人的打分分数可以通过线性回归进行预测建模y1=θ1x+ϵ1,ϵ1∼N1(0,δ)y2=θ2x+ϵ2,ϵ2∼N2(0,δ)\begin{aligned}&y_{1}=\th

西风瘦马1912·2022-12-06 11:27

计算机视觉论文-2021-05-28

本专栏是计算机视觉方向论文收集积累，时间：2021年5月28日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-12-06 10:03

机器学习入门-西瓜书总结笔记第六章

西瓜书第六章-支持向量机一、间隔与支持向量二、对偶问题三、核函数四、软间隔与正则化五、支持向量回归六、核方法总结一、间隔与支持向量粗实线这个划分超平面所产生的分类结果是最鲁棒的，对未来示例的泛化能力最强在样本空间中

一入材料深似海·2022-12-05 22:54

西瓜书《机器学习》第六章部分课后题

目录题目6.1题目6.2题目6.4题目6.6题目6.9Acknowledge题目6.1试证明样本空间中任意点x\bm{x}x到超平面(w,b)(\bm{w},b)(w,b)的距离为式(6.2)假设点x\bm{x}x在超平面上的投影为x′\bm{x}'x′，则wTx′+b=0\bm{w}^{\text{T}}\bm{x}'+b=0wTx′+b=0。超平面的法向量为w\bm{w}w

华南农大-郭庆文·2022-12-05 22:23

《机器学习》（西瓜书）第五章

5.1神经元模型神经网络由神经元组成广泛并行互联，神经元是最基本单元。M-P神经元模型：与生物神经元类似，接受n个输入，不同输入权重不同，然后与阈值进行比较（如果超过则“兴奋”），经过激活函数处理产生输出。激活函数在前面有提到，我们常使用sigmiod作为激活函数。5.2感知机与多层网络5.2.1感知机（只能解决线性可分问题）由输入层和输出层组成（两层神经元），输出层是M-P神经元，其可以实现与或

江鸟61·2022-12-05 22:51

《机器学习》（西瓜书）第六章

6.1间隔与支持向量对于两类训练样本分开的超平面很多，我们需要找到对训练样本局部扰动的“容忍”性最好的那一个。对未见示例的泛化能力最强。（鲁棒性：一个系统或组织抵御或克服不利条件的能力。）距离超平面最近的几个训练样本能够正确分类，他们被称为“支持向量”，两个异类支持向量到超平面的距离之和称为“间隔”。为什么需要通过放缩w和b使得距离超平面最近的样本点所对应的值恰好为+1与-1？间隔：为了找到具有“

江鸟61·2022-12-05 22:19

深度学习（从零开始）

学习网站：python入门基础python入门的120个基础练习（一）-知乎sklearn官方https://sklearn.apachecn.org/#/numpyNumPy中文周志华机器学习周志华的西瓜书

winer00·2022-12-05 15:54

Kaggle 机器学习实战朴素贝叶斯（原理+西瓜数据集实战）

机器学习实战朴素贝叶斯（原理+西瓜数据集实战）朴素贝叶斯概念（这一部分来自于国科大网安学院的PPT以及周志华的机器学习，需要的可在文章末尾加公号AC粥回复2022秋机器学习（其中第二章就是贝叶斯学习）；回复西瓜书获取周志华机器学习

AC粥·2022-12-05 10:53

《机器学习》西瓜书课后习题9.4——python实现K-means算法

《机器学习》西瓜书课后习题9.4——python实现K-means算法9.4试编程实现k均值算法，设置三组不同的k值、三组不同的初始中心点，在西瓜数据集4.0上进行实验比较，并讨论什么样的初始中心有利于取得好结果

Yozu_Roo·2022-12-05 10:52

西瓜书课后题——第九章（聚类）

本章因为课后题大部分都是证明和解答题，所以不再详细叙述，只是针对9.4题给出相关算法的实现。关于证明和简答题可以参考这篇博客：https://blog.csdn.net/icefire_tyh/article/details/522246769.4k均值聚类实现，并在不同k值和初始向量情况下进行比较。算法完全按照图9.2给出的过程进行，数据集采用西瓜数据集4.0.相关代码如下：importnump

乂乂乂乂·2022-12-05 10:22

山东大学软件学院机器学习（考试）——期末考试回忆版

除了两个计算贝叶斯和决策树以及最后一个简答题之外，其余所有的题都可以在西瓜书和自己带的资料中找到答案。贝叶斯计算极简单，

ALTLI·2022-12-05 09:25

PyTorch框架学习十六——正则化与Dropout

按照周志华老师西瓜书中的定义，这三者分别如下所示：偏差：度量学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。方差：度量了同

slight smile·2022-12-05 02:15

《机器学习》周志华(西瓜书)学习笔记第八章集成学习

机器学习学习笔记4总目录第八章集成学习8.1个体与集成集成学习(ensemblelearning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifiersystem)、基于委员会的学习(committee-basedlearning)等.集成学习的一般结构:先产生一组"个体学习器"(individuallearner)，再用某种策略将它们结合起来。同质集

Sundm@lhq·2022-12-04 15:35

机器学习之线性回归原理详解、公式推导（手推）、简单实例

按照西瓜书的例子就是，好瓜的评判标准y可

铖铖的花嫁·2022-12-04 15:59

评价机器学习模型的三大指标：准确率、精度和召回率

精度（查准率）和召回率（查全率）等指标对衡量机器学习的模型性能是非常基本的，特别是在不平衡分布数据集的案例中，在周志华教授的「西瓜书」中就特别详细地介绍了这些概念。

太白山鹰·2022-12-04 12:15

推荐频道

西瓜书学习笔记系列