西瓜书学习笔记系列第16页

模型评估与选择周志华西瓜书

寻欢桑加油哇文章目录前言：一、欠拟合二、评估方法三、准确率与召回率四、ROC曲线五、二分类代价矩阵总结前言：本周的任务是啃西瓜，希望我可以坚持下来。提示：以下是本篇文章正文内容，纯纯小白一枚，欢迎大佬批评指正。一、欠拟合欠拟合比较容易克服，过拟合则是机器学习面临的关键障碍，能做的只有缓解或者说减少其风险。二、评估方法留出法；交叉验证法（特例：留一法LOO）；自助法（又称有放回采样，在数据集较小、难

欢桑·2022-11-24 22:40

西瓜书第三章线性模型部分公式推导

由于输入太多公式太麻烦，所以懒惰的我选择上传图片！1-2张图是一元线性回归的部分公式推导；3-4张图是多元线性回归的部分公式推导；5-6张是对数几率回归的部分公式推导。其中可能包含了一些所必要的数学知识。说明：推导内容并非我的原创，是参考某课程后的输出。

杰杰哒来了·2022-11-24 22:37

西瓜书第三章线性模型（概览）（未完。。。）

本章写作的大体思路：首先作者线引出了线性模型的基本形式，3.1基本形式线性模型本质上来说就是希望学习出通过属性（x）的线性组合来进行表达预测值（可谓连续也可为离散）的函数。若预测值离散：线性回归任务若预测值离散：线性分类任务线性模型的基本形式如下：3.2线性回归3.2.1一元线性回归（最小二乘参数估计）关于离散数据的连续化处理：若数据存在“序”的关系，那么可以通过数字赋值的方式将其连续化；如数据不

机器学习学渣·2022-11-24 22:37

西瓜书第三章线性模型学习笔记

经典线性模型1.线性回归性能度量：均方差（对应欧几里得距离）2.对数几率回归：一种分类学习方法对数几率函数：y=1/（1+e的-z次方），将z值转化俄日一个接近0或1的y值。优点：直接对分类可能性建模，无须事先假设数据分布，可避免假设分布不准确带来的问题；可得到近似概率预测；可用于求解最优解。3.线性判别分析(LinearDiscriminantAnalysis，简称LDA)基本思想：给定训练样例

子青0911·2022-11-24 22:05

西瓜书第3章线性模型读书笔记

第3章线性模型1.基本形式1.1线性模型（linearmodel）试图学得一个通过属性的线性组合来进行预测的函数函数形式：向量形式：1.2非线性模型（nonlinearmodel）在线性模型的基础上通过引入层级结构或高位映射而得1.4可解释性（comprehensibility/understandability）ω直观表达了各属性在预测中的重要性2.线性回归（linearregression）2

Gaia0321·2022-11-24 22:33

西瓜书第三章线性模型

学习目标：西瓜书第三章线性模型学习内容：`本章讲了几种经典的线性模型，先从回归任务开始，然后讨论二分类问题。

欢桑·2022-11-24 22:02

计算机视觉论文-2021-06-11

本专栏是计算机视觉方向论文收集积累，时间：2021年6月11日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-11-24 21:58

西瓜书课后题——第十一章（特征选择与稀疏学习）

11.1编程实现Relief算法，并在西瓜数据集上测试。Relief是过滤式特征选择算法，根据设计的“相关统计量”来度量特征的重要性。该方法和后续的学习器无关，只根据数据集就可完成特征选择。相关的思想理论介绍见书P249-250代码实现如下：importpandasaspdimportnumpyasnpclassRelief:defreadData(self):dataset=pd.read_ex

乂乂乂乂·2022-11-24 18:28

【朴素贝叶斯学习记录】西瓜书数据集朴素贝叶斯实现

朴素贝叶斯学习记录2本文主要根据西瓜书的朴素贝叶斯公式推导以及例题解答为基础进行学习。

彤小彤_tong·2022-11-24 17:10

【机器学习】聚类学习笔记+西瓜书数据集K-means实现

聚类聚类的提出聚类的是目标通过对无标记训练样本的学习来揭示数据内部潜在性质及规律。在机器学习中有：监督学习无监督学习强化学习聚类则属于无监督学习，挖掘数据之间的隐含特征，其作为其他学习任务的前驱学习，主要是进行特征选择，特征抽取。特征选择的过程：按照某种特定的标准将数据集分为不同的簇。找寻数据之间的潜在联系，需要达到“簇内相似度高”但“簇间相似度低”。“簇内相似度高”通俗一点也可以理解为同一类数据

彤小彤_tong·2022-11-24 17:34

线性回归（基于python的理论与实现）的RuntimeWaring溢出问题

1.原理首先粗略的讲一下原理，如果这部分你看起来有难度，建议去看看西瓜书或者其他作者的博客。

神采的二舅·2022-11-24 15:14

吃瓜教程 task 1

西瓜书_第一章绪论基本术语数据集dataset一组记录的集合示例/样本/特征向量instance/sample/featurevector一条记录（对对象的描述）属性/特征attribute/feature

qq_39277239·2022-11-24 15:32

Datawhale吃瓜教程Task2

参考资料：【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集_哔哩哔哩_bilibili

丝竹青云·2022-11-24 15:30

吃瓜教程task01（爆肝且未完成版--我觉得有后续版）

三大术语人工智能：让机器变得像人一样有智慧的学科机器学习：让计算机像人一样从数据中学习出规律的算法深度学习：神经网络类的机器学习算法AI领域CV：视觉能力NLP：语言能力RS（推荐系统）：喜好南瓜书定位辅助西瓜书

Potato_zhang·2022-11-24 15:30

吃瓜教程—Task01

西瓜书第1、2章第一章绪论1.1引言1.2基本术语1.3假设空间1.4归纳偏好第二章模型的评估与选择2.1经验误差与过拟合2.2评估方法2.2.1留出法2.2.2交叉验证法2.2.3自助法2.2.4调参和最终模型

Serendipity>·2022-11-24 15:00

深度学习100问-1：深度学习环境配置有哪些坑？

需要说明的是，这100问并不是入门笔记，想要入门的同学可以参考去年的深度学习60讲系列：深度学习第60讲：深度学习笔记系列

小白学视觉·2022-11-24 14:56

knn方法预测怀孕，KNN原理简单代码

K为人为设定的超参数提到远近就离不开距离，在学习knn算法之前，建议先复习一下闵可夫斯基距离，数学部分可以参照西瓜书

随便叫点什么……·2022-11-24 08:46

【MLA首日报告摘要】周志华、马毅等教授分享机器学习最新进展

1.深度森林初探这是由机器学习西瓜书作者、

人工智能学家·2022-11-24 01:25

机器学习笔记（3.1）

机器学习笔记系列文章目录文章目录机器学习笔记系列文章目录第六节分类问题聚类问题回归问题关联问题模型集成总结第七节评估指标混淆矩阵与准确率指标十分重要的业务抽样评估泛化能力评估其他评估指标评估数据的处理总结第八节模型部署模型的保存模型的优化离线应用还是在线应用

临渊——摸鱼·2022-11-24 00:08

西瓜书第一、二章学习笔记

第一章绪论1.1机器学习解决的问题1.通过计算的手段，利用经验来改善系统自身性能2.在有数据的前提下，通过某种学习算法(learningalgorithm)，得到模型，进行预测1.2基本术语色泽根蒂敲声好瓜是否……青绿蜷缩浊响是乌黑稍蜷沉闷否浅白硬挺清脆是……………………1.数据集：这些记录的集合称为数据集2.样本/示例：数据集中每条记录是关于一个事件或对象的描述3.属性：反映事件或对象在某方面的

Candor50·2022-11-23 19:49

西瓜书第一~二章学习笔记

一、收获什么是机器学习，可以理解为数据通过学习算法计算得到学习模型。因而影响机器学习的三要素是数据、算法、算力。关于数据，它被分为训练集，验证集，测试集，都应该与样本数据保持独立同分布，这样才能避免额外偏差的产生。我们用训练集训练模型，在测试集上判别模型泛华效果，基于验证集上的性能来进行模型选择和调参。由于过拟合与泛化能力不可调和的矛盾，产生了很多种优劣势不同的划分数据集的方法，常见的有k折交叉验

weixin_47997774·2022-11-23 19:18

机器学习入门-西瓜书总结笔记第十一章

西瓜书第十一章-特征选择与稀疏学习一、子集搜索与评价二、过滤式选择三、包裹式选择四、嵌入式选择与L1L_1L1正则化五、稀疏表示与字典学习六、压缩感知一、子集搜索与评价将属性称为“特征”（feature

一入材料深似海·2022-11-23 19:17

西瓜书第一章与第二章学习笔记

学习目标：学习西瓜书第一章与第二章学习内容：第一章绪论1.1基本术语模型：泛指从数据中学得的结果（机器学习得到的成果）记录：（色泽=青绿；根蒂=卷缩；敲声=浊响），（色泽=乌黑；根蒂=稍卷；敲声=沉闷）

weixin_43498877·2022-11-23 19:47

西瓜书学习笔记——第一、二章

目录一、第一章绪论1、重要基本术语1.1分类与回归1.2聚类1.3监督学习和无监督学习1.4泛化1.5归纳偏好二、第二章模型评估与选择1、评估方法1.1留出法2.2交叉验证法2.3自助法2、性能度量2.1错误率与精度2.2查准率、查全率与F1一、第一章绪论1、重要基本术语1.1分类与回归分类：若我们预测的是离散值，例如判断是“坏瓜”“好瓜”，则此类学习任务成为“分类”（classificati

大肚腩猪猪·2022-11-23 19:45

西瓜书学习笔记第二章（一）

西瓜书学习笔记开始学习时间：2020/1/14作者：谭楷城第二章：模型评估与选择文章目录西瓜书学习笔记第二章：模型评估与选择2.1经验误差与过拟合2.2评估方法如何产生测试（验证）集？

TANK CHENG·2022-11-23 19:44

西瓜书第一章和第二章学习笔记

这里写自定义目录标题西瓜书第一章：绪论1.1引言1.2基本术语1.3假设空间西瓜书第二章：模型评估与选择2.1经验误差与过拟合2.2评估方法2.2.1留出法2.2.2交叉验证法2.2.3自助法2.2.4

WYFQZJ·2022-11-23 19:14

西瓜书第一章第二章学习笔记

第一章：绪论第一章主要介绍了很多概念，如下进行整理1.基本术语（1）=：取值为（2）数据集：每对括号是一条记录，记录的集合就是一个数据集（3）示例（样本）（特征向量）：上网所说的记录，是对某事件和对象的描述（4）属性（特征）：反映事件或对象在某方面的表现或性质的事项（5）属性值：属性上的取值（6）属性空间（样本空间）（输入空间）：属性张成的空间，例如三个属性，张成三个坐标轴，形成一个用于描述对象的

工程管理跑路er·2022-11-23 19:13

西瓜书chapter3简摘

线性模型（linermodel)f(x)=w1x1+w2x2+……+wnxn+bf(x)=w_1x_1+w_2x_2+……+w_nx_n+bf(x)=w1x1+w2x2+……+wnxn+b也即f(x)=wTx+bf(x)=w^Tx+bf(x)=wTx+b1.线性回归通过算法求得f(x)近似于y,一般要使均方误差最小化(w∗,b∗)=argmin(w,b)∑i=1m(f(xi)−yi)2(w^*,b

yabgtz23·2022-11-23 18:29

【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义

【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义在《机器学习》西瓜书中的第十章提到了“多维缩放”（简称MDS）方法，该方法是一种经典的的降维方法。

Yozu_Roo·2022-11-23 17:23

机器学习笔记之核方法(一)核方法介绍

最终得到如下优化问题：该公式位于‘西瓜书’123页最下方，详细推导过

静静的喝酒·2022-11-23 14:09

决策树——剪枝算法

（西瓜书）预剪枝方

贪心西瓜·2022-11-23 14:30

自己看的，西瓜书第三章

3.1线性回归的基本形式给定d个属性描述，可以通过属性线性组合来进行预测的函数即3.2线性回归3.2.1一元线性回归准则：均方差最小算法：最小二乘法ps：垂直距离最短为线性回归，竖直距离最短为正交回归。假设x和y满足线性函数关系，使用x的值来预测y为了求出w和b，我们考虑衡量f(x)与y之间差别，使用均方误差来衡量，即让均方误差最小，为我们的优化准则。均方差对应于欧几里得距离简称“欧氏距离”。其中

家养傻笑黄袍怪·2022-11-23 08:09

Datawhale 西瓜书第三章

本章主要介绍线性模型进行二分类和多分类问题。1、线性回归线性回归模型在机器学习中应用广泛，通常，线性模型表示为属性的显性组合，即更一般的形式为：损失函数定义为真实值与预测值之间的差，通常使用均方误差来表示：2、对数几率回归显性回归通常用于模型对真实样本的拟合，无法解决分类问题，为此，对数回归几率模型引入单调可微的sigmoid函数（与深度学习中的激活函数类似），也叫逻辑函数，定义为：对数几率回归的

shell·2022-11-23 08:02

[西瓜书]——第三章部分编程答案

第三章线性模型实验课本次实验课内容对应教材的课后习题P69,3.3,3.5题。3.3importnumpyasnp#西瓜数据集X=np.mat([[0.697,0.460,1],[0.774,0.376,1],[0.634,0.264,1],[0.608,0.318,1],[0.556,0.215,1],[0.403,0.237,1],[0.481,0.149,1],[0.437,0.211,1]

FanMY_71·2022-11-23 08:28

西瓜书第三章学习心得

线性回归的特点是y，纵坐标的差的和的最小值之前理解为点到线的距离最小了，这其实是正交回归机器学习三要素1.模型：确定假设空间2.策略：损失函数3.算法：求解损失函数的最小值，得出参数所以对于线性回归1.模型就是线性模型2.策略一般运用极大似然估计3.算法就是梯度下降法或者牛顿法通过学习完高数概率论线性代数之后，基本上对这一章还是能很清楚理解的，核心问题在于公式结果的运算上，缺少一些知识：1.矩阵分

keepgoingYi·2022-11-23 08:27

西瓜书第3章学习笔记

LinearDiscriminateAnalysis，LDA）3.5多分类学习3.6分类不平衡问题机器学习三要素：模型——根据具体问题，确定假设空间；策略：根据评价标准，确定选取最优模型的策略；算法——求解损失函数，确定最优模型注：西瓜书第

Zenobia_FL·2022-11-23 08:26

西瓜书第三章

第三章线性模型3.1线性回归：在同一个横坐标上，预测直线在此点的值与真实值直接的差距。正交回归：真实值点对预测直线做垂线，该垂线的距离。3.2若属性值之间不存在序关系，假定有K个属性值，则通常转化为K维向量，例如属性“瓜类”的取值，“西瓜”，“南瓜”，“黄瓜”可转化为（0,0,1），（0,1,0），（1,0,0）基于均方误差最小化来进行模型求解的方法成为“最小二乘法”。在线性回归中，最小二乘法就是

Altira·2022-11-23 08:52

浅读西瓜书（第三章）

浅读西瓜书（第三章）3、线性模型线性模型主要就是两个作用，一是做回归预测，二是做分类任务。按照西瓜书的定义来说，即试图学得一个线性模型以尽可能准确地预测实值输出标记。

一缕阳光R·2022-11-23 08:27

西瓜书1-2章阅读笔记(吃瓜教程Task1)

基础术语假设空间性能度量代价敏感错误率基础术语本人个人理解糅合西瓜书原文，欢迎看西瓜书本身的案例，更好理解样本：一条记录，表示某个事件or对象数据集：所有样本的集合属性、特征：反映着事件or对象的某个性质属性空间

无知之人_dream·2022-11-22 22:39

吃瓜教程Taks2 线性模型（第三章）

没有详细公式推到(如有需要，欢迎看南瓜书及其讲解视频）可能存在谬误，请尽管批评目录线性模型线性回归线性分类多分类类别不平衡线性模型线性模型，是指通过属性的线性组合来进行预测的函数，公式如下：(摘自西瓜书

无知之人_dream·2022-11-22 22:28

【白话机器学习】算法理论+实战之PCA降维

常见的机器学习算法：监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等无监督算法：聚类，降维，关联规则,PageRank等为了详细的理解这些原理，曾经看过西瓜书

文文学霸·2022-11-22 21:56

Task2 吃瓜教程——西瓜书第三章线性模型

一、基本形式定义：线性模型（linearmodel）是通过属性的线性组合来进行预测的函数模型。给定由d个属性组成的示例函数形式向量形式其中线性模型学习的过程即确定和的过程。二、线性回归给定数据集,其中(列向量)，。试图学得和以尽可能准确预测输出的过程，叫作线性回归。示例中属性是d维向量，共有m个样本。2.1一元线性回归（d=1）问题：数据集简写为,试图学得使得(1)损失函数——均方误差：(2)记最

zaishaoyi·2022-11-22 17:50

《机器学习（西瓜书）》——线性模型

1.线性回归如果只有一个输入属性x，则，使用最小二乘法求解模型最优解即可。如果有多个输入属性，，当X时满秩矩阵或者正定矩阵矩阵时，有解析解.对数线性回归：，形式线性回归，是输入空间到输出空间的非线性映射2.对数几率回归——分类任务对数几率函数：用极大似然法估计w和b的值3.线性判别分析LDA给定训练样例集，将样例投影到一条直线上，使同类样例投影点尽可能靠近，异类样例投影点尽可能远离。用拉格朗日对偶

xyq1212·2022-11-22 17:18

第27期 Datawhale 组队学习吃瓜教程——西瓜书+南瓜书第六章 / 周志华《机器学习》

前言支持向量机（SVM）个人理解是建立在线性空间的基础之上，提供一种算法，使得分开的曲线距离正负样本距离较远，以增加其泛化性能。目录前言1.支持向量机1.0须知知识点1.0.1超平面1.0.1.1基础知识1.0.1.2数学推导1.0.1.3可参考文献：1.0.2几何间隔1.0.2.1基础知识1.0.2.2可参考文献1.0.3sign函数1.0.3.1定义1.0.3.2可参考文献1.1算法原理1.2

weixin_45856170·2022-11-22 17:17

第27期 Datawhale 组队学习吃瓜教程——西瓜书+南瓜书第五章 / 周志华《机器学习》

神经网络目录神经网络1.神经元模型1.1M-P神经元模型1.2激活函数2.感知机与多层神经网络2.1感知机2.2多层前馈神经网络3.误差逆传播算法（BP算法）参考文献:1.神经元模型1.1M-P神经元模型输出函数：y=f(∑i=1n(ωixi−θ))y=f(\sum^{n}_{i=1}(\omega_ix_i-\theta))y=f(i=1∑n(ωixi−θ))其中θ\thetaθ为阈值，ωi\o

weixin_45856170·2022-11-22 17:47

西瓜书——线性模型笔记

西瓜书——线性模型笔记1.一元线性回归1.1.由最小二乘法导出损失函数E(w,b)E(w,b)E(w,b)1.2.证明损失函数1.2.1.二元函数判断凹凸性：1.2.2.二元凹凸函数求最值：1.2.3.

无九不知名·2022-11-22 17:44

【Abee】吃掉西瓜——西瓜书学习笔记（五）

支持向量机（SupportVectorMachine，SVM）目录【内容包含第六章】间隔与支持向量核函数软间隔（softmargin）正则化(regularization)支持向量回归（SupportVectorRegrassion,SVR）核方法间隔与支持向量分类学习的主要思想是在样本空间中找到一个划分超平面，将不同样本分开。超平面可以定义为其中w是法向量，决定超平面的方向，b是位移项，决定超平

AnyaBee·2022-11-22 17:13

【Abee】吃掉西瓜——西瓜书学习笔记（四）

神经网络（neuralnetworks）目录【内容包含第五章】神经元模型感知器与多层网络多层前馈神经网络（multi-layerfeedforwardneuralnetworks）反向传播算法（errorBackPropagation，BP）BP算法解决过拟合的问题全局最小（globalminimum）与局部极小（localminimum）其他常见神经网络深度学习（deeplearning）神经元

AnyaBee·2022-11-22 17:43

【Abee】吃掉西瓜——西瓜书学习笔记（七）

集成学习（ensemblelearning）【内容包含第八章】个体与集成集成学习一般是多个个体学习器以某种策略结合起来，其中的个体学习器可以是同质（homogeneous）的，成为“基学习算法”，也可以是异质（heterogenous）的，个体学习器成为组件学习器（componentlearner）。目前的集成学习主要分两类：1.串行进行的序列化方法，比如Boosting2.同时进行的并行化方法，