周志华西瓜书第5页

机器学习-归纳偏好（西瓜书系列1）

每一种算法都带有一种归纳偏好，归纳偏好，可以理解为算法对于某种假设的偏好，这种偏好可以体现为线性回归模型对于模型线性的假设偏好等。奥卡姆剃刀原理关于归纳偏好，对于一个数据，模型有许多的归纳偏好，也就是有许多的假设，那么如何进行归纳假设的选择呢，一般性的原则就是：最简单原则-奥卡姆剃刀原理，也就是使模型的结构尽量简单，这也是《统计学习》中提到的结构风险最小化。简单有什么好处呢，其中之一就是具有良好的

naca yu·2023-07-15 07:16

机器学习中理解算法的归纳偏置（偏好）

参考西瓜书对归纳偏置（偏好）的一些总结理解模型对应假设空间中的一个假设！现在，与训练集（样本）一致的假设有多个，那么应该选择哪一个模型（假设）呢？

saohuoxiong·2023-07-15 07:44

（西瓜书）《机器学习-周志华》-学习笔记：（1）第一章 --- 假设空间与版本空间等

（西瓜书）《机器学习-周志华》-学习笔记：（1）第一章—假设空间与版本空间等文章目录（西瓜书）《机器学习-周志华》-学习笔记：（1）第一章---假设空间与版本空间等简述1.2基本术语独立同分布理解**示例

JingYuJingYuJingYu·2023-07-15 06:36

机器学习（西瓜书）学习笔记2——假设空间和归纳偏好

一、假设空间首先，有两个概念：归纳和演绎。简言之，归纳就是特殊推一般，演绎就是一般推特殊。机器学习是从大量样本训练，再利用测试数据进行测试。很显然，机器学习属于归纳的过程，亦称：归纳学习。以西瓜举例，西瓜成熟与否和西瓜的色泽、根蒂、敲声这三个属性有关系，色泽的属性值：乌黑、青绿。根蒂的属性值：蜷缩、硬挺。敲声的属性值：浊响、沉闷。由这三种属性值可以构成24种不同的组合，这称为假设空间。其中，满足（

007djx·2023-07-15 06:04

机器学习-笔记-持续更新

参考书籍：《机器学习》周志华版，《机器学习公式详解》谢文睿、秦州编著文末有相关书籍的pdf资源目录简要一、绪论1.1、什么是机器学习？

一个努力学习代码的libre·2023-07-15 06:55

基于weka手工实现逻辑斯谛回归（Logistic回归）

一、logistic回归模型逻辑斯谛回归模型其实是一种分类模型，这里实现的是参考李航的《统计机器学习》以及周志华的《机器学习》两本教材来整理实现的。

非妃是公主·2023-07-14 12:08

决策树（ID3、C4.5、CART）

本文将根据周志华老师的《机器学习》（西瓜书）一书，对相关概念及原理进行通俗解释。2、相关概念利用《机器学习》书中的一句话概括什么是决策树：我们要对"这是好瓜吗?"

田浩thao·2023-07-14 04:26

AIGC行业周刊【2023-0709】【第六期】2023年世界人工智能大会大佬发言汇总

AIGC】技术交流群一、大咖观点：0709AI日报：2023年世界人工智能大会大佬发言汇总「5年内，人类程序员没了」，StabilityAI老板大胆预测，一众大佬狂怼：大错特错，都懒得解释大模型时代，解析周志华教授的

linxid【智子纪元】·2023-07-14 01:30

人工智能（3）：独立同分布概念

在西瓜书中解释是：输入空间中的所有样本服从一个隐含未知的分布，训练数据所有样本都是独立地从这个分布上采样而得。

不死鸟.亚历山大.狼崽子·2023-06-24 08:13

二层感知器实现异或

所以需要输入层/隐藏层/输出层实现原理a^b=(a&-b)|(-a&b)用两个与门和一个或门实现需要三个神经单元参考西瓜书：importnumpyasnp#两层感知器实现异或#M-P神经元#阈值设置：与

gimio·2023-06-21 07:29

周志华教授：如何做研究与写论文

周志华教授：如何做研究与写论文-Amusi的文章-知乎https://zhuanlan.zhihu.com/p/98747105周志华教授：如何做研究与写论文作者：周志华教授编辑：AmusiDate：2019

vieo·2023-06-19 18:08

【西瓜书笔记】8. EM算法（上）

EM算法的引入引入EM算法的原因：概率模型有时候既含有观测变量，又含有隐变量或者潜在变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或者贝叶斯估计法估计模型参数。但是当模型含有隐变量时，就不能简单地使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法。EM算法的例子《统计学习方法》例9.1（三硬币模型）：假设有3枚硬币，分别记作A，B，C。这些硬币正

西风瘦马1912·2023-06-18 09:52

机器学习（西瓜书）简答题总结

集成学习的主要特点包括：1.模型的泛化能力的强，减少过拟合和欠拟合的风险。2.预测性能好：由于集成学习可以组合多个弱学习器，所以它可以将多个模型的优点进行整合，从而提高整体的预测性能。3.鲁棒性强4.可扩展性强：由于集成学习可以将多个模型进行组合，所以它可以方便地扩展到更大的数据集和更复杂的模型。5.可解释性好：由于集成学习的模型比较复杂，所以它的可解释性比较差，难以理解和解释模型的预测结果。集成

IT胡图图·2023-06-15 12:33

机器学习笔记之K近邻学习算法

回顾：投票法详见《机器学习》(周志华著)P1828.4.2投票法在介绍集成学

静静的喝酒·2023-06-14 15:57

初识决策树（Decision Tree）

今天来看一下西瓜书第四章——决策树。

浩然然然·2023-06-12 13:33

第六章支持向量机

试答系列：“西瓜书”-周志华《机器学习》习题试答知识梳理本章关于支持向量机的公式较多，存在有多种形式，容易产生混淆，为此，在这里将涉及支持向量机的各种公式进行总结，绘制了一张关系图，其中未涉及支持向量回归和和核方法部分内容

lsly·2023-06-11 13:35

西瓜书公式（10.24）的推导

在西瓜书10.4节“核化线性降维”中，引入了一个映射函数ϕ\phiϕ，其作用是将样本点xix_ixi映射到高维特征空间中，即zi=ϕ(xi)z_i=\phi(x_i)zi=ϕ(xi)由前文中的推导可以得到式

chansonzhang·2023-06-10 18:02

手写西瓜书bp神经网络 mnist10 c#版本

本文根据西瓜书第五章中给出的公式编写，书中给出了全连接神经网络的实现逻辑，本文在此基础上编写了Mnist10手写10个数字的案例，网上也有一些其他手写的例子参考。

电子云与长程纠缠·2023-06-10 15:53

西瓜书+南瓜书第三章线性回归笔记与理解

在此首先附上南瓜书作者的讲解视频链接：【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集_哔哩哔哩_bilibili一、一元线性回归线性回归试图学得，使得.如何确定w和b呢？

星☆空·2023-06-09 06:05

概率密度函数的参数估计

文章目录前言一、文章重点及流程梳理二、概率论基础知识三、参数估计1.极大似然估计（MaximumLikelihoodEstimation）2.贝叶斯估计前言写作参考概率论书籍、西瓜书、李航《统计学习方法

HelloKeitei·2023-04-21 03:20

西瓜书习题3.4 (交叉验证法)

西瓜书习题3.4(交叉验证法)：选择两个UCI数据集，比较10折交叉验证法和留一法所估计出的对率回归的错误率.1.数据集长啥样？

不一样的烟火___·2023-04-20 23:05

决策树中信息增益准则对取值较多属性有偏好的理解

背景学习周志华机器学习，看到了这句话“信息增益准则对取值较多属性有偏好的理解”，但不太能理解？所以记录一下信息熵一个样本集合的纯度——可以用信息熵来描述，信息熵的计算是怎么样的呢？

中南自动化学院“智能控制与优化决策“至渝·2023-04-19 14:12

西瓜书第七章贝叶斯分类器

7.1贝叶斯决策论贝叶斯分类器：各类分类器中错误率最小或者在给定风险情况下平均代价最小的分类器。通过后验概率来计算损失的一类分类器。贝叶斯决策论：用于在知道概率和误判损失来选择最优的类别标记。我们要如何理解贝叶斯决策论呢？课本给了例子，我们一起来看一下吧。假定有N种可能的标记类别，即是将一个真实标记为的样本分为所产生的损失。基于后验概率可以将样本x分类为所产生的期望损失，即样本x的条件风险记为：要

起个名字好难阿·2023-04-19 09:32

决策树（理论部分1）

决策树（理论部分1）教材：周志华机器学习参考视频资料：【一起啃书】机器学习西瓜书白话解读（来自bilibili）视频地址：https://www.bilibili.com/video/BV17J411C7zZ

weixin_48753696·2023-04-18 17:47

决策树复习

注：本博客为周志华《机器学习》读书笔记参照以及引用的博文和视频：1.天泽28https://blog.csdn.net/u012328159/article/details/701844152.ksy_ehttps

steve_tom·2023-04-18 17:16

【一起啃书】机器学习西瓜书白话解读——02模型评估与选择（2.1-2.2）

第2章模型评估与选择模型评估与选择（0201）2.1经验误差与过拟合（0202）2.2评估方法【训练集验证集与测试集】（0203测试集分割流出法）2.2.1留出法（hold-out）2.2.2交叉验证法（crossvalidation）(0204)2.2.3自助法（bootstrapping）(0205)2.2.4调参与最终模型（0206验证集）模型评估与选择（0201）分别看一种训练集一种算法、

苏打饼干没加心·2023-04-18 17:46

【一起啃书】西瓜书（一）

希望通过b站视频课【一起啃书】机器学习西瓜书白话解读来认真读西瓜书，以下是对视频中的重点记录，以及课后自己看书得到的感悟和记录视频学习笔记学习资源：b站李沐老师的论文精读《西瓜书》《南瓜书》《机器学习实战

反科研pua所所长·2023-04-18 17:14

深度学习入门路径

深度之眼课程）[10d]基础课程不限于此，资源较多，可自行选择机器学习部分1.吴恩达机器学习（B站资源）+机器学习图解笔记（up主：深度碎片）[20d]@2.机器学习实战（深度之眼课程）[10d]3.西瓜书

或跃在渊_NUE·2023-04-18 11:15

周志华团队DF21后，TensorFlow开源决策森林库TF-DF

作者|机器之心编辑部来源|机器之心TensorFlow决策森林(TF-DF)现已开源，该库集成了众多SOTA算法，不需要输入特征，可以处理数值和分类特征，为开发者节省了大量时间。在人工智能发展史上，各类算法可谓层出不穷。近十几年来，深层神经网络的发展在机器学习领域取得了显著进展。通过构建分层或「深层」结构，模型能够在有监督或无监督的环境下从原始数据中学习良好的表征，这被认为是其成功的关键因素。而深

PaperWeekly·2023-04-18 07:41

支持向量机

图来源：《机器学习》周志华著超平面用方程表示为，为间隔(margin)。

no0758·2023-04-17 21:02

线性回归python实现

参考书籍：机器学习-周志华参考链接：https://www.cnblogs.com/sumai/p/5211558.html（代码不行有错误）代码参考：https://www.jianshu.com/p

simple的课·2023-04-15 22:50

西瓜书第十章降维与度量学习

10.1k近邻学习k近邻(简称KNN)学习：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。预测：①(分类任务）投票法，将选择的k个样本中出现最多次的类作为预测结果。②(回归任务)平均法，将k个样本的输出值求平均作为结果。③(回归任务)加权平均法，基于距离远近将k个输出结果加权后作为结果，距离越近权重越大。懒惰学习：在学习阶段将样本保存起

起个名字好难阿·2023-04-14 21:00

西瓜书第10章-降维PCA(主成分分析)

西瓜书第10章讲解的是降维和度量学习的相关内容image维度对于数组和Series而言，维度就是shape返回的数值。shape中返回了几个数字，就是几维。

皮皮大·2023-04-12 12:44

【西瓜书】part1：机器学习基础知识

目录0食用指南1.绪论1.1引言1.2基本术语1.3假设空间1.4归纳偏好1.5发展历程1.6应用现状2.模型评估与选择2.1经验误差与过拟合2.2评估方法2.2.1留出法2.2.2交叉验证法2.2.3自助法2.2.4调参与最终模型2.3性能度量2.4比较检验0食用指南第一部分（1~3章）：机器学习基础知识第二部分（4~10章）：经典常用的机器学习方法第三部分（11~16章）：进阶知识1.绪论1.

NN今夜无眠·2023-04-12 05:18

贪心自然语言处理学习笔记

1.2自然语言处理技术的三个维度1.3NLP基础任务1.4算法复杂度1.5动态规划算法2、吃瓜教程——西瓜书+南瓜书2.1线性回归2.2逻辑回归2.2.1逻辑回归有什么用2.2.2逻辑回归的本质2.2.3

sea_bi·2023-04-12 04:17

西瓜书第二章模型评估与选择

第二章主要讲模型的评估与选择，使用什么评估方法（介绍了几种评估方法）来测量学习器的性能度量（学习器有哪些性能度量），然后怎么对这些性能度量进行比较检验来选择出合适的学习器。2.1经验误差与过拟合这一小节主要介绍了一些定义，我们一起来看一下吧。错误率：分类错误的样本数占样本总数的比例。E=a/m精度：分类正确的样本数占样本总数的比例。1-a/m误差：学习器的实际预测输出与样本的真是输出之间的差异。误

起个名字好难阿·2023-04-11 21:56

《统计学习方法》第 3 章“k 近邻法”学习笔记

说明：图片来自周志华《机器学习》第10章第1节。（图片来自周志华《机器学习》第10章第1节）有监督学习、分类学习、回归有

李威威·2023-04-11 13:45

二战周志华《机器学习》--条件随机场

条件随机场（ConditionalRandomField，简称CRF）是一种判别式无向图模型，我们都知道，生成式模型直接对联合分布进行建模，而判别式模型则是对条件分布进行建模，马尔可夫随机场是生成式模型，而条件随机场是判别式模型。条件随机场试图对多个变量在给定观测值后的条件概率进行建模，具体来说，若给定观测序列x，以及标记序列y，条件随机场的目的就是构建条件概率模型p(y|x),需注意的是，标记变

城市中迷途小书童·2023-04-11 02:52

支持向量机（三）——线性支持向量机

笔者主要参考学习的是李航老师《统计学习方法（第二版）》[1]和周志华老师的西瓜书《机器学习》[2]。如有错误疏漏，烦请指正。如要转载，请联系笔者，[email protected]。

Herbert002·2023-04-10 19:19

西瓜书扩展_学习理论

概念=未知目标函数样本集大小“不可知PLA可学习”二分类问题，0-1损失函数（0-1lossfunction）泛化误差（generalizationerror）也称期望损失（expectedloss）经验误差（empiricalerror）也称经验损失（empiricalloss）由于数据集D是独立同分布的采样，因此的经验误差期望等于其泛化误差，带入霍夫丁不等式（HoeffdingInequali

我_7·2023-04-09 00:44

Machine Learning is Fun

MLmathjax:falsetags:[MachineLearning,CS229]MachineLearningisFun正值课程需要，想起起初有试着阅读MartinT.Hagan等人编写的《神经网络设计》和周志华的

gb_QA_log·2023-04-08 14:24

【学习笔记、面试准备】机器学习西瓜书要点归纳和课后习题参考答案——第3章

机器学习西瓜书要点归纳第3章线性模型3.1基本形式3.2线性回归3.3对数几率回归3.4线性判别分析3.5多分类学习3.6类别不平衡问题3.7阅读材料习题目录地址第3章线性模型3.1基本形式线性模型定义

出尘呢·2023-04-07 08:31

《机器学习》周志华第一章

主要定义：学习算法：关于在计算机上从数据中产生模型[泛指从数据中学得的结果]的算法记录的集合为数据集(五个西瓜的描述数据每条记录是关于一个事件或对象的描述为或样本示例(其中一个西瓜的描述数据PS：在属性空间中的都有对应的坐标向量，因此示例称为称为特征向量反映事件或对象在某方面的表现或性质的事项，为属性或特征(西瓜的色泽属性上的取值为属性值(西瓜色青绿属性空间、样本空间、输入空间：将任意三个属性设为

Keqis·2023-04-06 15:00

【机器学习-周志华】学习笔记-第十章

记录第一遍没看懂的记录觉得有用的其他章节：第一章第三章第五章第六章第七章第八章第九章第十章十一章十二章十三章十四章十五章十六章k近邻学习是给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个"邻居"的信息来进行预测。这样虽然很简单，但没有显式训练过程，且容易受到极端点的影响。MDS是要原始空间中样本之间的距离在低维空间中得以保持；由公式(10.10)，可通过降维前后保

vircorns·2023-04-05 00:08

【机器学习-周志华】学习笔记-第七章

记录第一遍没看懂的记录觉得有用的其他章节：第一章第三章第五章第六章第七章第八章第九章第十章十一章十二章十三章十四章十五章十六章第七章的前提：所有相关概率都已知7.1节首先定义了条件风险(公式7.1)，然后把每一个样本的条件风险的数学期望表达了出来(公式7.2)，然后返回来定义使得每个样本达到最小的分类器记录下来(公式7.3)。极大似然估计极大似然估计是要先假设参数服从一个先验分布。可以看公式(7.

vircorns·2023-04-05 00:38

《机器学习》周志华学习笔记

2023.3.27B站视频学习笔记1.初学机器学习的第一本书（初读一个月）“观其大略”：通读、速度，细节不懂处略过。了解机器学习的疆域和基本思想，理解基本概念。2.阅读关于机器学习具体的分支读物（三个月、半年）3.再度、对“关键点”的理解“提纲挈领”：理解技术细节后的本质，生化认识。4.对机器学习多个分子有所了解（1~3年）5.再读、细读“疏通经络”：不同内容的联系，不同的描述方式，出现位置蕴涵的

zs_dolphin·2023-04-05 00:00

【西瓜书】第6章支持向量机 SVM

支持向量机，因其英文名为supportvectormachine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。这和神经网络比，可以找到全局最优解，而神经网络只能得法局部最优解，SVM速度相对更快一点。在这插入两幅图，是吴恩达讲课中的图，我感觉收获很大，原来一切的来源都是简单的问题

一杭oneline·2023-04-02 23:42

【DW 11月-西瓜书学习笔记】Task01：绪论、模型评估与选择

第一章绪论让我们的机器学习之旅从挑选一个好瓜开始。只绪论介绍基本术语、机器学习的发展，我只记录一些特殊的术语。1.1机器学习的定义计算机通过学习经验数据得到模型，面对新情况时做出有效判断。还有一种解释：假设：P：计算机程序在某任务类T上的性能。T：计算机程序希望实现的任务类。E：表示经验，即历史的数据集。若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程序对E进行了学习。1.2机器

以身外身做梦中梦·2023-04-02 20:10

多示例多标签论文Multi-instance multi-label learning浅读分析

Multi-instancemulti-labellearning周志华教授在这篇文章内讲了很多东西，这个博客只是简单的将其提出算法的大概意思叙述一遍，也为自己以后的阅读留点印象。

starplus酱·2023-04-02 14:42

《机器学习》又名西瓜书个人笔记

周志华老师写在第十次印刷之际这是一本教科书；这是一本入门教科书；这是一本面向理工科高年级本科生和研究生的教科书；本书适宜多读几遍。

MIrAcLe-T·2023-04-01 09:40

推荐频道

周志华西瓜书