【周志华第12页

机器学习（周志华）--西瓜书简要笔记（1）

第一章绪论1.机器学习--致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算中，“经验”通常以“数据”形式存在。2.机器学习所研究的主要内容--学习算法（learningalgorithm）[从数据中产生“模型”的算法]有了学习算法，我们把经验数据提供给计算机，它就能基于这些数据产生模型，在面对新的情况时，模型会给我们提供相应的判断。（类比人类的经验判断，人类可以通过西瓜色泽、根蒂

盘丝洞妖精王·2022-10-24 18:48

周志华西瓜书学习笔记----神经网络

文章目录一、神经元模1.M-P模型2.单层多个神经元二、感知机与多层网络1.感知机2.多层神经网络BP算法一、神经元模1.M-P模型神经网络中有许多神经元，每个神经元可以有多个输入，如图中的神经元有n个输入x，每个输入x对应的w是权重，通过计算获得神经元的总体输入。w是权值，x是输入（x是向量），θ是偏置。net是总体输入，对于单个神经元w是向量，但是如果一层中存在多个神经元w就是权值矩阵。权值矩

Ω2πA 》·2022-10-24 17:37

机器学习——最小二乘法求解线性回归

参考：《机器学习》西瓜书————周志华以下为个人笔记，不免有很多细节不对之处。仅供参考！

猿童学·2022-10-16 07:41

机器学习--周志华课后作业---第3章线性模型

3.1试分析在什么情况下，在以下式子中不比考虑偏置项b。答：在样本xxx中有某一个属性xix_{i}xi为固定值时。那么此时wixi+bw_{i}x_{i}+bwixi+b等价于偏置项，此时wixi+bw_{i}x_{i}+bwixi+b与bbb等价。3.2试证明，对于参数，对率回归（logistics回归）的目标函数（3.18）是非凸的，但其对数似然函数（3.27）是凸的。答：3.18：y=11

汤宪宇·2022-10-13 19:28

机器学习_周志华_西瓜书_学习笔记_第三章--线性模型

笔记的前一部分主要是对机器学习预备知识的概括，包括机器学习的定义/术语、学习器性能的评估/度量以及比较，本篇之后将主要对具体的学习算法进行理解总结，本篇则主要是第3章的内容–线性模型。3、线性模型谈及线性模型，其实我们很早就已经与它打过交道，还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗？这就是线性模型的经典算法之一：根据给定的（x，y）点对，求出一条与这些点拟合效果最好的直线y=ax+b，

Tenora鸢栀·2022-10-13 19:25

小白学机器学习西瓜书-第三章线性回归

参考来自周志华老师的机器学习西瓜书以及

顾耒之·2022-10-13 19:24

（机器学习周志华西瓜书南瓜书）吃瓜教程 Task01

目录1.3假设空间1.4归纳偏好2.1经验误差与过拟合2.3性能度量2.3.1错误率与精度1.3假设空间学习过程：在所有假设空间中搜索，为了使搜索结果与训练集一致，可以修改或删除假设。那么西瓜的色泽、根蒂、敲声就是样本的属性/特征，假设空间就是由数据集属性/特征的所有值组成的空间。学习过程就是就是学习符合“好瓜”特征的值。所有假设空间：倘若“色泽”有3种取值，那样本空间则为4，因为还包括任意值*；

橘子冰·2022-10-12 21:09

#《机器学习》_周志华(西瓜书)&南瓜书_第6章支持向量机

待做：P134-P139理论部分整理习题，补充问题：1、距离计算2、线性核和高斯核？第6章支持向量机6.1间隔与支持向量基于训练集DDD在样本空间中找到一个划分超平面。对训练样本局部扰动的容忍性最好。1、划分超平面：wTx+b=0\boldsymbol{w}^T\boldsymbol{x}+b=0wTx+b=0其中w={w1;w2;...;wd}\boldsymbol{w}=\left\{w_1;

Gao&&Zeng·2022-10-12 21:38

#《机器学习》_周志华(西瓜书)&南瓜书_第5章神经网络

待做：习题整理5.5-5.10步骤1、先看习题有什么问题，带着问题2、整体过一遍，记录3、做习题，再次整理，补充。问题：1、神经元激活函数有哪些？2、学习率对训练的影响3、标准BP算法和累积BP算法第5章神经网络人工神经网络神经网络(neuralnetworks)神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。———T.Koho

Gao&&Zeng·2022-10-12 21:08

机器学习之西瓜书+南瓜书：第二章

第二章参考周志华老师的《机器学习》，后续内容根据学习进度继续补充。

wonderball·2022-10-12 21:05

周志华神经网络

1、《神经网络与深度学习讲义》pdf下载在线阅读全文，求百度网盘云资源《神经网络与深度学习讲义》百度网盘pdf最新全集下载:链接:https://pan.baidu.com/s/1RJ3mrqg_HR7UBzA1ut8c5g?pwd=jp5d提取码:jp5d简介：一本很粗浅的讲义。谷歌人工智能写作项目：小发猫2、深度学习和普通机器学习之间有何区别1、普通机器学习一般指的是像决策树、逻辑回归、支持向

wenangou·2022-10-12 13:55

【文献学习】强化学习1：基于值函数的方法

参考文献：[1]《机器学习》,周志华（西瓜书）[2]《强化学习》,邹伟,等（鳄鱼书）（今天看书总是走神，干脆总结一下，希望帮自己理清思路。如果碰巧能被大神看到，如有不正确或不严谨之处，万望指教！）

qq_41414353·2022-10-10 07:22

哈工大2022机器学习实验二：逻辑回归

首先我们先回顾一下逻辑回归的基本原理：逻辑回归逻辑回归，又意译为对率回归（周志华《机器学习》），虽然它的名字中带“回归”，但它是一个分类模型。

Castria·2022-10-07 07:26

周志华机器学习（西瓜书）学习笔记（持续更新）

《周志华机器学习》笔记第1章绪论1.1引言1.2基本术语1.3假设空间1.4归纳偏好1.5发展历程1.6应用现状第2章模型评估与选择2.1经验误差与过拟合2.2评估方法2.2.1留出法2.2.2交叉验证法

CODE-Yang·2022-10-02 07:28

浅谈强化学习（一）

回归主题，本文是在阅读了清华大学出版社周志华教授的机器学习书而总结的。强化学习—什么叫强化学习？

破碎则重建·2022-09-27 07:14

集成学习思想

下面的分类参考周志华老师的教材。根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类：（1）个体学习器间存在强依

丸丸丸子w·2022-09-22 11:48

机器学习周志华第一章课后习题

机器学习周志华第一章课后习题1.11.21.31.41.51.1在下面这张图片中若只包含编号为1和4的两个样例，试给出相应的版本空间。

小白*进阶ing·2022-09-21 07:43

《机器学习》周志华读书笔记1（原创）

第1章p1-p232017-2-20Mon模型：泛指从数据中学得的结果Instance示例（或sample样本）：每条记录的数据。每条记录是关于一个事件或对象的描述。Dataset数据集:记录数据的集合Attribute属性（或feature特征）：反映事件或对象在某方面的表现或性质的事项Attributevalue属性值：属性上的取值Attributespace属性空间（或samplespace

追求卓越583·2022-09-15 07:08

《机器学习》周志华--第2章模型评估与选择读书笔记+习题

第2章模型评估与选择2.1经验误差与过拟合2.2模型评估2.1经验误差与过拟合学习器在训练集上的误差称为“训练误差”(trainingerror)或“经验误差”(empiricalerror)在新样本上的误差称为“泛化误差”(generalizationerror)过拟合:最常见的情况是学习能力过于强大，把学习样本不太一般的特性都学习到了。过拟合无法彻底避免，只能“缓解”或者说减少风险。欠拟合:这

汪呀呀呀呀呀呀呀·2022-09-15 07:00

#《机器学习》_周志华(西瓜书)&南瓜书_第4章决策树

待完成：参考所有笔记，整理习题有疑问的地方步骤1、先看习题部分有什么问题，带着问题2、整体过一遍，记录3、各平台关于该知识点的教程3、做习题，再次整理，补充。问题：1、各种决策树划分选择准则的特点、优缺点2、数据集含冲突数据怎么办？3、未剪枝、预剪枝、后剪枝决策树有什么区别和联系？4、统计显著性检验是什么？第4章决策树关键：第8行选择最优划分属性。决策树的生成，递归过程。递归返回的三种情形：1、当

Gao&&Xi·2022-09-15 07:30

《机器学习》（周志华）前五章笔记

文章目录前言各章公式详解Chapter1绪论Chapter2模型评估与选择获得训练集与测试集留出法交叉验证法自助法性能度量错误率与精度查准率（precision）与查全率（recall）ROC代价曲线Chapter3线性模型线性回归对数几率回归极大似然法估计w、b线性判别分析多分类学习类别不平衡问题Chapter4决策树Chapter5神经网络前言毕业论文与神经网络相关，打算暂时先拜读一下本书前五

bigmidhu·2022-09-15 07:28

【周志华机器学习】五、神经网络

文章目录参考资料1.基本概念1.1神经元模型2.感知机与多层网络隐藏层的解释3.BP神经网络算法3.1算法思想3.2过拟合问题4.全局最小与局部最小5.深度学习5.1理解5.2深度学习3步骤6.后记6.1为什么神经网络具有非线性切分能力6.2随机初始化模型参数6.3激活函数sigmoid函数tanh(双曲正切)函数ReLu(修正线性单元)函数softmax激活函数优缺点6.4为什么使用激活函数6.

CHH3213·2022-09-15 07:55

《机器学习》读书笔记——第二章模型评估与选择

本章内容是在阅读《机器学习》的过程中记录的学习笔记，这本书是机器学习领域的经典书籍，作者是周志华老师。

_Lilly·2022-09-15 07:38

《机器学习》随心记-周志华版绪论

这学期，将学习周志华老师的《机器学习》这本书，一周两章，每章我都会做上一点笔记，笔记或多或少，或工整或潦草，一切根据我当时的时间和心情而定，简单的定义或者易理解的知识我可能附上定义甚至不写，不懂的地方会特别强调指出

wzw&weiye·2022-09-15 06:05

《机器学习》周志华学习笔记第二章模型评估与选择（课后习题）

模型选择与评估一、内容1.经验误差与过拟合1.1学习器在训练集上的误差称为训练误差（trainingerror）,在新样本上的误差称为泛化误差（generalizionerror）。1.2当学习器把训练样本学习的“太好“了的时候，很有可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中称为“过拟合”。与过拟合相对的是“欠拟合”，是指对

Rookiekk·2022-09-15 06:34

机器学习（周志华）学习笔记一：第三章习题3.3（对率回归）

一、对《机器学习》内容问题的一点质疑在《机器学习》第53页，书中应该是存在对行向量（1×N矩阵）、列向量（N×1矩阵）的描述错误问题。如下图：我在划线位置分别加上了两个转置符号"T"。按照原来书上的写法w和x都是一个行向量，wT则是列向量。因此wT与x的结果应该是一个N×N的矩阵，而并非式（3.1）所写的具体的值。二、分类的基本思想我们希望找到一个函数满足下面的条件：正例反例y=1y=0单位阶跃函

萌哒哒虎·2022-09-15 06:32

周志华《机器学习》笔记（第1-2章）

西瓜书1-2章笔记第一章绪论几个概念没有免费的午餐定理（NoFreeLunchTheorem）第二章模型评估与选择几个概念P-R曲线：第一章绪论几个概念机器学习：在计算机上从数据中产生“模型”的算法，即“学习算法”。模型：泛指从数据中学得的结果。模式：指局部性结果。属性：反映事件或对象在某方面的表现或性质的事项，每个属性对应的值称为属性值。比如说描述一个西瓜的属性（色泽=青绿，根蒂=蜷缩，敲声=浊

kokooya·2022-09-15 06:45

周志华《机器学习》学习笔记（一）模型评估与选择

目录欠拟合与过拟合评估方法留出法交叉验证法自助法调参与最终模型性能度量错误率与精度查准率与查全率查准率、查全率的性能度量ROC与AUC代价敏感错误率与代价曲线比较检验假设检验交叉验证t检验McNemar检验Friedman检验与Nemenyi后续检验偏差与方差欠拟合与过拟合在机器学习过程中，我们将学习器的实际输出f(x;D)f(x;D)f(x;D)(DDD为训练集）与样本的真实输出yDy_{D}y

扬子江里江子扬·2022-09-15 06:44

【机器学习周志华】读书笔记 P1 机器学习基本概念知识

可以看出，我们人类能做出有效的预判，是因为我们已经积累了许多经验，而通过对经验的利用，就能对新情况做出有效的决策。TakenfromProfZhou《机器学习》俗称“西瓜书”机器学习是这样一门学科：它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。机器学习主要的研究内容，是关于在计算机上从数据中产生算法。有了算法，就能基于数据产生模型。1.2基本术语数据集：一组记录的集合，每条记录是关

脚踏实地的大梦想家·2022-09-15 06:36

【机器学习周志华】读书笔记 P2 假设空间与归纳偏好

首先了解一下假设空间1.3假设空间归纳&演绎：归纳(induction)和演绎(deduction)是科学推理的两大基本手段。归纳是从特殊到一般的“泛化”过程；而演绎是从一般到特殊的“特化”过程。假设空间：我们可以把学习过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集“匹配(fit)的假设”。1.4归纳偏好在假设空间中，对应的模型在面临新样本的时，可能会产生不同的输出。而对

脚踏实地的大梦想家·2022-09-07 16:34

【机器学习实战】——决策树&树回归

【摘要】本文对应《机器学习实战》——第三章和第九章：决策树和树回归对应周志华《机器学习》第四章：决策树内容大纲：第三章：决策树简介、数据集中度量一致性、递归构造决策树、Matplotlib绘制树形图；第九章

20斤芹菜肉包子·2022-09-01 07:10

机器学习（西瓜书）&深度学习（Deep Learning）学习笔记

机器学习（西瓜书）-周志华第1章绪论根据训练数据是否拥有标记信息，学习任务可大致划分为两大类"监督学习"(supervisedlearning)和"无监督学习"(unsupervisedlearning

csdanke·2022-08-30 07:16

《机器学习》周志华西瓜书阅读笔记

文章目录写在前面的话一、第一章二、第二章三、第三章四、第四章写在前面的话啦啦啦啦，开开心心吃瓜！一、第一章二、第二章三、第三章四、第四章

狗狗熊学AI·2022-08-27 07:59

【机器学习】聚类【Ⅱ】原型聚类经典算法

主要来自周志华《机器学习》一书，数学推导主要来自简书博主“形式运算”的原创博客，包含自己的理解。有任何的书写错误、排版错误、概念错误等，希望大家包含指正。由于字数限制，分成五篇博客。

不牌不改·2022-08-21 07:50

编程实现之学习向量量化(LVQ)

根据周志华老师给出的算法步骤，我用Python编程实现了这一过程。

wave2587·2022-08-21 07:47

机器学习11—原型聚类之学习向量量化（LVQ）

学习向量量化（LVQ）前言一、学习向量量化（LVQ）简单实现二分类二、、学习向量量化（LVQ）实现三分类总结前言周志华的《机器学习》介绍学习向量量化（LVQ）中可以知道，LVQ也是基于原型的聚类算法，与

存在～～·2022-08-21 07:57

线性回归学习心得

线性回归学习心得本文是自己以周志华老师的西瓜书为主要学习媒介，以吴恩达老师的机器学习视频为补充的线性回归学习心得。线性回归是机器学习的入门，虽比较基础但极为重要。

浪子私房菜·2022-08-20 07:26

浅谈自然语言处理(NLP)学习路线（一）--- 概述

1l5Tl0yZS0NTixAilH9S2aQ提取码：38qa《统计学习方法第二版》：https://pan.baidu.com/s/18pg6dUMcMciyO5ZXMrbUJg提取码：pb7r西瓜书《机器学习》-周志华

尚拙谨言·2022-08-20 07:22

机器学习之提升方法Adaboost算法

文章目录1.背景2.基本原理3.Adaboost算法4.周志华老师Boosting25周年5.Adaboost算法优缺点6.Q&A1.背景集成学习(ensemblelearning)通过构建并结合多个学习器来提升性能集成学习分为两大类

guet-第八组-2021·2022-08-01 07:29

如何用18天读完周志华老师的西瓜书（机器学习）

第一章绪论1.1解释经验到模型过程1.2以西瓜案例解释学习器的产生，特征有标签的为有监督，无标签的为无监督，模型需要有泛化能力1.3.假设空间问题，将所有特征的不同分类罗列出来，所形成的所有情况，称为假设空间1.4误差永远存在，在经验中得到归纳偏好，为不存在的案例做预测时要有偏好，而不是一次一个新结果，要求机器有学习能力1.5发展-案例介绍等第二章2.1经验误差与过拟合，认知误差与过拟合，找到对应

Captain_Data·2022-07-28 07:06

学习笔记----周志华《机器学习》第五章（神经网络）（二）

周志华《机器学习》第五章（神经网络）的学习笔记上篇连接在这里：《上篇》。

yiixiou·2022-07-23 13:52

吃瓜笔记《机器学习》周志华——第五章神经网络

吃瓜笔记《机器学习》周志华——第五章神经网络5.1神经元模型神经网络：具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

irrationality·2022-07-23 13:52

周志华《机器学习》笔记（五）——第5章神经网络

第5章神经网络1、正向传播（预测）2、反向传播（训练）3、问题与技巧以标准BP算法为例，对神经网络的正向传播、反向传播过程进行推导，同时提出使用神经网络算法时需要考虑的问题和一些技巧。1、正向传播（预测）2、反向传播（训练）3、问题与技巧（1）局部最优问题：训练多个神经网络，取最优；模拟退火；随机梯度下降；遗传算法（2）过拟合问题：早停、正则化（3）优化器：各种主流凸优化方法的归纳与总结。http

不会写代码的牛马·2022-07-23 13:21

周志华机器学习：神经网络

推导标准BP与累计BP过拟合问题全局最小和局部极小其他常见神经网络RBFARTSOM级联相关网络Elman网络Boltzmann机参考1、神经网络学习之M-P模型2、机器学习-第五章神经网络读书笔记（周志华

椰子奶糖·2022-07-23 13:21

《机器学习》（周志华）第3章线性模型学习心得笔记

第3章线性模型学习心得基本形式线性模型是试图学习通过样本属性/特征的线性构成的假设函数的模型。即：f(x)=w1x1+w2x2+…+wdxd+bf(\boldsymbol{x})=w_{1}x_{1}+w_{2}x_{2}+\ldots+w_{d}x_{d}+bf(x)=w1x1+w2x2+…+wdxd+b通常记为向量形式：f(x)=wTx+bf(\boldsymbol{x})=\boldsymb

ML--小小白·2022-07-23 13:51

《机器学习》（周志华）第2章模型选择与评估笔记学习心得

第2章模型选择与评估学习心得几个名词错误率(errorrate)误分类样本占总样本的比例精度(accuracy)正确分类样本数与总样本数的比；等于1减去错误率混淆矩阵（confusionmatrix）第一行表示真实的正例，第二行表示真实的反例；第一列表示模型预测的正例，第二列表示模型预测的反例。真正例（truepositive，TP）真实正例，且被模型判为正例。混淆矩阵的(1,1)元素。假反例（f

ML--小小白·2022-07-23 13:20

机器学习笔记(第五章神经网络)

机器学习（周志华著）Datawhale打卡第四天第五章神经网络基本神经元神经元(neuron)是神经网络的最基本的结构。

猪里程·2022-07-23 13:20

《机器学习》周志华学习笔记第五章神经网络（课后习题） python实现

1.神经元模型2.感知机与多层网络3.误差逆传播算法(A)BP算法：最小化训练集D上的累积误差标准BP算法：更新规则基于单个Ek推导而得两种策略防止过拟合：（1）早停（通过验证集来判断，训练集误差降低，验证集误差升高）（2）正则化：在误差目标函数中引入描述网络复杂度的部分4.全局最小与局部最小跳出局部最小的方法：（1）不多参数初始化多个神经网络。去误差最小的解做为最终参数（2）模拟退火（3）遗传算

Rookiekk·2022-07-23 13:18

《机器学习》-周志华第五章：神经网络读书笔记

文章目录5.神经网络5.1神经元(neuron)模型5.2感知机与多层网络5.2.1感知机（perceptron）5.3误差逆传播算法5.3.1推导5.3.2算法5.3.3缓解过拟合5.4全局最小与局部最小5.5其他常见的神经网络5.5.1REF（radialbasisfunction，径向基函数）网络5.5.2ART(adaptiversonancetheory,自适应谐振理论)网络5.6深度学

ErinLiu虎哥的铲屎员·2022-07-23 13:17

机器学习（周志华）学习笔记五：第五章习题5.5

一、神经网络神经网络通过隐层（中间层）的变换，增加了超平面的划分能力。然而，在对神经网络的学习中，没有看到关于隐层神经元数量选择的解释。也就是说，在神经网络理论中似乎并没有考虑到网络结构对输出结果产生的影响。二、代码实现defcalculate(self,input_values):""":paraminput_values:[colorroot...]:return:[y1,y2...]"""#

萌哒哒虎·2022-07-23 13:47

推荐频道

【周志华