西瓜书学习笔记系列第14页

吃瓜笔记---第五章神经网络

注：本文只是本人阅读西瓜书及南瓜书的阅读笔记和心得，可能只有自己能看懂，鉴于本人水平有限，有极大可能出现错误，欢迎读者批评指正1、神经元模型对上图单个神经元模型输入={}输出w为权重，为阈值，为激活函数

deeplearningcc·2022-11-29 21:39

吃瓜笔记---第四章决策树

注：本文只是本人阅读西瓜书及南瓜书的阅读笔记和心得，可能只有自己能看懂，鉴于本人水平有限，有极大可能出现错误，欢迎读者批评指正决策树的学习通常包括3个部分：特征选择、决策树的生成、决策树的修剪1、信息增益自信息

deeplearningcc·2022-11-29 21:39

向量内积的几何解释

向量内积的几何解释再看西瓜书中的线性判别分析LDA，注意到了w⊺x\bm{w}^\intercal\bm{x}w⊺x，说是“直线上的投影”，于是扒一扒，向量内积怎么就是投影了？

SATAN 先生·2022-11-29 18:44

【阿里云天池】机器学习学习赛-测一测你的一见钟情程度

历经8个星期的学习，基本学习完了西瓜书上的10个重要模型，首次接触机器学习比赛，选择了阿里云天池上的学习赛：测一测你的一见钟情程度来进行学习比赛流程，baseline选择的是天池该比赛论坛中置顶的逻辑回归模型

银河955·2022-11-29 14:42

西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）

文章目录0.前言1.主成分分析PCA如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~0.前言维数灾难：在高维情形下出现的数据样本稀疏、距离计算困难等问题。缓解维数灾难的方法是降维。降维的好处：舍弃部分信息后能使得样本的采样密度增大当数据受到噪声影响时，舍弃的无关信息往往与噪声有关1.主成分分析PCA主成分分析（PrincipalComponentAnalysis）是常用的降

I can丶·2022-11-29 13:44

计算机视觉论文-2021-07-09

本专栏是计算机视觉方向论文收集积累，时间：2021年7月9日，来源：paperdigest欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！

SophiaCV·2022-11-29 13:35

如何 Get 机器学习必备的数学技能？（文末赠书）

西瓜书（《机器学习》，清华大学出版社）和花书（《深度学习》，人民邮电出版社）分别是目前国内机器学习、深度学习领域销量最大的教材。

人工智能与算法学习·2022-11-29 11:35

西瓜书chapter5简摘

神经元多层前馈神经网络每层神经元之间并不存在同层连接，也不存在跨层连接，并且与下层完全连接。两端分别为输入层/输出层，中间为隐层/隐含层（hiddenlayer）隐含层和输出层都是具有激活函数的功能神经元。输入层仅能接受输入，不进行函数处理。神经网络的学习过程就是确定，训练数据调整神经元之间的“连接权”（connectedweight)以及神经元之间的阈值。误差逆传播算法（errorBackPro

yabgtz23·2022-11-29 08:14

K-means算法与K-means++算法的异同

感觉在西瓜书里面最容易看懂的，而且最容易用的一个算法便是k-mean算法，算法实现的流程十分简单，可以简单将其划分为4个步骤：Step1:选定聚类中心，从数据集中随机选取K个样本作为初始聚类中心，{},

机器想学习·2022-11-29 07:02

机器学习40讲-12正则化处理：收缩方法与边际化

一序本文属于极客时间机器学习40讲学习笔记系列。12正则化处理：收缩方法与边际化本质上讲，过拟合就是模型过于复杂，复杂到削弱了它的泛化性能。

bohu83·2022-11-29 03:43

机器学习-决策树（Decision Tree）进阶篇之剪枝

spm=1001.2014.3001.5501此篇博客我将拿西瓜书中的数据以及我自己的数据来做决策树的剪枝。目录一、剪枝1-1、什么是过拟合1-2、基本

库里不会写代码·2022-11-28 17:53

西瓜书学习-神经网络

感知机与多层网络感知机感知机不能实现异或这样简单的非线性可分问题。感知机和逻辑回归函数的异同损失函数两者不同：逻辑斯蒂回归使用极大似然（对数损失函数），感知机使用的是均方损失函数（即错误点到分离平面的距离，最小化这个值）逻辑斯蒂比感知机的优点在于对于激活函数的改进。前者为sigmoidfunction，后者为阶跃函数。这就导致LR是连续可导，而阶跃函数则没有这个性质。LR使得最终结果有了概率解释的

weixin_34064653·2022-11-28 14:58

西瓜书-第5章-神经网络

神经网络生物学上的神经网络最基本的成分是“神经元”，每个神经元和其他神经元相连，当它兴奋时，向相连的神经元发送化学物质，从而改变这些神经元的电位，如果神经元的电位超过了一个“阈值”，那么它就会被激活，即兴奋起来，向其他神经元发送化学物质。M-P神经元模型也称阈值逻辑单元膜电位G>阈值θj则兴奋输出，否则抑制不输出。激活函数f(G)得出输出值。常用的激活函数有：线性函数：线性函数、斜面函数、阈值函数

路飞的纯白世界·2022-11-28 14:27

《西瓜书》-5.神经网络

5.神经网络5.1.神经元模型在机器学习中，神经网络一般指的是“神经网络学习”，是机器学习与神经网络两个学科的交叉部分。所谓神经网络，目前用得最广泛的一个定义是“神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应”。神经网络中最基本的单元是神经元模型（neuron）。在生物神经网络的中，每个神经元通常都有多个树突（dendrite）

ruoqi23·2022-11-28 14:26

西瓜书第5章神经网络 5.1-5.3

神经网络一、神经元模型1、生物学神经元在生物学神经网络中，每个神经元与其他神经元连接，当它“兴奋”时，就会向相邻的神经元发送化学物质，从而改变这些神经元的电位，如果某神经元的电位超过一个阈值，那么它就会被激活（兴奋），向其他神经元发送化学物质。 1943年，McCullochandPitts基于生物神经元模型抽象出了经典的M-P神经元模型。神经元接收来自n个其他神经元传递来的输入信号，这些输

淮海路小佩琦·2022-11-28 14:54

西瓜书第五章-神经网络

神经元模型(学习笔记）1943年，[McCullochandPitts,1943]将上述情形抽象为国.1所示的简单模型，这就是直沿用至“M-P经元模模型经元接收到来自其他神经元传递过来的输入信号?这些输入信号通过带权重的连接(connection)进行传，神经接收到的总输入值将与神经元的阀值进行比较，然后通过"激活函数”(activationfunction处理以产生神经元的输出.把许多个这样的神

孤鸿末子·2022-11-28 14:23

西瓜书---读书笔记5-6章--神经网络和支持向量机

平时做项目会用到神经网络还有svm~所以写的比较简略，因为论文里面以前就写过蛮多关于这些的，自己比较熟悉（自认为），所以简单复习一下啦~5神经网络定义：神经网络是具有适应性的简单单元组成的广泛而互联的网络，它的组织可以模拟生物神经系统对真实世界物体所做出的交互反映。历史：神经元模型：m-p神经元模型，1943被提出。感知机：只有输入输出两层，且只在输出层有激活函数，输入层只负责接收数据。但是如果遇

皮卡猪猪·2022-11-28 14:22

Task04-西瓜书-神经网络

目录1.神经元模型激活函数2.感知机与多层网络3.误差逆传播算法神经网络，是机器学习的一个分支，学名应该叫人工神经网络，与之对应的是生物神经网络（CNN），如下图所示：1.神经元模型在细致了解人工神经网络之前，我们需要对M-P神经元模型有大致的了解，在M-P神经元模型中，神经元接收到其他n个神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元收到的总输入值将与神经元的阈值进行比较

东东强233·2022-11-28 14:50

Day04-《西瓜书》-神经网络(DataWhale)

五、神经网络(neuralnetworks)5.1神经元模型(neuron)神经元接收到来自n个其他神经元传递的输入信号，这写信号通过带权重的连接进行传递，神经元接受到的总输入值与神经元的阈值进行比较后，通过激活函数处理产生神经元的输出。激活函数理想的激活函数是阶跃函数，但是阶跃函数步连续，不光滑。实际使用Sigmoid函数。将一个神经网络视为包含了许多参数的数学模型，这个模型有若干个函数。例如y

liying_tt·2022-11-28 14:20

机器学习-西瓜书CH5-神经网络

吃瓜教程学习笔记-CH5神经网络5.1-神经元模型1-神经元2-激活函数5.2-感知机与多层网络1-感知机2-多层网络-全连接网络5.3-BP神经网络5.4-全局最小与局部最小5.5-深度学习5.6-参考5.1-神经元模型神经网络(neuralnetworks)：是机器学习中一门多学科交叉点领域，神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所

Alexa2077·2022-11-28 14:17

【西瓜书】5-神经网络

文章目录5.1-神经元模型5.2-感知机与多层网络5.3-误差逆向传播5.4-全局/局部最小5.5-其他常见神经网络5.6-深度学习参考5.1-神经元模型生物学上的神经元是指一个接受刺激，当刺激超过阈值后便会兴奋，并向后面的神经元发送信号。这里是神经元指一个接受输入xxx，并根据权重wiw_iwi计算总输入值，当兴奋程度超过阈值θ\thetaθ便会根据激活函数输出yyy。这里给出两个典型的激活函数

超级虚空·2022-11-28 14:45

task01

Task01概览西瓜书+南瓜书第1、2章1术语梳理数据集：记录的集合样本：其中每条记录是关于一个事件或对象的描述属性/特征：反映事件或对象在某方面的表现或性质的事项学习任务分为两大类：监督学习、无监督学习独立同分布

阿_边·2022-11-28 13:41

西瓜书前2章-task1

task1-前2章序几个概念：符号学习、统计学习、迁移学习、深度学习、流形学习第一章绪论机器学习：机器从经验数据中“提炼”模型的学习算法；若一个程序利用经验E在T任务中P方面的性能获得改善，则称关于T和P，该程序对E进行了学习。基本术语：涵义英文数据集dataset示例sample、instance属性attribute、feature属性的取值attributevalue、featurevalu

泠月清风·2022-11-28 13:05

机器学习中的数学基础（三）：随机变量

机器学习中的数学基础（三）：随机变量3随机变量3.1离散型随机变量3.2连续型随机变量3.3简单随机抽样3.4似然函数3.5极大似然估计在看西瓜书的时候有些地方的数学推导（尤其是概率论的似然、各种分布）

三耳01·2022-11-28 13:58

吃瓜教程Task4 第五章神经网络概念

神经网络概念根据西瓜书所使用的概念，其定义为：神经网络是由其具有适应性的简单单元组成的广泛并行互联的网络，他的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

无知之人_dream·2022-11-28 13:58

不止于西瓜书

相信每一个从事或爱好机器学习的朋友都知道周志华老师，尤其是他的那本经典巨作《机器学习》，又称为西瓜书。如果让你推荐两本国内机器学习的入门经典作，你会推荐哪些呢？

Datawhale·2022-11-28 10:18

Datawhale机器学习笔记 - 逻辑回归

目录理论知识点整理代码实现各算法在西瓜书中的对应章节逻辑回归算法LR相关问题参考文献理论知识点整理逻辑回归可看做对数衍生物对应的线性回归模型。首先，对线性回归进行概述。

火腿腊肉蛋炒饭·2022-11-28 09:06

西瓜书第六章

（部分图片来自于：http://t.csdn.cn/suVs31.间隔与支持向量：在样本空间中，划分超平面可通过下面线性方程来描述：“间隔”：2.对偶问题：对对偶问题的理解：我们定义拉格朗日函数：也就是说我们找到了原问题最优值的一个下界。既然我们找到了一个下界，显然我们要找到它最好的下界。什么是最好的下界的？显然就是所有下界当中最大的那一个。所以我们要把最大化，当然我们还要记得我们需要限制。3.核

learner.bear·2022-11-28 07:39

周志华《机器学习》课程系列笔记——目录导航页

周志华老师的网络教学视频中，与其西瓜书相比确实少了一些内容。但幸运的是，缺失的内容实际上对于初学者来说并不会产生太大影响。目前这一笔记也遵循视频内容，相比西瓜书中也会有一些缺失，敬请谅解。可

Sinocifeng·2022-11-28 07:20

西瓜书第五章

第五章5.1单个M-P：感知机（sgn激活函数、阶跃函数）、对数几率回归（Sigmoid激活函数）多个M-P：神经网络5.2y=f(∑iwixi−θ)=f(wT+b)y=f(\sum_iw_ix_i-\theta)=f(w^T+b)y=f(i∑wixi−θ)=f(wT+b)n维空间的超平面：超平面方程不唯一法向量w垂直于超平面法向量w和位移向b确定一个唯一超平面法向量指向的那一半空间为正空间，另一

Altira·2022-11-27 19:37

《机器学习》周志华（西瓜书）的简单笔记

异常样本检测：可视化，概率统计（正态分布，高斯分布），PCA降维去除异常值，isolationforest（那些密度很高的簇是可以被切很多次才会停止切割，但是那些密度很低的点很容易很早的就停到一个子空间了）学习器在所有新样本上的误差——泛化误差（generalizationerror）学习能力过强，以至于把训练样本所包含的不太一般的特性都学到了——过拟合（overfitting）机器学习的大部分带

rainy bamboo·2022-11-27 10:58

机器学习理论 | 周志华西瓜书第十三章：半监督学习

第十三章半监督学习此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中…13.1未标记样本1、一些概念主动学习(activelearning)：使用尽量少的query获得经良好的性能半监督学习(semi-supervisedlearning)：让学习器不依赖外界交互，自动利用未标记样本来提升学习性能2、一些假设聚类假设(clusterassumption)：假设数据存在簇结构，同一个簇的样本

ZIYUE WU·2022-11-27 10:49

送书|“零基础学机器学习”作者创作手记

2014年吴恩达在Coursera开了机器学习课，2015年周志华老师出了西瓜书，而2017年李彦宏把无人驾驶车开上了五环，AlphaGo打遍天下无敌手，波士顿动力机器人学会了后空翻，人

文文学霸·2022-11-27 10:49

机器学习理论 | 周志华西瓜书第十二章：计算学习理论

第十二章计算学习理论此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中…12.1基础知识1、概述目的：分析学习任务的困难本质，为学习算法提供理论保证）2、一些定义令h为从X到Y的映射，h的泛化误差：E(h;D)=Px∼D(h(x)≠y)E(h;\mathcal{D})=P_{\bmx\sim\mathcal{D}}(h(\bmx)≠y)E(h;D)=Px∼D(h(x)=y)h在D上的经验

ZIYUE WU·2022-11-27 10:48

机器学习理论 | 周志华西瓜书第八章：集成学习

第八章集成学习此系列文章旨在提炼周志华《机器学习》的核心要点，不断完善中…8.1个体与集成集成学习的一般结构示意图个体学习器(individuallearner)基学习器(baselearner)同质(homogenous)集成：集成中只包含同种类型的个体学习器基学习器——同质集成中的个体学习器基学习算法(baselearningalgorithm)——相应的学习算法组建学习器(component

ZIYUE WU·2022-11-27 10:18

机器学习内卷了吗？

2014年吴恩达在Coursera开了机器学习课，2015年周志华老师出了西瓜书，而2017年李彦宏把无人驾驶车开上了五环，

咖哥·2022-11-27 10:47

西瓜书入门辅助【机器学习周志华】一些关于机器学习的重要基础概念提炼

周志华.机器学习=MachineLearning.清华大学出版社,2016.Print.第一章：绪论机器学习所研究的主要内容：关于在计算机上从数据中产生模型model的算法，即学习算法(learningalgorithm)数据集：数据记录的集合；示例instance：每条记录关于的一个事件或对象，一个示例称为一个特征向量属性attribute/特征feature：事件或对象在某方面的性质或表现属性

我绕过山腰雨声敲敲·2022-11-27 10:16

机器学习笔记（十一）-聚类（Clustering）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

997and·2022-11-27 08:03

【图神经网络学习笔记系列】01-Graph Attention Networks 学习笔记

GraphAttentionNetworks学习笔记这是一个excitingfield前提引入：1.图神经网络GNN介绍：https://www.bilibili.com/video/BV1Tf4y1i7Go8分钟小视频形态：就是《数据结构》、《离散数学》等所说的那个“图”的概念：节点、邻居、关系(有向、无向)、度、出度、入度然后，我们把邻接矩阵A，度矩阵D，特征矩阵X再有个印象就OK了。操作-1

Zach_菠萝侠·2022-11-27 08:23

深度学习/机器学习资料汇总

MachineLearningDeepLearningSeq2SeqLSTMAttentionSelf-AttentionTransfomerBert(这周目标）读研期间收集的学习资料汇总（持续更新中）MachineLearning西瓜书以及统计学习方法笔记

金州啦啦啦啦文·2022-11-27 07:50

西瓜书笔记（第六章支持向量机）

西瓜书笔记（第六章支持向量机）6.1间隔与支持向量直观上看，应该去找位于两类训练样本“正中间”的划分超平面，即图6.1中红色的那个，因为该划分超平面对训练样本局部扰动的“容忍”性最好.例如，由于训练集的局限性或噪声的因素

xhy.·2022-11-27 07:07

西瓜书--第六章支持向量机

6.1支持向量机概述6.1.1为什么引入支持向量机1.感知机的分类超平面不唯一解决方法：增加约束，如SVM的最大化间隔2.感知机无法解决非线性问题解决方法：使用核方法，映射到高维空间6.1.2支持向量机二分类模型基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机支持向量机还包括核技巧，这使它成为实质上的非线性分类器支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次

仰望星空的小马可·2022-11-27 07:06

【西瓜书】第六章支持向量机---学习笔记

1.间隔与支持向量1.1算法原理：对于线性可分数据集，从几何角度，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，泛化性能更好。1.2点xxx到超平面的距离r=∣wTx+b∣∣∣w∣∣r=\frac{|w^Tx+b|}{||w||}r=∣∣w∣∣∣wTx+b∣,假设超平面(w,b)(w,b)(w,b)能将训练样本正确分类，即对于(xi,yi)∈D(x_i,y_i)\inD(

qq_31514061·2022-11-27 07:59

机器学习中的数学基础（二）

机器学习中的数学基础（二）2线代2.1矩阵2.2矩阵的秩2.3内积与正交2.4特征值与特征向量2.5SVD矩阵分解2.5.1要解决的问题2.5.2基变换2.5.3特征值分解2.5.4奇异值分解（SVD）在看西瓜书的时候有些地方的数学推导

三耳01·2022-11-27 07:28

Datawhale-Task3决策树算法梳理

熵联合熵条件熵信息增益基尼不纯度）2.决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景3.回归树原理4.决策树防止过拟合手段5.模型评估6.sklearn参数详解，Python绘制决策树参考：西瓜书

Zzichen_ovo·2022-11-27 03:07

Task03：详读西瓜书+南瓜书第4章

目录决策树决策树学习基本算法划分选择1.信息增益信息熵信息增益（informationgain）①ID3决策树2.增益率②C4.5决策树启发式规则3.基尼指数基尼值基尼指数③CART决策树决策树决策树学习基本算法划分选择决策树学习的关键就是如何进行划分。如图所示，划分选择有三种划分方式。基于“信息增益”的划分，基于“增益率”的划分，基于“基尼指数”的划分。三种划分方式对应了三种著名的决策树学习算法

weixin_45592399·2022-11-27 03:07

10月Datawhale组队学习：Task01：概览西瓜书+南瓜书第1、2章

边学习边思考边记录边整理，抱着兴趣浏览，带着问题阅读，做着习题强化，理清教材的思维脉络，争取早日将机器学习知识体系化！第1章绪论1.1引言引例：好西瓜的判定关键知识点：机器学习（machinelearning）、模型（model）、学习算法（learningalgorithm）1.2基本术语示例（instance）/样本（sample）：一个事件或对象，在空间中又可称为特征向量（featureve

LordMelbourne·2022-11-27 03:37

《西瓜书》第四章决策树笔记

文章目录4.1基本流程4.1.1组成4.1.2目的4.1.3策略4.1.4算法4.2划分选择4.2.1信息增益-ID3决策树4.2.1.1信息熵4.2.1.1信息增益4.2.2增益率-C4.5决策树4.2.3基尼指数-CART决策树4.2.3.1基尼值4.2.3.2基尼指数4.3剪枝处理4.3.1预剪枝4.3.2后剪枝4.4连续与缺失值4.4.1连续值处理4.4.2缺失值处理4.5多变量决策树4.

甲壳剑齿鸟·2022-11-27 03:06

Task03 详读西瓜书+南瓜书第4章

Task03详读西瓜书+南瓜书第4章1决策树基本流程概念：基于树结构来进行决策，体现人类在面临决策问题时一种很自然的处理机制具备条件：每个非叶节点表示一个特征属性测试每个分支代表这个特征属性在某个值域上的输出每个叶子节点存放一个类别每个节点包含的样本集合通过属性测试被划分到子节点中

阿_边·2022-11-27 03:06

DataWhale-西瓜书+南瓜书-第4章决策树学习总结-Task03-202110

4.1决策树的基本流程4.2划分选择4.2.1信息增益“信息熵”是度量样本集合纯度最常用的一种指标。信息增益定义为：一般而言，信息增益越大，则意味着使用某属性进行划分所获得的纯度提升越大。4.2.2增益率信息增益偏好可取数目较多的属性，所以要使用“增益率”。IV(a)称为属性a的固有值，属性a的可能取值数目越多，IV(a)越大。4.2.3基尼系数CART决策树算法使用“基尼系数”来选择划分属性。属

JZT2015·2022-11-27 03:35

推荐频道

西瓜书学习笔记系列

吃瓜笔记---第五章 神经网络

吃瓜笔记---第四章 决策树