周志华西瓜书

关于深度森林的一点理解

2017年年初，南京大学周志华老师上传了一篇名为：DeepForest：TowardsAnAlternativetoDeepNeuralNetworks的论文，一石激起千层浪，各大媒体纷纷讨论着，这似乎意味着机器学习的天色要变

Y.G Bingo·2024-09-10 03:10

周工作计划2019-03-25

但是好的一点是，西瓜书基本都看完了。本周工作计划：机器学习分享活动（关于决策树的分享）回看一下西瓜书的东西，每一章把开头总结写一下。老师没有给具体的任务，留了再说吧。

MikeShine·2024-09-02 02:05

机器学习（西瓜书）学习笔记导览

本篇文章会持续更新直到更新完毕，关注博主不迷路~（如果没有超链接，表示还没有更新到）第一章绪论1.1引言1.2基本术语1.3假设空间1.4归纳偏好第二章模型评估与选择2.1经验误差与过拟合2.2评估方法2.3性能度量2.4比较检验2.5偏差与方差第三章线性模型3.1基本形式3.2线性回归3.3对数几率回归3.4线性判别分析3.5多分类学习3.6类别不平衡问题第四章决策树4.1基本流程4.2划分选择

盛寒·2024-08-25 18:11

机器学习LDA线性判别器代码实现

机器学习LDA线性判别器代码实现西瓜书P60线性判别器LDA代码实现：importnumpyasnpimportmatplotlib.pyplotaspltdefload_data(file_name)

Longlongaaago·2024-02-15 07:38

西瓜书-机器学习5.4 全局最小与局部极小

两种“最优”：“局部极小”(localminimum)和"全局最小"(globalminimum)对和，若存在使得多组不同参数值初始化多个神经网络使用“模拟退火”：以一定的概率接受比当前解更差的结果，有助于“跳出”局部极小使用随机梯度下降遗传算法(geneticalgorithms)[Goldberg,1989]也常用来训练神经网络以上用于跳出局部极小的技术大多是启发式，理论上商缺乏保障。Gold

lestat_black·2024-02-12 11:32

机器学习（8）

本章节是对我学习完机器学习（周志华）第八章所做出来的总结第八章集成学习8.1个体与集成集成学习：通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统、基于委员会的学习等。

LY豪·2024-02-10 03:24

2019-05-14《西瓜书》难啃

周志华老师的《西瓜书：机器学习》这周看完1~10章锻炼：太极云手、100手/组，3组虎刨功（简）、100个/组，2组

杨熊猫Yang·2024-02-08 05:59

机器学习——集成学习

参考：ysu老师课件+西瓜书+期末复习笔记1.集成学习的基本概念集成学习（ensemblelearing）通过构建并结合多个学习器来完成学习任务。

三三木木七·2024-02-04 09:37

我国学者在新型深度学习模型方面取得进展

在国家自然科学基金创新研究群体项目、重点项目（批准号：61921006、61751306）资助下，南京大学周志华教授项目组对新型深度学习模型与方法进行了深入研究，取得重要进展。

2301_76571514·2024-02-04 07:44

西瓜书学习笔记——低维嵌入（公式推导+举例应用）

文章目录算法介绍实验分析算法介绍低维嵌入（Low-DimensionalEmbedding）是一种降低高维数据维度的技术，目的是在保留数据特征的同时减少数据的复杂性。这种技术常用于可视化、特征学习、以及数据压缩等领域。低维嵌入的目标是将高维数据映射到一个低维空间，以便更好地理解和可视化数据。在kkk近邻学习中，随着数据维度的增加，样本之间的距离变得更加稀疏，导致KNN算法性能下降。这是因为在高维空

Nie同学·2024-02-04 01:13

西瓜书学习笔记——核化线性降维（公式推导+举例应用）

文章目录算法介绍实验分析算法介绍核化线性降维是一种使用核方法（KernelMethods）来进行降维的技术。在传统的线性降维方法中，例如主成分分析（PCA）和线性判别分析（LDA），数据被映射到一个低维线性子空间中。而核化线性降维则通过使用核技巧，将数据映射到一个非线性的低维空间中。核技巧的核心思想是通过一个非线性映射将原始数据转换到一个高维的特征空间，然后在该特征空间中应用线性降维方法。这种映射

Nie同学·2024-02-04 01:13

西瓜书学习笔记——k近邻学习（公式推导+举例应用）

文章目录算法介绍实验分析算法介绍K最近邻（K-NearestNeighbors，KNN）是一种常用的监督学习算法，用于分类和回归任务。该算法基于一个简单的思想：如果一个样本在特征空间中的kkk个最近邻居中的大多数属于某个类别，那么该样本很可能属于这个类别。KNN算法不涉及模型的训练阶段，而是在预测时进行计算。以下是KNN算法的基本步骤：选择K值：首先，确定用于决策的邻居数量K。K的选择会影响算法的

Nie同学·2024-02-04 01:42

西瓜书学习笔记——主成分分析（公式推导+举例应用）

文章目录算法介绍实验分析算法介绍主成分分析（PrincipalComponentAnalysis，PCA）是一种常用的降维技术，用于在高维数据中发现最重要的特征或主成分。PCA的目标是通过线性变换将原始数据转换成一组新的特征，这些新特征被称为主成分，它们是原始特征的线性组合。对于一个正交属性空间（各个属性之间是线性无关的）中的样本点，存在以下两个性质的超平面可对所有样本点进行恰当的表达：最近重构性

Nie同学·2024-02-04 01:09

朴素贝叶斯分类算法

参考：西瓜书，ysu老师课件【摘要】1.分类算法：分类算法的内容是根据给定特征，求出它所属类别。2.先验概率：就是根据以往的数据分析所得到的概率。后验概率：是得到信息之后重新加以修正得到的概率。

三三木木七·2024-02-03 13:03

互联网摸鱼日报(2024-02-02)

可控视频生成框架来了南大周志华团队8年力作！「学件」系统解决机器学习复用难题，「模型融合」涌现科研新范式纯文本模型训出「视觉」表

每日摸鱼大王·2024-02-03 06:29

西瓜书学习笔记——层次聚类（公式推导+举例应用）

文章目录算法介绍实验分析算法介绍层次聚类是一种将数据集划分为层次结构的聚类方法。它主要有两种策略：自底向上和自顶向下。其中AGNES算法是一种自底向上聚类算法，用于将数据集划分为层次结构的聚类。算法的基本思想是从每个数据点开始，逐步合并最相似的簇，直到形成一个包含所有数据点的大簇。这个过程被反复执行，构建出一个层次化的聚类结构。这其中的关键就是如何计算聚类簇之间的距离。但实际上，每个簇都是一个集合

Nie同学·2024-01-30 16:25

【大咖论道】周志华，唐杰教授等专家，站在 2022，展望大模型的未来

28日，阿里巴巴达摩院发布2022十大科技趋势。其中，“大模型参数竞赛进入冷静期，大小模型将在云边端协同进化”的断言，在AI圈备受关注。2021是大模型爆发之年，我们见证了大模型的惊艳，但也了解了目前大模型的一些局限，如显著的高能耗等问题。达摩院认为，超大规模预训练模型是从弱人工智能向通用人工智能的突破性探索，解决了传统深度学习的应用碎片化难题，但性能与能耗提升不成比例的效率问题限制了参数规模继续

深度学习技术前沿·2024-01-30 12:52

西瓜书学习笔记——密度聚类（公式推导+举例应用）

文章目录算法介绍实验分析算法介绍密度聚类是一种无监督学习的聚类方法，其目标是根据数据点的密度分布将它们分组成不同的簇。与传统的基于距离的聚类方法（如K均值）不同，密度聚类方法不需要预先指定簇的数量，而是通过发现数据点周围的密度高度来确定簇的形状和大小。我们基于DBSCAN算法来实现密度聚类。DBSCAN是基于一组邻域参数(ϵ,MinPts)(\epsilon,MinPts)(ϵ,MinPts)来刻

Nie同学·2024-01-30 07:33

【机器学习·西瓜书学习笔记·线性模型】线性回归——最小二乘法（least square method）

线性模型的基本形式给定由个属性描述的实例,其中是在第个属性上的取值，线性模型（linearmodel）试图学得一个通过属性的线性组合来进行预测的函数，即一般用向量形式写成：和确定后，模型就得以确定参数查阅表把数据集表示为一个m*（d+1）大小的矩阵，其中每行对应于一个实例，每行前d个元素对应于实例的d个属性值，最后一个元素恒置于1，即（一）均方误差（meansquarederror）基于欧几里得距

慈善区一姐·2024-01-29 12:34

如何系统学习机器学习？

人邮异步社区·2024-01-28 14:23

西瓜书学习笔记——原型聚类（公式推导+举例应用）

文章目录k均值算法算法介绍实验分析学习向量量化（LVQ）算法介绍实验分析高斯混合聚类算法介绍实验分析总结k均值算法算法介绍给定样本集D={x1,x2,...,xm}D=\{x_1,x_2,...,x_m\}D={x1,x2,...,xm}，k均值算法针对聚类算法所得簇划分C={C1,C2,...,Ck}\mathcal{C}=\{C_1,C_2,...,C_k\}C={C1,C2,...,Ck}最

Nie同学·2024-01-28 07:18

《机器学习》笔记-聚类（9）

对于自己，经历了一段时间的系统学习（参考《机器学习/深度学习入门资料汇总》），现在计划重新阅读《机器学习》[周志华]和《深度学习》[Goodfellowetal]这两本书，并在阅读的过程中进行记录和总结

EddyLiu2017·2024-01-27 14:04

大数据学习之路

因为这句话，我又一次的陷入迷茫，我不清楚自己是不是应该继续的Java，所以那段时间我干过爬虫，也撸了一阵子的西瓜书和统计学什么的。在知乎上所有相关的问题和答案我都看了，也

金光闪闪耶·2024-01-24 00:57

西瓜书学习笔记——Boosting（公式推导+举例应用）

文章目录引言AdaBoost算法AdaBoost算法正确性说明AdaBoost算法如何解决权重更新问题？AdaBoost算法如何解决调整下一轮基学习器样本分布问题？AdaBoost算法总结实验分析引言Boosting是一种集成学习方法，旨在通过整合多个弱学习器来构建一个强学习器。其核心思想是迭代训练模型，关注之前被错误分类的样本，逐步提升整体性能。Boosting的代表算法包括AdaBoost、G

Nie同学·2024-01-24 00:26

集成学习

看了些周志华的教授的《机器学习》，根据自己的理解写一些笔记，温故而知新都说3个臭皮匠顶个诸葛亮，在机器学习中也是这样。大部分情况下一个学习器的预测能力不如多个学习器的能力。

dayL_W·2024-01-23 22:39

浙江大学《机器学习》笔记——神经网络(Neural Network)【上】

写在前面·最近在学习《机器学习》.主要是看浙江大学胡浩基老师的网课，结合周志华老师的西瓜书来学.为了理清思路和推公式就敲了这样一个读书笔记.初次学习难免会有错漏，欢迎批评指正.这份笔记主要用途还是用来自己复习回顾

啵啵啵啵哲·2024-01-20 18:54

西瓜书读书笔记整理（十二） —— 第十二章计算学习理论

第十二章计算学习理论（上）12.1基础知识12.1.1什么是计算学习理论（computationallearningtheory）12.1.2什么是独立同分布（independentandidenticallydistributed,简称i.i.d.i.i.d.i.i.d.）以及独立同分布样本12.1.3泛化误差以及经验误差12.1.4相关数学定义表示12.1.5误差参数12.1.6映射与样本集是

smile-yan·2024-01-20 18:23

python自学（二）第二章正则表达式|字符串匹配、函数和面向对象程序设计

《机器学习》周志华（西瓜书）清华大学出版社；least14p/d;3.BiliBili《和美女老师一起学python》视频。（一）正则

BrilandLiu·2024-01-19 11:38

【机器学习】西瓜书要点个人整理

目录前置基础知识第三章线性模型机器学习三要素1.函数集合2.目标函数3.优化方法4.模型评估方法对数几率回归（逻辑回归）第四章决策树第五章SVM第六章贝叶斯分类器第八章集成学习第九章神经网络前情提要：本文适合在学习机器学习课程前，对课程的要点进行简单预习。本文中提到的一些概念，大多是老师课上会重点讲的、考试要考的。此外，在进行复习时也可以通过这些概念引入，从而去更深入理解一些模型原理。前置基础知识

_hermit:·2024-01-19 02:45

【机器学习】机器学习绪论

参考资料：《机器学习》周志华机器学习：通过数据学习一个函数，即x—>f（x，b）—>yx—>f（x，b）—>yx—>f（x，b）—>y。

Bigdataxy·2024-01-19 00:44

吃瓜教程Task1：概览西瓜书+南瓜书第1、2章

由于本人之前已经学习过西瓜书，本次学习主要是对以往知识的查漏补缺，因此本博客记录了在学习西瓜书中容易混淆的点以及学习过程中的难点。

卡拉比丘流形·2024-01-18 05:45

牛人（周志华）推荐的人工智能网站

AIURLs(maintainedbyZhi-HuaZhou)**北京大学视觉与听觉信息处理实验室北京邮电大学模式识别与智能系统学科复旦大学智能信息处理开放实验室IEEEComputerSociety北京映象站点计算机科学论坛机器人足球赛模式识别国家重点实验室南京航空航天大学模式识别与神经计算实验室-PARNEC南京大学机器学习与数据挖掘研究所-LAMDA南京大学人工智能实验室南京大学软件新技术国

城市中迷途小书童·2024-01-16 06:24

西瓜书读书笔记整理（十） —— 第十章降维与度量学习

10.1k近邻学习10.1.1什么是kNN学习kNN算法（k-NearestNeighbors）是一种常用的分类和回归算法。它的基本思想是根据最近邻的样本来预测未知样本的标签或值。10.1.2kNN算法步骤kNN算法的步骤如下：计算未知样本与训练集中所有样本的距离（通常使用欧氏距离或其他距离度量方法）。选取与未知样本距离最近的k个样本。对于分类问题，根据这k个样本的标签进行投票或权重计算，确定未知

smile-yan·2024-01-14 11:37

西瓜书第六章课后习题

6.1试证明样本空间中任意点x到超平面(w,b)的距离为式(6.2)。画了个图在纸上进行了证明，感觉这样自会通俗易懂些。6.2试使用LIBSVM，在西瓜数据集3.0α上分别用线性核和高斯核训练一个SVM，并比较其支持向量的差别。导入相应的包主体函数：设置参数，输出。数据特征可视化输出结果以及数据特征可视化最终结果如下图结果表明，使用线性核和高斯训练核的支持向量实际是一样的(两条线重合)，且数量相同

lammmya·2024-01-12 11:52

机器学习西瓜书笔记1

第一章机器学习之绪论目录第一章机器学习之绪论一、引言二、基本术语三、假设空间四、归纳偏好五、发展历程一、引言机器学习就是致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。Mitchell给出了更形式化的定义：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。二、基本术语收集一组西瓜数据，(色泽=青

糊了胡·2024-01-11 06:54

西瓜书读书笔记整理（九） —— 第九章聚类

第九章聚类9.1聚类算法概述9.1.1什么是聚类算法9.1.2聚类算法分类9.1.3聚类任务9.2性能度量（ClusterEvaluation）9.2.1外部指标（externalindex）9.2.2内部指数（internalindex）9.3距离度量（DistanceMeasures）9.3.1距离度量的性质9.3.2常见的几种距离的计算公式9.4原型聚类（prototype-basedclu

smile-yan·2024-01-11 06:56

*西瓜书**南瓜书机器学习周志华第一章学习小结

西瓜书*南瓜书*机器学习*周志华*第一章*学习小结第一章绪论1.1绪论通过一个关于瓜的故事引入了对于机器学习这门课的学习。

fyc300·2024-01-11 04:18

【机器学习】集成学习基础概念介绍

前言本文根据西瓜书总结了一些关键知识点，介绍了集成学习的原理、类型以及结合策略。

Avasla·2024-01-10 10:54

赠书 | 周志华老师的西瓜书--《机器学习》

作者：周志华著出版社：清华大学出版社ISBN：978-7-302-42328-7“本书的作者周志华教授在机器学习的许多领域都有出色的贡献，是中国机器学习研究的领军人物之一，在国际学术界有着很高的声誉。

茗创科技·2024-01-09 23:35

机器学习西瓜书 Day07 贝叶斯分类器（上）

p147-p156今天来看第七章。同时，今天心情不错：）2018.5.16凌晨0:51不行了不行了，这一章感觉比SVM还烧脑，困了困了：(所以这一章分两天看吧。明天补上今天少看的6页第七章贝叶斯分类器7.1贝叶斯决策论假设有N种可能的类别标记c1,c2..cN。λij：将cj分成ci所带来的损失。则：将x分为ci所带来的期望损失：R(ci|x)=∑j=1~Nλij·P（cj|x）解释：分为Ci带来

皇家马德里主教练齐达内·2024-01-09 14:38

机器学习算法优缺点综述

机器学习算法优缺点综述仅作学术分享，不代表本公众号立场，侵权联系删除转载于：七月在线AI博士笔记系列推荐周志华《机器学习》手推笔记正式开源！

yishuihan-Oliver·2024-01-07 13:15

西瓜书读书笔记整理（八） —— 第八章集成学习

第八章集成学习8.1个体与集体8.1.1个体与机器的概念8.1.2集成同种类型的个体学习器8.1.3集成不同类型的个体学习器8.1.4集成学习的分类（根据生成过程分类）8.2Boosting8.2.1算法概述8.2.2算法总体过程8.2.3AdaBoost算法8.3Bagging与随机森8.3.1Bagging8.3.2随机森林（RandomForest）8.3.3Bagging类算法与Boost

smile-yan·2024-01-06 18:25

数理统计与数据分析阅读笔记-1

读这本书的目的是为了更好地读周志华的西瓜书——这该死的递归现在在我们的生活里到处都是。

Canala·2024-01-06 18:48

西瓜书读书笔记--第一章绪论

1.1引言略1.2基本术语1.2.1数据集相关的基本概念假定我们收集了一批关于西瓜的数据，例如(色泽=青绿;根蒂=蜷缩;敲声=浊响)，(色泽=乌黑;根蒂=稍蜷;敲声=沉闷)，(色泽=浅自;根蒂=硬挺;敲声=清脆)，……，每对括号内是一条记录，"="，意思是"取值为".数据集(dataset)这组记录的集合称为一个"数据集"(dataset).示例(instance)或样本(sample)其中每条记

HeatonHsu·2024-01-06 05:28

第五周：深度学习知识点回顾

前言：讲真，复习这块我是比较头大的，之前的线代、高数、概率论、西瓜书、樱花书、NG的系列课程、李宏毅李沐等等等等…那可是花了三年学习佳实践下来的，现在一想脑子里就剩下几个名词就觉得废柴一个了，朋友们有没有同感

女王の专属领地·2024-01-05 19:01

决策树（人工智能期末复习）

参考书：机器学习（周志华）几个重要概念信息熵随机事件未按照某个属性的不同取值划分时的熵减去按照某个属性的不同取值划分时的平均熵。表示事物的混乱程度，熵越大表示混乱程度越大，越小表示混乱程度越小。

倒杯Whisky·2024-01-04 17:23

「摸鱼快报008」看不懂机器学习西瓜书? 没关系, 南瓜书来帮你!

摸鱼快报是一档我拍脑袋想出来的致力于轻量化地收集优质生物信息学及相关领域资料带给大家的小栏目,力求废话不多,干货为王.下面内容引用自官方github首页,帮助你快速了解推出南瓜书的目的:“周志华老师的《

卖萌哥·2024-01-04 07:51

西瓜书公式（10.31）的推导

西瓜书10.5.2节局部线性嵌入与Isomap试图保持近邻样本之间的距离不同，局部线性嵌入（LocallyLinearEmbedding,简称LLE）试图保持邻域内样本之间的线性关系。

chansonzhang·2023-12-31 07:59

机器学习系列06：决策树

决策树算法如何工作套用西瓜书上的一个图来说明决策树算法是如何工作的：我们挑选西瓜时，都会考虑西瓜脐部、色泽、根蒂以及敲一敲听声音等因素（特征），决策树就是对这些考虑因素进行逐个拆解，从而判断西瓜（样本）

加百力·2023-12-30 07:00

推荐频道