8.3从网上下载或自己编程实现AdaBoost，以不剪枝决策树为基学习器，在西瓜数据集3.0a上训练一个AdaBoost集成，并与图8.4进行比较。8.5试编程实现Bagging，以决策树桩为基学习器，在西瓜数据集3.0a上训练一个Bagging集成，并与图8.6进行比较。这两道题代码我没有直接编，而是调用的scikit-learn库的集成学习模块进行AdaBoost和Bagging集成，因而只能

目录scikit-learn及其安装scikit-learn安装集成学习一、利用sklearn库进行分析8.38.5二、8.5编程实现引用scikit-learn及其安装scikit-learnscikit-learn是一个python的机器学习工具，可以进行简单高效的数据挖掘和数据分析，基于NumPy，SciPy和matplotlib构建。功能简介应用举例分类（Classification）识别

（1）问题理解与分析编程实现AdaBoost模型，不剪枝决策树为基学习器，在西瓜数据集3.0a上训练一个AdaBoost集成，并与教材图8.4进行比较。（2）AdaBoost算法原理阐述集成学习是一种通过构建并结合多个学习器来完成学习任务的机器学习方法。同质集成中的个体学习器亦称“基学习器”。集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。根据个体学习器的生成方式，目前的

笔记部分内容来源于网络检索，如有侵权联系可删本次学习针对的对象：有高数、线代、概率论与数理统计基础的同学内容说明：周志华老师的“西瓜书”是机器学习经典入门教材，值得反复阅读，配合“南瓜书”从本科数学基础的视角进行讲解

第一章绪论机器学习：定义：通过计算，利用经验（以数据的形式存在），改善性能。主要内容：从数据中产生“模型”的算法（学习算法）目标：模型适用“新样本”（泛化能力）1997年，Mitchell给出了一个形式化的定义：假设用P来评估计算机程序在某任务类T上的性能若一个程序利用经验E在T中任务上获得了性能改善则我们就说关于T和P，该程序对E进行了学习根据训练数据是否有标记信息：监督学习分类：预测离散值回顾

这里写目录标题机器学习是干什么的机器学习的理论基础:PAC模型基本术语关于数据关于假设关于模型训练机器学习任务分类归纳偏好模型的评估和选择训练流程划分数据集的方法留出法交叉验证自助法性能度量机器学习是干什么的我们目前处于大数据时代，每天会产生数以亿计的数据。如何让数据产生价值，机器学习应运而生！机器学习致力于研究如何通过计算手段，能够利用经验来改善系统自身的性能。可以理解成：想办法让计算机自己分析

参考资料：【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集_哔哩哔哩_bilibili

强化学习主要参考西瓜书和一些网上视频加上个人理解，欢迎互动。强化学习的model如下图所示，机器在当前状态下做出动作a，然后环境反馈给机器下一个状态和一个奖励。

记录第一遍没看懂的记录觉得有用的其他章节：第一章第三章第五章第六章第七章第八章第九章第十章十一章十二章十三章十四章十五章十六章13.1未标记样本让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习。可分为纯半监督学习和直推学习，前者假定训练数据中的未标记样本并非待预测的数据，而后者则假定学习过程中所考虑的未标记样本恰是待预测数据，学习的目的就是在这些未标记样本上获得最优泛华性

记录第一遍没看懂的记录觉得有用的其他章节：第一章第三章第五章第六章第七章第八章第九章第十章十一章十二章十三章十四章十五章十六章第二章主要是一些基础的介绍，实际做一次项目以后，都很好理解；并且，个人感觉，在实际应用中，很多东西是需要现查的(超小声)第三章三个不同思路使用线性模型：3.2是让线性模型尽可能误差小的通过所有数据点3.3用非线性变化后的线性模型代表标签的后验概率3.4通过数据点映射到线性模

机器学习–《机器学习》（周志华）第四章笔记摘要本章为决策树(decisiontree)内容，决策树是一种较为常见的机器学习方法。决策树基于“树”型，是一种常见的自然判断，是一种“判定”的过程。

Task02详读西瓜书+南瓜书1基本形式假如说现在有一个正态分布，正态分布由mu和sigama决定，极大似然估计就是用来确定正态分布的这两个参数的3.2多元线性回归对线性回归方程进行化简将b=wd+1∗

朴素贝叶斯python代码实现(西瓜书)摘要：朴素贝叶斯也是机器学习中一种非常常见的分类方法，对于二分类问题，并且数据集特征为离散型属性的时候，使用起来非常的方便。原理简单，训练效率高，拟合效果好。

系列文章目录文章目录系列文章目录前言一、知识回顾二、课后习题思考1.3总结前言该系列文章主要用于记录笔者在大三下学期的西瓜书学习过程本文讨论西瓜书绪言中的学习体会以及对某些问题的思考一、知识回顾在经过预习

绪论1.1引言以计算的手段利用经验（数据）来改善系统自身性能。在计算机上面从数据中产生模型，我们提供经验数据，基于经验和数据产生模型，面对新的情况模型会给我们相应的判断。另一本经典教材的作者Mitchell给出了一个形式化的定义，假设：P：计算机程序在某任务类T上的性能。T：计算机程序希望实现的任务类。E：表示经验，即历史的数据集。若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程

线性模型的向量形式：线性回归（最小二乘法）对于一个数据集，样本由个属性描述，通过求解和，使得。采用最小二乘法可求得：当为满秩矩阵或正定矩阵时，令上式等于0，可求得：当不满秩时，可能出现多解，此时需要依靠算法的归纳偏好决定模型的取舍，常见做法为引入正则化项。更一般的广义线性模型（例如对数线性模型）：对数几率回归（通过Sigmoid函数将线性回归的输出值转换为0/1值）一个常用的Sigmoid函数为对

第一章学习任务大致可分为两类：有监督学习（分类、回归）和无监督学习（聚类）通常会假设样本空间的采样服从独立同分布原则归纳偏好：与数据集一致的假设可能有多种，好的算法有一定的偏好来在其中进行选择，而不是随机选择（如奥卡姆剃刀）NFL：所有的学习算法的性能期望值都相同第二章生成训练集与测试集的一般方法留出法：将数据集划为两个互斥的集合，一个为训练集，一个为测试集。划分时要尽可能保持数据分布的一致性，避

Datawhale吃瓜教程组队学习task01还没写完，会持续更新~~上个月看了周志华老师的机器学习视频课的前三章，但是后面中断了没看…(主要是懒)于是打算这个月继续来学习西瓜书和南瓜书Task01：概览西瓜书

不代表本公众号立场，侵权联系删除转载于：作者丨叶润源来源丨https://www.yuque.com/yerunyuan/ar9831/tsm0id#Kfi4w编辑丨极市平台985人工智能博士笔记推荐周志华

最近的一段时间一直在学习半监督学习算法，目前，国内的南京大学周志华老师是这方面的泰斗，写了很多这方面牛的文章，可以参考一下他的主页：http://cs.nju.edu.cn/zhouzh/。

课后习题3.3,编程实现对率回归，并给出西瓜数据集3.0a\aa上的结果由公式（3.23）、（3.29）、（3.30）、（3.31）进行公式带入，实现matlab的算法如下：clear;clctic%初始数据集x=[0.6970.4600.7740.3760.6340.2640.6080.3180.5560.2150.4030.2370.4810.1490.4370.2110.6660.0910.

1.评估方法为了对学习器的泛化误差进行评估，需要采用一个测试集（不在训练集里）来测试模型的能力。这时我们会将数据集D进行适当的处理，从D中获取训练集S和测试集T。不仅如此，有时在D中还需要有一个验证集（Validation）用于比较不同模型的结果。1.1留出法(Hold-Out)直接讲数据集分为两个互斥的集合。比如把数据集按照37分，7分作为训练集，3分作为测试集。一般会采用若干次随机划分，重复进

1.间接计算精度经常是直接计算正确率，间接计算精度：1-错误率一般模型错误的个数会少于正确的个数，计算错误率的效率会高于计算正确率训练过程中想观察模型的学习效果，而观察错误率的下降便是很好的办法之一2.模型的最终目的我们的目标永远不是去尽可能完美地拟合训练数据，而是去泛化到没见过的数据，在总体数据下追求完美所以，一定牢记，训练数据不是目的，测试数据才是目的训练数据本身会有干扰噪声，过好地拟合训练数

经验误差与过拟合训练集上产生的误差为经验误差，新样本上产生的为泛化误差，我们希望训练一个泛化误差小的模型，但事先并不知道新样本什么样，只能尽可能的使得经验误差比较小，过拟合就是经验误差小，但泛化误差大的现象，一般出现的原因是模型过于复杂，模型拟合能力太强，导致过多学习了训练样本自身的特点，而忽略了样本的普遍规律，而且过拟合是没法避免的，只能缓解。相应的欠拟合就是模型太简单，不能很好的拟合样本数据，

错误率——分类错误的样本数占样本总数的比例，即错误率E=a/m,如果在m个样本中有a个样本分类错误。精度——1-E=1-a/m,即精度=1-错误率误差(误差期望)——学习器的实际预测输出与样本的真实输出之间的差异。学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。过拟合——学习器已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化

机器学习–西瓜书思维导图自己学习后总结的思维导图，如有错漏勿怪。总览决策树集成学习目录西瓜书学习后总结的思维导图点此进入查看思维导图点此查看思维导图

第2章模型评估与选择1.数据集在机器学习过程中的分类（训练集、验证集、测试集）2.过拟合/欠拟合2.1经验误差与泛化误差2.2过拟合（定义、产生原因、解决办法）2.2.1过拟合的定义2.2.2过拟合的产生原因1.2.3过拟合的解决办法2.3欠拟合（定义、产生原因、解决办法）2.3.1欠拟合的定义2.3.2欠拟合的产生原因2.3.3欠拟合的解决方法3.评估方法（即训练集/测试集的划分方法）3.1留出

西瓜书第一章西瓜书第一章主要对基础术语进行了介绍，并举例解释相关含义，最后简要介绍了学科发展史以及各领域的顶级会议与期刊。

初看周志华老师的《机器学习》，搞清楚假设空间和版本空间的概念还是非常必要的。

前言：整理西瓜书第一、二章中的基本概念待办：第二章评估方法、性能度量及后续内容未整理下图梳理机器学习中部分概念模型评估与选择相关知识点：错误率（errorrate,E）：如果在m个样本中有a个样本分类错误

朴素贝叶斯模型（naivebayes）注：本博客为周志华老师《机器学习》的读书笔记，但同时也参考了李航老师的《统计学习》方法，以及其他资料（见参考文献），虽有自己的理解，但博客里的例子是基于《机器学习》

西瓜书第一、二章——绪论、模型评估与选择第一章绪论1.1、引言1.2、基本术语1.3、假设空间1.4、归纳偏好第二章模型评估与选择2.1、经验误差与过拟合2.2、评估方法2.2.1、留出法2.2.2、交叉验证法

一、绪论1.什么是机器学习（MachineLearning）？致力于研究如何通过计算的手段，利用数据（经验）来改善系统自身的性能。主要研究内容：是关于在计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learningalgorithm）——将经验数据提供给学习算法，学习算法就能基于数据产生模型；在面对新的情况时，模型会给我们提供相应的判断。（模型泛指数据中学到的结果。）2.基本术

【基本术语】模型/学习器：泛指从数据中学得的结果；其实就是通过观察获得的“经验”，当遇到新事物，有一定的判断依据。示例/样本：一个事物或对象的描述，例如“一个西瓜”，也就是一条数据属性/特征：反映事物或对象在某方面的表现或性质的事项，例如一个西瓜的“色泽”、“敲声”属性值：属性上的取值，例如“青绿”、“乌黑”属性空间/样本空间/输入空间：我们把属性作为坐标轴，可以构建一个多维空间，每个西瓜都可以找

系列文章目录本系列文章将总结《西瓜书》+《南瓜书》学习过程中的内容参考资料：1.《机器学习》周志华2.《机器学习公式详解》谢文睿秦州3.

附上西瓜书解读–南瓜书南瓜书Pumpkin-book写读书笔记之前说说自己的心理感受：关于机器学习其实在研一的时候由于好奇，和同学去旁听计算机专业选修课，当时那个老师上的就是机器学习，印象里偏神经网络多一些

我所阅读的书籍名字为《机器学习》，由周志华老师著作。个人感觉，这本书内容是从基础知识层面上覆盖机器学习的各个领域，文章内容阅读起来比较容易，配合《南瓜书》可以

【西瓜书+南瓜书】task01:第1、2章（2天）第一章绪论主要符号表下述这些符号在本书中将频繁的使用，务必牢记于心各个特殊符号所具有的的含义对上述部分定义做一下解释：向量有维度，其中的元素是有序的变量集是集合

先验概率：指的是事情还没有发生，求这件事情发生的可能性大小。利用现有材料进行计算，大多是历史材料；后验概率：指的是事情已经发生，求这件事情发生的原因是由某个因素的可能性的大小，使用贝叶斯公式计算；极大似然估计：其建立在极大似然原理上，一个随机试验可能会出现若干结果。如果A出现了，那么认为实验条件对A的出现有利，即出现概率P(A)较大。通过函数求导得到极值点，求得极大似然估计。频率派将参数看为常量，

书籍链接：http://tangshusen.me/Dive-into-DL-PyTorch/#/一、线性回归对于「线性模型」的内容，那我们就来看看「西瓜书」「统计学习方法」「ESL」「PRML」这几本书大概是怎么来讲解这部分内容的

p73-p97第四章决策树4.1基本流程一棵决策树包含一个根节点，若干个内部节点和若干个叶节点；叶节点对应决策结果，其他每个节点对应于一个属性测试决策树学习基本算法伪码p74图4.2在算法中，选择最优划分属性成为了关键。4.2划分选择我们希望决策树的分支节点所包含的样本尽可能属于同一类别。即：结点的纯度(purity)越来越高。4.2.1信息增益信息熵度量法：Ent(D):见p75Ent越小，D的

文章目录前言思维导图基于经验的判断机器学习的定义前言贵有恒，何必三更眠五更起最无益，只怕一日曝十日寒思维导图本节通过3个生活中的例子，给出了机器学习的定义。基于经验的判断傍晚微湿的路面、感到和风、天边有晚霞，可以推测出明天会是个好天气西瓜色泽青绿、根蒂蜷缩、敲声浊响，可以推测出是个正熟的好瓜学习上下足了功夫、弄清了概念、做好了作业，那么成绩一定差不了以上是几个生活中人们根据以往积累的经验来预判结果

模型评估与选择一、经验误差与过拟合错误率：分类错误的样本数占样本总数的比例。在m个样本中共有a个样本分类错误，则错误率E=a/m。精度：1-a/m误差：学习器实际预测输入与样本的真实输出之间的差异定义为误差。在训练集中的误差被称为训练误差，在新样本上的误差被称为泛化误差。过拟合：当学习器把训练样本学的“太好了”的时候，很可能会把训练样本的特性当作所有潜在样本所拥有的共性，从而模型的泛化性能下降，这

机器学习主要应用于四个方面：1、数据挖掘2、计算机视觉3、自然语言处理4、机器人决策数据挖掘案例：回归问题：1、血糖值的预测：一个数学函数，使其f(性别，年龄，总蛋白，，，淋巴细胞）=一个人的血糖分类问题：2、有无糖尿病：一个数学函数，使其f（，，，，）=一个人是否有糖尿病机器学习两大基本问题：回归问题，分类问题什么是机器学习？根据已知的数据，学习出一个数学函数f（x1,x2,x3,xn)=y使其

一、基本术语①示例/样本：对一个事件或对象的描述，也被称为一个特征向量。②属性：反映事件或者对象在某方面的表现或性质的事项。③属性值：属性的取值④属性空间/样本空间：属性张成的空间⑤数据集：样本的集合⑥维数：令D={x1,x2…xm}表示包含m个示例的数据集，每个示例由d个属性描述，则每个示例xi=（xi1,xi2,xi3…xid）是d维样本空间X上的一个向量。d称为样本空间的“维数”⑦训练/学习

机器学习小白学习笔记之scikit-learn最近刚把西瓜书啃完，一大堆理论让脑子真的是一团浆糊，说实话看的基本只有一个概念哈哈哈，效果不高，但是让我对与机器学习真的是整体有了一个大的了解，但是并没能将每个课后作业都完成

机器学习（西瓜书）-------周志华著所有图片公式均来自Datawhale。

第一章绪论主要是针对考试的复习，和一些重点内容的标注，对书本内容做了删减，加了自己的笔记和思考注：该系列参考的是机械工业出版社的模式分类和周志华老师的西瓜书。

数据集来源：周志华西瓜书数据集4.01.读取文件：importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltdata=pd.read_csv(

《西瓜书》个人笔记绪论1.1概念机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。机器学习的主要内容：关于在计算机上从数据中产生“模型”的算法，即学习算法。