记录第一遍没看懂的记录觉得有用的其他章节：第一章第三章第五章第六章第七章第八章第九章第十章十一章十二章十三章十四章十五章十六章从形式语言表达能力而言，规则可分为两类：“命题规则”和"一阶规则"。前者是由"原子命题"和逻辑连接词“与”(∧\land∧)、“或”(∨\lor∨)、“非”(¬\lnot¬)和“蕴含”(←\gets←))构成的简单陈述句；后者的基本成分是能描述事物的属性或关系的"原子公式"

3.1REP3.2IREP4.一阶规则学习4.1FOIL5.归纳逻辑程序设计5.1最小一般泛化5.2逆归结参考资料Machine-learning-learning-notesLeeML-NotesML-NLP本博客根据周志华的西瓜书和参考资料

关于周志华老师的《机器学习》这本书的学习笔记记录学习过程本博客记录Chapter15文章目录1基本概念2序贯覆盖3剪枝优化1基本概念一条规则形如：⊕←f1∧f2∧⋯∧fL\oplus\leftarrow

前言中的前言那么我们今天开始更机器学习、深度学习和强化学习，请注意强化学习需要ML与DL的一部分基础，不要直接跳到RL去学习，效率很低，参考资料很多，我先列一些我会用到的机器学习、深度学习的参考资料吧：1.西瓜书——周志华

第一行左起梅宏、王怀民、唐卫清、景亚萍、毛胤强第二行左起金海、周志华、李轩涯、刘云浩、张晓辉第三行左起

1.1、在下面这张图片中若只包含编号为1和4的两个样例，试给出相应的版本空间。分析：什么叫版本空间？现实问题中我们常面临很大的假设空间,但学习过程是基于有限样本训练集进行的,因此,可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间”(versionspace).例如，在西瓜问题中,与表1.1训练集所对应的版本空间如图1.2所示.注意的是表1.1的训练数据集对应

本文整理了著名人工智能学者周志华教授《做研究与写论文》的PPT(时间比较早，但方法永远不会过时)。其详细介绍了关于

归纳偏好若非必要，勿增实体若多个算法都能解决同一个问题，则选取最简单的算法当前什么样的偏好与问题更匹配，必须对问题有一个清楚的认识

Time:2021-12-05学习目标：我需要了解神经网络除了工程化部分之外的更多内容，以便于在实际有效数据中可以获得抽象模型的能力；目录清华-周志华2016年出版的，从时间上看，算是比较古老的一本书；

AI博士笔记系列推荐周志华《机器学习》手推笔记正式开源！可打印版本附pdf下载链接本文为联盟学习笔记参与：王博kings，Sophia前言计算机视觉是将图像和视频转换成机器可理解的信号的主题。

从吴恩达老师的深度学习工程师课程入手，配合周志华老师的《机器学习》“西瓜书”，打好基本功，再战TensorFlow！放一张吴恩达老师的照片，开开光，认真学完微专业！（吴恩达老师英语太好听了！

有些数据集是包含非常多的属性的，这使得后续数据处理和计算非常困难。因此需要对数据进行降维，需要找到一种合理的方法，在减少需要分析的属性同时，尽量减少信息的损失。由于各变量之间存在一定的相关关系，因此可以考虑将关系紧密的变量变成尽可能少的新变量，使这些新变量是两两不相关的，那么就可以用较少的综合指标分别代表存在于各个变量中的各类信息。根据对降维后数据的要求不同，有如下几种常用的数据降维方法：1、MD

在一幅图解释机器学习中，我们假设要进行分辨西瓜好坏的任务。如何从众多的评判方法中，选出更好的方法呢（也就是从假设空间到版本空间）这个过程需要解决三个问题：1、如何判断哪个方法更好？——越好的方法，其判断结果应该越符合真实世界（设置合理的性能度量指标，衡量判断结果和真实世界的差距）2、在什么数据集上测试方法的好坏？——测试集应该能够代表真实世界，且不会影响到模型训练（合理分割测试集和训练集）3、毕竟

文章目录参考资料1.概念2.核心算法思想3.正则项：树的复杂度4.树的生长4.1停止树的循环生成5.XGBoost与GBDT有什么不同6.为什么XGBoost要用泰勒展开，优势在哪里？参考资料ML-NLPXGBoost本博客根据参考资料所做的笔记，主要用于学习，非技术类博客，因此存在大量复制粘贴，请见谅。XGBoost代码实现示例见于github仓库1.概念XGBoost是陈天奇等人开发的一个开源

1.错误率、精度、误差把分类错误的样本数占样本总数的比例称为"错误率""精度=1一错误率"学习器的实际预测输出与样本的真实输出之间的差异称为"误差"(error),学习器在训练集上的误差称为"训练误差"(trainingerror)或"经验误差"(empiricalerror)，在新样本上的误差称为"泛化误差"(generalizationerror)2.过拟合、欠拟合当学习器把训练样本学得"太好

1、模型评估方法：留出发：数据集分割为两部分，data=测试集+训练集；2/3~4/5作为训练集，其余测试集交叉验证：数据集分割为k组，k-1组为训练集，剩余1组为测试集。共k中情况，对k种情况的训练结果求平均作为最终结果。为了避免分割的影响，对上述过程进行p次，求p次总均值。称为p次k折交叉验证。自助法：m个原始数据集D，进行又放回抽样，每次抽1个，抽取m次，得到一个新样本D1。原始数据D中始终

对于没有接触过机器学习的我来说，这本书的厚度和知识的深度让我一开始十分畏惧。打开西瓜书，看着第一章绪论中基本术语的部分，我陷入了沉思，这着实让我混乱，心想这是什么跟什么，我还是跟着视频学吧。于是，我打开看了B站，在搜索框输入了“机器学习”这四个字，接下来映入眼帘的就是琳琅满目的学习视频，随便点开一个，是一个同样自学的UP主，每天以思维导图的形式分享自己的学习成果，并加上解说，我的敬佩感油然而生。同

机器学习现在是一大热门，研究的人特多，越来越多的新人涌进来。不少人其实并没有真正想过，这是不是自己喜欢搞的东西，只不过看见别人都在搞，觉着跟大伙儿走总不会吃亏吧。问题是，真有个“大伙儿”吗？就不会是“两伙儿”、“三伙儿”？如果有“几伙儿”，那到底该跟着“哪伙儿”走呢？很多人可能没有意识到，所谓的machinelearningcommunity，现在至少包含了两个有着完全不同的文化、完全不同的价值观

Chapter1绪论https://blog.csdn.net/JachinMa/article/details/88728842

前言今天很累，坚持学完今天的内容，加油测试数据和训练数据是要分开的（这是机器学习的基本常识）模型揭示了关于某种结果的规律，但是这个规律不一定完全正确学习器是在给定数据和假设后所得到的一个结果（这个说法比较粗糙）假定所有数据都来自一个潜在的分布独立同分布：所有样本都是独立的从同一个分布采样的若不满足独立同分布的假设，则用概率论的知识去研究机器学习的内容的正确性就会有问题。如何突破独立同分布的假设，是

机器学习的经典定义机器学习:利用经验改善系统的自身性能随着机器学习领域的发展，目前主要研究只能数据分析的理论和方法，并已成为只能数据分析技术的源泉之一典型的机器学习过程机器学习就是研究学习算法的原理，应用。计算学习理论其中f(x)是模型，x是数据，y是真实值，PAC模型就是希望得到准确模型的概率接近1机器学习所求解的问题往往是高度复杂性，高度不确定性的特征（所以机器学习往往与概率有关，这句是个人理

喜欢的朋友可以关注后续其他文章______《机器学习主要类型》系列文章往期回顾：机器学习主要类型（一）：监督学习机器学习主要类型（二）：无监督学习机器学习主要类型（三）：半监督学习机器学习主要类型（四）：强化学习参考书目：周志华

周志华老师的西瓜书的第2章：模型评估与选择摘要：数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。

章模型评估与选择第3章线性模型第4章决策树第5章神经网络第6章神经网络第7章贝叶斯分类第8章集成学习前言随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文是《机器学习》(周志华

《机器学习》周志华2.https://yq.aliyun.com/articles/2260163.http://blog.csdn.net/heyongluoyao8/article/details/

（本文的图片取自周志华老师的西瓜书）一、有监督篇：1逻辑回归(LogisticRegression)：将线性回归的结果通过sigmoid函数映射到了(0,1)区间，可以当做是正

算法原理：首先来声明一下，虽然我们算法的名字就叫做逻辑回归，但是逻辑回归却是一个二分类算法(周志华老师称之为线性几率回归或者对数几率回归),一般只能用来预测含有两种标签（或者类别）的数据，比如0和1，男和女等等

关于周志华老师的《机器学习》这本书的学习笔记记录学习过程本博客记录Chapter10文章目录1kkk邻近学习2低维嵌入3主成分分析4核化线性降维5流形学习5.1等度量映射5.2局部线性嵌入6度量学习1kkk

目录机器学习（周志华）第一章绪论第二章模型评估和选择机器学习（周志华）第一章绪论1.1什么是机器学习使用以往的数据(经验)，去训练某种模型，然后利用此模型预测未来。

一.要点注：书P40倒数第二自然段最后两行内容和P41中2.4.3前面的两行相矛盾。式2.32应该是服从自由度为4的t分布二.课后题训练集数目为700，其中正例350，反例350.那么有(C350500)2余下的不用管10折交叉验证：分层抽样。所以每折有5+，5-个样例。留下来做测试的也是5+，5-的样例。所以随机。错误率50%留一法：不管怎么分，因为测试集占了一个样例。同类样例在训练集中必然比另

1、经验误差与过拟合分类错误数占样本总数的比例称为“错误率”，精度=1-错误率。学习器的实际预测输出与样本的真实输出之间的差异称为“误差”，学习器在训练集上的误差称为训练误差/经验误差，在新样本上的误差称为“泛化误差”。希望得到泛化误差小的学习器，因此应该从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”，由于学习能力过于强大导致过拟合，由于学习能力低下造成欠拟合。各类学习算法都必然带有一些针

以下为周志华老师《机器学习》（西瓜书）各章节知识点总结而成的大型思维导图。该思维导图侧重概念了解，未涉及模型数学原理。如有深入学习需求，请详读相关书籍。转载请注明出处。

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

先来一段决策树相关的小故事：文献：周志华.机器学习[M].北京：清华大学出版社，2016:-最初的决策树算法是心理学家兼计算机科学家E.B.Hunt1962年在研究人类的概念学习过程时提出的CLS（ConceptLearningSystem

K-means聚类python实现的一个案例K-means介绍待处理数据K-means聚类python实现代码结果K-means介绍参考：周志华.机器学习[M].北京:清华大学出版社,2021:197-

概要逻辑回归（logisticregression）在机器学习中是非常经典的分类方法，周志华教授的《机器

错误率(errorrate):分类错误的样本数占样本总数的比例精度(accuracy):1-错误率误差(error):学习器的实际预测输出与样本的真实输出之间的差异训练误差(trainingerror)or经验误差(expiricalerror):学习器在训练集上的误差泛化误差(generalization):在新样本上的误差过拟合(overfitting):可能把训练样本自身的一些特点当作了所有

笔记部分内容来源于网络检索，如有侵权联系可删本次学习针对的对象：有高数、线代、概率论与数理统计基础的同学内容说明：周志华老师的“西瓜书”是机器学习经典入门教材，值得反复阅读，配合“南瓜书”从本科数学基础的视角进行讲解

参考资料：1、周志华《机器学习》2、B站up主‘二次元的Datawhale’《【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集》

2017Abriefintroductiontoweaklysupervisedlearning南大周志华Nationalsciencereview(IF17.3),2017(Citations815)

周志华ABriefIntroductiontoWeaklySupervisedLearning2018引言在机器学习领域，学习任务可以划分为监督学习、非监督学习。

发现从周志华的《机器学习》入手理论更适合，写个博客分享一下。《机器学习实战》和《统计学原理》可以同时看，会发现有些单看一本书不能理解的地方

今天以周志华老师的西瓜为例，复盘一下三种决策树算法。

机器学习十大算法之Matlab-7随机森林10集成学习随机森林+BoostingMatlab代码随机森林例子1-用随机森林算法对周志华《机器学习》中的西瓜数据集3.0进行分类例子2-用随机森林算法对鸢尾属植物数据集

目录线性模型基本形式线性回归对数几率回归线性判别分析多分类学习类别不平衡问题ps.写在前面，本文是在参加datawhale组队学习，学习周志华老师的《机器学习》过程的学习笔记。

《机器学习》学习笔记（第3章线性模型）参考资料：周志华《机器学习》以及Datawhale吃瓜教程机器学习三要素首先回顾一下直播课中概括的机器学习三要素：模型：根据具体问题，确定假设空间策略：根据评价标准

自2013年起间歇性读过以下专业读本，大部分内容已读过一遍，少量读过2-3遍，略以记录.1.统计学习方法（第一版、第二版李航著）2.机器学习（周志华）3.PRML（Pattern-Recognition-and-Machine-Learning

前言本文参考了《机器学习》周志华著中的3.2节中的线性回归内容和《统计学习方法》李航著的6.1节中的逻辑回归内容，并结合逻辑回归两个实验进行总结。线性模型什么是线性模型呢？

2.2最大化目标三、拉格朗日乘子法求解3.1拉格朗日乘子法3.2求解的值四、拓展定义4.1广义特征值4.2广义瑞利熵总结前言本文主要记录了有关机器学习问题线性模型中的二分类线性判别分析的内容，思路均来源于周志华老师

第五章课后习题答案文章目录第五章课后习题答案一、试述将线性函数f(x)=wTx用作神经元激活函数的缺陷？二、试述使用图5.2(b)激活函数的神经元与对率回归的联系三、对于图5.7中的Vih,试推导出BP算法中的更新公式(5.13).四、试述式(5.6)中学习率的取值对神经网络训练的影响.五、试编程实现标准BP算法和累积BP算法,在西瓜数据集3.0上分别用这两个算法训练一一个单隐层网络,并进行比较.