机器学习学习笔记

机器学习学习笔记（吴恩达）（第三课第一周）（无监督算法，K-means、异常检测）

欢迎聚类算法：无监督学习：聚类、异常检测推荐算法：强化学习：聚类（Clustering）聚类算法：查看大量数据点并自动找到彼此相关或相似的数据点。是一种无监督学习算法聚类与二院监督学习算法对比：无监督：（聚类是无监督学习算法之一）聚类算法应用：如相似的新闻文章组合，市场细分，DNA数据分析，天文数据分析（星系、天体结构）K-means算法是一种常用的聚类算法原理概述【K-means工作原理过程】（

kgbkqLjm·2024-01-16 10:30

机器学习学习笔记（八）多项式回归与模型泛化

对非线性的数据进行处理，相应的预测----添加新的特征：原有的特征进行多项式组合scikit-learn中的多项式回归PolynomialFeatures构建特征导包：fromsklearn.preprocessingimportPolynomialFeatures实例：poly=PolynomialFeatures(degree=2)##最多二次幂特征poly.fit(X)X2=poly.tra

下雨天的小白鞋·2024-01-13 08:21

机器学习学习笔记——数学篇

数学中常见的argmin,argmax表示的是什么意思arg是英文单词argument(自变量)的缩写，所以从字面意义上也就可以看出其代表的意思就是求对应自变量的最大最小值。例如：(w∗,b∗w^*,b^*w∗,b∗)=argmin∑1m\sum_1^m∑1m(f(xi)−yif(x_i)-y_if(xi)−yi)求均方误差最小化时的w∗,b∗w^*,b^*w∗,b∗。argmax类似。

小胡爱喝水·2023-11-30 13:52

机器学习学习笔记（3）——量纲与无量纲，标准化、归一化、正则化

量纲、无量纲，标准化、归一化、正则化是我百度了很多次都不进脑子的知识，所以我决定还是放在博客上面。不过鉴于我查阅了很多资料，说是有许多的坑，所以我也不清楚我的理解和解释是否是坑，具体的就留给各位来帮忙评判了！目录1量纲与无量纲1.1量纲1.2无量纲2标准化3归一化4正则化5总结6参考1量纲与无量纲1.1量纲量纲我觉得最重要的一句话是：物理量的大小与单位有关。从这句话我们来思考下最核心的两个单词：大

野指针小李·2023-10-24 20:37

机器学习学习笔记 1 Bagging模型

Bagging模型Bagging全称（bootstrapaggregation）并行训练一堆分类器的集成方法。每个基模型可以分别、独立、互不影响地生成最典型的代表就是随机森林随机：数据采样随机，特征选择随机森林：很多决策树并行放在一起由于二重随机性，使得每个树基本上都不会一样，最终的结果也会不一样之所以随机选择，是要保证泛化能力，如果树都一样，那就失去参考价值随机森林（RF）的优势：它能够处理很高

锋锋的快乐小窝·2023-10-24 09:17

李宏毅机器学习学习笔记——自注意力机制

self-attention应用场景为什么要使用Self-attention?Self-attention计算过程PositionalEncodingSelf-attention的变体Multi-headSelf-attentionTruncatedSelf-attentionSelf-attention与其他神经网络的比较Self-attentionv.s.CNNSelf-attentionv.

jolando·2023-08-22 17:33

机器学习学习笔记——第一章：绪论

机器学习机器学习学习笔记——第一章：绪论文章目录机器学习机器学习学习笔记——第一章：绪论机器学习即为构建一个机器调参的映射函数。要进行机器学习，先要有数据。

福旺旺·2023-07-15 17:26

机器学习学习笔记——第二章：模型评估与选择

机器学习机器学习学习笔记——第二章：模型评估与选择文章目录机器学习一、经验误差与过拟合1.1、经验误差与泛化误差1.2、过拟合与欠拟合二、三个问题三、评估方法3.1、留出法（hold-out）3.2、k

福旺旺·2023-07-15 17:19

Python机器学习实践（一）多项式拟合（简单房价预测）

Python机器学习学习笔记与实践环境：win10+Anaconda3.8例子一源自《Python与机器学习实战》—何宇健任务：现有47个房子的面积和价格，需要建立一个模型对房价进行预测。

AiTingDeTong·2023-04-12 08:48

【机器学习学习笔记】机器学习入门&监督学习

1.机器学习入门1.1WhatisMachineLearning?"Fieldofstudythatgivescomputerstheabilitytolearnwithoutbeingexplicitlyprogrammed."——ArthurSamuel(1959)亚瑟·萨缪尔：跳棋程序编写者常用机器学习算法：Supervisedlearning(moreimportant)Unsupervi

MikeBennington·2023-04-11 12:12

【李宏毅机器学习】Gradient Descent_1 梯度下降（p5、p6、p7 ）学习笔记

李宏毅机器学习学习笔记汇总课程链接文章目录ReviewGradientDescentTipsTip1:Tuningyourlearningrate小心微调你的学习率Tip2StochasticGradientDescentSGD

duanyuchen·2023-04-08 13:46

python机器学习学习笔记（六）

支持向量机分类实例：用SVM分类器对Iris数据集分析并绘制分类图1.线性importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportsvm,datasetsiris=datasets.load_iris()x=iris.data[:,:2]#iris数据萼片的长和宽y=iris.targetsvc=svm.SVC(kernel='lin

weixin_46753186·2023-03-11 07:20

机器学习学习笔记（二）环境搭建

语言基础：Python3IDE:Pycharm集成环境：anacoda一.Anacoda下载地址：https://www.anaconda.com/download/下载页面下载-安装安装成功后打开AnacondaNavigator选择jupyterlaunch等会会出现二.Pycharm下载地址：https://www.jetbrains.com/pycharm/download/#sectio

下雨天的小白鞋·2023-03-09 10:46

机器学习学习笔记（一）基础

一.开发环境框架：scikit-learn工具：pycharm，ANACONDA二．开发基础2.1概念数据集下载：scikit-learn内置数据集或者直接下载的数据集：数据整体样本：每一行数据特征：除最后一列，每一列表达样本的一个特征标记：最后一列特征值、特征向量、特征空间2.2基本任务：分类任务、回归任务2.2.1分类任务二分类任务：例如：判断邮件是否为垃圾邮件多分类任务：图像识别，数字识别多

下雨天的小白鞋·2023-02-18 14:58

机器学习学习笔记2（Ng课程cs229）

牛顿方法简单的来说就是通过求当前点的导数得到下一个点.用到的性质是导数值等于该点切线和横轴夹角的正切值.极大似然估计收敛速度：quadraticconversions二次收敛θ为矩阵时每次迭代都需要重新计算H->nxn特征较多时计算量比较大极大似然估计可以推导：高斯分布=>最小二乘法伯努利分布=>logistic回归指数分布族exponentialfamilydistributionp(y;η)=

-慢慢-·2023-01-18 17:42

python机器学习学习笔记——学习资源汇总

参考资料Python集成开发环境(IDE)[1]IDLE:Python解释器默认工具[2]VisualStudioCode:https://code.visualstudio.com/[3]PyCharm:https://www.jetbrains.com/pycharm/[4]Anaconda:https://www.continuum.io/参考教程[1]《Python语言程序设计基础(第2版

那么CHEN·2023-01-14 07:54

机器学习学习笔记之——模型评估与改进之交叉验证和网格搜索

交叉验证与网格搜索前面讨论了监督学习和无监督学习的基本原理，并探索了多种机器学习算法，本章我们深入学习模型评估与参数选择。我们将重点介绍监督方法，包括回归与分类，因为在无监督学习中，模型评估与选择通常是一个非常定性的过程。到目前为止，为了评估我们的监督模型，我们使用train_test_split函数将数据集划分为训练集和测试集，在训练集上调用fit方法来构建模型，并且在测试集上用score方法来

前丨尘忆·梦·2023-01-13 07:59

python机器学习学习笔记（五）

非线性支持向量机分类1.三次多项式用多项式曲线把决策空间分成两部分kernel='poly'，degree为多项式次数importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportsvmx=np.array([[1,3],[1,2],[1,1.5],[1.5,2],[2,3],[2.5,1.5],[2,1],[3,1],[3,2],[3.5

weixin_46753186·2023-01-08 11:37

机器学习学习笔记week1

week11引言1.1机器学习是什么？1.2监督学习1.3无监督学习2单变量线性回归2.1模型表示2.2代价函数2.3代价函数的直观理解I2.4代价函数的直观理解II2.5梯度下降2.6梯度下降的直观理解2.7梯度下降的线性回归3线性代数回顾3.1矩阵和向量3.2加法和标量乘法3.3矩阵向量乘法3.4矩阵乘法3.5矩阵乘法的性质3.6逆、转置1引言1.1机器学习是什么？ArthurSamuel：在

yangqingao·2022-12-19 10:06

机器学习学习笔记（持续更新）

机器学习学习笔记一、导论1.1什么是机器学习？机器学习是在没有明确设置的情况下使计算机具有学习能力的研究领域。

Include everything·2022-12-17 23:13

机器学习学习笔记（1）

字典特征提取第一列表示北京第二列表示上海第三列表示深圳第四列表示温度前面三列是的话用1不是的话用0什么时候用稀疏矩阵：比如上面这种情况当你的城市很多的情况下那这样就会出现大量的0而系数矩阵只存储不是0的位置可以节省大量空间为什么采用这种表示方法呢？首先我们来看假如要分类：人是1企鹅是2章鱼是3那么这样数字表示的就存在优先级不如按这种办法来pclass是一等舱二等舱三等舱这种字典特征抽取的应用场景：

后季暖·2022-12-13 16:59

机器学习学习笔记——batchsize越大越好？

batchsize不是越大越好使用mini-batch好处：提高了运行效率，相比batch-GD的每个epoch只更新一次参数，使用mini-batch可以在一个epoch中多次更新参数，加速收敛。解决了某些任务中，训练集过大，无法一次性读入内存的问题。虽然第一点是mini-batch提出的最初始的原因，但是后来人们发现，使用mini-batch还有个好处，即每次更新时由于没有使用全量数据而仅仅使

phily123·2022-12-10 21:14

机器学习学习笔记（一）

目录机器学习笔记（一）一、模型评估二、监督学习三、无监督学习四、单变量线性回归(LinearRegressionwithOneVariable)3.1代价函数（平方误差函数）（损失函数）3.2梯度下降3.3梯度下降的线性回归五、多变量线性回归(LinearRegressionwithMultipleVariables)4.1多维特征4.2多变量梯度下降4.3梯度下降之特征缩放六、正规方程六、逻辑回

图南zzz·2022-12-10 19:28

机器学习学习笔记之——监督学习之线性模型

线性模型线性模型利用输入特征的线性函数（linearfunction）进行预测。1、用于回归的线性模型对于回归问题，线性模型预测的一般公式如下：y^=w[0]∗x[0]+w[1]∗x[1]+...+w[p]∗x[p]+b\hat{y}=w[0]*x[0]+w[1]*x[1]+...+w[p]*x[p]+by^=w[0]∗x[0]+w[1]∗x[1]+...+w[p]∗x[p]+b这里x[0]到x[

前丨尘忆·梦·2022-12-10 19:27

机器学习学习笔记（一）——多元线性回归（Multivariate Linear Regression）

多元线性回归（multivariatelinearregression）：在线性回归问题（Linearregression）中，引入多个特征变量（MultipleFeatures）作为输入，也被称为“多元线性回归（MultivariateLinearRegression）”.符号定义：假设函数（hypothesisfunction）：Themultivariableformofthehypothe

lancetop-stardrms·2022-12-10 13:41

吴恩达机器学习学习笔记——Week 2——多元线性回归（Multivariate Linear Regression）

一、课件及课堂练习1.多个特征值（多变量）课堂练习：2.多元梯度下降课堂练习：3.梯度下降实践1——特征值缩放（均值归一化）课堂练习：4.梯度下降实践2——学习率课堂练习：5.特征数量及多项式回归课堂练习：6.标准方程课堂练习：7.标准方程法可能遇到不可逆问题二、内容概要1.多个特征值2.多元梯度下降3.梯度下降实践1——特征值缩放4.梯度下降实践2——学习率5.特征数量及多项式回归6.标准方程7

预见未来to50·2022-12-10 13:07

机器学习学习笔记之：loss function损失函数及activation function激活函数

之所以把损失函数和激活函数放在一起做个总结，是因为本身这两都带函数，都是机器学习中的内容，很容易混在一起，第二点，这两者总是一起出现，根据任务的不同，可能出现不同的排列组合。因此想一起整理一下。不同的机器学习方法的损失函数DifferentLossfunctionsfordifferentmachinelearningMethods不同的机器学习方法，损失函数不一样，quadraticloss(平

csdshelton·2022-12-08 13:28

Python机器学习学习笔记之——引言

引言mglearn库的下载地址：链接：https://pan.baidu.com/s/1FkRGBFgtjqsZTikLEJbtzg提取码：4db0机器学习是从数据中提取知识。它是统计学、人工智能和计算机科学交叉的研究领域，也被称为预测分析或统计学习。1、为何选择机器学习在“智能”应用早期，许多系统使用人为制定的“if”和“else”决策规则来处理数据，或根据用户输入的内容进行调整。但人为制定决策

前丨尘忆·梦·2022-12-06 13:05

《机器学习》周志华(西瓜书)学习笔记第八章集成学习

机器学习学习笔记4总目录第八章集成学习8.1个体与集成集成学习(ensemblelearning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifiersystem

Sundm@lhq·2022-12-04 15:35

【李宏毅机器学习】Recurrent Neural Network Part1 循环神经网络（p20）学习笔记

李宏毅机器学习学习笔记汇总课程链接文章目录ExampleApplicationSlotFilling把词用向量来表示的方法1-of-Nencoding/one-hotBeyond1-of-Nencoding

duanyuchen·2022-12-02 21:42

【李宏毅机器学习】Recurrent Neural Network Part2 循环神经网络（p21）学习笔记

李宏毅机器学习学习笔记汇总课程链接文章目录LearningTargetLearningUnfortunately基于RNN的的网络不总是容易去学习Theerrorsurfaceisrough.Why？

duanyuchen·2022-12-02 21:42

吴恩达机器学习学习笔记 --- 神经网络

（1）逻辑单元（2）神经网络模型展示【主要加入偏置量】【注意下标】（3）前向传播【从前往后计算a值】（4）举例【AND】【OR】【NOT】【XNOR】【更深一层计算更加复杂的函数】（5）多元分类【一对多】（6）代价函数（7）反向传播【怎么求偏导项、确定参数】【计算误差】【计算偏导项】【理解反向传播】（8）梯度检测【theta是实数】【theta是向量】【当发现反向传播无误后，应理解关掉梯度检测】（

奔跑的星黛露·2022-12-01 13:40

李宏毅机器学习学习笔记：Self-attention

Self-attention输入无论是图像、音频、单词，embedding成向量vector的形式传统方式将这些向量组成的sequence输入一个model，得到一系列输出，每个向量对应一个输出点此时向量之间的关联，某个向量对另一个向量的影响并不能被体现出来，采用直接相加或cantenate的方法，体现了向量间的影响，但无法量化某个向量受不同向量影响的大小程度不同。采用Window的形式，无法决定

晚安八月·2022-12-01 02:07

机器学习学习笔记-持续学习（Continual Learning/ Life-long Learning）

任务：将旧任务学习的知识应用到新的任务上，同时在旧任务上的表现不会出现太大的损失。问题：（1）将旧任务的知识利用，从而更快适应新任务。（2）在学习新任务的同时在旧任务上的表现不会出现太大下降。两个任务的关系：（1）新旧任务目标一致，但数据分布不同。如：普通话的语音识别和方言的语音识别，建模单元是一样的，输入的特征空间分布会不同。（2）新旧任务目标不一致，但相似。如：普通话的语音识别和英语语音识别，

v-space·2022-11-30 08:21

吴恩达机器学习学习笔记第八章：正则化

1.过拟合问题如图所示是线性回归的三种情况：图一是欠拟合数据点没有全部被（另一种说法这个算法有高偏差）图二的二次函数来拟合效果很不错图三用了4次多项式有5个参数但是曲线歪歪扭扭的显得非常的奇葩我们称为过度拟合以前学术的说法叫这个算法具有高方差我们拟合这样一个高阶的假设函数他几乎能拟合训练集中所有数据但是变量太多我们没有足够的数据去约束它来获得一个好的假设函数到后面新来的数据的预测过程中可能会导致预

Rei12345678·2022-11-30 07:57

机器学习学习笔记（十四）—— 推荐系统(recommender systems)/协同过滤算法(callaborative filtering)

lancetop-stardrms·2022-11-29 09:39

Graphviz安装及使用：决策树可视化

Python大数据分析与机器学习学习笔记Graphviz：微信公众号（数学建模与人工智能）github地址：https://github.com/QInzhengk/Math-Model-and-Machine-Learning1

qq742234984·2022-11-28 12:29

天池龙珠训练营-机器学习学习笔记-01逻辑回归

天池龙珠训练营-机器学习学习笔记-01逻辑回归本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容，学习链接为：训练营网址一逻辑回归原理简介：Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法

qinqinwawa·2022-11-28 09:36

数据分析与机器学习学习笔记--聚类算法

1.引言聚类算法分属与机器学习中的无监督学习类型，由于无监督学习大多是根据距离进行分类所以其准确性远不及有监督学习，但是聚类算法用于数据预处理还是有很大作用的。例如我们拿到一个数据集后通过聚类算法生成3个类别，在此基础上将第一次分类产生的标签用于接下来进一步的有监督学习（典型的Stacking模型思想），使用这个思路得到的模型效果往往要好一些。此外，他还能进行数据摘要、数据降维与数据压缩。总之一句

蜡笔小新丶不小心·2022-11-27 08:24

[机器学习学习笔记]单变量的梯度下降

https://www.bilibili.com/video/BV164411b7dx?p=18视频课来自b站吴恩达机器学习，第二章单变量的梯度下降代码尝试。假设函数设为：原始数据（自己编的）：x=[1,2,3,4];y=[1,2,3,4];matlab代码如下：function[theta_1,theta_2]=homework_1(x,y)alpha=0.1;plot(x,y,'b+')hol

Pinospot·2022-11-26 22:29

机器学习学习笔记之——监督学习之 k-NN 算法

监督学习mglearn库的下载地址：链接：https://pan.baidu.com/s/1FkRGBFgtjqsZTikLEJbtzg提取码：4db0监督学习是最常用也是最成功的机器学习类型之一。如果想要根据给定输入预测某个结果，并且还有输入/输出对的示例时，都应该使用监督学习。这些输入/输出对构成了机器学习模型。我们的目标是对从未见过的新数据做出准确预测。监督学习通常需要人为来构建训练集，但之

前丨尘忆·梦·2022-11-26 17:16

机器学习学习笔记（三）之分类器

分类器：输入数据，识别是什么类，可以拓展为更广泛的用途。将特征数据化，作为判断的依据。和regression有相似的地方，但也有很大区别，把最好不把classification当作regression做对于有多个分组的如class1，2，3，直接用1，2.，3代表分组会产生不存在的其他关系，如3和2比3和1要接近，这不是我们想要看到的结果，可以用矩阵向量来表示，后文。分类器的模型：因为loss函数

甘霖那·2022-11-26 13:45

2020李宏毅机器学习学习笔记--1.概论与Regression回归

第一节课课程介绍概论（P1）一.机器学习的本质就是自动寻找函式比如：------输入语音信号，输出文字信号------输入图片，输出内容------输入一个问题，输出一个答案二.机器学习包含以下-1.—Regression（回归）：Theoutputofthefunctionisascalar，函数的输出是一个数值2.—Classification*（分类）1）.BinaryClassificat

HSR CatcousCherishes·2022-11-26 10:47

机器学习笔记-训练推理基础流程

本系列为本人入门机器学习学习笔记及思考，有错误之处欢迎各位大佬指出训练设置上下文(平台等信息)设置卡通信加载数据集(训练集，验证集)(finetune:加载预训练模型)加载网络加载损失函数加载优化器(根据

doubleHLearnBLOG·2022-11-23 08:59

机器学习学习笔记之——数据表示与特征工程

数据表示与特征工程到目前为止，我们一直假设数据是由浮点数组成的二维数组，其中每一列是描述点的连续特征（continuousfeature）。对于许多应用而言，数据的收集方式并不是这样的。一种特别常见的特征类型就是分类特征（categoricalfeature），也叫离散特征（discretefeature）。这种特征通常并不是数值。分类特征与连续特征之间的区别类似于分类和回归之间的区别，只是前者在

前丨尘忆·梦·2022-11-22 19:18

机器学习学习笔记（六）之朴素贝叶斯算法

一、贝叶斯公式（不赘述）二、何为朴素？假设：特征与特征之间相互独立三、应用场景文本分类，单词作为特征四、拉普拉斯平滑系数五、APIsklearn.naive_bayes.MultinomialNB(alpha=1.0)朴素贝叶斯分类alpha：拉普拉斯平滑系数六、案例获取数据划分数据集特征工程—文本特征抽取朴素贝叶斯预估器流程模型评估fromsklearn.datasetsimportfetch_

worden丶·2022-11-22 07:49

【李宏毅机器学习】Logistic Regression 逻辑回归（p11）学习笔记

李宏毅机器学习学习笔记汇总课程链接文章目录LogisticRegressionStep1:FunctionSetStep2:GoodnessofaFunctionStep3:Findthebestfunction

duanyuchen·2022-11-20 22:12

机器学习学习笔记-多项式中的过拟合，泛化能力等

引用于机器学习中模型泛化能力和过拟合现象(overfitting)的矛盾、以及其主要缓解方法正则化技术原理初探-郑瀚Andrew.Hann-博客园(cnblogs.com)说在前面的一点东西经验风险最小化最优模型结构风险最小化structureriskminimization，为防止过拟合提出的策略，等价于正则化（regularization），加入正则化项regularizer，或罚项penal

Jc随便学学·2022-11-20 17:09

机器学习学习笔记(二)---PR曲线

学习笔记PR曲线一、P和R代表什么TPFPTNFN基本概念P与R的定义评估PR曲线二、绘制PR曲线代码参考文献一、P和R代表什么在信息检索中，我们经常会关心“检索出的信息中有多少比例是用户感兴趣的”“用户感兴趣的信息中有多少被检索出来了”。“查准率”(precision)与“查全率”(recall)是更为适用于此类需求的性能度量。查准率P亦称“准确率”查全率R亦称“召回率”TPFPTNFN基本概念

菜刀l四庭柱·2022-11-20 09:48

【机器学习学习笔记】第四章-描述决策树及预剪枝、后剪枝

描述决策树，对应《机器学习》周志华，第四章数据结构中树的概念树（Tree）是n个结点的有限集。任意一棵非空树中(1)有且仅有一个特定的结点被称作根结点(2)n>1，其余结点可分为m个互不相交的有限集T1,T2,……Tn，每个集合本身又是一棵树.决策树一般的，决策树包含一个根节点，若干个内部节点和若干个叶子节点，叶节点对应着一个决策树所描述的样本的一个决策结果，其他的每个节点对应了一个属性测试。决策

SeigroWanfmos·2022-11-20 09:04

推荐频道