----机器学习笔记第8页

机器学习笔记 - EANet 外部注意论文简读及代码实现

一、论文简述论文作者提出了一种新的轻量级注意力机制，称之为外部注意力。如图所示，计算自注意力需要首先通过计算自查询向量和自关键字向量之间的仿射关系来计算注意力图，然后通过用该注意力图加权自值向量来生成新的特征图。外部关注的作用不同。我们首先通过计算自查询向量和外部可学习密钥存储器之间的亲和力来计算注意力图，然后通过将该注意力图乘以另一个外部可学习值存储器来生成细化的特征图。在实践中，这两个存储器是

坐望云起·2023-06-19 14:01

机器学习笔记07---朴素贝叶斯分类器

一、贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。贝叶斯公式：其中，P(c)是类"先验"概率；P(x|c)是样本x相对于类标记c的类条件概率，或称为"似然"(likelihood)；P(x)是用于归一化的“证据”因子。对给定样本x，证据因子P(x)与类标记无关，因此估计P(c

一件迷途小书童·2023-06-18 19:50

机器学习笔记 - 基于Scikit-Learn的各种分类器进行分类并比较

一、概述scikit-learn是基于python语言构建机器学习应用程序的最佳库之一。简单易用，并且它有很多示例和教程。除了监督式机器学习（分类和回归）外，它还可用于聚类、降维、特征提取和工程以及数据预处理。该接口在所有这些方法上都是一致的，因此它不仅易于使用，而且也很容易构建一个大型分类器/回归模型集合并使用相同的命令训练它们。我们这里基于scikit-learn构建，训练，评估和验证分类器，

坐望云起·2023-06-18 16:09

机器学习笔记-Task03-极大似然估计&EM算法

文章目录1.简介1.1何为EM算法?1.2似然函数、极大似然估计1.2.1问题描述-调查学生身高分布1.2.2参数估计1.2.3总结1.2.4求极大似然函数估计的一般步骤2.EM算法2.1问题描述2.2问题求解2.3总结2.3.1相关概念2.3.2与K-Means算法对比3.EM算法推导3.1相关基础3.1.1期望3.1.2凸函数3.1.3Jensen不等式3.2公式推导3.3EM算法流程3.4E

修行僧yicen·2023-06-18 09:56

机器学习笔记——11 混合高斯模型(Mixtures of Gaussian)：利用EM算法估计参数

机器学习笔记——11混合高斯模型(MixturesofGaussian)：利用EM算法估计参数本文主要介绍混合高斯模型，它涉及到对个分布来源，因此参数的估计将是一个难题。

_Volcano·2023-06-18 09:51

机器学习笔记 - 基于深度学习的多种目标跟踪检测框架简述

一、目标跟踪对象跟踪是执行一组初始对象检测的任务，为每个初始检测创建唯一的ID，然后在每个对象在视频中的帧中移动时跟踪它们，从而维护ID分配。最先进的方法涉及融合来自RGB和基于事件的相机的数据，以产生更可靠的对象跟踪。仅使用RGB图像作为输入的基于CNN的模型也很有效。最受欢迎的基准测试是OTB。有几个特定于对象跟踪的评估指标，包括HOTA、MOTA、IDF1和Track-mAP。1、什么是OT

坐望云起·2023-06-18 05:06

机器学习笔记 - 多实例学习（MIL）弱监督学习

一、多实例学习概述多实例学习（MIL）是一种弱监督学习形式，其中训练实例被排列在称为袋的集合中，并为整个袋提供标签。这种方式越来越受到人们的关注，因为它自然适合各种问题，并允许利用弱标记数据。因此，它被应用于计算机视觉和文档分类等不同的应用领域。多实例学习（MIL）处理以集合形式排列的训练数据，称为bag。不提供袋子中所含实例的单独标签。这种问题表述引起了研究界的广泛关注，尤其是近年来，解决大型问

坐望云起·2023-06-17 08:39

机器学习笔记 - 一种估算模型训练所需的样本量的方法

一、简述高质量和足够多的数据是开发任何机器学习模型的基础。在缺乏对特定系统建模所需的最佳数据量的事先估计的情况下，数据收集最终要么产生太少而无法进行有效培训，要么产生太多导致资源的浪费。我经常被问到这个场景需要多少图像，通常我都会根据场景的复杂程度给出一个估计的范围，但是需要多少数据这个问题很难直接回答出一个数量出来，因为需要的数据量既取决于问题的复杂性，也取决于所选算法的复杂性。但在许多实际场景

坐望云起·2023-06-16 16:29

【机器学习笔记】——TensorFlow的安装（cuda10.0+cuDNN7.4)

我是win7，显卡GTX1050Ti，选的cuda10.0，cuDNN7.4tensorflow分为CPU版本和GPU版本，CPU版本运行较慢。1安装anaconda3（python3.6）2安装tensorflow2.1CPU版本安装不依赖于其他，直接在cmd中condainstalltensflow2.2GPU版本安装1）是否支持GPU版本在控制面板-设备管理-显示配置器中查看是否有支持GPU

阿脸阿脸·2023-06-16 15:51

机器学习笔记之K近邻学习算法

机器学习笔记之K近邻学习算法引言回顾：投票法回顾：明可夫斯基距离K\mathcalKK近邻算法算法描述K\mathcalKK值的选择小插曲：懒惰学习与急切学习KD\text{KD}KD树描述及示例K\mathcalKK

静静的喝酒·2023-06-14 15:57

【机器学习笔记（六）】之集成算法的简介(Bagging, Boosting, Stacking)

本文章由公号【开发小鸽】发布！欢迎关注！！！老规矩–妹妹镇楼：集成算法(Ensemblelearning)一.目的：用多个算法进行集成，让机器学习效果比单个算法的效果更好。二.类别：(1).Bagging:训练多个分类器取平均f(x)=1/M∑m=1Mfm(x)f(x)=1/M\sum_{m=1}^{M}f_{m}(x)f(x)=1/Mm=1∑Mfm(x)(2).Boosting：从弱学习器开始加

开发小鸽·2023-06-13 03:06

吴恩达机器学习笔记（一）

概念机器学习是研究计算机模仿人类学习的过程，利用新的数据改善自身的性能，是人工智能的核心。机器学习、人工智能、深度学习之间的关系：AI、ML、DL的包含关系人工智能=机器人；机器学习是实现人工智能的一种方法；深度学习是实现机器学习的一种技术。概念包含关系上：人工智能>机器学习>深度学习。视频课简记:1、引言1.1欢迎1、机器学习很常见，如谷歌搜索（搜出的网站排序算法）、邮箱的垃圾站（无监督）。2、

yh_y·2023-06-12 00:10

机器学习笔记 - 通过视觉注意识别黑色素瘤论文简读

一、概述我们提出了一种基于注意力的黑色素瘤识别方法。与其他网络参数一起学习的注意力模块估计了高亮显示与病变分类相关的感兴趣图像区域的注意力图。与仅输出类标签相比，这些注意力映射提供了更易于解释的输出。此外，我们建议通过正则化具有感兴趣区域（ROI）的注意力图（例如，病变分割或皮肤镜特征）来利用先验信息。只要这种先验信息可用，就可以进一步细化分类性能和注意力图。据我们所知，我们是第一个为黑色素瘤识别

坐望云起·2023-06-10 20:59

NLP-机器学习-监督学习-回归

一个好的总结：机器学习知识点全面总结_GoAI的博客-CSDN博客_机器学习笔记监督学习和无监督学习很好区分：是否有监督（supervised），就看输入数据是否有标签（label），输入数据有标签，则为有监督学习

zr_xs·2023-06-08 11:04

机器学习笔记＜一＞：PCA降维详解

文章目录前言直观理解数学推导代码实现PCA的局限性如何选定kkk值？为什么通过对特征值的选择可以减少噪声？前言本篇文章主要从对PCA的降维的直观理解、数学推导等方面对PCA降维进行讨论。直观理解主成分分析PCA(PrincipalComponentAnalysis)可以用于降维、数据压缩、特征提取以及数据可视化的处理。顾名思义，对数据做PCA之后可以得到数据的主成分信息，而这部分信息可以很好地还原

有点猫匿·2023-06-07 20:50

Machine Learning 机器学习笔记目录

目录前言第一周：Welcome1.1WhatisMachineLearning?1.2LinearRegressionwithOneVariable第二周：LinearRegressionwithMultipleVariables2.1MultivariateLinearRegression2.2ComputingParametersAnalytically2.3Octave/MatlabTuto

一缕殇流化隐半边冰霜·2023-06-07 19:55

机器学习笔记（7）stacking算法

一.Stacking思想简介1.Stacking的思想是一种有层次的融合模型，比如我们将用不同特征训练出来的三个GBDT模型进行融合时，我们会将三个GBDT作为基层模型，在其上在训练一个次学习器（通常为线性模型LR）,用于组织利用基学习器的答案，也就是将基层模型的答案作为输入，让次学习器学习组织给基层模型的答案分配权重。2.下图是个简单的例子，A、B是学习器，C、D、E是进行答案再组织的次学习器，

是魏小白吗·2023-06-07 14:47

机器学习笔记：深度学习模型复杂度

1时间复杂度（模型运算次数）决定了模型的训练/预测时间用FLOPs指代机器学习笔记：FLOPs_flop机器学习_UQI-LIUWJ的博客-CSDN博客2空间复杂度（模型参数数量）决定了模型的参数数量2.1

UQI-LIUWJ·2023-06-07 03:13

机器学习笔记之正则化(六)批标准化(BatchNormalization)

机器学习笔记之正则化——批标准化[BatchNormalization]引言引子：梯度消失梯度消失的处理方式批标准化(BatchNormalization)(\text{BatchNormalization

静静的喝酒·2023-04-20 21:02

线性回归【机器学习笔记简摘】

定义与公式线性回归(Linearregression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。通用公式：h(w)=w1x1+w2x2+w3x3...+b=wTx+bh(w)=w_1x_1+w_2x_2+w_3x_3...+b=w^Tx+bh(w)=w1x1+w2x2+w3x3...+b=wTx+b线性回归当中主要有两种模型，一种是线性关系

数数chat·2023-04-19 18:46

概率机器学习笔记

1.单变量高斯混合分布原书对结果的得出没有给出解释，我比较困惑，网上找到了一篇推导的帖子，看完就明白了。式2.49的解释:红框即为关键处，这是显而易见的期望，不过是条件方差的期望：该证明的作者：@MISC{16609,TITLE={Whatisthevarianceoftheweightedmixtureoftwogaussians?},AUTHOR={whuber(https://stats.s

rush_mj·2023-04-19 03:09

机器学习笔记

网易云课堂地址：https://study.163.com/course/courseMain.htm?courseId=1004570029&trace_c_p_k2=8eabc335dcaa4be5af387811ed28fad1笔记地址：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes/tree/master

bad_eleven·2023-04-18 13:05

机器学习笔记（一）之特征工程、特征处理方法、特征构建

特征工程特征使用方案可用性评估特征获取方案特征处理特征清洗预处理单个特征多特征衍生变量特征处理特征构建特征提取方法特征使用方案这里我们要思考要实现我们的目标需要哪些数据答：基于我们的专业知识，尽可能找出对因变量有影响的所有自变量。举个例子：评价一个车是否是好车，我们有很多的参数，那么当我们训练一个模型帮助我们去判断车的好坏时候，就需要考虑各种各样的参数。有时候训练结果的不好，修改各类参数也无法得到

Charity_st·2023-04-18 10:58

机器学习笔记 c#调用python脚本文件进行模型推理

一、简述很多的基于python的深度学习的库或者框架，不只是进行推理，还包含推理前的图像预处理和推理后的数据解析的程序。所以在使用的时候如果不基于python使用，那就还需要很多额外工作，还需要自行编写代码处理推理前的图像处理和推理后的数据解析等等。有的时候确实挺麻烦的，还是直接使用python更easy一点。但如果不是基于python的接口服务或者桌面应用等，就会涉及到跨语言调用的情况。下面说一

坐望云起·2023-04-16 01:10

算法工业界文本分类避坑指南

image.png公众号包包算法笔记，包包（包大人）的机器学习笔记，分享算法，机器学习，程序员，职场等算法工程师话题。背景说起文本分类，也算是一个老掉牙的话题，之前大家都喜欢琢磨模型。

ad110fe9ec46·2023-04-15 15:16

机器学习笔记之前馈神经网络(四)反向传播算法[数学推导过程]

机器学习笔记之前馈神经网络——反向传播算法[数学推导过程]引言回顾：感知机算法非线性问题与多层感知机反向传播算法(BackPropagation,BP\text{BackPropagation,BP}BackPropagation

静静的喝酒·2023-04-15 06:18

机器学习笔记之集成学习(二)Bagging与随机森林

机器学习笔记之集成学习——Bagging与随机森林引言回顾：偏差、方差、噪声自助采样法(BootstrappingSampling\text{BootstrappingSampling}BootstrappingSampling

静静的喝酒·2023-04-15 06:47

机器学习笔记之正则化(五)Dropout

机器学习笔记之正则化——Dropout引言引子：题目描述(正则化相关)正确答案：ABCD\mathcalA\mathcalB\mathcalC\mathcalDABCD题目解析回顾：集成学习方法：Bagging

静静的喝酒·2023-04-15 06:44

机器学习笔记--1.6数据可视化

1.表与线性结构的可视化Python提供四种容器结构--list、dict、set、tuple来装载数据，其中线性结构有两种：list和tuple。由于tuple是只读结构，仅用于外部生成器生成的数据，所以最常用的线性结构就是list。importnumpyasnpimportmatplotlib.pyplotasplt#曲线数据加入噪声x=np.linspace(-5,5,200)y=np.si

CLBTH·2023-04-12 22:07

大话循环神经网络RNN、LSTM、GRU

对机器学习或深度学习不太熟的童鞋可以先康康这几篇哦：《无废话的机器学习笔记》《一文极速理解深

全栈O-Jay·2023-04-11 16:29

机器学习笔记 2 —— K 近邻法与 kd 树

文章目录1.理论部分1.1K近邻法1.2距离度量2.k近邻法的Python实现2.1数据集的预处理2.2模型构建2.3测试模型2.4scikit-learn3.kd树3.1构造平衡kd树算法3.2kd树的Python实现1.理论部分1.1K近邻法1．kkk近邻法是基本且简单的分类与回归方法。kkk近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的kkk个最近邻训练实例点，然后

我有两颗糖·2023-04-11 01:48

机器学习笔记（5）

【李宏毅机器学习任务五】负责人：王佳旭课程设计人：王佳旭学习打卡内容：推导LR损失函数(1)学习LR梯度下降(2)利用代码描述梯度下降(选做)(3)Softmax原理(4)softmax损失函数(5)softmax梯度下降(6)（1）推导LogisticRegression损失函数解释：上边注释变形的原因找到了，这样做形式转换的前提就是当为C1分类时，y=1，当为C2分类时，y=0，等式左右两边只

trying52·2023-04-10 19:53

机器学习笔记：GBDT的并行化训练

@作者:机器学习算法@迪吉老农最近使用GBDT时，想通过分布式进行训练，尝试了一些框架，但原理不太了解。有些东西与同事讨论后，也还不甚明了，于是专心看了一下文档，在此记录一下。1、分布式原理常用分布式训练方式，应该是参数服务器。worker把sample的统计结果推送到单台参数服务器机器上，参数服务器汇总后，再推送到worker端。有点类似于单reducer的方式。相比于参数服务器的中心化方案，这

迪吉老农·2023-04-09 22:30

机器学习笔记（6）

个人自己创建数据，实现分类任务本次组队学习不太设计特征工程内容，只是学习算法的内容，对数据简单的归一化就行创建数据示例如图所示：'''LogisticRegression算法练习'''#第一步：数据准备：生成数据和训练数据/测试数据划分importnumpyasnpimportmatplotlib.pyplotasplt#生成数据defgenerate_data(seed):np.random.s

trying52·2023-04-09 11:17

机器学习笔记——基础知识（一）

选用教材：DEEPLEARNING深度学习（花书）花书在开始学习机器学习之前，需要一定的数学知识，花书的第二、三章比较详细地介绍了机器学习中所必须的线性代数和概率论与信息论的知识，第四章讲了有关数值计算的问题。本人在此做简单总结，供自己学习和入门选手参考。1、线性代数：标量（scalar）：单独的一个数,如等向量（vector）：一组数组成的有序序列，可以用于表示维空间中一个点的坐标，在计算机中可

电脑配件·2023-04-08 18:20

机器学习笔记之正则化(三)权重衰减角度(偏差方向)

机器学习笔记之正则化——权重衰减角度[偏差方向]引言回顾：关于目标函数中的λ,C\lambda,\mathcalCλ,C正则化与非正则化之间的偏差偏差的计算过程引言上一节从直观现象的角度观察权重W\mathcalWW

静静的喝酒·2023-04-08 17:39

机器学习笔记之正则化(一)拉格朗日乘数法角度

机器学习笔记之正则化——拉格朗日乘数法角度引言回顾：基于正则化的最小二乘法正则化描述正则化的优化对象常见的正则化方法正则化角度处理神经网络的过拟合问题场景构建最优模型参数的不确定性最优模型参数不确定性带来的问题约束模型参数的方法从图像角度观察从拉格朗日求解角度观察关于常数

静静的喝酒·2023-04-08 17:09

机器学习笔记之正则化(二)权重衰减角度(直观现象)

机器学习笔记之正则化——权重衰减角度[直观现象]引言回顾：拉格朗日乘数法角度观察正则化过拟合的原因：模型参数的不确定性正则化约束权重的取值范围L1L_1L1正则化稀疏权重特征的过程权重衰减角度观察正则化场景构建权重衰减的描述过程权重衰减与过拟合之间的联系总结引言上一节介绍了从拉格朗日乘数法角度观察正则化

静静的喝酒·2023-04-08 17:09

机器学习笔记5：Softmax分类器的logistic回归

在logistic回归模型中，我们只是讲了二分类问题，但是在我们的实际分类应用中，还涉及多分类问题，那么，这个时候，就需要用到softmax分类器了。如下图：有绿三角、红叉和蓝矩形三个类别要分类，我们是通过三个分类器先分别将绿三角、红叉、蓝矩形分类出来，这样处理多分类问题的，所以对每个类别c，训练一个logistic回归分类器fwc(x)f_{\textbf{w}}^{c}(\textbf{x})

陆撄宁·2023-04-08 15:23

机器学习笔记 temperature+Softmax

1介绍带temperature的Softmax，用公式描述，可以表示为直观感受一下importnumpyasnpdefexp_tem(x,tau):returnnp.exp(x/tau)/sum(np.exp(x/tau))print(exp_tem(np.array([1,2,3]),2))#[0.186323720.307195890.50648039]print(exp_tem(np.arr

UQI-LIUWJ·2023-04-08 15:18

机器学习笔记：t-SNE

0前言t-SNE（t-DistributedStochasticNeighborEmbedding）是一种非常常用的数据降维，常用于数据可视化t-SNE/SNE的基本原理是：在高维空间构建一个概率分布拟合高维样本点间的相对位置关系在低维空间，也构建一个概率分布，拟合低维样本点之间的位置关系通过学习，调整低维数据点，令两个分布接近1SNE随机邻域嵌入（StochasticNeighborEmbedd

UQI-LIUWJ·2023-04-08 15:18

机器学习笔记——多分类与softmax

机器学习笔记——多分类与softmax一、多分类问题1.问题简述2.“一对一”OvO3.“一对多”OvR4.

AgentSmart·2023-04-08 15:36

机器学习笔记03 -- GBDT回归、二分类、多分类问题

一、GBDT回归1偏差方差，过拟合欠拟合偏差bias：是用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异。方差Variance：是不同的训练数据集训练出的模型输出值之间的差异。想要结果偏差小，就要让模型复杂，参数多，但这样模型的学习能力会过强，导致方差大，在测试集上表现差，表现为过拟合。想要结果方差小，就要让模型简单，参数少，但这样会导致模型学习能力弱，导致偏差大，

wafq·2023-04-08 15:36

我的机器学习笔记（三）--- 分类问题与K近邻算法

5.1K近邻算法的概念5.2K近邻算法的伪代码5.3K近邻算法的原理5.4K近邻算法的举例5.5K近邻模型的特点5.6K近邻模型的语法六、K近邻算法案例---鸢尾花分类6.1案例背景6.2案例实现我的机器学习笔记

离明zh·2023-04-07 14:49

我的机器学习笔记（二）--- 监督学习

文章目录一、监督学习的内容二、监督学习的定义三、监督学习的数学描述四、监督学习的常见任务我的机器学习笔记（二）—监督学习一、监督学习的内容；二、监督学习的定义；三、监督学习的数学描述；四、监督学习的常见任务

离明zh·2023-04-07 14:19

机器学习笔记-Anaconda与JupyterNotebook的简介与使用

Anaconda与JupyterNotebook的简介与使用一、Anaconda的简介二、Anaconda的下载三、Anaconda的安装四、关于conda五、关于创建虚拟环境六、JupyterNotebook1.概述2.使用一、Anaconda的简介Anaconda支持Linux，Mac,Windows，包含了众多流行的科学计算、数据分析的Python包。Anaconda和Jupyternote

Moonpie小甜饼·2023-04-07 09:25

机器学习笔记之降维(三)从最大投影方差角度观察主成分分析

机器学习笔记之降维——从最大投影方差角度观察主成分分析引言回顾：样本均值与样本方差的矩阵表示主成分分析最大投影方差基于最大投影方差的最优特征方向求解过程总结引言上一节介绍了高维空间中样本均值和样本方差的矩阵表示

静静的喝酒·2023-04-07 07:03

机器学习笔记----假设空间

假设空间转发自该博客：https://blog.csdn.net/zmdsjtu/article/details/52689392一些细碎的概念：1.归纳（induction）：是科学推理的两大基本手段之一，是从特殊到一般的泛化过程，也就是从具体的事实归纳出一般规律。2.演绎（deduction）：是科学推理的另一基本手段，也就是从基础原理推演出具体情况。3.归纳学习（inductivelearn

泛酸的桂花酒·2023-04-06 07:58

机器学习笔记-Logistic分类

机器学习笔记-Logistic分类作者：星河滚烫兮我们知道，回归模型一般是去根据已有的标记数据去预测新事物。Logistic回归模型因为历史原因有“回归”二字，但其实是一个分类模型。

星河滚烫兮·2023-04-05 22:07

scikit-learn机器学习笔记（11.22）

启言：机器学习通过使用过去的经验去指导未来的决策，它的基础目标是归纳，或者从一种未知规则的应用例子中归纳出未知规则。一、机器学习的定义一个程序：性能体现在“T”，衡量性能用“P”，提升性能通过经验“E”可视为：针对一些“T”类型，通过“P”来衡量性能的的任务，从经验“E”中进行学习二、从经验“E”中学习（监督下和无监督下）（1）监督学习：“对于输入数据X能预测变量Y”通过标记的输入和输出进行学习，

長路·2023-04-05 22:34

推荐频道

----机器学习笔记