----机器学习笔记

Python机器学习笔记 K-近邻算法

K近邻（KNN，k-NearestNeighbor）分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特征。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本
weixin_30345577·2023-10-11 06:41

深度学习笔记之优化算法(四)Nesterov动量方法的简单认识

机器学习笔记之优化算法——Nesterov动量方法的简单认识引言回顾：梯度下降法与动量法Nesterov动量法Nesterov动量法的算法过程描述总结（2023/10/9）补充与疑问附：Nesterov
静静的喝酒·2023-10-09 21:39

深度学习笔记之优化算法(五)AdaGrad算法的简单认识

机器学习笔记之优化算法——AdaGrad算法的简单认识引言回顾：动量法与Nesterov动量法优化学习率的合理性AdaGrad算法的简单认识AdaGrad的算法过程描述引言上一节对Nesterov\text
静静的喝酒·2023-10-09 21:05

机器学习笔记 - 两个静态手势识别的简单示例

一、关于手势识别手势识别方法通常分为两类：静态或动态。静态手势是那些只需要在分类器的输入处处理单个图像的手势，这种方法的优点是计算成本较低。动态手势需要处理图像序列和更复杂的手势识别方法。进一步了解可以参考下面链接。静态手势识别和动态手势识别的区别和技术路线简介-CSDN博客为了实现完全沉浸式的AR应用，系统的输出（例如可视化）以及系统的输入必须适应用户的现实。计算的发展和新技术的易用性推动了Ki
坐望云起·2023-10-09 00:33

Python数据分析 - 机器学习笔记：第一章数据分析 - 1.4.2.设置坐标系

前言：本文是学习网易微专业的《python全栈工程师》中的《数据分析-机器学习工程师》专题的课程笔记，欢迎学习交流。一、课程目标掌握Matplotlib坐标系的基本设置方法掌握汉语和负数显示设置方法二、详情解读2.1.坐标网格%matplotlibinline#表示当前代码生成的图插入当前浏览器中importnumpyasnpimportmatplotlib.pyplotaspltx=np.ara
WinvenChang·2023-10-08 19:15

机器学习笔记 - 基于pytorch、grad-cam的计算机视觉的高级可解释人工智能

一、pytorch-gradcam简介Grad-CAM是常见的神经网络可视化的工具，用于探索模型的可解释性，广泛出现在各大顶会论文中，以详细具体地描述模型的效果。Grad-CAM的好处是，可以在不额外训练的情况下，只使用训练好的权重即可获得热力图。1、CAM是什么？CAM全称ClassActivationMapping，既类别激活映射图，也被称为类别热力图、显著性图等。它是一张和原始图片等同大小图
坐望云起·2023-10-08 13:24

深度学习笔记之优化算法(三)动量法的简单认识

机器学习笔记之优化算法——动量法的简单认识引言回顾：条件数与随机梯度下降的相应缺陷动量法简单认识动量法的算法过程描述附：动量法示例代码引言上一节介绍了随机梯度下降(StochasticGradientDescent
静静的喝酒·2023-10-07 20:20

机器学习笔记 第7课：线性判别分析算法

逻辑回归是一种传统的分类算法，仅限于两类分类问题。如果你有两个以上的类，那么线性判别分析算法是首选的线性分类技术。线性判别分析法简称LDA，表示起来非常简单。它包含你的数据经由每个类计算之后的统计属性。对于单个输入变量，这包括：每个类别的平均值。对所有类别计算的方差。通过计算每个类的判别值，并对具有最大值的类进行预测，从而做出完整的预测。这项技术假设数据具有高斯分布（钟形曲线），因此最好事先从数据
首席IT民工·2023-10-07 16:56

【无标题】

【机器学习】机器学习笔记（吴恩达）-CSDN博客1.误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。2.梯度下降会自动采取更小的步骤，所以不需要随时间减小学习率a。
FlyingAnt_·2023-10-06 20:53

机器学习笔记 - 深入研究spaCy库及其使用技巧

一、简述spaCy是一个用于Python中高级自然语言处理的开源库。它专为生产用途而设计，这意味着它不仅功能强大，而且快速高效。spaCy在学术界和工业界广泛用于各种NLP任务，例如标记化、词性标注、命名实体识别等。安装，这里使用阿里的源。pipinstallspacy-ihttps://mirrors.aliyun.com/pypi/simple/pipinstallspacy_pkuseg-i
坐望云起·2023-10-05 07:32

机器学习笔记（5,6）--林轩田机器学习基石课程

这两个lecture，集中证明了，当我的hepothesis个数看起来有无限多种时，也就是前面讲到的，找一个超平面（直线）做二元划分问题时，超平面（直线）应该有无限多个，那PLA还能否能learning的问题。具体的证明过程不在复述了，提一下我认为最重要的一点：当出现break的时候，就意味着，hepothesisset的个数会是多项式多个，具体是通过动态规划bound住上界的方法。以后等基石看完
数学系的计算机学生·2023-10-05 07:27

机器学习笔记(二)

过拟合如下图左边,模型出现了过拟合现象为了解决过拟合现象,其中一个做法是多收集数据,如右图。第二种做法是减少模型的特征数量,即x第三种做法是正则化正则化就是减少x前面的参数w的数值,不用消除x正则化的梯度下降如下,因为只是缩小了w的值,而b的值保持不变正则化的工作原理就是缩小参数w的值假如wj(1-0.0028)那么wj就会一点点变小
半岛铁盒@·2023-10-04 19:35

机器学习笔记 -- 神经网络

1、什么是神经网络1.1非线性假设无论是线性回归还是逻辑回归，都存在这样一个缺陷，那就是当特征过多时，计算量会非常大。这时，神经网络应运而生，极大地弥补了这方面的缺点。1.2神经元与大脑每个神经元都可以看做一个处理单元，它有多个树突（输入），一个轴突（输出）。多个信息经过树突传递到神经元，处理后，再通过轴突输出。这便是神经网络的生物模型。基于此，我们设计出了类似的神经网络模型。x1x_1x1、x2
算法导航·2023-10-04 09:16

机器学习笔记 -- 线性回归

1、定义线性回归是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或一个平面或者更高维度的超平面，使得预测值与真实值的误差最小化。2、代价函数代价函数度量全部样本集的平均误差。越小则拟合效果越好。J(θ1,θ2,...,θn)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta_1,\theta_2,...,\theta_n)=\frac{1}{2m}\sum_{i=
算法导航·2023-10-04 09:16

机器学习笔记--支持向量机

1、支持向量机概述1.1基本概念支持向量机（SupportVectorMachine,SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。1.2硬间隔、软间隔和非线性SVM硬间隔指的就是完全分类准确，不能存在分类错误的情况。软间隔，就是允许一定量的样本分类错误。1.3算法思想找到集合边缘上的若干数据（称为支持向量（SupportVector）
算法导航·2023-10-04 09:45

机器学习笔记

1.线性回归模型2.损失函数3.梯度下降算法多元特征的线性回归当有多个影响因素的时候,公式可以改写为:
半岛铁盒@·2023-10-02 07:01

机器学习笔记 - 基于强化学习的贪吃蛇玩游戏

机器学习笔记-DeepQ-Learning算法概览深度Q学习是一种强化学习算法，它使用深度神经网络来逼近Q函数，用于确定在给定状态下采取的最佳操作。
坐望云起·2023-09-30 13:03

回顾经典，Netflix的推荐系统架构

这里是「王喆的机器学习笔记」的第三十一篇文章。最近因为忙着书出版和DLP-KDDWorkshop的事情，没太多时间更新专栏，等过了这段时间再跟大家多聊聊。
王喆的机器学习笔记·2023-09-30 11:41

机器学习笔记 - Deep Q-Learning算法概览

一、Q-Learning强化学习大致可以分为两类：无模型强化学习算法和基于模型的强化学习算法。无模型强化学习算法不会学习环境转换函数的模型来预测未来状态和奖励。Q学习、深度Q网络和策略梯度方法是无模型算法，因为它们不创建环境转换函数的模型。1、Q-学习算法Q-学习算法的流程为：1.初始化您的Q表2.使用Epsilon-Greedy探索策略选择一个操作3.使用贝尔曼方程更新Q表
坐望云起·2023-09-27 06:30

机器学习笔记七-----------------使用Prophet（时间序列模型）预测家用电量的数据的笔记一------数据集解析

一，数据集的下载其实家庭用电量预测仅仅是个“引子”，如果有电网数据的话，可以开发适合业务需求的模型，比如通过预测各时段各区域的用电量来协助电网更好地实现电能调度；除此之外，还可以用于发电量预测，比如光伏电站、风力发电站、水电站发电量预测…等等。模型一般不是问题，关键在数据和数据处理。数据集名称为：IndividualhouseholdelectricpowerconsumptionDataSet，
YOULANSHENGMENG·2023-09-26 04:48

「AI大咖谈」FLAG资深工程师谈ML Infra和分布式模型服务

这里是「王喆的机器学习笔记」的第三十六篇文章。今天我们「AI大咖谈」邀请的大咖是一位在FLAG中某家工作了4年的资深机器学习工程师。
王喆的机器学习笔记·2023-09-25 16:36

机器学习笔记——9.25课堂补充

机器学习笔记——9.25课堂补充一、泰勒展开二阶近似向量形式二、有关梯度下降几个小问题？1.梯度下降能否保证找到最优的参数？2.梯度下降法参数更新能否保证损失函数值每次下降？
AgentSmart·2023-09-25 08:33

机器学习笔记 - 通过人工干预实现安全强化学习的思路

1、人类干预强化学习深度强化学习在一些棋类游戏、视频游戏以及现实3D环境中的导航和控制任务方面取得了惊人的进展。这些成就是在模拟环境中实现的。深度强化学习能否将这一成功转化为现实世界的任务？这里面临两个主要问题。第一个是深度强化学习需要大量的观察（在现实世界的任务中获得这些观察是缓慢且昂贵的）。强化学习在实际应用中的第二个障碍是安全性。无模型强化学习代理只能通过反复试验来学习。为了学会避免灾难，他
坐望云起·2023-09-25 06:03

机器学习笔记 - 生成代理的架构框架

来自Google研究人员提出的生成代理架构，它由三个主要组件组成：内存流模块、反射模块以及规划和反应模块。这种革命性的方法为模仿人类行为和认知的人工智能驱动实体开辟了新的可能性，为先进且迷人的游戏和虚拟环境铺平了道路。这种生成代理架构包括三个主要组件：A、记忆流：一种长期记忆模块，以“记忆对象”的形式记录智能体的经验，其中包含描述、记录时间以及智能体检索它们的时间。记忆流中最基本的项目是观察，它是
坐望云起·2023-09-24 19:05

机器学习笔记1

1、机器学习算法分类监督学习：目标值：类别-分类问题分类算法：K-近邻算法、贝叶斯分类、决策树和随机森林、逻辑回归目标值：连续型的数据-回归问题回归算法：线性回归、岭回归无监督学习：目标值：无-无监督学习算法：聚类K-means2、机器学习开发流程1）获取数据2）数据处理3）特征工程4）机器学习算法训练-模型5）模型评估6）应用3、特征工程-数据集可用数据集：1）sklearn自带的2）kaggl
从白天到早上·2023-09-24 16:35

排得更好VS估得更准VS搜的更全「推荐、广告、搜索」算法间到底有什么区别？

这里是「王喆的机器学习笔记」的第三十八篇文章。今天我们聊一聊推荐、广告、搜索算法的区别。
王喆的机器学习笔记·2023-09-24 06:08

机器学习笔记 - 维度诅咒的数学表达

1、点之间的距离kNN分类器假设相似的点也可能有相同的标签。但是，在高维空间中，从概率分布中得出的点往往不会始终靠近在一起。我们可以用一个简单的例子来说明这一点。我们将在单位立方体内均匀地随机绘制点（如图所示），并研究该立方体内测试点的k个最近邻将占用多少空间。想象单位立方体。所有训练数据都在这个立方体内均匀采样，即，并且我们正在考虑这样一个测试点的k=10个最近邻。令ℓ为包含测试点的所有k-nn
坐望云起·2023-09-24 05:46

机器学习笔记:adaBoost

1介绍AdaBoost（AdaptiveBoosting）是一种集成学习方法，它的目标是将多个弱分类器组合成一个强分类器通过反复修改训练数据的权重，使得之前分类错误的样本在后续的分类器中得到更多的关注每一轮中，都会增加一个新的弱分类器，直到达到某个预定的错误率或者达到预定的最大迭代次数2详细算法介绍
UQI-LIUWJ·2023-09-23 16:17

机器学习笔记08---k近邻学习

k近邻(k-NearestNeighbor，简称kNN)学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。通常，在分类任务中可以使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进
一件迷途小书童·2023-09-23 13:29

机器学习笔记 - k-NN算法的数学表达

一、概述所有的机器学习算法都是有假设前提的。k-NN算法的假设前提是相似的输入有相似的输出。其分类规则是对于测试输入x，在其k个最相似的训练输入中分配最常见的标签。k-NN的正式定义：对于一个待测试数据。将的个最近邻的集合表示为。的正式定义为，并且。（意思就是在集合
坐望云起·2023-09-23 13:57

机器学习笔记：Huber Loss

1介绍HuberLoss是回归问题中的一种损失函数，它结合了均方误差MSE和绝对误差MAE的特点。HuberLoss在误差较小的时候是平方损失，而在误差较大的时候是线性损失。因此，它在处理有噪声的数据时，尤其是存在离群点的情况下，比MSE更加鲁棒。定义如下：δ是一个超参数，上式等号右边第一项是MSE的部分（[-δ,+δ])，第二项是MAE部分【(-∞,-δ)和(δ，+∞）】2python实现imp
UQI-LIUWJ·2023-09-23 10:34

机器学习笔记11—机器学习/深度学习之激活函数及python代码实现

ML/DL之激活函数1、概述2、激活函数性质3、常用的激活函数3.1Sigmoid函数(Logistic函数）3.2Tanh函数3.3ReLU函数3.4LeakyReLU函数3.5PReLU函数3.6ELU函数3.7Softplus函数4、激活函数的选择1、概述神经网络神经元中，输入的inputs通过加权，求和后，还被作用了一个函数，这个函数就是激活函数ActivationFunction。为什么
珞沫·2023-09-23 05:07

机器学习笔记：概念对比——损失函数，代价函数，目标函数

损失函数LossFunction通常是针对单个训练样本而言给定一个模型输出和一个真实值y，损失函数是代价函数CostFunction通常是针对整个训练集（或者在使用mini-batchgradientdescent时一个mini-batch）的总损失目标函数ObjectiveFunction表示任意希望被优化的函数代价函数是目标函数的一种
UQI-LIUWJ·2023-09-23 04:24

机器学习笔记：seq2seq & attentioned seq2seq

1Seq2Seq1.1介绍对于序列对，我们的目标是给定输入序列X，期待通过Encoder-Decoder框架来生成目标序列YEncoder对输入的序列X进行编码，将输入序列通过非线性变换转化为中间语义表示C：Decoder根据序列X的中间语义表示C和之前已经生成的历史信息y1,y2….yi-1来生成i时刻要生成的下一个值：yi1.2缺点Encoder-Decoder框架有一个明显的缺点。Encod
UQI-LIUWJ·2023-09-22 21:16

机器学习笔记 - 视频分析和人类活动识别技术路线简述

一、理解人类活动识别首先了解什么是人类活动识别，简而言之，是对某人正在执行的活动/动作进行分类或预测的任务称为活动识别。我们可能会有一个问题：这与普通的分类任务有什么不同？这里的问题是，在人类活动识别中，您实际上需要一系列数据点来预测正确执行的动作。看看这个人做的这个后空翻动作，只有看完整视频才能知道这是一个后空翻。如果我们提供的模型仅能识
坐望云起·2023-09-20 16:50

机器学习笔记之最优化理论与算法(十二)无约束优化问题——共轭梯度法

机器学习笔记之最优化理论与方法——共轭梯度法引言回顾：共轭方向法的重要特征线性共轭梯度法共轭方向公式的证明过程关于线搜索公式中参数的化简关于线搜索公式中步长部分的化简关于线搜索公式中共轭方向系数的化简参数化简的目的非线性共轭梯度法
静静的喝酒·2023-09-16 23:05

机器学习笔记之无约束优化问题——(阶段性收尾)共轭方向法与Wolfe准则优化方法Python示例

机器学习笔记之无约束优化问题——基于共轭方向法与Wolfe准则优化方法的Python示例引言小插曲：画图——非标准二次型的等值线算法在图像中的表示基于精确搜索的共轭梯度法基于Wolfe准则的共轭梯度法附
静静的喝酒·2023-09-16 23:34

机器学习笔记 - 什么是 MLOps？

什么是MLOps？Machinelearningoperations(MLOps)作为一个新兴领域，MLOps在数据科学家、机器学习工程师和人工智能爱好者中迅速崛起。MLOps代表机器学习操作。MLOps是机器学习工程的核心功能，专注于简化将机器学习模型投入生产、然后维护和监控的过程。MLOps是一种协作功能，通常由数据科学家、devops工程师和IT人员组成。MLOps有什么用？MLOps是一种
坐望云起·2023-09-15 12:10

网址汇总

http://www.numpy.org.cn/article/basics/python_numpy_tutorial.html#python推荐一个机器学习笔记网站不错https://luweikxy.gitbook.io
balabala19·2023-09-14 20:15

机器学习笔记 - 从数学表示的角度看待监督学习

一、概述监督学习的目标是根据数据进行预测。比如电子邮件垃圾邮件过滤，需要将电子邮件（数据实例）分类为垃圾邮件或非垃圾邮件。按照传统计算机科学的方法，需要编写一个精心设计的程序，遵循一些规则来确定电子邮件是否是垃圾邮件。尽管这样的程序可能在一段时间内运行得相当好，但它有很大的缺点。随着垃圾邮件的变化，它必须被重写。因为垃圾邮件发送者可能会尝试对软件进行逆向工程并设计绕过它的消息。另外即使程序运行得很
坐望云起·2023-09-13 07:22

吴恩达机器学习笔记（三）

前言我跳过了Octave部分的学习，转而利用这部分时间去研究python如何实现这系列课程的小作业，当作是熟悉一边python的一些常用库及一些好用的工具。关于这系列的python代码参考下面这个大佬的代码：吴恩达机器学习与深度学习作业目录-Cowry-CSDN博客接下来开始第三周的学习，线性回归算法结束，进入下一个算法。视频课简记6、逻辑回归6.1分类问题分类问题在第一周一开始举得例子也曾接触过
yh_y·2023-09-11 09:26

机器学习笔记之最优化理论与方法(十)无约束优化问题——共轭梯度法背景介绍

机器学习笔记之最优化理论与方法——共轭梯度法背景介绍引言背景：共轭梯度法线性共轭梯度法共轭方向共轭VS正交共轭方向法共轭方向法的几何解释引言本节将介绍共轭梯度法，并重点介绍共轭方向法的逻辑与几何意义。
静静的喝酒·2023-09-11 01:42

机器学习笔记 - 使用具有triplet loss的孪生网络进行图像相似度估计

一、简述孪生网络是一种网络架构，包含两个或多个相同的子网络，用于为每个输入生成特征向量并进行比较。孪生网络可以应用于不同的场景，例如检测重复项、发现异常和人脸识别。此示例使用具有三个相同子网的孪生网络。我们将向模型提供三张图像，其中两张是相似的（锚点和正样本），第三张是不相关的（负样本）。我们的目标是让模型学习估计图像之间的相似性。为了让网络学习，我们使用tripletloss损失函数。可以在下面
坐望云起·2023-09-09 21:52

机器学习笔记之最优化理论与方法(八)无约束优化问题——常用求解方法(中)

机器学习笔记之最优化理论与方法——基于无约束优化问题的常用求解方法[中]引言回顾：最速下降算法的缺陷经典牛顿法基本介绍经典牛顿法的问题经典牛顿法的优点与缺陷经典牛顿法示例修正牛顿法介绍拟牛顿法拟牛顿法的算法过程矩阵
静静的喝酒·2023-09-07 22:06

机器学习笔记之最优化理论与方法(九)无约束优化问题——常用求解方法(下)

机器学习笔记之最优化理论与方法——基于无约束优化问题的常用求解方法[下]引言回顾：经典牛顿法的缺陷与拟牛顿法思想经典牛顿法缺陷与修正牛顿法拟牛顿法与矩阵Bk+1\mathcalB_{k+1}Bk+1的选择拟牛顿法之
静静的喝酒·2023-09-07 22:04

机器学习笔记：轨迹驻留点 staypoint

1定义在轨迹数据分析中，"停留点"（Staypoint）是一个非常关键的概念，它反映了个体或物体在某一地点的停留行为。通常，在一段时间内，如果一个人或物体在一个较小的地理区域内的移动距离低于某个阈值，并且停留时间超过某个设定的时间阈值，那么这个地理区域就可以被认定为一个停留点。如上图，从p5开始，后续的点p6~p8和p5的空间距离都比较小，同时p5到p8的时间跨度很大——>p5~p8被认为是一个驻
UQI-LIUWJ·2023-09-07 08:28

机器学习笔记之最优化理论与方法(七)无约束优化问题——常用求解方法(上)

机器学习笔记之最优化理论与方法——基于无约束优化问题的常用求解方法[上]引言总体介绍回顾：线搜索下降算法收敛速度的衡量方式线性收敛范围高阶收敛范围二次终止性朴素算法：坐标轴交替下降法最速下降法(梯度下降法
静静的喝酒·2023-09-06 16:17

机器学习笔记：node2vec（论文笔记：node2vec: Scalable Feature Learning for Networks）

2016KDD1intro利用graph上的节点相似性，对这些节点进行embedding同质性：节点和其周围节点的embedding比较相似蓝色节点和其周围的节点结构等价性结构相近的点embedding相近比如蓝色节点，都处于多个簇的连接处2随机游走2.1介绍随机游走是一种自监督学习的embedding方法，不需要利用节点标签也不需要节点的特征，训练出来的embedding也不依赖于任何的特定任务
UQI-LIUWJ·2023-09-06 15:36

机器学习笔记 - 【机器学习案例】基于KerasCV的预训练模型自定义多头+多标签预测

一、KerasCVKerasCV是一个模块化计算机视觉组件库，可与TensorFlow、JAX或PyTorch原生配合使用。这些模型、层、指标、回调等基于KerasCore构建，可以在任何框架中进行训练和序列化，并在另一个框架中重复使用，而无需进行昂贵的迁KerasCV可以理解为KerasAPI的水平扩展：组件是新的第一方Keras对象，它们过于专业化，无法添加到核心Keras中。它们获得与核心K
坐望云起·2023-09-06 12:58

机器学习笔记之最优化理论与方法(六)无约束优化问题——最优性条件

机器学习笔记之最优化理论与方法——无约束优化问题[最优性条件]引言无约束优化问题无约束优化问题最优解的定义无约束优化问题的最优性条件无约束优化问题的充要条件无约束优化问题的必要条件无约束优化问题的充分条件引言本节将介绍无约束优化问题
静静的喝酒·2023-09-05 15:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他