梯度下降法姿态解算

关于凸优化与机器学习理解笔记

梯度下降法和牛顿法等基于导数作为判断依据的优化算法，找到的都是导数为0的点，但是梯度为0只是取得极值的必要条件而非充分条件。
淘尽黄沙后·2023-09-04 10:52

机器学习笔记之最优化理论与方法(四) 凸函数：定义与基本性质

本文是关于梯度下降法：凸函数VS\text{VS}VS强凸函数的逻辑补充。涉及的证明过程如：凸函数的一阶条件；凸函数的梯度单调性；凸函数的二阶条件详见上述链接。凸函数的定义关于凸函
静静的喝酒·2023-09-03 07:36

神经网络--感知机

感知机单层感知机原理单层感知机:解决二分类问题，激活函数一般使用sign函数,基于误分类点到超平面的距离总和来构造损失函数,由损失函数推导出模型中损失函数对参数www和bbb的梯度，利用梯度下降法从而进行参数更新
JaxHur·2023-09-03 05:41

VSLAM（3）：最优化问题与优化问题的代码实现

目录一.最优化问题1.1SLAM状态估计问题的定义1.2最优化问题1.3迭代法解决最优化问题1.3.1梯度下降法1.3.2高斯牛顿法（Gassion-Newton）1.3.3阻尼牛顿法LM（Levenberge-Marquadt
聪明的笨小子·2023-09-03 01:27

三维空间刚体运动4-5：四元数多点离散数值解插值方法：Sping

三维空间刚体运动4-5：四元数多点离散数值解插值方法：Sping1.正切曲率κ(γ,t)\kappa(\gamma,t)κ(γ,t)在H1H_{1}H1上的离散数值解——Sping1.1离散版解决方案1.2梯度下降法求解
shao918516·2023-09-03 01:25

机器人中的数值优化（六）—— 线搜索最速下降法

机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例  八、线搜索最速下降法  1、最速梯度下降法简介
慕羽★·2023-09-03 01:24

DSP28系列—MPU6050漂移补偿方案的探索

说在前面的话：大家都知道，陀螺仪是一种能测量角速度的器件，是姿态解算、角度测量等任务中无法缺少的工具。单轴的陀螺仪配合单轴的加速度计，就能结算出一个姿态角。
沉迷DSP无法自拔的莱特·2023-09-02 09:51

大数据课程K16——Spark的梯度下降法

文章作者邮箱：[email protected]地址：广东惠州▲本章节目的⚪了解Spark的梯度下降法；⚪了解Spark的梯度下降法家族（BGD，SGD，MBGD）；⚪掌握Spark的MLlib实现
伟雄·2023-09-02 01:17

【数值计算方法】导论

线性代数方程组求解（等价变换）b.矩阵特征值特征向量（相似变换）c.二次型（合同变换）2.数值逼近a.插值b.曲线拟合c.数值积分d.数值微分e.迭代法f.近似求解常微分方程3.数值优化a.最优化问题的建模b.梯度下降法
QomolangmaH·2023-09-01 05:14

ubuntu20.04 ros http://wiki.ros.org/noetic/Installation/Ubuntu

imuCalibrationroshttp://wiki.ros.org/noetic/Installation/Ubuntu使用imu_utils进行IMU的误差标定以及IMU姿态解算_非晚非晚的博客
MarkovLGXu·2023-08-31 10:54

人工神经网络的学习方式

调整权重使用的方法有梯度下降法，和随机梯度下降法两种。GradientDescent简称GD。stochasticGradientDescent简称SGD。两者的差异在于效率和收敛速度。
懒生活·2023-08-30 22:13

神经网络中的优化算法

【嵌牛正文】首先，我们惯用的方法是“梯度下降法”，称为GradientDecent，就是把所有的训练样本丢进去训练一次之后，把W和b更新一次，然后重复这个过程，具体重复多少次就看我们的“迭代次数”是多少
张小文_f7d4·2023-08-30 19:47

各种 Optimizer 梯度下降优化算法总结

写在前面当前使用的许多优化算法，是对梯度下降法的衍生和优化。在微积分中，对多元函数的参数求偏导数，把求得
无忧获客01·2023-08-30 19:24

机器学习第五周-梯度下降

在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。顾名思义，梯
繁华落幕_0f7c·2023-08-29 18:36

机器学习笔记之优化算法(十九)经典牛顿法的收敛性分析

机器学习笔记之优化算法——经典牛顿法的收敛性分析引言回顾：算法的收敛性分析Wolfe\text{Wolfe}Wolfe准则的收敛性分析梯度下降法在凸函数的收敛性分析梯度下降法在强凸函数的收敛性分析经典牛顿法的收敛性分析收敛性定理介绍证明过程关于隐含条件的说明引言上一节整体介绍了经典牛顿法
静静的喝酒·2023-08-27 19:09

机器学习与数学基础知识（二）

本文是机器学习与数学基础知识的第二集视频，主要内容是微积分选讲，共三部分知识点，与机器学习直接相关的是第二部分知识点微积分中的两个机器学习算法——牛顿法和梯度下降法。
22世纪冲刺·2023-08-27 09:18

回归分析学习

回归分析什么是回归分析简单线性回归线性回归（linearregression）线性假设如何拟合数据线性回归的基本假设损失函数(lossfunction)最小二乘法(LeastSquare,LS)梯度下降法
lov_vol·2023-08-27 06:39

回归算法学习笔记——线性回归、随机梯度（SGD、BGD）、逻辑回归（牛顿法）、Softmax回归算法、L1/L2正则化、Ridge、Lasso、ElasticNet

目录线性回归梯度下降算法构建损失函数梯度下降法LogisticRegression算法sigmoid函数构造目标函数构造损失函数-极大似然估计梯度下降多分类问题优化算法：牛顿法切线法另一种理解方式改进：
XuZhiyu_·2023-08-26 11:45

最优化方法——梯度下降法、牛顿法、LM算法

一、梯度下降法介绍：在机器学习中应用十分的广泛，主要目的是通过迭代的方式找到目标函数的最小值（极小值）。
ha_lee·2023-08-26 00:36

机器学习笔记之优化算法(十七)梯度下降法在强凸函数的收敛性分析

机器学习笔记之优化算法——梯度下降法在强凸函数的收敛性分析引言回顾：梯度下降法在强凸函数的收敛性二阶可微——梯度下降法在强凸函数的收敛性推论引言上一节介绍并证明了：梯度下降法在强凸函数上的收敛速度满足Q
静静的喝酒·2023-08-25 16:16

PyTorch基础知识

一.常用优化方法最小二乘法，牛顿法，拟牛顿法，梯度下降法二.tensor和numpyarray的相互转换定义一个numpyarraynp_data=np.arange(6).reshape((2,3))
几时见得清梦·2023-08-25 11:23

机器学习--特征缩放/均值归一化

特征缩放(featurescaling)其中，特征缩放(featurescaling)大致的思路是这样的：梯度下降算法中，在有多个特征的情况下，如果你能确保这些不同的特征都处在一个相近的范围，这样梯度下降法就能更快地收敛
runnerxin·2023-08-25 05:54

神经网络基础-神经网络补充概念-44-minibatch梯度下降法

概念小批量梯度下降法（Mini-BatchGradientDescent）是梯度下降法的一种变体，它结合了批量梯度下降（BatchGradientDescent）和随机梯度下降（StochasticGradientDescent
丰。。·2023-08-23 06:00

极限学习机(ELM)的原理和matlab代码实现

由于梯度下降法需要多次迭代,从而达到修正权值和阈值的目的,因此训练过程
配电网和matlab·2023-08-23 00:17

深度学习基本理论下篇：（梯度下降/卷积/池化/归一化/AlexNet/归一化/Dropout/卷积核）、深度学习面试

18、请说明Momentum、AdaGrad、Adam梯度下降法的特点Momentum、AdaGrad、Adam是针对SGD梯度下降算法的缺点的改进算法。
会害羞的杨卓越·2023-08-22 09:44

机器学习笔记之优化算法(十六)梯度下降法在强凸函数上的收敛性证明

机器学习笔记之优化算法——梯度下降法在强凸函数上的收敛性证明引言回顾：凸函数与强凸函数梯度下降法：凸函数上的收敛性分析关于白老爹定理的一些新的认识梯度下降法在强凸函数上的收敛性收敛性定理介绍结论分析证明过程引言本节将介绍
静静的喝酒·2023-08-21 13:19

BN和LN之间的关系

转载于https://zhuanlan.zhihu.com/p/518047927当我们使用梯度下降法做优化时，随着网络深度的增加，输入数据的特征分布会不断发生变化，为了保证数据特征分布的稳定性，会加入
壹晴天·2023-08-21 08:59

改善神经网络——优化算法（mini-batch、动量梯度下降法、Adam优化算法）

改善神经网络——优化算法梯度下降Mini-batch梯度下降（Mini-batchGradientDescent）指数加权平均包含动量的梯度下降RMSprop算法Adam算法优化算法可以使神经网络运行的更快，机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，你需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助你快速训练模型。其中一个难点在于，深度学习没有在大数据领域发挥最大
Luo_LA·2023-08-20 22:44

神经网络基础-神经网络补充概念-49-adam优化算法

概念Adam（AdaptiveMomentEstimation）是一种优化算法，结合了动量梯度下降法和RMSProp的优点，用于在训练神经网络等深度学习模型时自适应地调整学习率。
丰。。·2023-08-20 20:10

神经网络基础-神经网络补充概念-47-动量梯度下降法

概念动量梯度下降法（MomentumGradientDescent）是一种优化算法，用于加速梯度下降的收敛速度，特别是在存在高曲率、平原或局部最小值的情况下。
丰。。·2023-08-20 12:23

神经网络基础-神经网络补充概念-43-梯度下降法

概念梯度下降法（GradientDescent）是一种优化算法，用于在机器学习和深度学习中最小化（或最大化）目标函数。它通过迭代地调整模型参数，沿着梯度方向更新参数，以逐步接近目标函数的最优解。
丰。。·2023-08-18 23:03

感知机模型(Perceptron)详细解读 | 统计学习方法学习笔记 | 数据分析 | 机器学习

本文包括：1.走近感知机-感知机与童话2.重要概念3.感知机模型的数学形式4.构建感知机的损失函数5.如何取得损失函数最小值-随机梯度下降法6.感知机模型对偶形式Python复现，使用了随机梯度下降法，
舟晓南·2023-08-18 07:56

基于灰狼优化（GWO）、帝国竞争算法（ICA）和粒子群优化（PSO）对梯度下降法训练的神经网络的权值进行了改进（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述在神经网络训练中，使用传统的梯度下降法可能会受到局部极值问题的影响，导致训练结果不够稳定或收敛速度较慢。
然哥依旧·2023-08-17 23:23

Task07：优化算法进阶；word2vec；词嵌入进阶

以上是梯度下降法的最基本形式，在此基础上，为了使梯度下降法收敛更加迅速和稳定，研究人员提出了多种变种，其中最优秀的要数Momentum，RMSprop，和Adam等。
Crystality·2023-08-17 16:45

神经网络基础-神经网络补充概念-23-神经网络的梯度下降法

概念神经网络的梯度下降法是训练神经网络的核心优化算法之一。它通过调整神经网络的权重和偏差，以最小化损失函数，从而使神经网络能够逐渐逼近目标函数的最优值。
丰。。·2023-08-17 07:26

利用matlab实现无约束最优化方法

目录1.最速下降法2.加速梯度法——最速梯度下降法的改进3.Newton法-----多维4.阻尼Newton法5、FR共轭梯度法6、变尺度法---DFP算法1.最速下降法最速下降法-----两个特征：1
小白要努力sgy·2023-08-16 16:48

通俗讲解-动量梯度下降法原理与代码实例

本站原创文章，转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com目录一.动量梯度下降法介绍1.1动量梯度下降法简介与思想1.2动量梯度下降法的算法流程二.动量梯度下降法代码实例2.1动量梯度下降法实例代码一
老饼讲解-BP神经网络·2023-08-16 14:39

神经网络基础-神经网络补充概念-04-梯度下降法

概念梯度下降法是一种常用的优化算法，用于在机器学习和深度学习中更新模型参数以最小化损失函数。它通过迭代地调整参数，沿着损失函数的负梯度方向移动，从而逐步逼近损失函数的最小值。
丰。。·2023-08-15 17:51

第10周 | 斯坦福 CS229 机器学习

文章目录前言第10周十七、大规模机器学习(LargeScaleMachineLearning)17.1大型数据集的学习17.2随机梯度下降法17.3小批量梯度下降17.4随机梯度下降收敛17.5在线学习
ReturnTmp·2023-08-14 15:33

基于灰狼优化（GWO）、帝国竞争算法（ICA）和粒子群优化（PSO）对梯度下降法训练的神经网络的权值进行了改进（Matlab代码实现）

本文目录如下：目录1概述2运行结果3参考文献4Matlab代码实现1概述在神经网络训练中，使用传统的梯度下降法可能会受到局部极值问题的影响，导致训练结果不够稳定或收敛速度较慢。
长安程序猿·2023-08-12 22:26

stm32f4 mpu6050与姿态解算（仅供自己学习使用，学习笔记)

IMU原理及姿态融合算法详解一.陀螺仪的组成原理1）加速度计2）陀螺仪3）磁力计二.椭球拟合三.姿态的描述1)坐标系载体坐标系当地导航坐标系载体坐标系2)四元数3)欧拉角4）旋转矩阵四.传感器的噪声及去除与误差补偿基本原理误差补偿五.传感器数据融合磁力计数据融合六.滤波七.代码分析与融合一.陀螺仪的组成原理1）加速度计MEMS加速度计利用红色的这部分质量，当这一方向上存在加速度时，利用形变，可以检
骑个大毛驴·2023-08-12 09:44

RT-Thread实战笔记|MPU6050使用详解及DMP姿态解算

小伙伴们大家好，好久不更新RT-Thread实战笔记啦，今天来搞一搞MPU6050，话不多说，淦！本章源码获取欢迎文末留言区或者公众号后台回复“MPU6050”即可获取本教程源码MPU6050简介某宝买的，吃灰许久了...有钱，不想受那鸟气的，看这个，自己画一个，对比价格，我劝你买个吧，知道自己行就行了...典型用法：可在官网下载最新的芯片手册和寄存器映射和描述，参看：MPU6050官网基本功能：
小飞哥玩嵌入式·2023-08-12 09:43

机器学习笔记之优化算法(十三)关于二次上界引理

机器学习笔记之优化算法——关于二次上界引理引言回顾：利普希兹连续梯度下降法介绍二次上界引理：介绍与作用二次上界与最优步长之间的关系二次上界引理证明过程引言本节将介绍二次上界的具体作用以及它的证明过程。
静静的喝酒·2023-08-11 20:41

机器学习笔记值优化算法(十四)梯度下降法在凸函数上的收敛性

机器学习笔记之优化算法——梯度下降法在凸函数上的收敛性引言回顾：收敛速度：次线性收敛二次上界引理梯度下降法在凸函数上的收敛性收敛性定理介绍证明过程引言本节将介绍梯度下降法在凸函数上的收敛性。
静静的喝酒·2023-08-11 20:10

机器学习笔记之优化算法(十一)梯度下降法：凸函数VS强凸函数

机器学习笔记之优化算法——梯度下降法：凸函数VS强凸函数引言凸函数：凸函数的定义与判定条件凸函数的一阶条件凸函数的梯度单调性凸函数的二阶条件强凸函数强凸函数的定义强凸函数的判定条件强凸函数的一阶条件强凸函数的梯度单调性强突函数的二阶条件引言本节将介绍凸函数
静静的喝酒·2023-08-10 10:01

吴恩达机器学习笔记（自用）

（UnsupervisedLearning）单变量线性回归模型描述（ModelRepresentation）代价函数梯度下降线性回归中的梯度下降凸函数（convexfunction）多变量线性回归多元梯度下降法特征缩放
cosθ·2023-08-09 06:02

深度学习--优化器篇(超保姆级+附代码包含常用各种优化器)

个人通俗理解(仅供参考)：为梯度下降法配置的一个的"领航员"，寻找模型最优解又要避免出现局部最优解，使之能快速高效的达到"目标"以下为使用chatgpt3.5的回答(仅供参考，还挺全乎，直接给我把本文要介绍的优化器优缺点都总结好了
Lian_Ge_Blog·2023-08-08 16:27

4_回归算法（算法原理推导+实践）

目标函数（loss/costfunction）3模型效果判断4机器学习调参5梯度下降算法5.1梯度方向5.2批量梯度下降算法（BGD）5.3随机梯度下降算法（SGD）5.4BGD和SGD算法比较5.5小批量梯度下降法
少云清·2023-08-07 21:52

7_分类算法—逻辑回归

参数求解1.4Logistic回归损失函数1.5LogisticRegression总结2Softmax回归（多分类问题）2.1Softmax算法原理2.2Softmax算法损失函数2.3Softmax算法梯度下降法求解
少云清·2023-08-07 21:20

【水文】基于 MNN 训练能力解方程

训练能力解方程简介许久没上，水篇文章，事由同学想由房贷月还款额推测年利率：月还款额=pow(年利率/12+1,期数)*(年利率/12)*贷款总额/(pow(年利率/12+1,期数)-1)这个方程直接求解感觉比较麻烦，考虑使用梯度下降法
夕阳叹·2023-08-07 19:33
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他