梯度下降

梯度下降（简单了解）

集成学习：核心思想就是使用弱学习器进行加权求和，从而产生性能较为强大的强学习器主要分为两种：1.基于偏差方差分解和有放回抽样与集成进行弱机器学习的算法2.基于梯度下降和提升，梯度提升决策树获得弱学习器：
梦想总是要有的·2023-10-25 02:02

Neural ODE 神经常微分方程

NeuralODEODE常微分方程欧拉法求解：欧拉法求解过程是一个递归的过程，这个思想和牛顿法、梯度下降法是相似的。并且它将函数离散化，分割成一个个小段来求解。
weixin_44040169·2023-10-25 01:06

机器学习之回归问题

目录前言一、回归定义二、回归建模步骤1.模型假设-线性模型（LinearModel）（1）一元线性模型（2）多元线性模型2.模型评估-损失函数（LossFuntion）3.最佳模型-梯度下降（GradientDescent
DongXueL·2023-10-25 00:22

《机器学习实战》学习记录-ch3

第3章分类PS:个人记录，抄书系列，建议看原书原书资料：https://github.com/ageron/handson-ml2目录第3章分类3.1MNIST数据集3.2训练二元分类器3.2.1随机梯度下降
Cyan青·2023-10-24 20:09

深度学习期末复习

2.感知机2.1感知机的结构图，2.2感知机的梯度下降法，算法流程确定初始化参数w和b。搭建感知器模型。利用反向算法，完成权重系数的调整。注：初始化参数可以任意设定，最终都会根据反向算法完成收敛。
ustcthebest·2023-10-24 15:42

全梯度下降算法从零实现，基于Numpy

批量梯度下降法BGDGithub批量梯度下降法（BatchGradientDescent，简称BGD）是梯度下降法最原始的形式，它的具体思路是在更新每一参数时都使用所有的样本来进行更新，其数学形式如下：
Lornatang·2023-10-24 08:36

机器学习(新手入门)-线性回归 #房价预测

题目：给定数据集dataSet，每一行代表一组数据记录,每组数据记录中，第一个值为房屋面积（单位：平方英尺），第二个值为房屋中的房间数，第三个值为房价（单位：千美元），试用梯度下降法，构造损失函数，在函数
dwly12345·2023-10-24 07:53

动手学深度学习之如何理解param.grad / batch_size（详细讲解）

defsgd(params,lr,batch_size):#@save"""小批量随机梯度下降"""withtorch.no_grad():#被该语句wra起来的部分将不会跟踪梯度forparaminparams
我有明珠一颗·2023-10-24 07:12

通俗聊聊损失函数中的均方误差以及平方误差（文末有福利）

寻找函数最小值的最常用方法是“梯度下降”。把损失函数想象成起伏的山脉，梯度下降就像从山顶滑下，目的是到达山脉的最低点。损失函数可以大致分为两类：分类损失（ClassificationLoss）和
I小码哥·2023-10-24 03:45

损失函数中的均方误差以及平方误差

寻找函数最小值的最常用方法是“梯度下降”。把损失函数想象成起伏的山脉，梯度下降就像从山顶滑下，目的是到达山脉的最低点。损失函数可以大致分为两类：分类损失（ClassificationLoss）和回归损
逍遥自在017·2023-10-24 03:14

【线性回归】多元的线性回归

+θnxn=Θ.TXx0=1一、多元梯度下降的实用技巧featurescaling缩放特征分量的大小要适当，不然可能会让条件数特别大，难以收敛最好将每个分量都控制在[-1,1]meannormalization
阿瑟琴·2023-10-24 00:10

深度学习_5_模型拟合_梯度下降原理

需求:想要找到一条直线，能更好的拟合这一些点如何确定上述直线就是最优解呢？由计算机算出所有点与我们拟合直线的误差，常见的是均方误差例如：P1与直线之间的误差为e1将P1坐标带入直线并求误差得：推广到所有点：整合：由于xi,yi都为已知点，那么它们就是常数化简：这个误差函数就称为代价函数，其中a,b,c为常数，w为直线得斜率目标：找到一个斜率w能使这条直线能更好得拟合上述所有点，反应出来的实质就是e
Narnat·2023-10-23 18:46

【面试】逻辑回归

逻辑回归的常见面试点总结(博客园)LR（逻辑回归）为什么使用sigmoid函数1.基本概念一句话概括：逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的
账号已删除·2023-10-23 00:05

机器学习之GBT, since 2021-04-18

(2021.04.18Sun)GradientBoostingDecisionTree,GBT/GBDT梯度下降树通过加法模型(基函数的线性组合)，以及不断减小训练过程的残差来达到将数据分类或回归的算法
Mc杰夫·2023-10-22 18:51

神经网络的梯度优化方法

梯度下降法(GradientDescent):特点:梯度下降是最基本的优化算法，它试图通过迭代更新参数来最小化损失函数。优点:简单易懂。全局收敛性（在凸优化问题中）。
Chen_Chance·2023-10-22 13:00

Reparameterization trick（重参数化技巧）

这个技巧的目的是使模型可微分（differentiable），以便使用梯度下降等反向传播算法来训练模型，也就是将随机采样的过程转换为可导的运算，从而使得梯度下降算法可以正常工作。
重剑DS·2023-10-22 12:31

人工智能数学知识

线性代数描述着食物的静态（向量）和（动态变换）的特征2概率论与统计随机事件；条件概率全概率贝叶斯概率统计量常见分布；基本原理3最优化理论极限导数；线性逼近泰勒展开凸函数Jensen不等式；最小二乘法；梯度梯度下降
你美依旧·2023-10-22 09:24

Python 机器学习入门之ID3决策树算法

系列文章目录第一章Python机器学习入门之线性回归第一章Python机器学习入门之梯度下降法第一章Python机器学习入门之牛顿法第二章Python机器学习入门之逻辑回归番外Python机器学习入门之
bug别找我·2023-10-21 18:23

优化器| SGD/SGD-m/SGD-NAG/Adagrad/Adadelta/RMSProp/Adam/Nadam/Adamax

，开个专栏记录自己的学习笔记各种SGD和Adam优化器整理基本概念优化：最大化或最小化目标函数，具体指最小化代价函数或损失函数损失函数J(θ)=f(hθ(x)，y)，hθ(x)是由参数θ构成的网络输出梯度下降
btee·2023-10-21 18:19

第三章 Python 机器学习入门之C4.5决策树算法

系列文章目录第一章Python机器学习入门之线性回归第一章Python机器学习入门之梯度下降法第一章Python机器学习入门之牛顿法第二章Python机器学习入门之逻辑回归番外Python机器学习入门之
bug别找我·2023-10-21 18:17

机器学习笔记 - 深度学习中跳跃连接的直观解释

1、更新规则和梯度消失问题没有动量的梯度下降的更新规则，假设L是损失函数，λ是学习率，其中基本上是通过
坐望云起·2023-10-21 06:12

深度学习（5）——网络模型参数的初始化策略（Xavier）

通过loss函数对predict_y和真实标签y进行计算，利用梯度下降对模型进行更新：（b的计算公式同理，此处不再赘述。）梯度下降的过程
schedule list·2023-10-21 05:13

全连接网络参数Xavier初始化

1.梯度消失考虑下图的神经网络，在使用梯度下降法迭代更新W_ki和W_ij时，它们的梯度方向间有什么关系？
天津泰达康师傅·2023-10-21 05:01

【数之道 05】走进神经网络模型、机器学习的世界

神经网络神经网络（ANN）神经网络基础激活函数神经网络如何通过训练提高预测准确度逆向参数调整法（BackPropagation）梯度下降法链式法则增加一层b站视频连接神经网络（ANN）最简单的例子，视频的推送
醉酒柴柴·2023-10-20 23:48

bp（back propagation）

反向传播通过计算损失函数相对于网络参数的梯度，然后使用梯度下降等优化算法来更新参数，从而提高模型的性能核心思想是从网络的输出层向输入层传播误差信
怎么全是重名·2023-10-20 20:52

python pytorch 超详细线性回归原理解析加代码实现-小白入门级

文章目录python线性回归计算回归任务的损失梯度下降的原理模型参数的更新过程python基础库实现学习目标：了解深度学学习的结构基本过程和原理模型(函数):f(x)=wx+bf(x)=wx+bf(x)
浩浩的科研笔记·2023-10-20 15:57

逻辑回归揭秘: 从分类原理到机器学习实践

梯度下降工作原理梯度下降的公式梯度下降的变种学习率前向传播vs反向传播前向传播反向传播手把手计算回归前向传播反向传播参数更新实战逻辑回归预测乳
我是小白呀·2023-10-20 15:56

深度学习讲稿(27)

5.5瀑布下降法我们在没有讲述瀑布下降法（即完全梯度下降法）之前就比较了这个方法和随机梯度下降法的优劣。很多人会觉得丈二金刚摸不着头脑。但是这其实是很必要的。
山岳之心·2023-10-20 14:03

梯度下降

为什么需要梯度下降每个模型都有自己的损失函数，训练一个模型的过程，就是找到使损失函数最小的最佳参数的过程。
SummerTan·2023-10-20 14:26

T7-总结

重温了回归、梯度下降等经典方法和模型，学习了神经网络的设计，卷积神经网络的原理和应用，以及一些使用技巧，受益匪浅。
Kairk996·2023-10-20 14:40

回归算法

线性回归模型的MSE成本函数image标准线性方程的闭式解:imageimageimage梯度下降算法梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯
White_Li·2023-10-20 09:41

神经网络反向传播算法

反向传播算法本质上是梯度下降法。人工神经网络的参数多，梯度计算比较复杂。在人工神经网络模型提出几十年后才有研究者提出了反向传播算法来解决深层参数的训练问题。本文将详细讲解该算法的原理及实现。
360技术·2023-10-20 07:48

人工神经网络反向传播,神经网络的前向传播

什么是反向传播算法反向传播算法适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。
「已注销」·2023-10-20 07:18

机器学习实践入门（一）：神经网络入门

仅供自学记录使用这里写目录标题逻辑回归二分类问题思路一：构建超平面分类思路二：估计样本的分布成本函数的优化逻辑回归算法流程感知机感知机成本函数感知机算法流程神经网络神经元的解释多层神经网络前向传播神经元前向传播的向量形式反向传播梯度下降权重求导输出层权重求导推广
橘の月半喵·2023-10-20 04:12

轻松入门机器学习-线性回归实战

下面将从stasmodels包的最小二乘法、skleran的最小二乘法、批量梯度下降法、随机梯度下降法和小批量随机梯度下降法等方式实现线性回归。
小文的数据之旅·2023-10-20 00:30

36 机器学习（四）：异常值检测|线性回归|逻辑回归|聚类算法|集成学习

文章目录异常值检测箱线图z-score保存模型与使用模型回归的性能评估线性回归正规方程的线性回归梯度下降的线性回归原理介绍L1和L2正则化的介绍api介绍------LinearRegressionapi
Micoreal·2023-10-19 23:43

吴恩达深度学习--m个样本的梯度下降

我们关心得J（w,b）是一个平均函数，这个损失函数L。a^i是训练样本的预测值以上是对于单个例子的逻辑回归。我们可以初始化J=0，dw1dw2db都为0回顾我们正在做的细节，dw1、dw2、db作为累加器
862180935588·2023-10-19 22:46

梯度下降法

1.设置初始W,计算F(W)2.计算梯度▽F(W)*下降方向:dir=(-▽F(W))3.调用linsesrarch得到下降后的Wnew和F(Wnew)4.如果F(Wnew)-F(W)较小，达到max_lter停止;10(-6)否则W=Wnew;F(W)=F(Wnew);跳到第2步
incover·2023-10-19 22:42

梯度下降算法（Gradient Descent）

GD梯度下降法的含义是通过当前点的梯度（偏导数）的反方向寻找到新的迭代点，并从当前点移动到新的迭代点继续寻找新的迭代点，直到找到最优解，梯度下降的目的，就是为了最小化损失函数。
怎么全是重名·2023-10-19 21:56

机器学习算法学习一：线性回归

知识点：线性回归概念梯度下降算法l批量梯度下降算法l随机梯度下降算法l算法收敛判断方法1.1线性回归在统计学中，线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析
Mojoooo·2023-10-19 03:44

CS224D 课程学习笔记 L03

Lecture3.MoreWordVectorsLecture3这节课首先复习了上节课学到的word2vec模型，以及使用梯度下降和SGD优化参数，然后介绍了词向量的内部评测和外部评测，参数对于类比评测任务的影响
蜡笔大龙猫·2023-10-19 00:23

华为ICT——第一章-神经网络基础 私人笔记

最小值（最小化）梯度下降：增长的最快反向传播：更新参数：均方差损失函数：（主要用于回归问题）交叉熵损失函数：（主要用于分类问题）梯度下降法：小批量梯度下降Mbgd（一
希斯奎·2023-10-18 18:17

理解雅可比矩阵和海森矩阵

以此类推，多维空间中的一个点的二阶导数就表示该点梯度下降的快慢。以二维图像为例，一阶导数是图像灰度变化即灰度梯度，二阶导数就是灰度梯度变化程度。    
南苏月·2023-10-18 15:16

Epoch、批量大小、迭代次数

梯度下降它是机器学习中使用的迭代优化算法，用于找到最佳结果（曲线的最小值）。坡度是指斜坡的倾斜度或倾斜度梯度下降有一个称为学习率的参数。
挪威的深林·2023-10-18 08:26

13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降 和 正规方程对比

1.线性回归1.1线性模型试图学得一个通过属性的线性组合来进行预测的函数：1.2定义定义：线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合。一元线性回归：涉及到的变量只有一个。多元线性回归：涉及到的变量两个或两个以上。要注意的是：预测结果与真实值是有一定的误差的。单变量：多变量：1.3损失函数(误差大小)如何去求模型当中的W，使得损
涂作权的博客·2023-10-18 08:38

六.网络参数初始化

神经网络模型一般依靠随机梯度下降法进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛效果实际上又很大程度取决于网络参数最开始的初始化。
愿风去了·2023-10-18 00:16

每天五分钟机器学习：在大数据集情况下算法训练出现的计算量问题

大数据的问题当训练线性回归模型的时候或者逻辑回归模型的时候，梯度下降的规则是这样的：如果m的数量级是一个亿的时候，那么我们在计算上面这一项
幻风_huanfeng·2023-10-17 22:30

Logistic回归和Softmax回归引入$L_2$正则化后的梯度下降过程

Logistic回归和Softmax回归引入L2正则化后的梯度下降过程Logistic回归引入L2L_2L2正则化后的梯度下降过程Softmax回归引入L2L_2L2正则化后的梯度下降过程Logistic
早安不安·2023-10-17 11:04

LLM-微调-全参数微调：Full-Param Fine-tuning（100% parameters）

fine-tuning的过程就是用训练好的参数（从已训练好的模型中获得）初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与fromscratch训练过程一样（梯度下降）。
u013250861·2023-10-17 03:16

【PyTorch深度学习实践】02_梯度下降

文章目录梯度下降1.梯度下降算法实现代码2.随机梯度下降实现代码3.小批量随机梯度下降梯度下降1.梯度下降算法之前可以使用穷举的方法逐个测试找使损失函数最小的点（即找最优权重），但权重过多时，会使穷举变得非常困难
青山的青衫·2023-10-17 00:32
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他