共轭梯度下降

Python 机器学习入门之ID3决策树算法

系列文章目录第一章Python机器学习入门之线性回归第一章Python机器学习入门之梯度下降法第一章Python机器学习入门之牛顿法第二章Python机器学习入门之逻辑回归番外Python机器学习入门之
bug别找我·2023-10-21 18:23

优化器| SGD/SGD-m/SGD-NAG/Adagrad/Adadelta/RMSProp/Adam/Nadam/Adamax

，开个专栏记录自己的学习笔记各种SGD和Adam优化器整理基本概念优化：最大化或最小化目标函数，具体指最小化代价函数或损失函数损失函数J(θ)=f(hθ(x)，y)，hθ(x)是由参数θ构成的网络输出梯度下降
btee·2023-10-21 18:19

第三章 Python 机器学习入门之C4.5决策树算法

系列文章目录第一章Python机器学习入门之线性回归第一章Python机器学习入门之梯度下降法第一章Python机器学习入门之牛顿法第二章Python机器学习入门之逻辑回归番外Python机器学习入门之
bug别找我·2023-10-21 18:17

机器学习笔记 - 深度学习中跳跃连接的直观解释

1、更新规则和梯度消失问题没有动量的梯度下降的更新规则，假设L是损失函数，λ是学习率，其中基本上是通过
坐望云起·2023-10-21 06:12

深度学习（5）——网络模型参数的初始化策略（Xavier）

通过loss函数对predict_y和真实标签y进行计算，利用梯度下降对模型进行更新：（b的计算公式同理，此处不再赘述。）梯度下降的过程
schedule list·2023-10-21 05:13

全连接网络参数Xavier初始化

1.梯度消失考虑下图的神经网络，在使用梯度下降法迭代更新W_ki和W_ij时，它们的梯度方向间有什么关系？
天津泰达康师傅·2023-10-21 05:01

【数之道 05】走进神经网络模型、机器学习的世界

神经网络神经网络（ANN）神经网络基础激活函数神经网络如何通过训练提高预测准确度逆向参数调整法（BackPropagation）梯度下降法链式法则增加一层b站视频连接神经网络（ANN）最简单的例子，视频的推送
醉酒柴柴·2023-10-20 23:48

bp（back propagation）

反向传播通过计算损失函数相对于网络参数的梯度，然后使用梯度下降等优化算法来更新参数，从而提高模型的性能核心思想是从网络的输出层向输入层传播误差信
怎么全是重名·2023-10-20 20:52

python pytorch 超详细线性回归原理解析加代码实现-小白入门级

文章目录python线性回归计算回归任务的损失梯度下降的原理模型参数的更新过程python基础库实现学习目标：了解深度学学习的结构基本过程和原理模型(函数):f(x)=wx+bf(x)=wx+bf(x)
浩浩的科研笔记·2023-10-20 15:57

逻辑回归揭秘: 从分类原理到机器学习实践

梯度下降工作原理梯度下降的公式梯度下降的变种学习率前向传播vs反向传播前向传播反向传播手把手计算回归前向传播反向传播参数更新实战逻辑回归预测乳
我是小白呀·2023-10-20 15:56

深度学习讲稿(27)

5.5瀑布下降法我们在没有讲述瀑布下降法（即完全梯度下降法）之前就比较了这个方法和随机梯度下降法的优劣。很多人会觉得丈二金刚摸不着头脑。但是这其实是很必要的。
山岳之心·2023-10-20 14:03

梯度下降

为什么需要梯度下降每个模型都有自己的损失函数，训练一个模型的过程，就是找到使损失函数最小的最佳参数的过程。
SummerTan·2023-10-20 14:26

T7-总结

重温了回归、梯度下降等经典方法和模型，学习了神经网络的设计，卷积神经网络的原理和应用，以及一些使用技巧，受益匪浅。
Kairk996·2023-10-20 14:40

回归算法

线性回归模型的MSE成本函数image标准线性方程的闭式解:imageimageimage梯度下降算法梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯
White_Li·2023-10-20 09:41

神经网络反向传播算法

反向传播算法本质上是梯度下降法。人工神经网络的参数多，梯度计算比较复杂。在人工神经网络模型提出几十年后才有研究者提出了反向传播算法来解决深层参数的训练问题。本文将详细讲解该算法的原理及实现。
360技术·2023-10-20 07:48

人工神经网络反向传播,神经网络的前向传播

什么是反向传播算法反向传播算法适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。
「已注销」·2023-10-20 07:18

机器学习实践入门（一）：神经网络入门

仅供自学记录使用这里写目录标题逻辑回归二分类问题思路一：构建超平面分类思路二：估计样本的分布成本函数的优化逻辑回归算法流程感知机感知机成本函数感知机算法流程神经网络神经元的解释多层神经网络前向传播神经元前向传播的向量形式反向传播梯度下降权重求导输出层权重求导推广
橘の月半喵·2023-10-20 04:12

轻松入门机器学习-线性回归实战

下面将从stasmodels包的最小二乘法、skleran的最小二乘法、批量梯度下降法、随机梯度下降法和小批量随机梯度下降法等方式实现线性回归。
小文的数据之旅·2023-10-20 00:30

36 机器学习（四）：异常值检测|线性回归|逻辑回归|聚类算法|集成学习

文章目录异常值检测箱线图z-score保存模型与使用模型回归的性能评估线性回归正规方程的线性回归梯度下降的线性回归原理介绍L1和L2正则化的介绍api介绍------LinearRegressionapi
Micoreal·2023-10-19 23:43

吴恩达深度学习--m个样本的梯度下降

我们关心得J（w,b）是一个平均函数，这个损失函数L。a^i是训练样本的预测值以上是对于单个例子的逻辑回归。我们可以初始化J=0，dw1dw2db都为0回顾我们正在做的细节，dw1、dw2、db作为累加器
862180935588·2023-10-19 22:46

梯度下降法

1.设置初始W,计算F(W)2.计算梯度▽F(W)*下降方向:dir=(-▽F(W))3.调用linsesrarch得到下降后的Wnew和F(Wnew)4.如果F(Wnew)-F(W)较小，达到max_lter停止;10(-6)否则W=Wnew;F(W)=F(Wnew);跳到第2步
incover·2023-10-19 22:42

梯度下降算法（Gradient Descent）

GD梯度下降法的含义是通过当前点的梯度（偏导数）的反方向寻找到新的迭代点，并从当前点移动到新的迭代点继续寻找新的迭代点，直到找到最优解，梯度下降的目的，就是为了最小化损失函数。
怎么全是重名·2023-10-19 21:56

机器学习算法学习一：线性回归

知识点：线性回归概念梯度下降算法l批量梯度下降算法l随机梯度下降算法l算法收敛判断方法1.1线性回归在统计学中，线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析
Mojoooo·2023-10-19 03:44

CS224D 课程学习笔记 L03

Lecture3.MoreWordVectorsLecture3这节课首先复习了上节课学到的word2vec模型，以及使用梯度下降和SGD优化参数，然后介绍了词向量的内部评测和外部评测，参数对于类比评测任务的影响
蜡笔大龙猫·2023-10-19 00:23

华为ICT——第一章-神经网络基础 私人笔记

最小值（最小化）梯度下降：增长的最快反向传播：更新参数：均方差损失函数：（主要用于回归问题）交叉熵损失函数：（主要用于分类问题）梯度下降法：小批量梯度下降Mbgd（一
希斯奎·2023-10-18 18:17

理解雅可比矩阵和海森矩阵

以此类推，多维空间中的一个点的二阶导数就表示该点梯度下降的快慢。以二维图像为例，一阶导数是图像灰度变化即灰度梯度，二阶导数就是灰度梯度变化程度。    
南苏月·2023-10-18 15:16

Epoch、批量大小、迭代次数

梯度下降它是机器学习中使用的迭代优化算法，用于找到最佳结果（曲线的最小值）。坡度是指斜坡的倾斜度或倾斜度梯度下降有一个称为学习率的参数。
挪威的深林·2023-10-18 08:26

13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降 和 正规方程对比

1.线性回归1.1线性模型试图学得一个通过属性的线性组合来进行预测的函数：1.2定义定义：线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合。一元线性回归：涉及到的变量只有一个。多元线性回归：涉及到的变量两个或两个以上。要注意的是：预测结果与真实值是有一定的误差的。单变量：多变量：1.3损失函数(误差大小)如何去求模型当中的W，使得损
涂作权的博客·2023-10-18 08:38

六.网络参数初始化

神经网络模型一般依靠随机梯度下降法进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛效果实际上又很大程度取决于网络参数最开始的初始化。
愿风去了·2023-10-18 00:16

每天五分钟机器学习：在大数据集情况下算法训练出现的计算量问题

大数据的问题当训练线性回归模型的时候或者逻辑回归模型的时候，梯度下降的规则是这样的：如果m的数量级是一个亿的时候，那么我们在计算上面这一项
幻风_huanfeng·2023-10-17 22:30

常见数学名词

positivenumber负数negativenumber整数integernumber自然数Naturalnumber实数realnumber虚数imaginarynumber复数complexnumber复数的模∣z∣共轭复数
挨代码·2023-10-17 18:20

《R实现贝叶斯统计》chapter 1

前言最近在阅读《贝叶斯统计及其R实现》，这是一本用R语言实现贝叶斯统计的一本书本书分为七章1.介绍基本的贝叶斯概念2.介绍共轭先验分布的基本概念3.介绍先验分布的基本求法4.贝叶斯统计推断5.贝叶斯决策
小潤澤·2023-10-17 11:41

Logistic回归和Softmax回归引入$L_2$正则化后的梯度下降过程

Logistic回归和Softmax回归引入L2正则化后的梯度下降过程Logistic回归引入L2L_2L2正则化后的梯度下降过程Softmax回归引入L2L_2L2正则化后的梯度下降过程Logistic
早安不安·2023-10-17 11:04

LLM-微调-全参数微调：Full-Param Fine-tuning（100% parameters）

fine-tuning的过程就是用训练好的参数（从已训练好的模型中获得）初始化自己的网络，然后用自己的数据接着训练，参数的调整方法与fromscratch训练过程一样（梯度下降）。
u013250861·2023-10-17 03:16

【PyTorch深度学习实践】02_梯度下降

文章目录梯度下降1.梯度下降算法实现代码2.随机梯度下降实现代码3.小批量随机梯度下降梯度下降1.梯度下降算法之前可以使用穷举的方法逐个测试找使损失函数最小的点（即找最优权重），但权重过多时，会使穷举变得非常困难
青山的青衫·2023-10-17 00:32

PyTorch深度学习实践——3.梯度下降＆随机梯度下降

PyTorch深度学习实践——3.梯度下降＆随机梯度下降课程链接：《PyTorch深度学习实践》3.梯度下降算法梯度下降（GradientDescent）算法：w按梯度下降方向移动，这样一定次数的移动后就会移动到最优解
皮肤科大白·2023-10-17 00:31

《PyTorch深度学习实践》刘二大人 第3讲 梯度下降算法

梯度下降算法importmatplotlib.pyplotaspltx_data=[1.0,2.0,3.0]y_data=[2.0,4.0,6.0]w=1.0defforward(x):returnw*
Grairain·2023-10-17 00:01

PyTorch深度学习实践03——梯度下降算法

本节学习使用梯度下降算法自动更新权重，目标是求出使cost最小的权重组合优化问题：求解使得目标函数（cost）最小的权重组合的任务（即第二行式子所示）梯度下降（GD）、随机梯度下降（SGD），小批量随机梯度下降
UnFledged·2023-10-17 00:00

PyTorch深度学习实践第三集 梯度下降 y=wx

importrandomimportnumpyasnpimportmatplotlib.pyplotaspltx_data=[1.0,2.0,3.0]y_data=[2.0,4.0,6.0]defforward(x,w):y_p=w*xreturny_pdefloss(x,y,w):y_p=forward(x,w)loss_=(y-y_p)*(y-y_p)returnloss_w_list=[]m
Newjet666·2023-10-17 00:28

《PyTorch深度学习实践》第三讲 梯度下降算法

《PyTorch深度学习实践》第三讲梯度下降算法问题描述梯度下降问题分析编程实现代码实现效果随机梯度下降问题分析编程实现代码实现效果参考资料问题描述梯度下降问题分析编程实现代码importmatplotlib.pyplotasplt
稚皓君·2023-10-17 00:23

深度学习-优化算法与梯度下降

文章目录前置知识指数移动平均EMAL2正则（L2Regularization)权重衰减（WeightDecay)优化器SDGMomentumNAGAdagradRMSPropAdaDeltaAdamAdamW综上学习率StepLRMultiStepLRExponentialCosineAnealingRLROP（ReduceLRonPlateau)lambda总结前置知识指数移动平均EMA给予近期
小蒋的技术栈记录·2023-10-16 23:39

用梯度下降法来调整参数w和b

这篇文章就要介绍如何用梯度下降法来找到w和b。如下图所示，代价方程在三位空间的表现形式可以是下面这样的。无论我们从代价函数的哪个点开始进行梯度下降，最终都会达到最低点。
Ang陈·2023-10-16 22:07

机器学习（5）——代价函数误差分析

训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度，防止过拟合时添加的正则化项也是加在代
WarrenRyan·2023-10-16 18:29

深度前馈神经网络--Apple的学习笔记

深度前馈神经网络--Apple的学习笔记主要就是设计数学模型，使得误差预计与实际误差最小，然后使用梯度下降法调整参数。其中多了隐层。
applecai·2023-10-16 02:51

机器学习-有监督学习-神经网络

线性模型向量版本y=⟨w,x⟩+by=\langlew,x\rangle+by=⟨w,x⟩+b分类与回归懂得两者区别激活函数，损失函数感知机模型感知机模型的本质是线性模型，再加上激活函数训练数据、损失函数、梯度下降
小蒋的技术栈记录·2023-10-16 01:47

Python 机器学习入门之牛顿法

系列文章目录第一章Python机器学习入门之线性回归第一章Python机器学习入门之梯度下降法第一章Python机器学习入门之牛顿法牛顿法系列文章目录前言一、牛顿法1.牛顿法简介2.基本原理总结前言上一篇文章里面说到了梯度下降法
bug别找我·2023-10-16 00:30

Python 机器学习入门之K近邻算法

系列文章目录第一章Python机器学习入门之线性回归第一章Python机器学习入门之梯度下降法第一章Python机器学习入门之牛顿法第二章Python机器学习入门之逻辑回归番外Python机器学习入门之
bug别找我·2023-10-16 00:30

Python 机器学习入门之逻辑回归

系列文章目录第一章Python机器学习入门之线性回归第一章Python机器学习入门之梯度下降法第一章Python机器学习入门之牛顿法第二章Python机器学习入门之逻辑回归逻辑回归系列文章目录前言一、逻辑回归简介二
bug别找我·2023-10-16 00:54

Epoch和episodes的区别

在每个epoch中，整个训练数据集会被用来更新模型的权重，通常通过随机梯度下降或其他优化算法。一次epoch包含多次迭代，每次迭代使用数据集的一个不同子集（也可能是全部数据）来进行训练。
Chen_Chance·2023-10-15 20:51

机器学习之线性回归

highvariance）1.4.2欠拟合问题（highbias）1.5交叉验证2线性回归基本原理2.1线性回归定义2.2一元回归(单个特征）2.2多元回归(即多个特征）3损失函数代价函数、目标函数4优化方法4.1梯度下降
夜猫子科黎·2023-10-15 15:28
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他