反向传播梯度下降第2页

DeepSeek 学习路线图

微积分：了解优化算法中的梯度下降等概念。2.编程基础Python：掌握Python编程，这是深度学习和AI开发的主要语言

CarlowZJ·2025-02-22 09:14

深度学习-123-综述之AI人工智能与DL深度学习简史1956到2024

文章目录1AI与深度学习的简史1.1人工智能的诞生(1956)1.2早期人工神经网络(1940-1960年代)1.3多层感知器MLP(1960年代)1.4反向传播(1970-1980年代)1.5第二次黑暗时代

皮皮冰燃·2025-02-22 04:07

用deepseek学大模型05逻辑回归

deepseek.com:逻辑回归的目标函数，损失函数，梯度下降标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据，预测结果的可视化展示，模型应用场景和优缺点，及如何改进解决及改进方法数据推导

wyg_031113·2025-02-22 00:48

嵌入式人工智能应用-第四章逻辑回归 8

逻辑回归1逻辑回归介绍1.1背景介绍1.2原理1.2.1预测函数1.2.2判定边界1.2.3损失函数1,2,4梯度下降函数1.2.5分类拓展1.2.6正则化2实验代码3实验结果说明1逻辑回归介绍1.1背景介绍逻辑回归的过程可以概括为

数贾电子科技·2025-02-21 16:11

神经网络模型训练中的相关概念：Epoch，Batch，Batch size，Iteration

也就是说，所有训练样本在神经网络中都进行了一次正向传播和一次反向传播。一个epoch是将所有训练样本训练一次的过程。Batch（批/一批样本）：将整个训练样本分成若干个batch。

一杯水果茶！·2025-02-21 16:39

机器学习课程的常见章节结构

强化学习机器学习的产生与发展机器学习的历史与现代应用经验误差与过拟合过拟合与欠拟合的概念及解决方案评估方法与性能度量交叉验证、准确率、召回率、F1分数等偏差与方差偏差-方差权衡及其对模型的影响2.经典机器学习算法2.1线性模型一元线性回归与多元线性回归梯度下降算法

zhangfeng1133·2025-02-21 14:24

机器学习—逻辑回归

基础概念1.1、什么是逻辑回归1.2、逻辑回归与线性回归的区别1.3应用场景2、逻辑回归模型2.1、模型定义2.2、Sigmoid函数2.3、决策边界2.4、概率解释3、模型训练3.1、损失函数3.2、梯度下降法

60岁的程序猿·2025-02-21 14:22

机器学习(四) 本文(2万字) | 梯度下降GD原理 | Python复现 |

第四章梯度下降一引入梯度二从一元到多元2.1一元函数2.1.1引入梯度下降2.1.2学习率2.1.3继续更新迭代2.2二元函数2.3多元函数三多种梯度方法3.1批量梯度下降（BatchGradientDescent

小酒馆燃着灯·2025-02-21 08:36

机器学习杂记

使用随机梯度下降。与标准梯度下降精确计算梯度不同，随机梯度下降算法在计算梯度时加入了随机因素。于是，即使陷入局部

被自己蠢哭了·2025-02-21 08:33

基于python深度学习遥感影像地物分类与目标识别、分割实践技术应用

专题一：深度学习发展与机器学习深度学习的历史发展过程机器学习，深度学习等任务的基本处理流程梯度下降算法讲解不同初始化，学习率对梯度下降算法的实例分析从机器学习到深度学习算法专题二深度卷积网络、卷积神经网络

xiao5kou4chang6kai4·2025-02-20 11:20

训练与优化

训练与优化损失函数与反向传播损失函数能够衡量神经网络输出与目标值之间的误差，同时为反向传播提供依据，计算梯度来优化网络中的参数。torch.nn.L1Loss计算所有预测值与真实值之间的绝对差。

钰见梵星·2025-02-20 04:23

【深度学习】学习率调度策略

学习率定义了模型权重（参数）在梯度下降或其他优化算法中的更新步伐。较大的学习率意味着在每次参数更新时，模型会进行更大幅度的调整，而较小的学习率则意味着细致的、渐进的调整。

黑白交界·2025-02-20 02:37

【深度学习入门：基于python的理论与实现读书笔记】第五章误差反向传播法

目录摘要第五章误差反向传播法简单层的实现乘法层的实现加法层的实现激活函数层的实现ReLU层Sigmoid层Affine层和Softmax层的实现Affine层Softmax-with-Loss层误差反向传播法的实现摘要该文章简要介绍了神经网络的误差反向传播法

Bin二叉·2025-02-19 19:37

用deepseek学大模型08-长短时记忆网络 (LSTM)

deepseek.com从入门到精通长短时记忆网络(LSTM),着重介绍的目标函数，损失函数，梯度下降标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据，模型应用场景和优缺点，及如何改进解决及改进方法数据推导

wyg_031113·2025-02-19 08:35

用deepseek学大模型08-卷积神经网络(CNN)

yuanbao.tencent.com从入门到精通卷积神经网络(CNN),着重介绍的目标函数，损失函数，梯度下降标量和矩阵形式的数学推导，pytorch真实能跑的代码案例以及模型,数据，预测结果的可视化展示

wyg_031113·2025-02-19 07:30

随机梯度下降一定会收敛么？

1.什么是随机梯度下降？随机梯度下降（StochasticGradientDescent，SGD）是一种用于最小化目标函数的迭代优化算法，在机器学习和深度学习领域应用广泛。

AndrewHZ·2025-02-19 01:36

如何解决RNN梯度爆炸和弥散的问题

这种方法可以防止梯度在反向传播过程中变得过大。2.使用ReLU激活函数：相比于tanh或sigmoid，ReLU激活函数（及其变种如LeakyReLU）在正区间内梯度恒定，这有助于缓解梯度爆炸问题。

路野yue·2025-02-18 12:40

【机器学习】多元线性回归

本教程将系统性推演多元线性回归，包括向量化处理、特征放缩、梯度下降的收敛性和学习率选择等，并使用numpy实现。最后，我们会通过sklearn快速实现多元线性回归模型。

T0uken·2025-02-17 14:26

机器学习入门-读书摘要

因为里面的反向传播和链式法则特别难懂，又网上搜了相关内容进行进一步理解，参考的以下文章（个人认为都讲的都非常好）：https://zhuanlan.zhihu.com/p/65472471https:/

不像程序员的程序媛·2025-02-16 03:53

优化算法全景解析：从梯度下降到群体智能

一、引言：为什么需要优化算法？在AlphaGo击败人类围棋冠军的背后，在特斯拉自动驾驶系统实时决策的瞬间，在推荐系统精准推送内容的过程中，优化算法始终是推动这些技术落地的核心引擎。无论是机器学习模型的训练，还是复杂系统的参数调优，优化算法的本质是：在给定的约束条件下，找到使目标函数最优的解。本文将深入解析优化算法的核心原理、经典方法、现代进展及实战应用，助你全面掌握这一技术利器。二、优化算法分类图

welcome_123_·2025-02-15 08:31

用大模型学大模型02-数学基础微积分

https://metaso.cn/s/uxPBB9C我正在学习深度学习相关的数学知识,学到了微积分核心概念：导数（尤其是偏导数）、梯度、链式法则；积分与最优化（如梯度下降法的数学推导）给我一个入门级的完整教程和实例好吧

wyg_031113·2025-02-14 22:39

【一起看花书1.3】——第5章机器学习基础

目录：5.7监督学习5.8无监督学习5.9随机梯度下降5.10构建机器学习算法5.11深度学习发展的动力5.7监督学习监督学习，本质上是复杂函数的拟合，即给定特征xxx,我们需要得到标签yyy，这不就是求一个函数的拟合嘛

应有光·2025-02-14 17:03

《探秘Hogwild!算法：无锁并行SGD的神奇之路》

算法作为一种能够实现无锁并行随机梯度下降（SGD）的创新方法，受到了广泛关注。下面就来深入探讨一下Hogwild!算法是如何实现这一壮举的。

·2025-02-14 17:24

9、深度学习-自学之路-损失函数、梯度下降、学习率、权重更新的理解

由《8、深度学习-自学之路-损失函数和梯度下降程序展示》我们看到我们设计了一个程序，这个程序里面由学习率，有损失函数，有梯度下降，权重更新。

小宇爱·2025-02-14 11:16

《深度解析：批量、随机和小批量梯度下降的区别与应用》

在机器学习和深度学习的领域中，梯度下降算法是优化模型参数的核心工具之一。

·2025-02-14 09:40

Pytorch的自动求导模块

文章目录torch.autograd.backward()基本用法非标量张量的反向传播保留计算图指定输入张量高阶梯度计算与y.backward()的区别torch.autograd.grad()基本用法非标量张量的梯度高阶梯度计算多输入

zoujiahui_2018·2025-02-14 05:57

机器学习算法工程师笔试选择题（1）

1.关于梯度下降的说法正确的是：A.梯度下降法可以确保找到全局最优解。B.随机梯度下降每次使用所有数据来更新参数。C.批量梯度下降（BatchGradientDescent）通常收敛更快。

Ash Butterfield·2025-02-14 00:08

【人工智能】Python中的深度学习优化器：从SGD到Adam

本文将介绍深度学习中常用的优化器，从传统的随机梯度下降（SGD）到现代的自适应优化器（如Adam）。我们将深入探讨每种优化器的原理、优缺点，并通过Python实现

蒙娜丽宁·2025-02-13 08:13

【机器学习】嘿马机器学习（算法篇）第6篇：线性回归,学习目标【附代码文档】...

数据集介绍1案例：鸢尾花种类预测1.8案例：鸢尾花种类预测—流程实现1再识K-近邻算法API1.11案例2：预测facebook签到位置1项目描述线性回归2.3数学:求导1常见函数的导数线性回归2.5梯度下降方法介绍

广江鹏·2025-02-11 21:59

基于计算图的Softmax层反向传播推导

KaiMing Zhu·2025-02-11 21:25

第二章：10.1 高级优化算法 Adam

梯度下降的基本概念：梯度下降是一种优化算法，用于最小化成本函数J(w,b)。在每一步中，通过计算成本函数相对于参数w和b的梯度，并沿着梯度的反方向更新参数，来逐步接近成本函数的最小值。

望云山190·2025-02-10 13:56

AI学习专题（一）LLM技术路线

阶段1：AI及大模型基础（1-2个月）数学基础线性代数（矩阵、特征值分解、SVD）概率论与统计（贝叶斯定理、极大似然估计）最优化方法（梯度下降、拉格朗日乘子法）编程&框架Python（NumPy、Pandas

王钧石的技术博客·2025-02-10 01:39

深度学习笔记——pytorch构造数据集 Dataset and Dataloader

系列文章目录机器学习笔记——梯度下降、反向传播机器学习笔记——用pytorch实现线性回归机器学习笔记——pytorch实现逻辑斯蒂回归Logisticregression机器学习笔记——多层线性（回归

旺仔喔喔糖·2025-02-09 22:19

【人工智能专栏】Stochastic Gradient Descent (SGD) 随机梯度下降

StochasticGradientDescent(SGD)随机梯度下降IntroducingSGDAI:StochasticGradientDescent(SGD)isapopularoptimizationalgorithmusedinmachinelearningforfindingtheminimumofacostfunction.Itisavariantofthegradientdesc

manylinux·2025-02-09 17:09

从零开始人工智能Matlab案例-线性回归与梯度下降算法

使用线性回归模型拟合历史数据，并通过梯度下降算法优化模型参数，动态展示参数更新如何逐步降低预测误差。

算法工程师y·2025-02-08 23:28

从零学习pytorch——4.基础概念讲解及神经网络模块

它提供了一种方便的方式来定义神经网络的结构，管理模型的参数，并实现前向传播和反向传播。

PyTorch 研习社·2025-02-07 22:05

深度学习篇---深度学习相关知识点&关键名词含义

机器学习基础二、深度学习核心层（神经网络与训练机制）1.神经网络基础2.激活函数（ActivationFunction）3.损失函数（LossFunction）4.优化算法（Optimization）5.反向传播

Ronin-Lotus·2025-02-06 21:21

【单层神经网络】基于MXNet的线性回归实现（底层实现）

写在前面刚开始先从普通的寻优算法开始，熟悉一下学习训练过程下面将使用梯度下降法寻优，但这大概只能是局部最优，它并不是一个十分优秀的寻优算法整体流程生成训练数据集（实际工程中，需要从实际对象身上采集数据）

辰尘_星启·2025-02-06 11:43

自定义数据集使用pytorch框架实现逻辑回归并保存模型，然后保存模型后再加载模型进行预测，对预测结果计算精确度和召回率及F1分数

训练模型：使用二元交叉熵损失函数BCELoss和随机梯度下降优化器SGD进行训练。保存模型：使用torch.save保存模型的参数。加载模型并预测：加载

知识鱼丸·2025-02-05 06:42

TensorFlow 示例项目实战与源码解析.zip

文章将详细介绍TensorFlow的核心概念，如张量、图计算、会话、变量、梯度下降与优化器、损失函数、数据集、模型评估、模型保存与恢复以及KerasAPI。读者可通过实践这些示

ELSON麦香包·2025-02-05 01:34

GRU是门控循环单元是什么？

GRU旨在解决传统RNN中存在的长期依赖问题和反向传播中的梯度消失或梯度爆炸问题。

无限进步呀·2025-02-04 22:13

PyTorch动态计算图:如何灵活构建复杂模型

PyTorch动态计算图:如何灵活构建复杂模型关键词：PyTorch、动态计算图、自动微分、反向传播、神经网络、模型构建、计算图优化文章目录PyTorch动态计算图:如何灵活构建复杂模型1.背景介绍1.1

AI天才研究院·2025-02-04 07:47

深度学习查漏补缺：1.梯度消失、梯度爆炸和残差块

在反向传播中，每一层的梯度都会乘以激活函数的导数。如果导数很小，乘积就会导致梯度逐渐变小。链式法则的多次相乘：假设网络有nn层，梯度从输出层传到第ii层时，会经历多次链式相乘：如果每一

nnerddboy·2025-02-03 02:19

《深度学习入门：梯度下降法全解析，小白必看！》

目录一、引言二、什么是梯度下降？

Lemon_wxk·2025-02-02 12:38

AI真的能理解我们这个现实物理世界吗？深度剖析原理、实证及未来走向

文章开篇抛出疑问，随后深入介绍AI深度学习基础，包含神经网络架构、反向传播算法。继而列举AI在物理场景识别、实验数据分析中显露的“理解”迹象，也点明常识性错误、极端场景失效这类反例。

AI_DL_CODE·2025-02-02 10:51

对线性回归的补充——正规方程法

目录1.引言2.单变量线性回归的解析解3.多变量线性回归的解析解参考1.引言在单变量线性回归和多变量线性回归中，参数的更新都使用了梯度下降算法进行迭代，但是线性回归的参数最优值可以直接得到解析解。

梦醒沉醉·2025-02-01 17:20

重参数化（Reparameterization）的原理

因为隐含变量是从某个分布中采样的，这直接导致了当我们尝试使用梯度下降方法优化VAE的参数时，由于采样操作的随机性，无法直接对其求导。重参数化技巧通过将随机采样过程转换为确定性的操作来解决

读思辨·2025-01-31 15:21

【DL】神经网络与机器学习基础知识介绍（一）

原博客：https://mengwoods.github.io/post/dl/009-dl-fundamental/文章目录基本通用概念梯度下降算法数据工程训练技术偏差与方差防止过拟合评估指标决策树基本通用概念机器学习的类型

MengWoods·2025-01-30 01:01

python3+TensorFlow 2.x（四）反向传播

目录反向传播算法反向传播算法基本步骤：反向中的参数变化总结反向传播算法反向传播算法（Backpropagation）是训练人工神经网络时使用的一个重要算法，它是通过计算梯度并优化神经网络的权重来最小化误差

刀客123·2025-01-29 07:53

最小二乘法-线性回归和梯度下降法

最小二乘法一、最小二乘法概念以及应用最小二乘法（LeastSquaresMethod,LSE）是一种数学优化技术，主要用于寻找最佳拟合给定数据点的函数。它通过最小化观测值与模型预测值之间的差的平方和来估计模型参数。换成听得懂的话说就是，我们有一组数据(x1,y1),(x2,y2)…(xn,yn)，我们也知道他的数学表达式的形式例如y=kx+b(但是不知道k、b的具体值)，但是(xn,yn)

梦回楼~·2025-01-28 08:19

推荐频道

反向传播梯度下降