梯度下降法

人工神经网络

Delta法则：使用梯度下降法，找到能够最佳拟合训练样本集的权向量。逻辑回归可以看做单层神经网络神经网络的
水云仙君·2022-12-07 09:01

Logistic回归及其python代码实现

导录：引言引入sigmoid函数二元逻辑回归的损失函数梯度下降法求损失函数极小值python实现logistics回归逻辑回归的正则化逻辑回归的优点和缺点小结参考引言逻辑回归从名字上看起来是回归问题，但其是机器学习中的一种分类模型
化石草·2022-12-07 06:03

机器学习实战——logistic回归

目录一、Logistic回归介绍1.Logistic回归的一般过程2.Logistic回归的特点二、基于Logistic回归和Sigmoid函数的分类三、基于最优化方法的最佳回归系数确定1.梯度上升法2.梯度下降法四
weixin_46120403·2022-12-07 00:51

机器学习与数据挖掘复习笔记

机器学习与数据挖掘复习考试重点kmeans决策树朴素贝叶斯fp树Apriori算法机器学习与数据挖掘目录机器学习与数据挖掘复习线性回归简介详解最小二乘法梯度下降法正规方程对比支持向量机决策树（ID3)分类重要概念构造过程优缺点
room_τ·2022-12-06 23:35

pytorch自动求导Autograd系列教程

前言：构建深度学习模型的基本流程就是：搭建计算图，求得损失函数，然后计算损失函数对模型参数的导数，再利用梯度下降法等方法来更新参数。
mbshqqb·2022-12-06 15:56

有监督学习的一般结构

通常采用对参数随机赋值*读取训练数据：读取每个数据样本及其期望输出*在训练数据上执行推断模型：在当前模型参数配置下，每个训练样本都会得到一个输出值*计算损失：损失函数有多种类型*调整模型参数：最常见的策略是采用梯度下降法当训练结束之后
AquilaEAG·2022-12-06 12:42

机器学习笔记(二)梯度下降法实现对数几率回归(Logistic Regression)

目录前言一、梯度下降法(GradientDescent)1.1Python简单实现二、对数几率回归模型三、梯度下降法实现对数几率回归3.1西瓜数据集展示3.2Python实践3.2.1数据准备3.2.2
Kee77·2022-12-06 11:28

【深度学习】 自编码器（AutoEncoder）

它基于反向传播算法与最优化方法（如梯度下降法），利用输入数据XXX本身作为监督，来指导神经网络尝试学习一个映射关系，从而得到一个重构输出XRX^RXR。在时间序列异常检测场景下，异
赵孝正·2022-12-06 10:47

深度学习-吴恩达-笔记-6-优化算法

目录Mini-batch梯度下降理解mini-batch梯度下降法指数加权平均数理解指数加权平均数指数加权平均的偏差修正动量梯度下降法（GradientdescentwithMomentum）RMSpropAdam
Leon.ENV·2022-12-06 07:57

深度学习中的随机初始化种子random.seed()

seed在深度学习代码中叫随机种子，设置seed的目的是由于深度学习网络模型中初始的权值参数通常都是初始化成随机数，而使用梯度下降法最终得到的局部最优解对于初始位置点的选择很敏感，设置了seed就相当于规定了初始的随机值
下雨天吃火锅哩·2022-12-06 00:59

机器学习——Logistic回归

Logistic基本概念1.1Logistic回归1.2Logistic分布1.3基于Logistic回归和Sigmoid函数的分类二、基于最优化方法的最佳回归系数确定2.1极大似然估计2.2梯度上升法2.3梯度下降法三
装进了牛奶箱中·2022-12-05 22:49

机器学习（上）-如何对模型超参数进行调参

（本质就是最优化的内容）一般算法无非就是：梯度下降法、牛顿法等无约束优化算法或者约束优化算法。②对超参数进行调参
꧁ᝰ苏苏ᝰ꧂·2022-12-05 13:27

BP神经网络及其设计的一般原则

从结构上讲，BP网络具有输入层、隐藏层和输出层；从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值；每一层包含若干个神经元，相邻层之间的神经元相互连接（包含一定的连接权值
hellosc01·2022-12-05 08:32

第四篇 2.2-线性回归中使用梯度下降法及原理

梯度下降法介绍：1.batchgradientdescent（批量梯度下降法）在一个二维平面上，和线性回归图像不同，线性回归图像是用特征作为坐标轴，而绘制梯度下降图像的时候，我们将损失函数J作为我们的纵坐标
LHboboo·2022-12-05 07:22

二元线性回归（自写梯度下降法与scikit-learn）

目录梯度下降法-二元线性回归二元线性回归-scikit-learn方式实现梯度下降法-二元线性回归之前弄了一元线性回归的例子，这次轮到二元线性回归。这个例子，也是根据网上视频课程学的
不务正业的猿·2022-12-05 07:39

【1.线性分类器】线性分类器理论知识

文章目录一、图像分类任务二、线性分类器：2.1图像表示：2.2损失函数：多类支持向量机损失：2.3正则项与超参数：K折交叉验证：2.4优化算法：梯度下降法（SGD）：随机梯度下降：小批量梯度下降法：一、
Koma_zhe·2022-12-04 20:25

深度学习导航（一）——神经网络的定义和基本概念

文章目录引子1.人工神经网络的定义和基本运算1.1人工神经网络的定义1.2神经网络的基本运算2.关于神经网络的一些基本概念2.1激活函数2.2正向传播与反向传播2.2.1正向传播2.2.2反向传播2.3梯度下降法
晨风默语·2022-12-04 15:22

(ICLR-2019)DARTS：可微分架构搜索

与传统的在离散的、不可微分的搜索空间上应用进化或强化学习的方法不同，我们的方法是基于架构表示的连续松弛，允许使用梯度下降法有效搜索架构。在C
顾道长生'·2022-12-04 14:12

《统计学习方法》读书笔记第2章：感知机

感知机的学习旨在求出将训练数据进行线性划分的超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
xcj～·2022-12-04 13:00

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4完善Runner类4.5.5
LzeKun·2022-12-04 13:20

李航《统计学习方法》学习笔记及python实现：第二章 感知机

感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
XB_please·2022-12-04 13:48

机器学习 1-4节 机器学习定义 模型描述 代价函数 梯度下降 多元线性回归 特征缩放法 均值归一化 判断梯度下降是否收敛 学习率 多项式回归 正规方程

机器学习文章目录机器学习1.2机器学习定义1.3-4机器学习的分类2.1模型描述（线性回归模型）2.2-4代价函数2.5-6梯度下降算法2.7线性回归的梯度下降3矩阵（涉及线性代数）4.1多功能/多元线性回归4.2多元梯度下降法
小丁今天学机器学习了吗·2022-12-04 11:17

用人话讲明白逻辑回归Logistic regression

文章目录1.从线性回归说起2.sigmond函数3.推广至多元场景4.似然函数5.最大似然估计6.损失函数7.梯度下降法求解8.结尾今天梳理一下逻辑回归，这个算法由于简单、实用、高效，在业界应用十分广泛
化简可得·2022-12-04 10:14

Logistic回归——银行违约情况分析

文章目录一、Logistic回归原理1、Sigmoid函数作用2、用梯度下降法求解参数二、利用Logistic回归分类1、数据预处理2、利用梯度上升计算回归系数3、训练和验证总结一、Logistic回归原理
我没得冰阔落.·2022-12-04 09:42

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.2数据处理4.5.3模型构建4.5.4完善Runner类4.5.5模型训练4.5.6模型评价4.5.7
五元钱·2022-12-04 09:17

NNDL 实验五 前馈神经网络 （3）鸢尾花数据集

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4
喝无糖雪碧·2022-12-04 09:14

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法编辑4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4
HBU_fangerfang·2022-12-04 09:09

embedded electronic system for AI/ML 学习笔记

梯度下降法缩放和正则化（scalingandnormalization）过拟合和欠拟合如何避免过拟合与欠拟合第一章线性回归linearregression先介绍一下监督学习和无监督学习：监督学习：利用一组已知类别的样本调整分类器的参数
无规则@lucio·2022-12-04 09:25

一秒弄懂 epoch、batch_size

第一：epoch神经网络训练时候y=wx+b,要把所有数据集样本通过网络计算出y'结果，然后计算平均损失：Loss=(∑(y-y')^2)/n(样本总个数)然后一次接一次地通过梯度下降法，得出比较小的Loss
qq_35674193·2022-12-04 02:36

人工智能面试总结-优化函数

说说梯度下降法的作用？说说梯度下降法算法步骤？说说你知道的优化函数？展开说说梯度下降、批次梯度下降、随机梯度下降？说说Batch的影响？说说批量梯度下降与随机梯度下降区别？
啥都生·2022-12-03 09:37

一起看看matlab工具箱内部是如何实现BP神经网络的

目录一、源码复现效果二、训练主流程三、效果差异来源分析四、不同训练方法的效果对比五、相关文章原创文章，转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com如果我们直接使用梯度下降法去求解
老饼讲解-BP神经网络·2022-12-03 04:22

深度学习——“学习”过程中的更新方法

前面通过使用参数的梯度，沿着梯度的方向更新参数，并重复这个过程，从而靠近最优参数，这个过程称为随机梯度下降法（SG
压垮草的骆驼·2022-12-02 23:45

使用Python实现线性回归

实验目的使用Python实现线性回归实验原理使用最小二乘法进行线性回归，采用均方误差来表示误差，使用梯度下降法进行最小化误差。
不良使·2022-12-02 18:42

（python 作业）线性回归预测房价

所以构造的神经元模型标量表达式为：f(x)=w×x+b根据自变量与因变量，建立一元线性回归方程：y=wx+b+ε（ε作为观测误差）2.误差函数我们使用均方误差作为误差函数然后我们需要找到一组最优的参数w,b使得函数的值最小3.梯度下降法因为梯度的方向就是函数变化最快的方向
羊之战神·2022-12-02 18:09

优化器optimizer，BGD、SGD、MBGD、NAG、AdaGrad、Adadelta、RMSProp、Adam

优化器根据优化点不一样可分为三类：基本的梯度下降法包括：批量梯度下降法BGD、随机梯度下降法SGD、小批量梯度下降法MBGD（SGD）动量优化法包括：标准动量优化法Momentum，牛顿加速度动量优化法
zhaosuyuan·2022-12-02 17:17

CV复习：常用优化器总结

梯度下降法(GradientDescent)梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD,GradientDescent)，随机梯度下降法(SGD,StochasticGradientDescent
pomelo33·2022-12-02 17:46

常用的优化器合集

目录一、优化器二、各优化器1、梯度下降法1.1梯度下降（GD）1.2、随机梯度下降（SGD）1.3、小批量梯度下降法（MBGD）1.4传统梯度优化的不足(BGD,SGD,MBGD)2、动量优化法2.1、
小wu学cv·2022-12-02 17:44

【面试总结】常见的优化器

总的来说可以分为三类，一类是梯度下降法（GradientDescent），一类是动量优化法（Momentum），另外就是自适应学习率优化算法。
Icanhearwawawa·2022-12-02 17:44

python cnn代码_卷积神经网络CNN与基于MNIST的Python代码示例

在开始前，我们需要明确的是网上讲的卷积神经网络的相关教程一般指的是神经网络的前向传导过程，反向传播都是用梯度下降法进行训练，
weixin_39777967·2022-12-02 15:37

深度学习中的最优化算法（一）

深度学习中的最优化算法（一）前置：mini-batch梯度下降法原理：若有100万个样本，则平均分为1000份，每一份包含1000个样本，称为batchX={x1,x2,...,x1000000}X=\
机器不想学习了·2022-12-02 07:38

岭回归(Ridge Regression)

岭回归出现的原因:为了求得参数w，也可以不用迭代的方法（比如梯度下降法对同一批数据一直迭代,可以采用标准方程法一次性就算出了w=(XTX)-1XTy,但是如果数据的特征比样本点还多,则计算(XTX)-1
三分迷惘·2022-12-02 05:19

《速通机器学习》-第五章 经典分类模型

5.1支持向量机5.1.1支持向量机的基本原理通过前面的学习我们知道，逻辑回归其实就是在平面上通过画直线进行二分类，其学习过程就是通过梯度下降法在训练数据中寻找分类线。
AI_卢菁博士·2022-12-02 01:36

机器学习 | 李宏毅课程笔记（二）深度学习任务攻略

【深度学习中的一些概念】神经网络的结构：https://www.bilibili.com/video/BV1bx411M7Zx梯度下降法（GradientDescent）：https://www.bilibili.com
Hygge0+·2022-12-01 19:30

机器学习之线性回归原理

机器学习之线性回归原理1线性回归简介2损失函数3两种求解方法①标准方程法②梯度下降法③求解方法的选择4正则化减轻过拟合①Lasso（L1正则）②Ridge（L2正则）③Elastic-net（L1与L2
喽哥·2022-12-01 19:21

AGPCNet——Parameter（）函数

然而在我们给定这个函数的结构（比如卷积、全连接等）之后，能学习的就是这个函数的参数了，我们再去设计一个损失函数，配合梯度下降法，使得我们学习到的函数（神经网络）能够尽量准确的完成预测的任务。更加直白一
python_Ezreal·2022-12-01 18:27

【深度学习】神经网络的Python代码实现

我们将在本节介绍感知机、反向传播算法以及多种梯度下降法以给大家一个全面的认识。一、感知机数字感知机的本质是从数据集中选取一个样本（example），并将其展示给算法，然后让算法判断“是”或“不是”。
风度78·2022-12-01 17:55

2022吴恩达机器学习课程学习笔记（第一课第二周）

2022吴恩达机器学习课程学习笔记（第一课第二周）多维特征向量化用于多元线性回归的梯度下降法多元线性回归的实现正规方程特征缩放特征大小、参数大小以及梯度下降之间的关系特征缩放定义特征缩放实现判断梯度下降是否收敛画学习曲线图自动收敛测试如何设置学习率特征工程多项式回归多维特征上周我们学习了单特征线性回归模型
Ys能保研·2022-12-01 13:22

机器学习之梯度与梯度下降法_数据科学和机器学习的梯度下降

机器学习之梯度与梯度下降法寻找最佳模型的最优化问题的解决方案(SolutiontosortofOptimizationProblemtofindtheBestModel)Frequentlywhendoingdatascience
weixin_26731327·2022-12-01 12:07

白手起家学习数据科学 ——梯度下降法之“背后的思想”(六)

这个意思是我们需要解决一些最优化问题，尤其我们需要从头做起来解决他们，我们所使用的方法叫做梯度下降法(gradientdescent)。你不可能发现它本身很惊艳，但是它能让我们做很惊艳的事情。
健雄·2022-12-01 12:06

逻辑回归Logistic Regression

文章目录一、逻辑回归1、基本概述2、问题二、逻辑回归的损失函数三、梯度下降法的具体推导过程（可忽略只记住公式即可）1.推导2.代码实现逻辑回归算法一、逻辑回归1、基本概述逻辑回归是用来解决分类问题的。
爱吃肉c·2022-12-01 11:54
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他