梯度下降法

浅层神经网络

目录1、神经网络表示2、计算神经网络的输出3、多个样本的向量化4、激活函数5、激活函数的导数6、神经网络的梯度下降法1、神经网络表示输入层：有输入特征1、2、3隐藏层：四个结点，表示你无法在训练集中看到他们
Q渡劫·2023-06-17 21:18

深度学习入门笔记1--梯度下降之--为什么是负方向--为什么局部下降最快的是负梯度方向

本节目标理解梯度下降的原理，主要围绕以下几个问题展开：梯度下降法的用途？什么是梯度？为什么是负的梯度为什么局部下降最快的方向就是梯度的负方向。
闪闪发亮的小星星·2023-06-16 21:58

优化算法

Mini-batch梯度下降如果训练集较小，直接使用batch梯度下降法，样本集较小就没必要使用mini-batch梯度下降法，你可以快速处理整个训练集，所以使用batch梯度下降法也很好，这里的少是说小于
zhanderson·2023-06-16 11:11

深度学习讲稿(21)

4.3.1改进冷热法--梯度下降法冷热法每次更新权重都要重新算一次，而且每次更新的权重改变虽然有一定的伸缩，但实际上更新权重完全没有依据，就是靠左右碰撞试错来搜索更新的路径。
山岳之心·2023-06-16 08:31

机器学习基础-2

第2周文章目录第2周@[toc]四、多变量线性回归(LinearRegressionwithMultipleVariables)4.1多维特征4.2多变量梯度下降4.3梯度下降法实践1-特征缩放4.4梯度下降法实践
qq_1041357701·2023-06-15 22:58

Python神经网络编程学习笔记

logisticfunction(逻辑函数)多层神经元演示只有两层，每层两个神经元的神经网络的工作矩阵大法(点乘)使用矩阵乘法的三层神经网络示例反向传播误差多个输出节点反向传播误差使用矩阵乘法进行反向传播误差更新权重梯度下降法误差函数激活函数
源代码•宸·2023-06-15 18:39

梯度下降优化

二阶梯度优化1.无约束优化算法1.1最小二乘法1.2梯度下降法1.3牛顿法/拟牛顿法2.一阶梯度优化2.1梯度的数学原理2.2梯度下降算法3.二阶梯度优化梯度优化3.1牛顿法3.2拟牛顿法1.无约束优化算法在机器学习中的无约束优化算法中
好记性＋烂笔头·2023-06-14 16:21

【机器学习】名词整理

机器学习名词整理一、基础名词1.1batch_size/批尺寸1.2epoch1.3iteration1.4learningrate/学习率1.5loss/损失函数1.6梯度下降法1.7优化器1.8kernel
半斤烧白_liquor·2023-06-14 02:14

神经网络优化器之随机梯度下降法的理解

随机梯度下降法（SGD）随机梯度下降方法，在每次更新时用1个样本，随机也就是说我们用样本中的一个例子来近似我所有的样本，由于计算得到的并不是准确的一个梯度，因而不是全局最优的。
zhengudaoer·2023-06-13 19:55

多项式回归-梯度下降法

图1如图1，如果用线性回归线表示可能会不准确，因此有了多项式回归假如我们不是要找直（或者超平面），而是一个需要找到一个用多项式所表示的曲线（或者超曲面），例如二次曲线：
Zhou_qn·2023-06-13 17:44

机器学习：基于AdaBoost算法模型对信用卡是否违约进行识别

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三)：基于线性回归对波士顿房价预
i阿极·2023-06-13 14:51

深度学习神经网络优化器总结

深度学习神经网络优化器有以下几种：1.梯度下降法（GradientDescent）2.随机梯度下降法（StochasticGradientDescent）3.批量梯度下降法（BatchGradientDescent
灼清回梦·2023-06-13 11:54

02-梯度下降法实践

（一）梯度下降法最简步骤（二）BGD线性回归代码实现1.生成回归数据2.拆分训练集与测试集3.利用梯度下降法拟合直线y=wx+b（一）梯度下降法最简步骤求使得f(w)值最小的参数w初始化fort=1,2
Suki百香果·2023-06-10 03:39

鲍鱼数据集案例分析-预测鲍鱼年龄（线性回归/梯度下降法实操）

数据集来源UCIMachineLearningRepository:AbaloneDataSet目录一、数据集探索性分析二、鲍鱼数据预处理1.对sex特征进行OneHot编码，便于后续模型纳入哑变量2.添加取值为1的特征3.计算鲍鱼的真实年龄4.筛选特征5.将鲍鱼数据集划分为训练集和测试集三、实现线性回归和岭回归1.使用Numpy使用线性回归2.使用Sklearn实现线性回归3.使用numpy实现
Suki百香果·2023-06-10 03:35

机器学习算法实战（scikit-learn版本）---线性回归

文章目标：利用scikit-learn使用梯度下降法实现线性回归使用线
喜欢吃豆·2023-06-09 23:16

深度学习(神经网络)

文章目录神经网络历史形式神经元模型（M-P模型）感知器多层感知器误差反向传播算法误差函数和激活函数误差函数二次代价函数交叉熵代价函数激活函数sigmoid函数RELU函数似然函数softmax函数随机梯度下降法批量学习方法在线学习小批量梯度下降法学习率自适应调整学习率
Elsa的迷弟·2023-06-09 18:39

机器学习：基于Apriori算法对中医病症辩证关联规则分析

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法
i阿极·2023-06-09 11:45

实验11 人工神经网络(2)

1.实验目的①掌握梯度下降法的优化算法；②能够使用tf.keras构建Sequential模型，完成多分类任务。
YoLo-8·2023-06-08 12:38

神经网络实验---梯度下降法

本次实验主要目的是掌握梯度下降法的基本原理，能够使用梯度下降法求解一元和多元线性回归问题。
苏黎世卡·2023-06-07 17:50

神经网络实验---人工神经网络（2）

本实验目的主要是掌握梯度下降法的优化算法；能够使用tf.keras构建Sequential模型，完成多分类任务。
苏黎世卡·2023-06-07 17:50

python-机器学习-波士顿房价回归分析

一、目的以波士顿房价数据集为对象，理解数据和认识数据，掌握梯度下降法和回归分析的初步方法，掌握模型正则化的一般方法，对回归分析的结果解读。
姓李与理性不可兼得·2023-06-07 07:46

机器学习：基于Kmeans聚类算法对银行客户进行分类

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法
i阿极·2023-06-06 22:42

机器学习：基于XGBoost对信用卡欺诈行为的识别

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法
i阿极·2023-06-06 22:32

机器学习(六)：基于高斯贝叶斯对面部皮肤进行预测分析

专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三)：基于线性回归对波士顿房价预测机器学习(十四)：基
i阿极·2023-04-21 17:22

基于随机梯度下降法的手写数字识别、epoch是什么、python实现

基于随机梯度下降法的手写数字识别、epoch是什么、python实现一、普通的随机梯度下降法的手写数字识别1.1学习流程1.2二层神经网络类1.3使用MNIST数据集进行学习注：关于什么是epoch二、
算法技术博客·2023-04-19 18:29

神经网络的SGD、Momentum、AdaGrad、Adam最优化方法及其python实现

classSGD:"""随机梯度下降法（StochasticGradientDescent）"""def__init__(self,lr
算法技术博客·2023-04-19 18:58

机器学习系列（十五）——梯度下降法的优势

梯度下降法的向量化在之前的学习中我们知道利用numpy模块的特性，将运算向量化能一定程度上加快运算速度，这里使用boston房产数据集，向量化后的梯度运算函数只有一行代码：defdJ(theta,X_b
Ice_spring·2023-04-19 11:43

深度学习的一些基本概念—入门教程

文章目录深度学习的概念入门教程基础概念神经网络前向传播反向传播权重和偏置激活函数：损失函数优化器批处理常用模型卷积神经网络循环神经网络长短时记忆网络自编码器生成对抗网络实践中使用深度学习数据预处理监督学习模型非监督学习模型梯度下降法超参数调整模型评估模型部署结论深度学习的概念入门教程深度学习是一种人工智能技术
百年孤独百年·2023-04-19 01:30

ardupilot 最优化算法

目录文章目录目录摘要1.最小二乘法1.1定义1.2基本思想1.3基本原理1.4举例子1.5最小二乘法和梯度法区别2.梯度下降法2.1什么是梯度2.2什么是梯度下降3.牛顿迭代法3.0牛顿迭代3.1牛顿基本原理
魔城烟雨·2023-04-18 11:01

逻辑回归与梯度下降法

逻辑回归：是用来进行分类的。逻辑回归的线性预测输出可以写成：y^=wTx+b引入Sigmoid函数，让输出限定在[0,1]之间，y^=Sigmoid(wTx+b)=σ(wTx+b)单个样本损失函数：L(y^,y)=−(ylogy^+(1−y)log(1−y^))对逻辑回归进行梯度计算。对单个样本而言，逻辑回归Lossfunction表达式如下：首先，该逻辑回归的正向传播过程非常简单。根据上述公式，
泽野千里wmh·2023-04-17 18:00

【剑指offer】反向传播

1*1卷积的作用文章目录系列文章目录什么是反向传播反向传播的过程部分过程详解（1）前向传播（2）计算梯度和更新参数代码理解什么是反向传播深度学习中的反向传播（Backpropagation）是一种基于梯度下降法的优化方法
.别拖至春天.·2023-04-17 16:48

梯度下降法

梯度下降法梯度下降法(一)目的和原因(二）公式与理解全量梯度下降（一）公式与理解随机梯度下降梯度下降法的困难与挑战代码实战梯度下降法与优化（一）全量梯度下降法（二）随机梯度下降法梯度下降法(一)目的和原因目的
零点呀·2023-04-17 08:25

Python-梯度下降法实践

Python-梯度下降法实践一、前言二、梯度下降法1.简介2.关于线性回归梯度下降法实践求y=x^2+2*x+5的最小值(1)通过图像观察(2)通过描点观察(3)标注点(4)改变步长观察三、批量梯度下降算法
一抹light·2023-04-16 07:17

python——在1到100间搜索39

=goal://while循环找到目标数值39ifstart>goal:start-=1ifstart梯度下降法的随即搜索
Dilemma46·2023-04-16 05:30

SLAM面试笔记(3) - 视觉SLAM

目录1紧耦合、松耦合的区别（1）紧耦合和松耦合的区别（2）紧耦合和松耦合的分类（3）为什么要使用紧耦合2SIFT和SUFT的区别3视差与深度的关系4闭环检测常用方法5描述PnP算法6梯度下降法、牛顿法、
几度春风里·2023-04-16 03:01

ADMM——交替方向乘子法

它结合了两种经典优化方法：梯度下降法(gradientdescent)和拉格朗日乘子法(Lagrangianmultipliermethod)。ADMM算法ADMM考虑如
cnblogs.com/qizhou/·2023-04-15 16:50

【机器学习(二)】线性回归之梯度下降法

文章目录专栏导读1、梯度下降法原理2、梯度下降法原理代码实现3、sklearn内置模块实现专栏导读✍作者简介：i阿极，CSDNPython领域新星创作者，专注于分享python领域知识。
i阿极·2023-04-15 03:07

Pytorch深度学习笔记（四）梯度向下模型

梯度下降法通过导数告诉我们此时
向岸看·2023-04-14 19:18

神经网络中的参数初始化

当使用梯度下降法来进行优化网络参数时，参数初始值的选取十分关键，关系到网络的优化效率和泛化能力。参数初始化的方式通常有以下三种：（1）预训练初始化：不同的参数初始值会收敛到不同的局部最优解。
云隐雾匿·2023-04-14 08:50

神经网络优化中的学习率调整（下）

一、AdaGrad算法在标准的梯度下降法中，每个参数
云隐雾匿·2023-04-14 08:50

机器学习——特征缩放

会一点点补充的机器学习专栏：机器学习专栏文章目录特征缩放1、特征缩放作用2、特征缩放的四种方式3、sklearn实现特征缩放特征缩放1、特征缩放作用面对特征数量较多的时候，保证这些特征具有相近的尺度（无量纲化），可以使梯度下降法更快的收敛
Tao_RY·2023-04-14 06:14

机器学习——Day1

文章目录0.什么是机器学习1.线性回归1.1最小二乘1.2梯度下降1.3梯度下降法-一元线性回归0.什么是机器学习机器学习（machinelearning）是目前信息技术中最激动人心的方向之一，通过学习机器学习我们可以深入了解人类的本质
破风小k·2023-04-13 23:55

一文速学数模-最优化算法(二)梯度下降算法一文详解+Python代码

目录前言一、梯度下降法简述二、梯度下降算法原理理解1.梯度2.梯度定义3.梯度下降4.损失函数(lossfunction)5.学习率(步长)三、梯度下降算法代码展示消失和爆炸梯度前言最近会不断更新深度学习系列文章
fanstuck·2023-04-11 21:18

算法设计与智能计算 || 专题五: 最优解搜索问题

最优解搜索问题文章目录最优解搜索问题1.牛顿迭代法1.1牛顿分搜索零点的原理1.2牛顿法搜索极值点原理2.梯度下降法2.1微分与梯度2.1.1一元函数与多元函数的微分2.1.2梯度2.3梯度下降法2.4
Mr_LeeCZ·2023-04-10 18:33

深度神经网络调参数技巧,神经网络参数调节方法

现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同
小六oO·2023-04-10 17:07

机器学习梯度下降算法（二）

目录前言一、多项式回归二、多重回归三、随机梯度下降法总结前言前面讲到了梯度下降算法的由来，和具体的分析过程，下面进一步对之前的内容进行递进和细化。
Dr.sky_·2023-04-10 14:08

机器学习中的数学笔记：微分学与梯度下降法

机器学习中的数学笔记：微分学与梯度下降法1.简介:数学在机器学习中的应用2.微分学基本思想和方法2.1微分学的核心思想:函数逼近2.2微积分的基础语言:极限论2.2.1极限的表述方式2.2.2无穷小2.2.3
Laura_Wangzx·2023-04-10 14:04

微分学与梯度下降法

1.微分学的基本思想和方法1.1微分学的核心思想：函数逼近微分学的核心思想是用熟悉且简单的函数对复杂函数进行局部逼近。常用作逼近的简单函数包括：线性函数：函数的一阶导数多项式函数：泰勒级数1.2微积分的基础语言：极限论极限的表达方式：自然语言：当xxx趋向于aaa时，f(x)f(x)f(x)的极限是LLL。数学符号：lim⁡x→af(x)=L\lim\limits_{x\toa}f(x)=Lx→a
独影月下酌酒·2023-04-10 13:00

Adam优化器

Adam优化算法是一种对随机梯度下降法的扩展。简单来说，Adam是带动量的梯度下降算法和RMSProp算法的结合。
cocapop·2023-04-09 04:34

Adam优化器算法详解及代码实现

在标准的梯度下降法中，每个参数在每次迭代时都使用相同的学习率，但是学习率如果过大就不会收敛，如果过小则收敛速度太慢。RMSprop算法是GeoffHint
1 + 1=王·2023-04-09 04:32
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他