梯度下降法

学习笔记-机器学习

1线性回归时间：2022.04.29形式化定义假设函数（hypothesesfunction）损失函数（lossfunction）代价函数（costfunction）梯度下降法使用梯度下降法求解，使代价函数损失值最小梯度下降算法变形
吉庆@数据安全·2022-11-24 00:57

吴恩达深度学习笔记——DAY2

目录一、梯度下降法二、向量化(Vectorization)三、Python中的广播（BroadcastinginPython）一、梯度下降法梯度下降法在测试集上，通过最小化代价函数（成本函数〉J(w,b
qq_45948088·2022-11-24 00:47

Python回归预测建模实战-随机梯度下降法预测房价（附源码和实现效果）

实现功能：使用sklearn提供的随机梯度下降法回归（SGDRegressor）的API对波士顿房价数据集进行预测，并尝试将预测结果进行分析。实现代码：fromsk
数据杂坛·2022-11-23 20:47

梯度下降法（代码实现）

数据来源标注：在代码中，Livingarea里的数值都缩小了1000倍，Price里的数值都缩小了10倍#梯度下降法importdecimaldecimal.getcontext().prec=100decimal.getcontext
我已经流浪了如此之久·2022-11-23 19:12

计算图与自动微分 优化问题

output_dim,input_dim激活函数(使用的relu)：Activation(“relu”)损失函数(使用的交叉熵)：loss=‘categorical_crossentropy’优化(使用梯度下降法
生命苦短 必须喜感·2022-11-23 15:32

深度学习 复习注意

梯度下降法：一种基于搜索的最优化方法，是训练神经网络的基本方法，它其实不是一个机器学习算法，但是在机器学习领域，许多算法都是以梯度下降法为基础的，它的主要作用是寻找目标函数的最优解。
生命苦短 必须喜感·2022-11-23 15:02

机器学习笔记（七）：SVM

最优化问题最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值问题，一般分为以下三种情况(备注：以下几种方式求出来的解都有可能是局部极小值，只有当函数是凸函数的时候，才可以得到全局最小值)：①无约束问题：求解方式一般求解方式梯度下降法
xiaoxy97·2022-11-23 15:42

吴恩达《深度学习专项》笔记+代码实战（六）：改进梯度下降算法（mini-batch, Momentum, Adam)

学习提示一直以来，我们都用梯度下降法作为神经网络的优化算法。但是，这个优化算法还有很多的改进空间。这周，我们将学习一些更高级的优化技术，希望能够从各个方面改进普通的梯度下降算法。
大局观选手周弈帆·2022-11-23 13:46

机器学习—梯度下降Gradient Descent Optimization—c语言实现

2.一元函数的梯度下降法首先从简单的入手，只考虑一元函数，我们该如何实现梯度下降法？优化函数为：f(x)=x^2-10x+1梯度下降法步骤:x(t+1)=x(t)-Y*df(x(t))/dx(t)，
Jack Ju·2022-11-23 13:36

神经网络和深度学习（7）-- 梯度下降算法

什么是梯度下降算法2.一个梯度下降的数学例子3.梯度下降的作用4.梯度下降参数的更新5.逻辑回归中的梯度下降6.m个样本的梯度下降7.区别于梯度下降算法的正规方程【前言】1.什么是梯度下降算法顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值
ShaneHolmes·2022-11-23 13:35

三种梯度下降法对比（Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent）

梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降(stochasticgradientdescent)、批量梯度下降(Batchgradientdescent)和mini-batch梯度下降(Mini-batchgradientdescent)是三种迭代求解思路，下面从公式和实现的角度对三者进行分析。下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要
StephenBarrnet·2022-11-23 13:34

机器学习--神经网络算法系列--梯度下降与随机梯度下降算法

原文：http://www.cnblogs.com/walccott/p/4957098.html梯度下降与随机梯度下降梯度下降法先随机给出参数的一组值，然后更新参数，使每次更新后的结构都能够让损失函数变小
日有所进·2022-11-23 13:03

人工智能-线性回归2--房价预测、欠拟合过拟合、正则化、模型保存加载

人工智能-线性回归1–损失函数、正规方程、梯度下降法人工智能-线性回归2–房价预测、欠拟合过拟合、正则化、模型保存加载7，案例：波士顿房价预测回归性能评估MSEfromsklearn.datasetsimportload_bostonfromsklearn.model_selectionimporttrain_test_splitfromsklearn.linear_modelimportLine
海星？海欣！·2022-11-23 12:56

西瓜书第三章学习心得

纵坐标的差的和的最小值之前理解为点到线的距离最小了，这其实是正交回归机器学习三要素1.模型：确定假设空间2.策略：损失函数3.算法：求解损失函数的最小值，得出参数所以对于线性回归1.模型就是线性模型2.策略一般运用极大似然估计3.算法就是梯度下降法或者牛顿法通过学习完高数概率论线性代数之后
keepgoingYi·2022-11-23 08:27

第6章 梯度下降法

6-1什么是梯度下降法6-2模拟实现梯度下降法Notbook示例Notbook源码[1]importnumpyasnpimportmatplotlib.pyplotasplt[2]plot_x=np.linspace
Cai-Gbro·2022-11-23 06:36

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.2数据处理4.5.2.1加载数据集4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4
乳酸蔓越莓吐司·2022-11-23 06:53

NNDL 实验五 前馈神经网络（3）鸢尾花分类

目录深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.1.1数据分组4.5.2数据处理4.5.2.2用DataLoader进行封装4.5.3模型构建4.5.4
_Gypsophila___·2022-11-23 05:38

机器学习——牛顿法详解

常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度法，拉格朗日乘数法（约束优化）等等。本期的主题是牛顿法的详解，为了更好的理解，会简明的说一下梯度下降法的内容。
专业敲bug的周郎·2022-11-23 00:08

牛顿法-梯度下降法

https://blog.csdn.net/lsgqjh/article/details/791680951.梯度下降法（GradientDescent）梯度下降法是最早最简单，也是最为常用的最优化方法
leo_fighting·2022-11-23 00:08

梯度下降法和牛顿法的比较

BatchGradientDescent）2.2随机梯度下降（StochasticGradientDescent）2.3小批量梯度下降（MiniBatchGradientDescent）牛顿法牛顿法和梯度下降法的比较梯度下降
super_jackchen·2022-11-23 00:30

逻辑回归的参数计算：牛顿法，梯度下降法，随机梯度下降法

逻辑回归的参数计算：牛顿法，梯度下降（上升）法，随机梯度下降法，批量梯度下降法前面文章中对逻辑回归进行了讲解，下面来说一说逻辑回归的参数是怎么计算的。逻辑回归的计算使用的是最大似然方法。
WAng_Pc_Better·2022-11-23 00:24

梯度下降法和牛顿法

一.梯度下降法：梯度下降是用于求函数最小值的算法，其步骤为：a.随机选择一个参数组合，计算损失函数。b.通过方向和补仓，对参数进行更新，找下一个能够让损失函数值更低的参数组合。
诺莜烨·2022-11-23 00:54

梯度下降法、牛顿法、拟牛顿法、共轭梯度

一、梯度下降法参考来源：http://www.cnblogs.com/LeftNot....html以下是一个典型的机器学习的过程，首先给出一个输入数据，我们的算法会通过一系列的过程得到一个估计的函数，
Daisy_HJL·2022-11-23 00:23

干货来袭！3天0基础Python实战项目快速学会人工智能必学数学基础全套（含源码）（第2天）微积分篇：极限与导数、梯度下降与积分

、积分、实战编程第3天：概率分析篇：条件概率与全概率、贝叶斯公式、实战项目目录前言一、极限与导数1.1极限1.2导数1.2.1导数的由来与定义1.2.2常用的导数公式1.2.3导数的特点二、模型求解与梯度下降法
小胡说人工智能·2022-11-22 22:01

深度学习笔记2之改善神经网络（调参、优化）

目录第二课week1偏差和方差正则化为什么L2正则化可以减少过拟合：Dropout正则化其他正则化手段归一化输入梯度消失与爆炸week2minibatch梯度下降法batchsize的选择优化算法指数加权平均动量梯度下降
菜鸟中的菜中菜·2022-11-22 22:46

【Datawhale第25期组队学习】Task03：基于线性模型的异常检测

Taks03基于线性模型的异常检测文章目录Taks03基于线性模型的异常检测0写在前面1概述2线性回归2.1基于自变量与因变量的线性回归2.1.1梯度下降法优化目标函数2.1.2最小二乘法的正规方程法优化目标函数
如是我闻__一时__·2022-11-22 22:40

梯度下降法python

在一元变量下基于房价的建模，代价函数，梯度下降法的设计的基础上，我们将问题扩充到一般化，将一元变量变为多元变量下去推理梯度下降的过程。
yuwang__·2022-11-22 19:29

模式识别与机器学习-广义逆、梯度下降

分别编写一个用广义逆和梯度下降法来求最小误差平方和最佳解的算法（a）产生两个都具有200个二维向量的数据集?1和?2。数据集?1的样本来自均值向量?1=[−5,0]?、协方差矩阵?1=?
长星照耀十三州府ˇKris·2022-11-22 19:27

朴素贝叶斯-逻辑回归-HMM-CRF

的区别朴素贝叶斯-逻辑回归-HMM-CRF之间的关系（1）朴素贝叶斯（NB）和逻辑回归（LR）的区别：1）NB条件独立假设成立，所以可以仅通过统计来得到每个特征的权重；2）LR条件独立假设不成立，所以需要通过梯度下降法
PureEidolon·2022-11-22 19:17

梯度下降法

梯度下降算法的思想是：先任取点（x0,f(x0))，求f(x)在该点x0的导数f"(x0),在用x0减去导数值f"(x0),计算所得就是新的点x1。然后再用x1减去f"(x1)得x2…以此类推，循环多次，慢慢x值就无限接近极小值点。像一个眼神不好的人下山，不知道大方向下那一条路最优，只能在学习率的范围里慢慢试探。终于，经过一阵子（足够迭代）之后，实现了下山的行为。
guojing12300·2022-11-22 18:45

机器学习算法：梯度下降法——原理篇

梯度下降法（GradientDescent，GD）是一种常用的求解无约束最优化问题的方法，在最优化、统计学以及机器学习等领域有着广泛的应用。本文将深入浅出的为读者介绍梯度下降法的原理。
TravelingLight77·2022-11-22 17:15

常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）

1.梯度下降法（GradientDescent）梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。
科研小白~瞄·2022-11-22 14:25

【Math】常见的几种最优化方法

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者：poll来源：https://www.cnblogs.com/maybe2030/p/4751804.html目录梯度下降法牛顿法和拟牛顿法共轭梯度法启发式优化方法解决约束优化问题
小白学视觉·2022-11-22 14:23

两种优化器SGD&Adam以及损失函数交叉熵损失&MSE&SISDR

优化器Adam梯度下降法参数更新公式：θt+1=θt−η⋅∇J(θt)其中，η是学习率，θt是第t轮的参数，J(θt)是损失函数，∇J(θt)是梯度。
ddana_a·2022-11-22 11:49

【菜菜的sklearn课堂笔记】逻辑回归与评分卡-梯度下降求解逻辑回归

视频作者：菜菜TsaiTsai链接：【技术干货】菜菜的机器学习sklearn【全85集】Python进阶_哔哩哔哩_bilibili我们以最著名也最常用的梯度下降法为例。
烧灯续昼2002·2022-11-22 09:27

卷积神经网络的关键技术,卷积神经网络参数优化

参数调整流程:1.计算loss--loss是根据网络输入值和真实值求解获得,与网络参数有关2.根据loss使用梯度下降法进行反向传播--梯度下降的bp算法,参考微积分链式求导法则.结束..可以追问的~~
普通网友·2022-11-22 05:07

梯度与负梯度

梯度下降法原理相同。沿着负梯度方向（代价）则下降最快。
SuperLuu7·2022-11-22 02:18

线性回归算法 从认知到实战内含波士顿房价预测案例

API2举例2.1步骤分析2.2代码过程3小结2.3数学:求导学习目标1常见函数的导数2导数的四则运算3练习4矩阵（向量）求导[了解]3小结2.4线性回归的损失和优化学习目标1损失函数2优化算法2.1什么是梯度下降法
钰涵雨辰·2022-11-22 01:00

视觉SLAM面试问题和学习资料整理

射影变换的区别5、Homograph、Essential、FundamentalMatrix的区别6、双目相机视差和深度的关系（双目相机的投影模型）7、描述PnP算法8、描述ICP算法9、闭环检测常用方法10、梯度下降法
我是快乐的小趴菜·2022-11-22 01:24

【机器学习】周志华西瓜书3.3题——Python代码实现，牛顿法与梯度下降法

#-*-coding:utf-8-*-"""牛顿法实现对率回归(LogisticRegression)来源:'机器学习,周志华'模型:P69problem3.3数据集:P89watermelon_3.0a(watermelon_3.0a.npy)"""importmatplotlib.pyplotaspltimportnumpyasnpimportxlrddefsigmoid(x):"""Sigm
我在途中丶·2022-11-21 23:33

机器学习算法系列（八）-对数几率回归算法（二）（Logistic Regression Algorithm）

阅读本文需要的背景知识点：对数几率回归算法（一）、共轭梯度法、一点点编程知识一、引言  接上一篇对数几率回归算法（一），其中介绍了优化对数几率回归代价函数的两种方法——梯度下降法（Gradientdescent
Saisimonzs·2022-11-21 23:29

逻辑回归及梯度下降法

1逻辑回归1.1原理过程逻辑回归是一种二分类方法。找到预测函数，一般表示为h函数，用来预测输入数据的判断结果：分类边界为线性边界时，预测函数为hθ(x)h_θ(x)hθ(x)函数的值表示结果取1的概率。找到损失函数，记为J(θ)函数，表示所有训练数据预测值和实际类别的偏差：基于最大似然估计，得到损失函数找到J(θ)函数的最小值：根据梯度下降的公式，得到迭代公式因为式中α为一常量，所以1/m一般省略
present_shu·2022-11-21 23:29

机器学习之逻辑回归原理详解、公式推导（手推）、简单实例（牛顿法，梯度下降法，随机梯度法，sklearn调包）

目录1.逻辑回归原理2.前置知识2.1.极大似然法2.2.梯度下降法2.3.牛顿法3.公式推导4.简单实例4.0.数据集4.1.逻辑回归4.2.梯度下降求解4.3.随机梯度下降求解4.4.牛顿法求解4.5sklearn5
铖铖的花嫁·2022-11-21 23:23

深度学习training常见概念详解（Epoch、batchsize、iteration）

神经网络的训练梯度下降法学习率：步长越大=学习率越高误差函数不断减小。如果训练数据过多，无法一次性将所有数据送入计算。
惊鸿落-Capricorn·2022-11-21 20:55

2022.10.9 第3次周报

目录前言Jupyter-Matplotlib可视化深度学习梯度下降法实现M-P神经元模型激活函数阶跃型激活函数Sigmoid型激活函数双曲正切型激活函数前馈神经网络文献阅读主要内容遇到的问题使用技术总结前言本周对
轻描淡写ζ·2022-11-21 20:09

第三次周报10.9

目录反向传播算法计算图正向传播反向传播实例文献阅读研究背景主要内容存在的缺点解决方案总结反向传播算法反向传播算法是神经网络的基础之一，该算法主要用于根据损失函数来对网络参数进行优化，它建立在梯度下降法的基础上
三倍速的红色魔女·2022-11-21 19:28

|●梯度下降是什么|●梯度下降算法原理|●梯度下降实例

思路概览(二)关于梯度(三)关于初始值三、算法流程四.实例演示(一)问题(二)算法实际操作过程(三)代码实现五.算法的拓展理解1.为什么按负梯度下降2.为什么要设置学习率3、学习率的设置与自适应学习率六.梯度下降法的弊端本文讲解机器学习中最经典
老饼讲解机器学习·2022-11-21 16:10

理解梯度下降法

学习笔记更新什么是梯度下降法？一个基于搜索的最优化方法，每一步都沿着当前梯度的方向，最后到达目标。在训练神经网络时，求解损失函数的最小值。
且听风吟~·2022-11-21 16:35

【Pytorch】梯度下降算法

梯度下降算法1.梯度2.梯度下降与梯度上升3.梯度下降法算法详解3.1梯度下降算法的具象解释3.2需了解的相关概念3.3算法缺点4.梯度下降算法应用4.1应用一：拟合直线4.1.1场景分析4.1.2解题步骤
代码被吃掉了·2022-11-21 16:35

梯度下降法理解

梯度下降法又叫最速下降法，英文名为steepestdescendmethod.用来求解表达式最大或者最小值的，属于无约束优化问题。
_bazinga·2022-11-21 16:24
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他