梯度下降法

多变量线性回归以及正规方程实现线性回归

因为实际问题往往包括多个特征，所以我们要采用这些数据构建一个多元线性回归的模型，我将介绍两种方法即梯度下降法和正规方程法，并讨论两者的差异。
weixin_44286832·2022-02-10 07:54

梯度下降

梯度下降法基于搜索的最优化算法，之前我们使用线性回归时最优的参数都是求正规方程解，但是很多时候求最优方程解时间复杂度非常的高或者是求不出最优方程解的，这个时候我们就用梯度下降法来得到最优参数损失函数和θ
61etj·2022-02-10 01:44

机器学习系列（十六）——随机梯度下降Stochastic Gradient Descent

随机梯度下降法StochasticGradientDescent在之前的梯度下降法解决线性回归问题中，梯度向量的每一项都要有所有样本参与运算，因此也称作批量梯度下降法BatchGradientDescent
Ice_spring·2022-02-09 22:15

吴恩达深度学习笔记（8）-重点-梯度下降法（Gradient Descent）

梯度下降法（GradientDescent）（重点）梯度下降法可以做什么？
极客Array·2022-02-08 23:47

[Stay Sharp]特征归一化

比如一些使用梯度下降法的机器学习模型（SVM、神经网络等），在这类算法中，特征值会在求解过程中起到很重要的作用：不同取值范围的特征会有不同的迭代速度，最终可能会
三千雨点·2022-02-07 09:47

google机器学习速成--第一天

第二课框架处理标签和特征样本和模型第三课深入了解机器学习图1回归损失函数--即误差追求整体数据集误差最小平方损失第四节课降低损失初始化权重SGD和小批量梯度下降法梯度下降法的三种形式BGD、SGD以及MBGD
Android慢牛·2022-02-05 13:23

4.梯度下降法&&随机梯度下降法

梯度下降法&&随机梯度下降法梯度下降法是一种在C（代价）下降最快方向上做微小变化的方法。
欠我的都给我吐出来·2022-02-04 22:31

【机器学习】梯度下降与正规方程（附例题代码）

文章目录梯度下降多元梯度下降法梯度下降运算（特征放缩法）多元梯度下降学习率的选择多项式回归多元梯度下降代码正规方程正规方程代码梯度下降与正规方程的选择梯度下降对于代价函数J(θ0，θ1)J(θ_0，θ_
大拨鼠·2022-02-04 17:52

UFLDL新版教程与编程练习（四）：Debugging: Gradient Checking（梯度检查）

我这里找不到新版对应这块的中文翻译了，-_-第四节是：Debugging:GradientChecking（梯度检查）因为我们很多地方（包括接下来的几节教程）会用到梯度下降法，所以很
赖子啊·2022-02-04 16:53

【MindSpore:跟着小Mi一起机器学习】单变量线性回归（二）

3梯度下降梯度下降法是一个用来求函数最小值的算法，同理其他函数最小化问题也可以用此解决，因此适用于一般所有函数。
·2022-01-28 20:02

【MindSpore:跟着小Mi一起机器学习吧！】多变量线性回归（一）

前两节小Mi带大家学习了单变量线性回归，还具体分析了自动求解最小代价函数参数的梯度下降法。这不有了单变量，是不是肯定有多变量？！
·2022-01-28 20:02

【MindSpore:跟着小Mi一起机器学习吧！】多变量线性回归（二）

在上期的多变量线性回归介绍中，我们学习了多维特征、多变量的梯度下降法以及在实现梯度下降过程中的特征缩放和如何选择学习率这两个技巧，今天小Mi在其基础上，继续带领大家学习多项式回归、正规方程法以及介绍正规方程的不可逆性
·2022-01-28 20:02

深入浅出最优化(5) 共轭梯度下降法

1共轭方向的定义对于正定二次函数，其中是对角阵，对角元均为正数，这种情况下函数关于原点中心对称，每列由一个n元向量组成，向着每个维度，即正交搜索方向，作一次精确线搜索就可以得到最小值的精确解，具有二次终止性。这个过程结合图像不难理解。在这里插入图片描述若是是对称正定阵，而非对角阵，为了利用这一性质，我们需要将非对角阵变换为对角阵。作变换，则有，D中包含的每两个向量满足：这样一来，最后就变成了对角矩
HarmoniaLeo·2022-01-18 08:43

机器学习算法系列（八）-对数几率回归算法（二）（Logistic Regression Algorithm）

阅读本文需要的背景知识点：对数几率回归算法（一）、共轭梯度法、一点点编程知识一、引言  接上一篇对数几率回归算法（一），其中介绍了优化对数几率回归代价函数的两种方法——梯度下降法（Gradientdescent
·2022-01-11 15:11

Smooth L1 Loss

1.L1Loss：令，忽略求和及系数，则有，其导数为随机梯度下降法更新权重为：其中是学习率。由此可知，不管预测值和真实值的差值大小如何变化，反向传播时其梯度不变。
西北小生_·2021-12-01 10:37

Adam算法学习笔记

（这种方法主要运用在特别大的数据集中）在固定学习率的情况下：优点：相比于batch梯度下降法，Mini-batch整个数据集的一次前反向传播就可以对参数进行n+1次更新，并且可以在数据集没有完全遍历完就拥有已经更新过的参
扎哈_·2021-11-29 18:11

（笔记+代码+习题）统计学习方法第二章 感知机

是二类分类的线性分类模型，属于判别模型，旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
盒子先生KingO·2021-11-15 20:38

机器学习：梯度下降

1，概述1.1，梯度下降法假定给定函数：，求解该函数的极小值时，k的取值是多少？通常做法：对求导，然后令导数=0，求解k值即为所求：1.2，迭代与梯度下降求解求导解法在复杂实际问题中很难计算。
燕双嘤·2021-11-14 10:06

python机器学习逻辑回归随机梯度下降法

目录写在前面随机梯度下降法参考文献写在前面随机梯度下降法就在随机梯度上。意思就是说当我们在初始点时想找到下一点的梯度，这个点是随机的。
·2021-11-13 17:46

【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（十）（梯度下降法））

【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（十）（梯度下降法））10梯度下降法10.1梯度下降法基本原理10.1.1一元凸函数求极值10.1.2二元凸函数求极值z=f(x,y
踏破万里无云·2021-11-11 14:24

机器学习之梯度下降法的代码实现

什么是梯度下降法梯度下降法已经有很多其他博主做了充分的介绍，可以自行百度，我个人觉得Evan这个帖子讲的很清楚。这里不在赘述，感兴趣的可以自行查阅。
hacker_nevermor·2021-11-09 15:36

人工智能之数学基础篇—高等数学基础（下篇）

人工智能之数学基础篇—高等数学基础（下篇）6方向导数6.1方向导数的定义6.2方向导数的几何意义7梯度8综合实例一梯度下降法求函数的最小值9Python中相关库简介9.1SymPy库简介9.2NumPy
Roar冷颜·2021-11-02 01:47

优化算法要点

比如说，如果是500万或5000万或者更大的一个数，在对整个训练集执行梯度下降法时，你要做的是，你必须处理整个训练集，然后才能进行一步梯度下降法，然后你需要再重新处理500万个训练样本，才能进行下一步梯度下降法
丁功春·2021-10-29 08:30

人工智能学习笔记 python实现梯度下降法对多元函数求解

学习来自梯度下降基本步骤如下图所示我们以一个二元函数为例计算设一个二元函数为y=0.5*(x1+x2)^2-x1*x2一、则生成原函数图像代码如下#一、构建一个函数为y=0.5*(x1+x2)^2-x1*x2的图像#原函数如下#二维原始图像deff2(x,y):return0.15*(x+0.5)**2+0.25*(y-0.25)**2+0.35*(1.5*x-0.2*y+0.35)**2X1=n
Zed222·2021-10-27 21:50

Python深度学习神经网络基本原理

目录神经网络梯度下降法神经网络梯度下降法在详细了解梯度下降的算法之前，我们先看看相关的一些概念。1.步长（Learningrate）：步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。
·2021-10-20 17:28

最优化方法小结

线性搜索方法梯度下降在我的文章深度学习中常见的优化器小结中已经提到梯度下降法，这里，将重要的部分提炼过来。
一只小菜狗:D·2021-10-19 15:25

python与R语言手推logistic回归（梯度下降法/牛顿法）

logistic回归是将logit曲线套用在解释变量线性组合上，利用极大似然法进行参数估计，将似然函数（二项分布交叉熵）作为目标函数，利用最优化方法（牛顿法、梯度下降法）进行求解。
Auraro__·2021-10-04 09:58

如何手写梯度下降法

梯度下降法是机器学习的一种学习方法。我觉得非常妙。通过一个一维的问题用梯度下降法，理解学习过程是怎样的。
时光如水_fe87·2021-09-30 09:54

机器学习深入篇（二）——多项式回归源码实现

机器学习深入篇（二）——多项式回归源码实现文章目录机器学习深入篇（二）——多项式回归源码实现一、代码实现二、实验结果三、小结本篇接着上一篇说到的求解最小θ值，上篇使用梯度下降法，本篇使用正规方程计算。
柚子味的羊·2021-09-17 17:27

机器学习深入篇（一）——多项式回归源码实现

看吴恩达的机器学习，良心课程一、多项式回归原理略（课程有详解）多项式回归有两种计算θ的方法，分别是梯度下降法和正规方程法，本篇使用梯度下降法计算theta值，下一篇将使用正规方程法。二、Pytho
柚子味的羊·2021-09-16 15:16

python深度总结线性回归

目录概述例子通俗解释数学推导误差评估方法梯度下降批量梯度下降随机梯度下降小批量梯度下降法案例一概述线性回归的定义是:目标值预期是输入变量的线性组合.线性模型形式简单,易于建模,但却蕴含着机器学习中一些重要的基本思想
·2021-09-03 15:51

【李宏毅深度学习CP3-4】(task2)回归

目录回归分析的定义回归应用举例七种常见的回归三种常用的损失函数python中的sklearn.metrics在python上实现交叉验证梯度下降法筛选最优模型回归分析的定义回归分析是一种预测性的建模技术
202xxx·2021-08-19 00:20

深度学习——损失函数及优化

目录损失（Loss）什么是损失函数例子：多分类SVM损失优化(Optimization)如何优化随机梯度下降法刚学完用resnet18训练数据实现cifar10分类，现在反过头来发现自己的损失函数，后向传播
暮尘依旧·2021-08-14 11:52

LeetCode-765 情侣牵手-（2）什么是贪心算法

如果对矩阵求解的梯度下降法了解的话，贪心算法就比较好理解。解释从
牛肋排·2021-07-26 00:09

2021-04-10 ch4模型泛化和过拟合

L1正则所存在的潜在的问题:1、计算上的挑战无法很好地融合到梯度下降法，对于||
柠樂helen·2021-07-18 18:27

机器学习笔记02（多元线性回归&logistics回归&正则化）

文章目录01引言(多元线性回归)多元线性回归梯度下降梯度下降技巧01-特征缩放梯度下降技巧02-学习率与终止迭代条件用多项式回归模型02NormalEquation法推导过程NormalEquation法与梯度下降法比较
彼得·伊里奇·柴可夫斯基·2021-07-12 21:44

XGBoost与GBDT(二)-算法推导

简单回顾了一下几种常见的最优化方法,算是对这篇内容的简单铺垫.形象地来说,XGBoost与GBDT都是基于Boost方法的树模型,是类似的算法模型,都是函数优化问题.二者最根本的区别就在于最优化的方法不同,GBDT在函数空间中利用梯度下降法进行优化
MashoO·2021-06-27 15:40

mnist手写数字识别—逻辑回归（batch 梯度下降法）

1、导入所需包及训练、测试的数据importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotaspltfromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data_sets('datasets',one_hot=True)备注：自动下载所需数
弈宸卜苒·2021-06-25 08:14

MOOC网神经网络与深度学习TensorFlow实践7——人工神经网络（2）

人工神经网络（2）小批量梯度下降法梯度下降法的优化keras和tf.kerasSequential模型history属性：Sequential模型实现手写数字识别可运行：importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotaspltimporttensorflow.kerasmnist
123梦野·2021-06-24 15:51

神经网络和深度学习-2.2梯度下降法

可以比较容易的画出上图主要分为2个部分，如果代价函数关于w的导数是正的那么下一次更新就往左边移动，相反的如果导数是负的，那么就要往右边移动，更新的公式如下image.png很显然更新公式要找到这个凸函数的全局最优解利用梯度下降法的关键点在
cswb5511·2021-06-24 09:30

ml-高级优化

比梯度下降法复杂得多。但是有现成的库函数调用Pythonfminunc的替代方法https://blo
天凉玩个锤子·2021-06-23 03:47

局部搜索之牛顿法

除了前面说的梯度下降法，牛顿法也是机器学习中用的比较多的一种优化算法。牛顿法求方程解牛顿法又称为牛顿-拉弗森方法（Newton-Raphsonmethod），单变量下又称为切线法。
Byte猫·2021-06-22 15:11

Keras-人工神经网络--随机梯度下降法

一、概念人工神经网络是是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。这种模型可以适用于分类与回归。神经网络的优点：可以把非线性做的特别好，拟合能力特别强，只要宽度足够大，深度足够深，神经网络就可以拟合任何非线性的映射。神经网络的缺点：比较耗费资源，而且容易过拟合。神经网络主要应用：图像识别，语音识别，自然语言处理等。人工智能领域有个概念，叫深度学习，深度学习的基础就是深度神经网络。
Jana_LU·2021-06-20 15:56

机器学习记录（1,2）

2.学习率不变，随着越来越接近局部最低点，导数值会越来越小，梯度下降法会自动采取更小的幅度接近最低点3.若起始点便是最低点或局部最低点，那么梯度下降算法将什么也不做。
猛寇龙崽·2021-06-19 15:53

机器学习入门之 — 梯度下降，牛顿法，拟牛顿法

梯度下降法梯度下降法用来求解目标函数的极值。这个极值是给定模型给定数据之后在参数空间中搜索找到的。
DayDayUpppppp·2021-06-19 11:28

ml-简化的成本函数和梯度下降

目标：更简化的方法得到代价函数运用梯度下降法拟合出逻辑回归的参数。
天凉玩个锤子·2021-06-12 05:48

深度学习项目实践，使用神经网络分析电影评论的正能量与负能量

4，优化，通过梯度下降法修改神经元的链路权重，然后使得网络的输出结果与正确结果之间的差距越来越小。下图就能将网络的各个组件以及我们前面讨论过的内容综合起
城市中迷途小书童·2021-06-08 15:07

机器学习 Week1 —— 线性回归，梯度下降

MachineLearning--AndrewNg,Stanford这次主要介绍一下机器学习的基础知识，线性回归模型，损失函数，梯度下降法。机
Hardy_·2021-06-08 12:32

损失函数、最小二乘法、梯度下降法

最小二乘法与梯度下降法区别？之前一直认为损失函数就是最小二乘法。然后最小二乘法与梯度下降法折两个概念就搞不清楚了。
了不起的一一·2021-06-07 03:45

50行代码，带你理解梯度下降法（Gradient Descent Method）

梯度下降法是一种常见的优化算法，在机器学习中应用很广泛。本文从代码的角度，带你理解梯度下降法。优化算法优化指的是改变x以最小化或最大化某个函数f(x)的任务。通常以最小化f(x)指代大多数最优化问题。
虾米小馄饨·2021-06-04 18:47
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他