梯度下降法

机器学习笔记——正则化（Regularization）

解决方式减少特征数量正则化正则化如何选择参数惩罚参数的选择梯度下降法的正则化正规方程的正则化不可逆矩阵的正则化逻辑回归函数的正则化过度拟合(Overfit)了解正则化之前，先来看看什么是过
家有琦琦果·2022-11-14 10:20

线性回归-梯度下降法

线性回归-最小二乘法1、梯度下降法前文在求解损失函数的最小值的时候，使用到了最小二乘法，但是有一定的缺陷，当数据量大的时候，计算量就变大了，效率就体现不出来了。
星星点灯er·2022-11-14 09:05

机器学习-线性回归-多元梯度下降法

目录标题线性回归多元线性回归正规方程线性回归我们的回归方程常写成如下形式：hθ(x)=θ0+θ1*X代价函数：J(θ)=12∑i=1m(hθ(x(i)−y(i))2看看代价函数到底是在干什么,如图梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求代价函数最小例如：想象一下你正站立在山的这一点上，站立在你想象的公园这座红色山上，在梯度下降算法中，我们要做的就是旋转360度，看看我们的周
kingsure001·2022-11-14 09:03

人工智能-线性回归1--损失函数、正规方程、梯度下降法

1，线性回归简介线性回归分类：线性关系，非线性关系2，线性回归API初步使用fromsklearn.linear_modelimportLinearRegression#1，获取数据x=[[80,86],[70,86],[85,86],[80,66],[80,76],[90,86],[80,82],[70,76]]y=[84,83,85,80,90,83,87,79,88]#2，模型训练#2.1实
海星？海欣！·2022-11-14 09:00

线性回归——最小二乘法（公式推导和非调包实现）

博主前面一篇文章讲述了二维线性回归问题的求解原理和推导过程，以及使用python自己实现算法，但是那种方法只能适用于普通的二维平面问题,今天博主来讲一下线性回归问题中更为通用的方法,也是我们实际开发中会经常用到的一个数学模型,常用的解法就是最小二次乘法和梯度下降法
尼克不可·2022-11-14 07:24

BP神经网络进行分类任务

BP(BackPropagation)神经网络是一种按误差逆传播算法训练的多层前馈网络，它的学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。
科研小白 新人上路·2022-11-14 07:37

神经网络与深度学习day07-实践：前馈神经网络实现鸢尾花数据集分类

神经网络与深度学习day07-实践：前馈神经网络实现鸢尾花数据集分类深入研究鸢尾花数据集4.5实践：基于前馈神经网络完成鸢尾花分类4.5.1小批量梯度下降法4.5.2数据处理4.5.3模型构建4.5.4
小鬼缠身、·2022-11-14 07:17

交叉熵损失函数

采用梯度下降法来更新模型w和b时，从公式可以看出，需要计算损失函
xuechanba·2022-11-13 11:12

LESSON 10.1&10.2&10.3 SSE与二分类交叉熵损失函数&二分类交叉熵损失函数的pytorch实现&多分类交叉熵损失函数

在介绍PyTorch的基本工具AutoGrad库时，我们系统地介绍过数学中的优化问题和优化思想，我们介绍了最小二乘法以及梯度下降法这两个入门级优化算法的具体操作，并使用AutoGrad库实现了他们。
Grateful_Dead424·2022-11-13 11:27

梯度下降法--笔记

1.吴恩达老师课程的文档版https://www.cnblogs.com/ooon/p/4947688.html2.https://www.jianshu.com/p/c7e642877b0e梯度下降法的思想可类比于
zoe9698·2022-11-12 17:12

吴恩达深度学习笔记（五）——优化算法

一、mini_batch梯度下降法如果使用batch梯度下降法，mini-batch的大小为m，每个迭代需要处理大量的训练样本，弊端在于巡林样本巨大的时候，单次迭代耗时过长。
子非鱼icon·2022-11-12 17:41

Mini batch梯度下降法（吴恩达深度学习视频笔记）

本节，我们将谈谈Minibatch梯度下降法。
lucky公主·2022-11-12 17:11

神经网络技巧篇之寻找最优参数的方法

在神经网络的学习中，其中一个重要目的就是找到使损失函数的值尽可能小的参数，为了找到这个最优参数，我们使用梯度（导数）作为线索，沿着梯度方向来更新参数，并重复这个步骤，从而逐渐靠近最优参数，这个过程叫做随机梯度下降法
寅恪光潜·2022-11-12 17:40

吴恩达神经网络和深度学习-学习笔记-9-mini-batch梯度下降法

mini-batch梯度下降法mini-batch梯度下降法的介绍但是当m是一个很大的数（比如500W），在对整个训练集执行梯度下降算法的时候，我们必须处理整个数据集，才能进行下一步梯度下降算法。
Harry嗷·2022-11-12 17:37

吴恩达深度学习课程笔记

目录通用符号总结激活函数sigmoid1、Logistic回归2、梯度下降法3、Logistic回归的梯度下降算法3.1假设只有一个训练样本(x,y)(x,y)(x,y)3.2假设有m个训练样本:3.3
静仔是个免费的小精灵·2022-11-12 17:36

吴恩达深度学习课程笔记——梯度下降算法和向量化

梯度下降算法和向量化逻辑回归中的梯度下降单样本梯度下降向量化多样本梯度下降逻辑回归中的梯度下降梯度下降法的作用是：在测试集上，通过最小化代价函数J(w,b)J(w,b)J(w,b)来训练的参数www和bbb
阿姝姝姝姝姝·2022-11-12 17:34

bp神经网络参数怎么设置,神经网络调参训练技巧

现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同
普通网友·2022-11-12 17:02

吴恩达深度学习笔记(39)-更进一步理解mini-batch梯度下降法

理解mini-batch梯度下降法（Understandingmini-batchgradientdescent）在上一个笔记中，你知道了如何利用mini-batch梯度下降法来开始处理训练集和开始梯度下降
极客Array·2022-11-12 17:01

吴恩达深度学习笔记-优化算法(第5课)

优化算法一、Mini-batch梯度下降算法二、理解mini-batch梯度下降法三、指数加权平均四、理解指数加权平均五、指数加权平均值的偏正修差六、动量梯度下降法(gradientwithmomentum
快乐活在当下·2022-11-12 17:30

梯度下降法 --- 吴恩达深度学习笔记

如何使用梯度下降法来训练或者学习训练集上的参数w和b？
奕星星奕·2022-11-12 17:29

【深度学习】第二章：全连接神经网络

2.三要素2.1模型2.2准则2.3算法3.反向传播算法3.1为什么要使用反向传播算法的随机梯度下降法求最优化？3.2什么是反向传播算法？3.3如何使用反向传播算法的随机梯度下降法求最优化？
别闹'·2022-11-12 11:10

PyTorch实现Logistic回归对多元高斯分布进行分类实战（附源码）

这两个多元高斯分布分别表示两个类别，分别设置其标签为y1，y2.注意后面要打乱样本和标签的顺序，将数据重新随机排列是十分重要的步骤，否则算法的每次迭代只会学习到同一个类别的信息，容易造成模型过拟合优化算法Logistic回归通常采用梯度下降法优化目标函数
showswoller·2022-11-11 07:41

向毕业妥协系列之机器学习笔记:监督学习-回归与分类（二）

目录一.多维向量二.向量化三.用于多元线性回归的梯度下降法四.正规方程五.特征缩放六.判断梯度下降是否收敛七.如何设置学习率八.多项式回归一.多维向量英文名：mutiplelinearregression
深海鱼肝油ya·2022-11-10 23:13

机器学习 笔记06：最大熵模型

目录1、最大熵原理1.1离散情形1.2连续情形2、最大熵模型3、拉格朗日乘子法4、最大熵模型学习5、极大似然估计6、模型学习的最优化算法1.梯度下降法——经典1.1求极小值原理1.2梯度下降法求最大熵模型
S1406793·2022-11-10 13:05

CS231n-2017 第7讲 训练网络(下)

一.优化算法1.随机梯度下降法(SGD)表达式：xt+1=xt−α∇f(xt)x_{t+1}=x_t-\alpha\nablaf(x_t)xt+1=xt−α∇f(xt)缺点：如果损失函数对某一维的参数敏感
suredied·2022-11-10 10:37

机器学习笔记（一）

应用：通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络，但对于决策树模型则并不适用，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比，而信息增益比跟特征是否经过归一化是无关的
Jonathan周靖淳·2022-11-09 14:40

[时间序列预测]基于BP、RNN、LSTM、CNN-LSTM算法多特征（多影响因素）用电负荷预测[保姆级手把手教学]

系列文章目录深度学习原理-----线性回归+梯度下降法深度学习原理-----逻辑回归算法深度学习原理-----全连接神经网络深度学习原理-----卷积神经网络深度学习原理-----循环神经网络（RNN、
炮哥带你学·2022-11-09 07:03

【机器学习】梯度下降法与牛顿法【Ⅲ】拟牛顿法

【机器学习】梯度下降法与牛顿法【Ⅰ】梯度下降法概述【机器学习】梯度下降法与牛顿法【Ⅱ】牛顿法与修正牛顿法【机器学习】梯度下降法与牛顿法【Ⅲ】拟牛顿法2.4.拟牛顿法牛顿法在每次迭代时需要计算出黑塞矩阵HtH_tHt
不牌不改·2022-11-08 18:56

机器学习笔记02——线性回归

article/details/107137877其他up主博客总结目录一.线性回归API初步使用1.1步骤分析1.2代码过程二、优化算法三、案例：波士顿房价预测3.1正规方程进行波士顿房价预测3.2梯度下降法进行波士顿房价预测梯度下降法
S1406793·2022-11-08 17:42

机器学习算法基础——一元线性回归

梯度下降法：损失函数：loss=∑i=1n12n[y−(kx+b)]2loss=\sum_{i=1}^{n}\frac{1}{2n}[y-(kx+b)]^2loss=i=1∑n2n1[y−(kx+b)]
snowy2002·2022-11-08 11:24

【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（十三）（人工神经网络（2）））

【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（十三）（人工神经网络（2）））13人工神经网络（2）13.1小批量梯度下降法13.1.1批量梯度下降法13.1.2随机梯度下降法（
踏破万里无云·2022-11-07 23:34

机器学习笔记(1)---监督学习之梯度下降

前言笔记主要内容基本概念线性回归梯度下降法正文部分公式推导公式2推导公式7推导前言本机器学习笔记是跟着原斯坦福大学吴恩达老师cs229课程学习后做的课后笔记。
sweird·2022-11-07 16:01

03机器学习--梯度下降及python实现

目录①概述②梯度下降法简单模拟③多元线性回归中使用梯度下降④优化（梯度下降法的向量化）⑤数据的归一化⑥随机梯度下降法⑦scikit-learn中的随机梯度下降⑧关于梯度的调试⑨总结①概述不是一个机器学习算法是一种基于搜索的最优化方法作用
小徐爱吃_山楂锅盔·2022-11-07 16:01

机器学习笔记（三）梯度下降法 Gradient-Descent 与 数据归一化

目录1、梯度下降法Gradient-Descent1.1、批量梯度下降法BatchGradientDescent1.2、随机梯度下降法StochasticGradientDescent1.3、小批量梯度下降法
python小广·2022-11-07 16:00

机器学习极简入门笔记-1-基本概念和梯度下降法

目录梯度下降法凸函数梯度下降法具体思路梯度下降法的超参数梯度下降法的难点来自本书作者李烨的话“记录“准备一个笔记本，纸质版或电子版均可，将发现、感想、疑问、经验等全都记下来。
南鸢北折·2022-11-07 15:26

神经网络入门：从神经网络结构到反向传播

文章目录神经网络入门一、Part1：神经网络的结构二、Part2：梯度下降法神经网络的基础：梯度下降分析神经网络三、Part3：反向传播算法反向传播的直观感受反向传播的微积分原理最简单的例子多个神
Blanche117·2022-11-07 12:57

week2第一章---多变量线性回归---吴恩达机器学习笔记

week2第一章---多变量线性回归1-1多维特征4-2向量化part-14-2向量化part-2实验4-4用于多元线性回归的梯度下降法实验1-1多维特征在原始的线性回归模型中，我们只有一个特征x，用来预测
天微亮。·2022-11-07 11:20

机器学习吴恩达课程学习笔记 Part1——从机器学习概念到线性回归

什么是机器学习学习算法的类型：监督学习与无监督学习监督学习Supervisedlearning无监督学习Unsupervisedlearning二、线性回归模型的表示代价函数代价函数的定义代价函数的作用梯度下降法梯度下降的定义线性回归的梯度下降凸函数批处
Blanche117·2022-11-07 10:45

人工智能案例集 | 连续值预测基础

文章目录前言一、简单一元回归二、梯度下降法预测三、多层感知器[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FuvjOZAc-1667143517280)(https://
lijiamin-·2022-11-07 08:26

超级简单的机器学习入门

监督学习2.2无监督学习2.3监督学习和无监督学习的对比2.4强化学习3.机器学习的三个基本要素3.1模型3.2学习准则3.2.1损失函数3.2.2欠拟合和过拟合（包含正则化）3.3优化方法3.3.1梯度下降法
叫我胡萝北·2022-11-07 08:09

机器学习——逻辑回归（梯度下降法、牛顿法）

实验目的三、实验平台四、基本原理1.逻辑回归2.损失函数五、实验步骤1.数据可视化2.将线性回归参数初始化为0，计算代价函数(costfunction)的初始值3.选择一种优化方法求解逻辑回归参数3.1.梯度下降法
Flechazo_z·2022-11-05 01:06

机器学习——逻辑回归（实例+代码）

题目二、目的三、平台四、基本原理1.逻辑回归2.损失函数五、实验步骤1.数据可视化2.将线性回归参数初始化为0，计算代价函数(costfunction)的初始值3.选择一种优化方法求解逻辑回归参数3.1.梯度下降法
Flechazo_z·2022-11-05 01:36

机器学习——多元梯度下降法

一、多维特征模型目前为止，我们探讨了单变量/特征的回归模型（参考机器学习专栏中前面的文章），现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x1,x2,...,xn)\left({x_{1}},{x_{2}},...,{x_{n}}\right)(x1,x2,...,xn)。增添更多特征后，我们引入一系列新的注释：nnn代表特征的数量x(i){x^{
Luo_LA·2022-11-05 01:04

人工智能数学课高等数学线性微积分数学教程笔记（7. 最优化）

笔记目录前言7.最优化-基本概念-梯度下降法-牛顿法-坐标下降法-数值优化算法面临的问题-凸优化问题-凸集-凸函数-凸优化的性质-凸优化一般的表述形式-拉格朗日乘数法-拉格朗日对偶-KKT条件7.最优化
yyywxk·2022-11-04 11:47

神经网络优化设置方案,神经网络求解优化问题

现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同
普通网友·2022-11-04 11:02

神经网络的三种训练方法,三种常见的神经网络

现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同
普通网友·2022-11-04 11:57

李航《统计学习方法》第2版 第6章课后习题答案

（关于一般的DFP算法参见附录B）解：这个DFP算法可参考书本附录B对于习题6.2的逻辑斯蒂回归算法，这里用python自编程实现（学习算法采用梯度下降法）梯度下降法：<
#苦行僧·2022-11-04 06:07

计算图的反向传播及误差反向传播（复制《深度学习入门127页》）

1、计算图的反向传播（1）计算图的反向传播的意义是：告诉对方我希望你的结果以什么样的量级提升/降低（2）随机梯度下降法在计算梯度时加入随机的因素，于是即便其陷入到局部的极小值点，他计算的梯度仍可能不为0
江州司马青衫湿·2022-11-02 15:41

机器学习之-梯度下降法学习笔记

1简介梯度下降法又被称为最速下降法(Steepestdescendmethod)，其理论基础是梯度的概念。
xxzzg·2022-11-01 17:31

机器学习笔记-梯度下降法

梯度下降法文章目录梯度下降法前言一、算法思想1.1、原理举例1.2、数学思想二、算法应用1.1、求函数最小值2.2、梯度下降法优化线性回归三、算法总结前言  梯度下降法学习笔记，算法是用MATLAB来实现的
Pijriler·2022-11-01 17:59
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他