共轭梯度下降

深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型

模型、LEO模型、Reptile模型1.Model-AgnosticMeta-LearningModel-AgnosticMeta-Learning(MAML)：与模型无关的元学习，可兼容于任何一种采用梯度下降算法的模型
·2023-06-14 11:01

深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型

模型、LEO模型、Reptile模型1.Model-AgnosticMeta-LearningModel-AgnosticMeta-Learning(MAML)：与模型无关的元学习，可兼容于任何一种采用梯度下降算法的模型
·2023-06-14 11:01

神经网络：Epoch、Batch Size和迭代

背景知识：梯度下降分三点：1.直观理解2.梯度下降怎么做3.梯度下降有啥用1、直观理解梯度下降：其实它没啥就是让计算机不断猜最小值的那个点自变量x在哪，猜大了让它小一点，猜小了让它大一点。
鸿语zlx·2023-06-14 02:44

【机器学习】名词整理

机器学习名词整理一、基础名词1.1batch_size/批尺寸1.2epoch1.3iteration1.4learningrate/学习率1.5loss/损失函数1.6梯度下降法1.7优化器1.8kernel
半斤烧白_liquor·2023-06-14 02:14

每天五分钟机器学习：如何确定梯度下降中的学习率？

本文重点学习率是梯度下降算法中的一个重要参数，它控制着每次迭代中参数的更新幅度，因此学习率的大小直接影响着算法的收敛速度和精度。在实际应用中，如何选择合适的学习率是一个非常重要的问题。
幻风_huanfeng·2023-06-13 21:48

每天五分钟机器学习:梯度下降的学习率太大或太小会有什么问题？

本文重点我们前面学习了梯度下降算法，其中有一个重要的参数就是学习率。在使用梯度下降算法时，学习率是一个非常重要的参数。学习率的大小会直接影响梯度下降算法的收敛速度和精度。
幻风_huanfeng·2023-06-13 21:46

代价函数（cost function）

逻辑回归模型的代价函数对参数的偏导数代价函数（有的地方也叫损失函数：LossFunction）在机器学习中的每一种算法中都很重要，因为训练模型的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到
一个小猴子｀·2023-06-13 21:39

反向传播与随机梯度下降

反向传播实际上就是在传播损失函数对各个网络层的梯度。每层的传入实际是之前各层根据链式法则梯度相乘的结果。反向传播最初传入的Δout是1，Δ通常表示很少量的意思，Δout=1的时候这样在反向传播的时候算出来的dw和dx刚好就是当前梯度，或者可以这样理解Δout是损失函数对自己的梯度为1。反向传播时每层的输入都是前几层梯度相乘的结果（链式法则）也就是说损失函数f_loss(x)对当前层的w的梯度就是当
zhengudaoer·2023-06-13 19:56

神经网络优化器之随机梯度下降法的理解

随机梯度下降法（SGD）随机梯度下降方法，在每次更新时用1个样本，随机也就是说我们用样本中的一个例子来近似我所有的样本，由于计算得到的并不是准确的一个梯度，因而不是全局最优的。
zhengudaoer·2023-06-13 19:55

多项式回归-梯度下降法

图1如图1，如果用线性回归线表示可能会不准确，因此有了多项式回归假如我们不是要找直（或者超平面），而是一个需要找到一个用多项式所表示的曲线（或者超曲面），例如二次曲线：
Zhou_qn·2023-06-13 17:44

python&深度学习 -- 训练的数据集中出现NaN值应该怎么办？Filling gaps in a numpy array

特别是存在缺测值的情况，如果在深度学习中使用NaN值训练模型通常会导致以下问题：梯度无法计算：在深度学习中，我们使用反向传播算法计算梯度（模型参数相对于损失函数的导数），以便用梯度下降等优化算法来更新模型参数
简朴-ocean·2023-06-13 16:14

吴恩达Deep Learning学习笔记——第三课 结构化机器学习

我们可能会有很多措施，如：  ①收集更多的数据  ②收集更多样性的数据（如不同姿势的猫）  ③让梯度下降算法训练时间更长  ④尝试更大（或更小）的神经网络  ⑤尝试dropout  ⑥
七月七叶·2023-06-13 14:15

机器学习：基于AdaBoost算法模型对信用卡是否违约进行识别

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三)：基于线性回归对波士顿房价预
i阿极·2023-06-13 14:51

用梯度下降的方法求平方根

设y=xy=\sqrt{x}y=x，则有y2=xy^2=xy2=x。两边对xxx求导，得到：d(y2)dx=d(x)dx2ydydx=1dydx=12y=12x\begin{align}\frac{d(y^2)}{dx}&=\frac{d(x)}{dx}\\2y\frac{dy}{dx}&=1\\\frac{dy}{dx}&=\frac{1}{2y}=\frac{1}{2\sqrt{x}}\end
ruangongtaotao·2023-06-13 14:59

深度学习神经网络优化器总结

深度学习神经网络优化器有以下几种：1.梯度下降法（GradientDescent）2.随机梯度下降法（StochasticGradientDescent）3.批量梯度下降法（BatchGradientDescent
灼清回梦·2023-06-13 11:54

感知器梯度下降python实现

代码如下：defh(m,n):#求和return(w1*m+w2*n+z)#激活函数，改变它，可以训练出自适应的权重和偏置deff(sum):return1ifsum>0else-1#不要设为0，0周围分正负x1=[0,0,1,1]x2=[0,1,0,1]y=[-1,-1,-1,1]#andy1=[-1,1,1,1]#orz=-0.4#权重w1=0.2w2=0.8a=0.1#学习率i=0j=0wh
wazsd1·2023-06-13 10:44

PyTorch深度学习实战（1）——神经网络与模型训练过程详解

2.人工神经网络基础2.1人工神经网络组成2.2神经网络的训练3.前向传播3.1计算隐藏层值3.2执行非线性激活3.3计算输出层值3.4计算损失值3.5实现前向传播4.反向传播4.1反向传播流程4.2梯度下降
盼小辉丶·2023-06-13 09:50

史密斯圆图

比如，共轭匹配。RL=1+jX，需要找到-jX来抵消+jX，消掉虚部之后，只留下实部，最终等效为RL‘=1。史密斯圆图是由复数坐标系转化而来的。
队长-Leader·2023-06-13 03:22

使用matlab完成对鸢尾花数据集的特征选择、主成分分析（PCA）、核主成分分析（KPCA）、线性判别分析（LDA）的若干处理

pwd=qb6r提取码：qb6r特征选择：将每个特征在封装函数内调用，使用matlab自带的梯度下降的神经网络内置函数进行训练。
铭....·2023-06-12 22:22

圣杯三、节制

2.牌意共轭。3.不迷信某个塔罗老师的课程（我吃过大亏）4.多从牌面本身的元素、物件之间的联系解读。首先是圣杯三，正位的圣杯三就是快乐的含义。
芝士挞·2023-06-12 20:00

神经网络架构搜索——可微分搜索（DARTS）

他们的搜索空间都是不可微的，DifferentiableArchitectureSearch这篇文章提出了一种可微的方法，可以用梯度下降来解决架构搜索的问题，所以在搜索效率上比之前不可微的方法快几个数量级
AI异构·2023-06-12 19:52

5、学习率、过拟合

我们将参数进行某个方向上的梯度下降,没训练一次，下降一次，因为学习率是固定的，所以我们下降的高度也是一样的。如果，我们下降到了对低点上面一点，我们再下降一次，过了最低点，又上去了。这就很尴尬了。
贰拾肆画生·2023-06-12 00:04

吴恩达471机器学习入门课程1第1周

文章目录1加载数据集2计算COST(均值平方差，1/2m(y_pre-y)²)3计算梯度4画出成本曲线5梯度下降importmath,copyimportnumpyasnpimportmatplotlib.pyplotaspltplt.style.use
贰拾肆画生·2023-06-12 00:02

二、多变量线性回归

一些符号：m：训练集数量n：特征数目（输入维度）：训练样本中的第i个向量：训练样本中的第i个向量中的第j个元素模型参数损失函数：梯度下降：其中假设函数：若规定X注意：一个特征未必就对应一个x。
asdfgjsrgdf·2023-06-12 00:27

Adadelta

文章目录AdadeltaConceptEquationParametersInstanceAdadeltaADADELTA是一种基于梯度下降的自适应学习率优化算法，由MatthewZeiler提出。
LeoATLiang·2023-06-11 21:20

统计软件与数据分析Lesson15----梯度下降（Gradient Descent）过程可视化

梯度下降GradientDescent1.预备知识1.1什么是机器学习？
shlay·2023-06-11 16:08

统计软件与数据分析Lesson16----pytorch基本知识及模型构建

统计软件与数据分析Lesson16----pytorch基本知识及模型构建0.上节回顾0.1一元线性回归数据生成数据处理初始数据可视化0.2梯度下降GradientDescentStep0:随机初始化RandomInitializationStep1
shlay·2023-06-11 10:07

机器学习模型——回归模型

文章目录监督学习——回归模型线性回归模型最小二乘法求解线性回归代码实现引入依赖：导入数据：定义损失函数：定义核心算法拟合函数：测试：画出拟合曲线：多元线性回归梯度下降求线性回归梯度下降和最小二乘法代码实现定义模型的超参数
阿牛大牛中·2023-06-11 08:35

C#，码海拾贝（39）——求解“对称正定方程组”的“共轭梯度法”之C#源代码

namespaceZhou.CSharp.Algorithm{//////求解线性方程组的类LEquations///原作周长发///改编深度混淆///publicstaticpartialclassLEquations{//////求解对称正定方程组的共轭梯度法
深度混淆·2023-06-10 11:24

Python手写数字识别

训练神经网络通常使用反向传播算法，该算法用于计算网络中每个权重和偏移量的梯度，并用梯度下降算法调整这些参数以最小化损
浩茫·2023-06-10 10:48

PINN学习与实验之拟合sin(x)

答：用于约束MLP反向传播梯度下降求解时的解空间。所以PINN只需要更少的数据就能完成任务。拟合sin(x)时的边界条件。1.2.参照上面的数学式子。PINN最容易入手的就是根据各种边界条件设计出
谦虚且进步·2023-06-10 05:40

02-梯度下降法实践

（一）梯度下降法最简步骤（二）BGD线性回归代码实现1.生成回归数据2.拆分训练集与测试集3.利用梯度下降法拟合直线y=wx+b（一）梯度下降法最简步骤求使得f(w)值最小的参数w初始化fort=1,2
Suki百香果·2023-06-10 03:39

鲍鱼数据集案例分析-预测鲍鱼年龄（线性回归/梯度下降法实操）

数据集来源UCIMachineLearningRepository:AbaloneDataSet目录一、数据集探索性分析二、鲍鱼数据预处理1.对sex特征进行OneHot编码，便于后续模型纳入哑变量2.添加取值为1的特征3.计算鲍鱼的真实年龄4.筛选特征5.将鲍鱼数据集划分为训练集和测试集三、实现线性回归和岭回归1.使用Numpy使用线性回归2.使用Sklearn实现线性回归3.使用numpy实现
Suki百香果·2023-06-10 03:35

机器学习算法实战（scikit-learn版本）---线性回归

文章目标：利用scikit-learn使用梯度下降法实现线性回归使用线
喜欢吃豆·2023-06-09 23:16

使用sklearn库进行数据标准化处理

无量纲化的处理可以在以梯度和矩阵为核心的算法应用中提高算法的求解速度，尤其是在使用了梯度下降的方法时。在距离类模型（例如k近邻算法）中可以帮助我们提高模型的精度。
玛卡巴卡1020·2023-06-09 20:03

深度学习(神经网络)

文章目录神经网络历史形式神经元模型（M-P模型）感知器多层感知器误差反向传播算法误差函数和激活函数误差函数二次代价函数交叉熵代价函数激活函数sigmoid函数RELU函数似然函数softmax函数随机梯度下降法批量学习方法在线学习小批量梯度下降法学习率自适应调整学习率
Elsa的迷弟·2023-06-09 18:39

机器学习：基于Apriori算法对中医病症辩证关联规则分析

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法
i阿极·2023-06-09 11:45

深度学习常用损失MSE、RMSE、MAE和MAPE

是深度学习任务中最常用的一种损失函数，也称为L2LossMSE是真实值与预测值的差值的平方然后求和平均范围[0,+∞)，当预测值与真实值完全相同时为0，误差越大，该值越大MSE曲线的特点是光滑连续、可导，便于使用梯度下降算法
zzz_979·2023-06-09 09:35

深度学习实战36-Pytorch中10大优化器的遍历与选择，应用于图像识别

一、PyTorch中10个优化器1.SGD(随机梯度下降)
微学AI·2023-06-09 03:26

机器学习——线性回归、梯度下降

文章目录一、机器学习的分类二、线型回归Linearregression（单变量线性回归）三、代价函数3.1建模误差3.2平方误差代价函数Squarederrorcostfunction3.3梯度下降3.4
ReadyGo!!!·2023-06-08 15:25

驻点以及二阶导对驻点的判断

一、导数知识可以参考导数、偏导数、梯度、方向导数、梯度下降、二阶导数、二阶方向导数二、微积分中几种重要的点1、全局最大值点和全局最小值点globalminimum：在该点的函数值达到最小值。
大豆木南·2023-06-08 13:55

导数、偏导数、梯度、方向导数、梯度下降、二阶导数、二阶方向导数

为了清晰理解，先对这几个术语对应的具体内容形式做了一个总结，如下：导数：函数（因变量对应实数值）偏导数：函数（因变量对应实数值）梯度：向量（向量的每一维对应偏导数）方向导数：函数（因变量对应实数值）梯度下降
大豆木南·2023-06-08 13:54

梯度下降和梯度上升

梯度上升与梯度下降-HIT-security-博客园梯度上升不管梯度下降还是梯度上升，随着迭代的进行，梯度都是在减小。
HELLOTREE1·2023-06-08 12:07

实验11 人工神经网络(2)

1.实验目的①掌握梯度下降法的优化算法；②能够使用tf.keras构建Sequential模型，完成多分类任务。
YoLo-8·2023-06-08 12:38

《李宏毅·机器学习》读书笔记（三）Gradient Descent 知识点补充2

image.png今天再把梯度下降的视频看了一遍，再次整理了一便思路。梯度下降主要是围绕批量梯度和随机梯度来进行讲解。其中包含了学习率，也就是移动的步长。
Spareribs·2023-06-08 02:47

用Numpy实现简单的神经网络

目录数据预处理模型设计训练过程小批量随机梯度下降用numpy实现神经网络对波士顿房价进行预测假设房价和各影响因素之间能够用线性关系来描述：模型的求解即是通过数据拟合出每个wjw_jwj和bbb。
unseven·2023-06-07 18:56

神经网络实验---梯度下降法

本次实验主要目的是掌握梯度下降法的基本原理，能够使用梯度下降法求解一元和多元线性回归问题。
苏黎世卡·2023-06-07 17:50

神经网络实验---人工神经网络（2）

本实验目的主要是掌握梯度下降法的优化算法；能够使用tf.keras构建Sequential模型，完成多分类任务。
苏黎世卡·2023-06-07 17:50

计划

常用优化器：1、Adam关联所有样本的梯度，便于求解全局最优解，始终含有前面梯度的信息，把前面的梯度传到后面优点：自动调节学习率，速度快，梯度传导2、梯度下降SGD批量梯度下降：用所有的样本更新参数，计算量大随机梯度下降
YEGE学AI算法·2023-06-07 12:15

机器学习之LASSO，岭回归

常用的梯度优化方法都可以拿来用，这里以梯度下降
甚也不会·2023-06-07 10:11
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他