梯度下降法

【Python可视化】使用梯度下降法实现简单线性回归 动态展示

【Python可视化】实现简单线性回归梯度下降法的简单线性回归，原理见西瓜书第3章，这里只放Python实现代码。
QQQQQQQHang·2020-06-28 21:20

机器学习算法二：详解Boosting系列算法三XGboost及总结

XGboostXGboost是eXtremeGradientBoosting，他是在GBM基础上的改进，内部同样采用决策树作为基学习器，XGboost（下文称为XGB）与GBM的区别在于损失函数更新的方式，GBM利用的是梯度下降法的近似方法
harrycare·2020-06-28 21:23

梯度下降法-----多元线性回归

数学式Yi=β0+β1X1i+β2X2i+…+βkXki+μii=1,2,…,ncodeimportnumpyasnpfromnumpyimportgenfromtxtimportmatplotlib.pyplotaspltfrommpl_toolkits.mplot3dimportAxes3D#读入数据data=genfromtxt(r"Delivery.csv",delimiter=',')p
虹猫··2020-06-28 21:17

神经网络中Batch和Epoch之间的区别

来自蜂口知道公众号随机梯度下降法是一种具有大量超参数的学习算法。通常会使初学者感到困惑的两个超参数:Batch大小和Epoch数量,它们都是整数值，看起来做的事情是一样的。
Mr.Jcak·2020-06-28 20:38

共轭梯度法详细推导分析

算法求解速度较快，虽然比梯度下降法复杂，但是比二阶方法简单。
贰锤·2020-06-28 20:04

梯度下降法求解线性回归的python实现及其结果可视化（一）

编者注：本文包含了使用Python2.X读取数据、数据处理、作图，构建梯度下降法函数求解一元线性回归，并对结果进行可视化展示，是非常综合的一篇文章，包含了Python的数据操作、可视化与机器学习等内容。
weixin_34363171·2020-06-28 18:39

[Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD

在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。
weixin_34319817·2020-06-28 16:49

梯度下降（Gradient Descent）小结

这里就对梯度下降法做一个完整的总结。1.梯度在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。
weixin_34221276·2020-06-28 14:10

最小二乘参数估计---梯度下降法求解参数的sas代码实现

理论和公式请看网易公开课中AndrewNg的机器学习，或者coursera中AndrewNg的机器学习对于多元线性回归要拟合最好的直线，要使得误差平方和最小，课本上的方法都是求偏导，并使其为0，然后求解线性方程组。但是还有很多其他方法可以达到上述效果，Andrew在大样本和小样本的情况下给出了两种梯度下降的方法。我这里实现了他的第一种步长参数选取为0.03，初始值选取为00。数据集使用的是sas内
weixin_34186950·2020-06-28 13:03

BP神经网络的公式推导

如果感觉自己看不懂，那就看看我博客的梯度下降法，博文最后的感知机也算最简单的BP神经网络吧，用的也是反馈(w,b)：典型梯度下降法BP网络的结构BP网络的结构如下图所示，分为输入层(Input)，隐含层
weixin_34162401·2020-06-28 12:02

言简意赅了解十大常见AI算法

基于随机梯度下降法对损失函数的最优化算法，有原始形式和对偶形式。K近邻法K-nearestneighbor,K-NN多分类和回归是一种分类和回归方法，有监督学习。在训练数据集中找到和新的输入实例最接近
weixin_34150503·2020-06-28 12:41

介绍一个全局最优化的方法：随机游走算法(Random Walk)

上一篇文章讲解了一个求解局部极小值的方法——梯度下降法。这种方法对于求解精度不高的情况是实用的，可以用局部极小值近似替代全局最小值点。
weixin_34144848·2020-06-28 12:00

机器学习---用python实现最小二乘线性回归算法并用随机梯度下降法求解 （Machine Learning Least Squares Linear Regression Application .

在《机器学习---线性回归（MachineLearningLinearRegression）》一文中，我们主要介绍了最小二乘线性回归算法以及简单地介绍了梯度下降法。现在，让我们来实践一下吧。
weixin_34129145·2020-06-28 12:04

梯度下降法参数更新公式的推导

先来回顾一下梯度下降法的参数更新公式：（其中，α是学习速率，是梯度）这个公式是怎么来的呢？下面进行推导：首先，如果一个函数n阶可导，那么我们可以用多项式仿造一个相似的函数，这就是泰勒展开式。
weixin_34090643·2020-06-28 11:44

吴恩达《机器学习》课程总结(17)大规模机器学习

17.2随机梯度下降法随机梯度下降法是只使用一个样本来迭代，其损失函数为：迭代过程为：特点：(1)计算量小，迭代速度快；(2)在最小值附近徘徊，无法求得最小值。
weixin_33853827·2020-06-28 06:10

线性回归与梯度下降法-原理与Python实现【重要】

本文主要讲了梯度下降法的两种迭代思路，随机梯度下降（Stochasticgradientdescent）和批量梯度下降（Batchgradientdescent）。以及他们在python中的实现。
weixin_33806509·2020-06-28 05:40

【机器学习】优化算法小结2——梯度下降、Adam算法

机器学习-梯度下降法梯度：梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
littlemichelle·2020-06-28 02:54

常见的几种最优化方法（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）

我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法
weixin_30947043·2020-06-28 02:45

Adam和学习率衰减（learning rate decay）

目录梯度下降法更新参数Adam更新参数Adam+学习率衰减Adam衰减的学习率References本文先介绍一般的梯度下降法是如何更新参数的，然后介绍Adam如何更新参数，以及Adam如何和学习率衰减结合
weixin_30838921·2020-06-28 01:58

5月深度学习班第3课梯度下降法与反向传播

梯度下降法与反向传播梯度下降法1.损失函数可视化2.最优化3.梯度下降反向传播1.梯度与偏导2.链式法则3.直观理解4.Sigmoid例子两个重要函数得分函数损失函数核心目标找到最合适的参数w
weixin_30836759·2020-06-28 01:53

批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解

  梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降（BatchGradientDescent）、随机梯度下降（StochasticGradientDescent）以及小批量梯度下降
weixin_30788239·2020-06-28 00:11

《统计学习方法》 梯度下降的两种应用场景

这几天在看《统计学习方法》这本书，发现梯度下降法在感知机等机器学习算法中有很重要的应用，所以就特别查了些资料。
weixin_30662109·2020-06-27 23:50

机器学习入门之单变量线性回归（上）——梯度下降法

在统计学中，线性回归（英语：linearregression）是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归（multivariatelinearregression）。——————维基百科长久以来，这部分内容都是ML的敲门砖，吴恩
weixin_30580341·2020-06-27 21:44

最优化问题——梯度下降法

最优条件法：最小二乘估计3、迭代法（1）梯度下降法（gradientdescent），又称最速下降法（steepe
weixin_30551963·2020-06-27 21:33

线性回归与梯度下降法——原理与实现

看了coursea的机器学习课，知道了梯度下降法。一开始只是对其做了下简单的了解。随着内容的深入，发现梯度下降法在很多算法中都用的到，除了之前看到的用来处理线性模型，还有BP神经网络等。
weixin_30415113·2020-06-27 19:30

BP神经网络

误差反向传播的BP算法简称BP算法，其基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。
weixin_30399055·2020-06-27 19:44

梯度下降法和牛顿法的总结与比较

一、梯度下降法0、梯度下降的思想·通过搜索方向和步长来对参数进行更新。其中搜索方向是目标函数在当前位置的负梯度方向。因为这个方向是最快的下降方向。步长确定了沿着这个搜索方向下降的大小。
weixin_30363509·2020-06-27 18:18

Deeply-Recursive Convolutional Network for Image Super-Resolution

尽管有一个优点，但由于梯度爆炸/消失问题，使用标准梯度下降法来学习DRCN是非常困难的。为了减轻模型训
我xihuan·2020-06-27 14:27

梯度下降法解决简单线性回归问题

如下数据保存在data.csv文件中，由一元线性回归模型y=1.477∗x+0.089+ε（ε为随机噪声）生成，第一列为x,第二列为y。data.csv32.502345269453031,31.7070058465699253.426804033275019,68.7775959816389161.530358025636438,62.56238229794580347.475639634786
洪流之源·2020-06-27 14:45

吴恩达机器学习

参考：吴恩达机器学习梯度下降法及其Python实现梯度下降法(BGD,SGD,MSGD)python+numpy具体实现OctaveOctave的函數列表在线公式编辑器1、绪论：初识机器学习什么是机器学习监督学习课时
风吴痕·2020-06-27 14:39

BN(BatchNorm)的理解

尽管随机梯度下降法对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比
wanttifa·2020-06-27 14:31

神经网络中，梯度是如何计算的？

什么是梯度下降法？什么又是梯度？只看概念的话记不住，主要是理解。梯度：高数的知识，是个向量，每点只有一个梯度。=梯度的方向：与这个函数在该点增长最快的方向一致。
wy_19940822·2020-06-27 13:15

图解深度学习-三种梯度下降法可视化（BGD,SGD,MBGD）

图解深度学习-三种梯度下降法可视化（BGD,SGD,MBGD）BGM（批量梯度下降法）SGD（随机梯度下降法）MBGD（小批量梯度下降法）总结用可视化的方式来看下三种梯度下降法。
王伟王胖胖·2020-06-27 13:24

梯度下降及具体计算方式

阅读目录1.批量梯度下降法BGD2.随机梯度下降法SGD3.小批量梯度下降法MBGD4.总结在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。
Gorlen-Boot·2020-06-27 13:15

随机梯度下降算法及最优步长相关公式推导

返回目录运用批量梯度下降法(BGD)，每次迭代需要对所有训练集进行运算。随机梯度下降法(SGD)则每次只对一次数据集进行运算。小批量梯度下降法(MBGD)则每次对一组数据集进行运算。
蓬某某·2020-06-27 12:11

[机器学习] ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent）

引言机器学习栏目记录我在学习MachineLearning过程的一些心得笔记，涵盖线性回归、逻辑回归、Softmax回归、神经网络和SVM等等，主要学习资料来自网上的免费课程和一些经典书籍，免费课程例如StandfordAndrewNg老师在Coursera的教程以及UFLDLTutorial，经典书籍例如《统计学习方法》等，同时也参考了大量网上的相关资料（在后面列出）。前言机器学习中的大部分问题
WangBo_NLPR·2020-06-27 12:17

机器学习算法之蒙特卡洛

机器学习算法之蒙特卡洛大家听说过的算法，比如快速排序法、二分查找法，或是像梯度下降法、K近邻算法，这些算法都有比较严格的逻辑要求，使用起来有些繁琐。
轩辕御龙·2020-06-27 12:48

几种常用的优化方法，梯度下降法、牛顿法，拟牛顿法，共轭梯度法解析

感想本文介绍了大家熟知的梯度下降法，还介绍了其它的优化方法，大家可以看到一些对比，和少量的公式推导，这篇博客主要来源于机器之心，链接已经给出，公式我都推过了，没什么问题，最重要的是动笔推导，我把内容做了进一步的完善
农民小飞侠·2020-06-27 12:47

GBDT理解二三事

DecisionTree)两个角度来理解了；二、GB其实是一种理念，他并不是这一个具体的算法，意思是说沿着梯度方向，构造一系列的弱分类器函数，并以一定权重组合起来，形成最终决策的强分类器；注意，这里的梯度下降法是在函数空间中通过梯度下降法寻找使得
帛逸TB·2020-06-27 11:37

一文通透优化算法：从随机梯度、随机梯度下降法到牛顿法、共轭梯度

一文通透优化算法：从随机梯度、随机梯度下降法到牛顿法、共轭梯度1什么是梯度下降法经常在机器学习中的优化问题中看到一个算法，即梯度下降法，那到底什么是梯度下降法呢？
v_JULY_v·2020-06-27 10:19

梯度下降训练线性回归（最优化2）

实验目的梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现已不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。
小火伴·2020-06-27 10:08

逻辑回归从入门到深入（logistic regression)

请你简单介绍一下逻辑回归）从以下几个方面入手逻辑回归是什么逻辑回归的损失函数，有什么优势逻辑回归怎么迭代的逻辑回归有什么优缺点逻辑回归是什么逻辑回归一种线性回归模型，它假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降法来求解参数
飞奔的帅帅·2020-06-27 10:39

详解梯度下降法的三种形式BGD,SGD以及MBGD

在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。
2014wzy·2020-06-27 09:19

BP神经网络算法推导（包含输出层和隐层）

这一计算过程使用梯度下降法完成，在不停地调整各层神经元的
沙丁鱼鱼鱼·2020-06-27 09:45

优化算法：动量梯度下降+RMSprop+Adam算法+学习率衰减

原作：http://www.cnblogs.com/cloud-ken/p/7728427.html动量梯度下降法(Momentum)另一种成本函数优化算法,优化速度一般快于标准的梯度下降算法.基本思想
Qidian213·2020-06-27 09:07

机器学习1——概率论

学习数据挖掘的时候看到需要有机器学习的基础，然后就在Cousera上找到了AndrewNg的MachineLearning看了一下，讲的深入浅出，对新手大有裨益，可是回过头来当回顾他讲的回归分析法以及梯度下降法时发现大学学习的很多公式都忘了
AriesKean·2020-06-27 09:30

一文搞定BP神经网络——从原理到应用（原理篇）

神经网络初探1.1神经元模型1.2神经元激活函数1.3神经网络结构2.损失函数和代价函数3.反向传播3.1矩阵补充知识**3.1.1求梯度矩阵****3.1.2海塞矩阵****3.1.3总结**3.3梯度下降法原理
痴澳超·2020-06-27 08:39

逻辑回归-梯度下降法 python实现

机器学习的基本框架：模型(model)、目标(costfunction)、优化算法Step1：对于一个问题，需要首先建立一个模型，如回归或分类模型；step2：通过最小分类误差、最大似然或最大后验概率建立模型的代价函数；step3：最优化问题求解a.如果优化函数存在解析解，则可以通过一般的求值方法-对代价函数求导，找到倒数为0的点，即是最大值或者最小孩子；b.如果上述方法求优化函数导数比较复杂，可
驴客图世界·2020-06-27 07:14

Tensorflow实现各种学习率衰减

DeeplearningAIAndrewNgTensorflow1.2API学习率衰减(learningratedecay)加快学习算法的一个办法就是随时间慢慢减少学习率,我们将之称为学习率衰减(learningratedecay)概括假设你要使用mini-batch梯度下降法
武科大许志伟·2020-06-27 07:21

梯度下降法数学原理及代码实现

梯度下降法的原理假设f(x)是R^n上具有一阶连续偏导数的函数，要求解的无约束最优化问题是表示目标函数的极小值点。
笨笨的小棒棒·2020-06-27 06:15
上一页 51 52 53 54 55 56 57 58 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他