梯度下降法

牛顿法与梯度下降法的讲解与Python代码实现

牛顿法与梯度下降法的讲解与Python代码实现一、牛顿法概述基本牛顿法原理Python实现牛顿法二、梯度下降法概述梯度下降算法2.1场景假设2.2梯度下降法过程Python代码实现梯度下降法一、牛顿法概述高斯
未见青山老。·2020-06-25 19:09

线性回归代码

本章将会使用标准方程法和梯度下降法进行线性回归的实现，使用了手写方法和调用sklearn库的方法。
兢飞·2020-06-25 18:12

梯度下降法，牛顿法等优化方法

梯度下降法梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。
那什·2020-06-25 18:34

Theano入门神经网络(一)

首先回顾一下机器学习的东西，定义一个模型（函数）f(x;w)x为输入，w为模型参数，然后定义一个损失函数c(f),通过数据驱动在一堆模型函数中选择最优的函数就是训练training的过程，在机器学习中训练一般采用梯度下降法
醉平阳·2020-06-25 18:06

梯度下降法的matlab实现

具体的梯度下降法的知识点不在赘述。请参考线性回归梯度下降知识点一、线性回归（LinearRegression）方法一利用公式:（懂了）function[theta]=linearReg()%线性回归。
努力学习机器学习·2020-06-25 17:20

利用梯度下降法求解函数最小值

在我的上一篇博客给大家从原理上讲述了一下梯度下降法，在这一篇博文里，我就用python代码底层实现利用梯度下降法求解函数的最值问题。以二次函数为例，方便大家理解！
@hello先生·2020-06-25 16:59

最优化方法之牛顿法

最优化方法之牛顿法最近在做期末总结复习这学期学过的模型算法，复习到逻辑回归的时候，看到西瓜书上用到的优化方法除了梯度下降法以外，还提到了牛顿法。
Taoist_Nie·2020-06-25 16:08

cs231阅读笔记（2）—— 优化方法、正则化、迁移学习、软硬件

因为梯度下降法的代价函数计算需要遍历所有样本，而且是每次迭代都要遍历，直至达到局部最优解，在样本量庞大时就显得收敛速度比较慢了
yjyjjyjy1231·2020-06-25 15:56

线性回归算法梳理----学习笔记

1.机器学习的一些概念2.线性回归的原理3.线性回归损失函数、代价函数、目标函数4.优化方法(梯度下降法、牛顿法、拟牛顿法等)5.线性回归的评估指标6.sklearn参数详解附：代码（如有错误，感谢指出
EMCXu·2020-06-25 14:58

【调参炼丹】 Batch_size和Epoch_size

Batch_Size:首先，batch_size来源于：小批量梯度下降（Mini-batchgradientdescent）梯度下降法是常用的参数更新方法，而小批量梯度下降是对于传统梯度下降法的优化。
Jaykie_·2020-06-25 14:51

线性回归（LinearRegression）实现房价预测

线性回归主要处理以连续型特征为主的数据集，线性回归函数为f(X)=bX+a，对于损失函数的建立主要使用的是最小二乘法，使用梯度下降法拟合线性模型，基本原理如下：函数模型（model）：假设有训练数据我们写成矩阵的形式为
RunningCode丿H·2020-06-25 14:11

yolo-yolo v1损失函数理解

Yolov1使用普通的梯度下降法作为优化器
修行者_Yang·2020-06-25 14:04

大佬的面试问题解析

order=0&pos=6&page=21.gbdt,xgboost,lgbm的区别(阿里，头条)参考之前整理过的帖子：https://www.jianshu.com/p/f73a80c221982.梯度下降法
城市中迷途小书童·2020-06-25 13:54

统计学习方法——牛顿法和拟牛顿法

牛顿法(NewtonMethod)和拟牛顿法(quasi-NewtonMethod)以及梯度下降法是求解无约束最优化问题的常用方法。
qq_37172182·2020-06-25 12:30

7、与神经网络学习相关的参数（SGD、adam等）

1参数的更新四种方法：见图01随机梯度下降法：SGD使用参数的梯度，沿着梯度方向更新参数，并且重复这个步骤多次，从而逐渐靠近最优参数，这个过程称为随机梯度下降法#源代码classSGD：  def_init
UP Lee·2020-06-25 10:52

回归分析——批量梯度下降法和随机梯度下降法（python3版本）

1.导入相关的库importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportmatplotlib.tickerasmtick2.导入数据filename=r'.../ex1/ex1data1.txt'df=pd.read_table(filename,engine='python',sep=',',header=None)#读取
Yun_Mengze·2020-06-25 10:41

人工智能入门课程学习（6）——线性回归

解决的数据代码实现2.线性回归的损失与优化2.1损失函数2.2优化方法3.scikit里边的线性回归api具体介绍4.案例：波士顿放假预测4.1分析4.2回归性能评估4.3代码1.使用标准的线性回归方法预测2.使用梯度下降法来预测
ICoder_Next·2020-06-25 10:13

梯度下降法Vs牛顿下降法

Author:Frank在机器学习领域中，梯度下降法和牛顿下降法是两个非常有分量的方法。两者在本质上都是为了寻找极值点的位置，但是牛顿下降法的收敛速度更快。下面以单变量函数为例来进行基本的解释。
蚓无爪牙之利·2020-06-25 10:51

线性回归中的最小二乘法和梯度下降法比较

为什么要比较这两种方法呢？很多人可能不知道，我先简单的介绍一下机器学习有两种，一种是监督学习，另一种是非监督学习。监督学习就是我告诉计算机你把班上同学分个类，分类标准是按照性别，男生和女生；非监督分类就是告诉计算机你自己去把班上同学分个类吧，我不告诉你分类标准。在监督学习中，如果我们面对的变量是连续型的变量就要用到回归回归其实是非常容易理解，也非常实用的一种方法，很多经济类的学生在写论文的时候都会
阿肉~·2020-06-25 09:12

Python梯度下降法实现二元逻辑回归

Python梯度下降法实现二元逻辑回归二元逻辑回归假设函数定义当函数值大于等于0.5时，结果为1，当函数值小于0.5时，结果为0.函数的值域是(0,1)。
菜鸡儿的架构师之路·2020-06-25 09:07

机器学习之多元线性回归模型梯度下降法的python实现

机器学习之多元线性回归模型梯度下降法的python实现前言：本文利用python实现多元线性回归模型的梯度下降算法，以二元线性回归模型为例，实现梯度下降算法，以及训练得到的三维图形结果展示。
Mekeater·2020-06-25 08:47

机器学习之一元线性回归模型梯度下降算法的Python实现

机器学习之一元线性回归模型梯度下降算法的Python实现前言：关于一元线性回归梯度下降法的详细理论知识可至我机器学习类别的博文中查看，本文基于Python实现梯度下降算法。
Mekeater·2020-06-25 08:47

机器学习算法------梯度下降法

优秀的讲解博客刘建平的博客算法简述梯度下降通常是通过迭代的方式来搜索某个函数的极大/小值，他对目标函数每个变量求偏导得出梯度，也就是沿着梯度方向函数值会增加的最快，那么要求最小值就要沿着梯度值的反方向，梯度下降分为随机梯度下降与批量梯度下降，以及小批量梯度下降，随机梯度相比批量梯度耗时少，但精度不如批量高，批量每一步都沿着下降最快的方向下降，但是样本很多的话耗时很多，还有就是随机梯度具有随机的特性
键盘里的青春·2020-06-25 08:08

梯度下降优化算法

梯度下降优化算法一、简介二、梯度下降方法2.1批量梯度下降法BGD2.2随机梯度下降法SGD2.3小批量梯度下降法MBGD三、传统梯度下降法面临的挑战四、改进的梯度下降算法4.1Momentum4.2Nesterovacceleratedgradient4.3Adagrad4.4RMSprop4.5Adam4.6
一抹烟霞·2020-06-25 07:08

一元线性回归（梯度下降法）

实战：梯度下降法实现一元线性回归手写代码实现一元线性回归问题调用scikitlearn库实现一元线性回归运行图手写代码实现一元线性回归问题代码片.
Turbo码先生·2020-06-25 07:05

机器学习面试题汇总（51~100题）

冲突及解决办法53下列哪个不属于CRF模型对于HMM和MEMM模型的优势54熵、联合熵、条件熵、相对熵、互信息的定义55从运行速度、存储效率和适用场合等方面简要地分析各种存储结构56说下红黑树的五个性质57梯度下降法找到的一定是下降最快的方向么
oswinwff·2020-06-25 07:27

吴恩达机器学习系列（三）——单一变量线性回归算法（下）梯度算法

2.1场景假设梯度下降法的基本思想可以类比为一个下山的过程。（此处参考https://blog.csdn.net/qq_41800366/article/detail
高自强·2020-06-25 07:22

机器学习面试题汇总(特征工程相关)

7.归一化为什么能提高梯度下降法求解最优解的速度？8.归一化有可能提高精度吗？9.哪些机器学习算法不需要做归一化处理？10.对于树形
Potato_45·2020-06-25 06:56

机器学习小组知识点4&5:批量梯度下降法(BGD)和随机梯度下降法(SGD)的代码实现Matlab版1

原机器学习小组知识点4&5:批量梯度下降法(BGD)和随机梯度下降法(SGD)的代码实现Matlab版2016年10月19日10:17:28Eric2016_Lv阅读数：3379这里趁着脑子还清醒就把代码敲出来了
qq_32790593·2020-06-25 06:14

梯度下降法及matlab实现

id=162梯度下降法（gradientdescent），是机器学习中最常用的参数调优算法，所谓梯度下降，就是对于一个模型的代价函数而言，从某个初始参数开始，逐渐将参数朝“使得代价函数减小最快”的方向调整
qq_32216775·2020-06-25 05:30

最全最详细-线性规划(最小二乘、正交回归、梯度下降、仿真)

缺点3.1.4.1对异常值很敏感3.1.4.2没有考虑自变量的误差3.1.4.3存在不可求解的情况3.2正交回归3.2.1目标函数3.2.2求解推导3.2.3结果总结3.2.4几何意义4数值解法4.1梯度下降法
ningzian·2020-06-25 05:41

《统计学习方法》—— 逻辑斯谛回归 与 最大熵模型 的介绍以及详细推导

当一个最优化问题以似然函数作为其目标函数的时候，作者提到三种常用的优化方法，改进的迭代尺度法、梯度下降法以及牛顿法或者拟牛顿法。
wangxinRS·2020-06-25 05:57

最小二乘法与梯度下降法的区别？

狭义的最小二乘法：指的是在线性回归下采用最小二乘准则（或者说叫做最小平方），进行线性拟合参数求解的、矩阵形式的公式方法。所以，这里的（最小二乘法）应叫做（最小二乘算法）或者（最小二乘方法，百度百科【最小二乘法】词条中对应的英文为（Theleastsquaremethod）。这里，基于线性回归，有两个细节比较重要：第一，线性回归的模型假设。这是最小二乘方法的优越性前提，否则不能推出最小二乘是最佳（即
沉思的小豆虫·2020-06-25 03:42

深度学习优化函数详解（0）-- 线性回归问题

深度学习优化函数详解系列目录深度学习优化函数详解（0）–线性回归问题深度学习优化函数详解（1）–GradientDescent梯度下降法深度学习优化函数详解（2）–SGD随机梯度下降深度学习优化函数详解
ChasingdreamLY·2020-06-25 02:24

【深度学习基础】梯度下降的优化算法

深度学习基础】梯度下降的优化算法Mini-batch1.定义2.minibatch的超参3.mini-batchsize的选择4.步骤5.BGD,minibatch,SGD的算法收敛性指数加权平均动量梯度下降法
two_star·2020-06-25 02:26

BGD,SGD及MBGD

BGD（批量梯度下降法）批梯度下降每次更新使用了所有的训练数据，最小化损失函数，如果只有一个极小值，那么批梯度下降是考虑了训练集所有数据，是朝着最小值迭代运动的，但是缺点是如果样本值很大的话，更新速度会很慢
小知识传送门·2020-06-25 00:01

机器学习之（三）梯度下降法的三种形式BGD、SGD以及MBGD

[+][MachineLearning]梯度下降法的三种形式BGD、SGD以及MBGD1.批量梯度下降法BGD2.随机梯度下降法SGD3.小批量梯度下降法MBGD4.总结在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练
绝对不要看眼睛里的郁金香·2020-06-25 00:38

模型参数优化方法

1、梯度下降pass2、坐标轴下降法1、坐标轴下降法(CoordinateDescent，CD)：是一种迭代法，通过启发式的方法一步步的迭代求解函数的最小值，和梯度下降法(GD)不同的时候，坐标轴下降法是沿着坐标轴的方向去下降
自学AI的鲨鱼儿·2020-06-24 23:09

《吴恩达机器学习》5 Python/Numpy 教程（Octave/Matlab 教程）

Python/Numpy教程（Octave/Matlab教程）前言一、python基本使用1、数据类型2、语法3、切片（重要）4、函数及类二、numpy使用1、矩阵2、矩阵运算三、基于numpy的梯度下降法实现总结前言
JockerWong·2020-06-24 23:44

统计学习笔记（2）——感知机模型

感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。
qll125596718·2020-06-24 22:16

梯度下降法

转载请注明出处（作者：Ivan_Allen时间：2014/10/22）蛋蛋和你是好朋友，但是你比较霸道，总欺负蛋蛋，突然有一天你心血来潮，表示要和蛋蛋玩游戏。游戏规则如下：你扇蛋蛋一耳光，然后测一下蛋蛋的脸肿多高，经过30次的测试后（假设蛋蛋的脸被打后很快就消肿了，不然就不能愉快的玩耍了），你统计出了你打的力量大小和蛋蛋的脸肿的高度的数据。见后面的表。左边的一栏是你打蛋蛋的力度，右边是你测出来的高
--Allen--·2020-06-24 21:26

【机器学习】最优化方法：梯度下降法

1.概念梯度下降法（GradientDescent）又称最速下降法（Steepestdescent）是一种常用的一阶优化方法，是一种用于求解无约束最优化问题的最常用的方法。
齐在·2020-06-24 20:34

专题：机器学习进阶之路——学习笔记整理

机器学习基本概念监督学习、非监督学习、批量学习、在线学习、基于实例学习、基于模型学习经验风险最小化与结构风险最小化模型评估与选择（留出法、交叉验证法、查全率、查准率、偏差、方差）线性回归原理推导与算法描述最优化方法：梯度下降法一文读懂正则化与
齐在·2020-06-24 20:04

初学算法——梯度下降法

梯度下降算法注：:=是赋值的意思右边错误是因为temp1中采用了更新后的θ0，而梯度下降算法中要求的是同时更新；右边是另外一种算法α太大，可能会导致不收敛线性代数知识：矩阵的加减乘除算法、单位矩阵、逆矩阵运算、矩阵的转置定义相关知识特征缩放法目的：加快梯度下降算法的收敛速度。问题描述：如上左图，如果取值θ1=（0，5），θ2=（0，2000），则代价函数的2D图会如左图所示，很狭长，在用梯度下降算
YUE.YUN·2020-06-24 20:39

Python机器学习（五）：SVM 支撑向量机

Jacob的Python机器学习系列：Python机器学习（一）：kNN算法Python机器学习（二）：线性回归算法Python机器学习（三）：梯度下降法Python机器学习（四）：PCA主成分分析Python
Jacob杨帮帮·2020-06-24 20:56

梯度下降法，牛顿法，高斯-牛顿迭代法，附代码实现

---------------------梯度下降法-------------------梯度的一般解释：f(x)在x0的梯度：就是f(x)变化最快的方向。
Naruto_Q·2020-06-24 20:02

【ML】LambdaMART算法原理--应用场景

LambdaRank重新定义了梯度，赋予了梯度新的物理意义，因此，所有可以使用梯度下降法求解的模型都可以使用这个梯度，基于决策树的MART就是其中一种，将梯度Lambda和MART结合就是
凝眸伏笔·2020-06-24 19:21

一些吴恩达深度学习教程笔记

下降法1.梯度下降算法2.动量（Momentum）梯度下降法向着最小点的方向加速，与这个方向垂直方向减速v=β∗v+(1−β)∗v=β∗v+(1−β)∗数据tβ越小，就越关注当前数据，也就是曲线的细节动量梯度下降法
无名份的浪漫2018·2020-06-24 19:18

Andrew Ng机器学习笔记2——梯度下降法and最小二乘拟合

今天正式开始学习机器学习的算法，老师首先举了一个实例：已知某地区的房屋面积与价格的一个数据集，那么如何预测给定房屋面积的价格呢？我们大部分人可以想到的就是将画出房屋面积与价格的散点图，然后拟合出价格关于面积的曲线，那么对于一个已知的房屋面积，就可以在拟合的曲线上得到预测的价格。这个问题就是回归。要想用数学方法解决这一问题，肯定得定义一堆符号来描述问题啦，下面是符号定义：符号定义完了，来看看我们究竟
dadadaplz·2020-06-24 19:19

深度学习06-logistic回归的梯度下降法

1.梯度下降法设成本函数J(w,b)，激活函数为sigmoid函数（参见神经网络基础02-Logistic回归），有以下成本函数：我们的目标是要想找到函数J(w,b)的最小值，进而需要找到w,b的参数。
__流云·2020-06-24 17:08
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他