learning_rate

sklearn:梯度提升正则化

通过收缩的规则化（learning_rate<1.0）可以显着提高性能。与收缩相结合，随机梯度增强（子样本<1.0）可以通过减少包装的方差来产生更准确的模型。没有收缩的子采样通常效果不佳。
颠沛的小丸子·2018-11-06 20:01

对于tensorflow学习率的理解：global_step;decay_steps

tf.train.exponential_decay(learning_rate,global_step,decay_steps,decay_rate,staircase=False,name=None
Hero_Never_GIVE_UP·2018-11-01 23:15

Xgboost原理和应用

作为新出现的集成算法，在各种大赛和实际项目中，取得了很好的效果，本文略去复杂的推导过程，简单讲解原理和python实现一、直接上代码xgboost.XGBClassifier(self,max_depth=3,learning_rate
阿童89·2018-10-28 23:56

深度学习之梯度更新的几种算法及其python实现【SGD,Momentum,Nesterov Momentum,AdaGrad,RMSProp,Adam】(无公式)

defsgd(w,dw,config=None):"""单纯的sgd实现"""ifconfigisNone:config={}config.setdefault('learning_rate',1e-2
lazerliu·2018-09-20 22:41

感知机算法（Perceptron Learning Algorithm）和代码实现（Python）

importnumpyasnpimportmatplotlib.pyplotaspltimportmatplotlib.animationasanimation#感知机学习算法defPercetron_Learning(X,y,learning_rate
To_be_thinking·2018-09-18 11:17

tensorflow入门，实现logistic回归训练minist数据集

/data/mnsit",one_hot=True)#Parameters设置参数，进行批梯度下降learning_rate
FeynmanZhang·2018-09-07 23:10

CNN神经网络优化常用函数范式一览(损失函数loss,学习率learning_rate,滑动平均ema,正则化regularization)

来源:学习北大曹健老师Tensorflow课程后做的学习笔记,整理后在此分享给大家.之前是抄在本子上的,可能存在一些抄写错误或是标记缺失,若发现了可以评论告诉我.谢谢.###一.损失函数(loss):预测值y与已知答案y_的差距神经网络优化目标即找到适合的w以减小loss,有三种减小loss的方法1.均方误差mse(MeanSquaredError)2.自定义损失函数3.交叉熵ce(CrossEn
dolor_059·2018-08-27 00:06

06-CNN-爬虫获取20分类数据及数据预处理

整个编写和整理的过程博主预测还是很有意思的，我们规定整个的training_epochs=5000，batch_size=10，learning_rate=0.01，梯度下降方式选择AdamOptimizer
CDBmax数据分析服务:南枫木木·2018-08-02 17:43

神经网络优化-----学习率（指数衰减学习率）

神经网络优化中，使用指数衰减学习率，可以在迭代初期得到较高的下降速度，可以在较小的训练轮数下获得更好的收敛度在python中可以用这行代码实现： learning_rate=tf.train.exponential_decay
摒除杂念·2018-07-31 00:00

tensorflow 学习率的下降策略

随时间/步数下降法、余弦下降法、余弦重启式下降法、线性余弦下降法、带噪声的线性余弦下降法，下面各个介绍：1.指数下降法自然指数下降法：它们的定义的参数形式都是：defexponential_decay(learning_rate
Hero_Never_GIVE_UP·2018-07-26 22:41

指数衰减学习率的意义与使用方法

即需要降低学习速率；使用方法：self.global_step=tf.Variable(0,trainable=False)#代表当前迭代次数，需要从session会话中取值，然后将这个参数的值传递到learning_rate
Takoony·2018-07-11 00:00

tensorflow配置Mask-RCNN报错：tf.reduce_mean got an unexpected keyword argument 'keep_dims'

Tensorflow-gpu1.4.0GTX1080tiCUDA8.0&Cudnn6.0keras2.1python3.5在这样的环境中配置好了之后进行训练，在执行下面模块的时候出现报错model.train(dataset_train,dataset_val,learning_rate
lypsunway·2018-07-02 19:47

tensorflow笔记__学习率的设置

learning_rate:学习率设置大了震荡不收敛,设置小了,收敛速度太慢,时间成本高.下面我们使用tensorflow设置损失函数为y=(w+1)^2,初始w=5,更改学习率看一下loss值输出的变化情况
Li_haiyu·2018-06-27 21:09

XGBoost、LightGBM参数讲解及实战

通用参数：booster=‘gbtree’使用的提升数的种类gbtree,gblinearordartsilent=True:训练过程中是否打印日志n_jobs=1:并行运行的多线程数1.1.2提升树参数learning_rate
linxid·2018-06-23 17:13

降低学习率的函数

指数衰减tf.train.exponential_decay(learning_rate,  global_step,decay_steps,decay_rate,staircase=False,name
Hubz131·2018-06-01 21:41

使用TensorFlow构建一个简单的回归预测模型

importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotaspltif__name__=="__main__":#设置参数#设置梯度下降算法的学习率learning_rate
修炼之路·2018-05-31 23:32

深度学习（五）学习率的调节

学习率越小，损失梯度下降的速度越慢，收敛的时间更长，如公式所示：new_weight=existing_weight—learning_rate*gradient(新权值=当前权值–学习率×梯度)    
QuinnHanz·2018-05-31 00:00

【Tensorflow】设置自动衰减的学习率

tf.train.exponential_decay(learing_rate,global_step,decay_steps,decay_rate,staircase=False)learning_rate
TwT520Ly·2018-05-22 00:00

tensorflow实战之全连接神经网络实现mnist手写字体识别

importtensorflowastffromtensorflow.examples.tutorials.mnistimportinput_data#参数设置input_nodes=784#输入节点数output_nodes=10#输出节点数layer1_nodes=500#隐层节点数bitch_size=100#每次训练包含的数据个数learning_rate
李泽辰·2018-05-19 09:15

tensorflow实现手写数字识别（CNN）

importprint_functionimporttensorflowastfimportnumpyasnpfromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data_sets("/tmp/data/",one_hot=True)learning_rate
simple_hututu·2018-05-09 19:36

deeplearning.ai 编程作业问题总结 Neural Networks and Deep Learning

调参：以为是参数没有设置好，尝试调整，learning_rate和迭代次数。结果：测试的准确率依旧很低。然后尝
noirblack·2018-05-01 23:39

优化算法笔记

主要介绍了各个主流神经网络优化算法的代码实现SGDwhileTrue:dx=compute_gradient(x)x-=learning_rate*dxSGD+Momentumv=0rv=0.9whileTrue
wangwang0726·2018-04-28 10:07

tensorflow深度学习之生成数据集（二）

importosimportnumpyasnpimporttensorflowastfimportinput_dataimportmodelN_CLASSES=2#数据集分两类IMG_W=64#图片的高IMG_H=64#图片的宽BATCH_SIZE=16CAPACITY=1000MAX_STEP=10000#学习的步长learning_rate
baihualinxin·2018-04-25 15:03

tensorflow实现卷积神经网络案例（识别手写数字）

importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportmatplotlib.cmascm%matplotlibinlineimporttensorflowastf#参数设置learning_rate
qian_fighting·2018-04-11 22:04

Tensorboard——高级可视化

withtf.name_scope('SGD'):#GradientDescentoptimizer=tf.train.GradientDescentOptimizer(learning_rate)#Optocalculateeveryvariablegradientgrads
优秀的莱恩·2018-04-06 16:56

2018-04-06

TensorFlow中的自动梯度首先优化函数的定义就是前面一部分opt=tf.train.GradientDescentOptimizer(learning_rate)，定义好优化函数之后，可以通过grads_and_vars
优秀的莱恩·2018-04-06 16:14

【tensorflow】】模型优化（一）指数衰减学习率

函数原型：tf.train.exponential_decay(  learning_rate,  
亮亮兰·2018-03-28 21:12

逐参数自适应学习率

目前，常用的方法有以下三种：AdagradAdagrad方法总的来说是梯度大的方向的学习率比梯度小的方向的学习率要小，如果用公式来表示：cache+=dx**2x+=-learning_rate*dx/
lanmengyiyu·2018-02-22 18:37

百度无人驾驶apollo项目驾驶行为决策模块深度神经网络算法模型

百度无人驾驶apollo项目驾驶行为决策模块深度神经网络算法模型apollo这一快没提供，可以使用以下的算法模型learning_rate=1e-4activation_relu='relu'model
lijianhua1205·2018-02-19 17:25

python命令行解析之parse_known_args(）函数和parse_args()使用区别介绍

首先导入命令行解析模块importargparseimportsys然后创建对象parse=argparse.ArgumentParser()然后增加命令行parse.add_argument("--learning_rate
mameng1·2018-01-24 22:56

【TensorFlow】关键字global_step使用（十）

global_step经常在滑动平均，学习速率变化的时候需要用到，这个参数在tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,
brucewong0516·2017-12-14 12:37

tensorflow中的关键字global_step使用

global_step经常在滑动平均，学习速率变化的时候需要用到，这个参数在tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,
不负韶华T·2017-12-03 21:34

tensorflow 调试技巧汇总

所以应该使用带有衰减效果的learningrate.session.run(tf.assign(learning_rate,0.002*(0.97**(step//decay_steps))))estimatorloadcheckpoint
cjopengler·2017-10-18 15:47

AI challenger 场景分类 tensorflow inception-resnet-v2 LB: 0.94361

learning_rate=0.0
Wayne2019·2017-10-06 04:00

用Python+numpy实现单隐层神经网络

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportdatasetsclassbpNN:def__init__(self,numH,numO,learning_rate
慕道子·2017-09-23 10:11

Tensorflow--多层神经网络

8importnumpyasnpimporttensorflowastfimportmatplotlib.pyplotaspltimportinput_dataimportmath#importmnistimporttime#参数设置flags=tf.app.flagsFLAGS=flags.FLAGSflags.DEFINE_float('learning_rate
jiangyongyu·2017-09-05 21:06

Learning Rate Annealing

学习率退火“learning_rate”：学习率“learning_rate_a”和”learning_rate_b”：学习率衰减参数，具体衰减公式由learning_rate_schedule决定“learning_rate_schedule
银云风·2017-09-05 21:41

神经网络参数更新

一、参数更新1.随机梯度下降及各种更新方法【普通更新】：沿着负梯度方向改变参数x+=-learning_rate*dx其中学习率是一个超参数，它是一个固定的常量。
Magic_Anthony·2017-08-25 14:18

flags的解析方法

1、使用argparse包importargparseparser=argparse.ArgumentParser()parser.add_argument('--learning_rate',type
ei1994·2017-07-31 11:48

TensorFlow系列（1）——建立线性回归模型

01:312017@author:Administrator"""importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotasplt#参数设置learning_rate
飞鸟2010·2017-07-04 22:04

TensorFlow系列（1）——建立线性回归模型

01:312017@author:Administrator"""importtensorflowastfimportnumpyasnpimportmatplotlib.pyplotasplt#参数设置learning_rate
飞鸟2010·2017-07-04 22:04

SVM cost function CS231n notes

deftrain(self,X,y,learning_rate=1e-3,reg=1e-5,num_iters=100,batch_size=200,verbose=False):"""Trainthislinearclassifierusingstochasticgradientdescent.Inputs
sherrysack·2017-06-20 14:57

神经网络优化算法详解（TensorFlow）

Tensorflow中的一些常用的优化算法的调用命令为：SGDoptimizer=tf.train.GradientDescentOptimizer(learning_rate=self.learning_rate
fool-zz·2017-05-11 10:57

Digit Recognizer by LightGBM

用LightGBM和xgboost分别做了Kaggle的DigitRecognizer，尝试用GridSearchCV调了下参数，主要是对max_depth,learning_rate,n_estimates
gripleaf·2017-04-21 16:47

使用Tensorflow拟合直线

8importtensorflowastfimportnumpyimportmatplotlib.pyplotaspltif__name__=='__main__':rng=numpy.random#学习速率迭代次数50次迭代输出learning_rate
空白少侠·2017-04-15 20:24

AlexNet 的tensorflow 实现

importinput_data mnist=input_data.read_data_sets("/tmp/data/",one_hot=True) importtensorflowastf #定义网络超参数 learning_rate
u013709270·2017-04-09 19:00

深度学习小白——神经网络5（参数更新）

一、参数更新1.随机梯度下降及各种更新方法【普通更新】：沿着负梯度方向改变参数x+=-learning_rate*dx其中学习率是一个超参数，它是一个固定的常量。
MargaretWG·2017-03-30 15:49

深度学习小白——神经网络5（参数更新）

一、参数更新1.随机梯度下降及各种更新方法【普通更新】：沿着负梯度方向改变参数x+=-learning_rate*dx其中学习率是一个超参数，它是一个固定的常量。
MargaretWG·2017-03-30 15:49

tensorflow clip_by_norm函数理解

tensorflow中的clip_by_norm示例optimizer=tf.train.AdamOptimizer(learning_rate,beta1=0.5)grads=optimizer.compute_gradients
linuxwindowsios·2017-03-28 14:38

Tensorflow实现神经网络

#Parameters,开始的时候,这个设施大一点,然后慢慢的修改learning_rate=0.001#训练的循环次数,用来提高准确率,降低错误率.也是更新w和b.在这
yuzhou164·2017-03-12 20:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他