Minibatch

Flink SQL 核心解密 —— 提升吞吐的利器 MicroBatch

之前我们在FlinkSQL中支持了MiniBatch,在支持高吞吐场景发挥了重要作用。
阿里云云栖社区·2018-12-07 00:00

pytorch损失函数之nn.CrossEntropyLoss()、nn.NLLLoss()

首先输入是size是(minibatch,C)。这里的C是类别数。损失函数的计算如下：loss(x,class)
geter_CS·2018-12-06 15:21

JuJu团队11月29号工作汇报

JuJu团队11月29号工作汇报JuJuScrum团队成员今日工作剩余任务困难于达生成所有minibatch，支持不同batch_size优化代码熟悉julia婷婷用预训练的ebedding加入模型调试模型
Julia_AI_123·2018-11-30 11:00

GraphSAGE 代码解析 - minibatch.py

classEdgeMinibatchIterator"""Thisminibatchiteratoriteratesoverbatchesofsamplededgesorrandompairsofco-occuringedges.G--networkxgraphid2idx--dictmappingnodeidstoindexinfeaturetensorplaceholders--tensorf
listenviolet·2018-11-03 22:00

avod论文理解与代码解读

AVOD论文理解与代码解读论文简析概述网络结构BEVmap特征提取rpn网络特征融合第二阶段检测网络box编码方向确定代码解读anchor的产生minibatch的产生与作用rpnmodelavodmodelloss
月韵清风·2018-10-09 16:00

pytorch dataloader的使用

使用dataloader了以后，可以通过dataloader的传入参数控制minibatch，shuffle，并行计算时使用的cpu核心数。
hi小蜗·2018-08-29 14:47

【caffe】Layer解读之：BatchNorm/Scale

/src/caffe/layers/batch_norm_layer.cuBatchNorm层的功能：对minibatch的数据作归
yuanCruise·2018-08-17 15:56

神经网络训练的一些建议（方差和偏差的问题：正则化）

实际上深度学习有很多不同的超参数，之后我们也会介绍一些其他的超参数，如momentum、minibatch
Ding_xiaofei·2018-08-03 10:28

Faster-RCNN Pytorch实现的minibatch包装

实际上faster-rcnn对于输入的图片是有resize操作的，在resize的图片基础上提取featuremap，而后generate一定数量的RoI。我想首先去掉这个resize的操作，对每张图都是在原始图片基础上进行识别，所以要找到它到底在哪里resize了图片。直接搜grep'resize'./lib/-r./lib/crnn/utils.py:v.data.resize_(data.s
蠢材少年·2018-07-10 11:00

读《一天搞懂深度学习》ppt的笔记

读《一天搞懂深度学习》ppt笔记softmax推荐的开发工具：tips对训练过程：（1）选择合适的损失（2）需要minibatch（3）选择合适的激励函数（4）恰当的学习率（5）momentum对测试数据
lovecencen1893·2018-06-29 17:00

论文阅读：Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour

论文首先提出了神经网络训练的一个不好的现象：batchsize的增大到一定程度，ResNet的分类准确率会下降。这个现象推翻了我以前的一个直觉：觉得batchsize大，训练的效果会更好。为了加快训练的速度（增大batchsize）同时保证准确率，论文提出了一个trick：让学习率lr随着batchsize线性增大（LinearScalingRule），使得训练时的batchsize在[64(2^
编码视界·2018-04-17 22:53

Caffe2 - (三十三) Detectron 之 roi_data - data loader

Caffe2-(三十三)Detectron之roi_data-dataloader1.loader.pyDetectrondataloader.py是通用设计，与minibatch的实现细节无关.多线程的数据加载
AIHGF·2018-04-10 11:05

卷积神经网络（五）：SGD、adagrad与RMSprop，梯度下降法总结

SGDSGD即随机梯度下降法，在每次更新中，计算一个Minibatch的数据，然后以Minibatch中数据的总损失对神经网络各权值求梯度来进行权值更新，作为训练中的一个step。
Fire_Light_·2018-03-14 16:08

吴恩达Coursera深度学习（2-2）编程练习

Class2：改善深层神经网络：超参数调试、正则化以及优化Week2：优化算法目录Class2：改善深层神经网络：超参数调试、正则化以及优化Week2：优化算法目录1、梯度下降2、Minibatch梯度下降
九方先生·2018-02-26 21:16

机器学习调参经验：学习速率、正则项系数、minibatch size

学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则会导致代价函数振荡，如下图所示。就下图来说，一个比较好的策略是先将学习速率设置为0.25，然后在训练到第20个Epoch时，学习速率改为0.025。关于为什么学习速
class_brick·2018-01-11 16:10

深度学习之Backpropagation算法（二）

每个epoch中，会对数据随机分组，每个小组成为minibatch。对于一个minibatch，每个数据计算完之后，都会求
EagleChan·2017-12-06 07:49

Deep Learning 1 ： Batch Normalization,Weight Normalization and Layer Normalization

WN相比BN主要有三点优势：1.WN通过重写深度学习网络的权重W的方式来加速收敛，没有引入对minibatch的以来，可以用于RNN网络。
qq184861643·2017-09-15 16:14

Faster R-CNN——ROIDB和Minibatch函数调用分析

简介和说明：1.本文包含两个部分，一个是关于ROIdatabase的函数分析，一个是关于minibatch生成的函数分析；2.由于直接用文字表述函数之间的调用关系很麻烦，因此我使用标题的等级来表示。
Eclipse_9·2017-08-20 20:23

PyTorch(总)——PyTorch遇到令人迷人的BUG与记录

其使用格式为：loss(m(input),target)，其中input为2DTensor大小为（minibatch，n）
hudongloop·2017-06-28 16:04

在线难例挖掘 论文

首先回顾一下，fasterrcnn的minibatch的生成过程。在fasterrcnn中minibatch设定为2张图片，每张图片生成128个roi，然后输入进入roi网络。
fffupeng·2017-06-11 15:48

<优化策略-2>深度学习加速器Layer Normalization-LN

LN提出：BN针对一个minibatch的输入样本，计算均值和方差，基于计算的均值和方差来对某一层神经网络的输入X中每一个case进行归一化操作。
lqfarmer·2017-05-25 13:24

如何理解TensorFlow中的batch和minibatch

转自http://hp.stuhome.net/index.php/2016/09/20/tensorflow_batch_minibatch/原文如下：在刚开始学习使用TF的过程中，我不是很理解什么是
lwq1026·2017-05-17 16:53

深度学习加速器Layer Normalization-LN

LN提出：BN针对一个minibatch的输入样本，计算均值和方差，基于计算的均值和方差来对某一层神经网络的输入X中每一个case进行归一化操作。
lqfarmer·2017-05-09 09:46

CNN训练技巧

a-brief-overview-of-deep-learning.html原文链接1：准备数据：务必保证有大量、高质量并且带有干净标签的数据，没有如此的数据，学习是不可能的2：预处理：这个不多说，就是0均值和1方差化3：minibatch
知无涯者·2016-12-01 21:33

faster rcnn源码解读（六）之minibatch

转载自：fasterrcnn源码解读（六）之minibatch-野孩子的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/u010668907/article/details/51945917fasterrcnn
beihangzxm123·2016-09-05 17:54

Training Region-based Object Detectors with Online Hard Example Mining - cvpr 2016 oral

即针对Fast-RCNN框架，在每次minibatch（1张或者2张）训练时加入在线筛选hardregion的策略，达
xuanyoumeng·2016-05-04 21:00

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

转载自：http://blog.csdn.net/u012162613/article/details/44265967本文是《Neuralnetworksanddeeplearning》概览中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）   学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就
qq_26898461·2016-04-21 15:00

训练深度神经网络的时候需要注意的一些小技巧

我觉得有很大一部分从没看到过，所以就翻译了下，如有不对的地方，欢迎指正：1：准备数据：务必保证有大量、高质量并且带有干净标签的数据，没有如此的数据，学习是不可能的2：预处理：这个不多说，就是0均值和1方差化3：minibatch
baobei0112·2016-03-22 13:00

受限玻尔兹曼机RBM实现——matlab实现

这个是我正在写的一篇论文的部分代码，用了一个三元因子RBM，大家只需要看采样部分和权重与偏置的更新部分就行了%第一层RBM训练：数据before-数据current-隐单元1 numbatches=length(minibatch
zb1165048017·2016-03-13 10:00

RDD.treeAggregate 的用法

GradientDescent中函数runMiniBatchSGD下，有如下一段代码：val(gradientSum,lossSum,miniBatchSize)=data.sample(false,miniBatch
加油小松鼠·2015-11-23 16:34

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size 本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中
·2015-11-02 15:23

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

转自：http://blog.csdn.net/u012162613/article/details/44265967本文是《Neuralnetworksanddeeplearning》概览中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速
Danieljf24·2015-07-14 09:09

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

转自：http://blog.csdn.net/u012162613/article/details/44265967本文是《Neuralnetworksanddeeplearning》概览中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速
Daniel_djf·2015-07-14 09:00

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

转自：http://blog.csdn.net/u012162613/article/details/44265967本文是《Neuralnetworksanddeeplearning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习
u014568921·2015-06-16 18:00

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则会导致代价函数振荡，如下图所示。就下图来说，一个比较好的策略是先将学习速率设置为0.25，然后在训练到第20个Epoch时，学习速率改为0.025。关于为什么学习速
u010910436·2015-05-19 19:00

训练深度神经网络的时候需要注意的一些小技巧

我觉得有很大一部分从没看到过，所以就翻译了下，如有不对的地方，欢迎指正：1：准备数据：务必保证有大量、高质量并且带有干净标签的数据，没有如此的数据，学习是不可能的2：预处理：这个不多说，就是0均值和1方差化3：minibatch
wangzhebupt·2015-03-16 17:00

机器学习算法中如何选取超参数：学习速率、正则项系数、minibatch size

本文是《Neuralnetworksanddeeplearning》概览中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learningrate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则会导致代价函
u012162613·2015-03-14 23:00

对随机梯度下降的一些使用心得

1：对于随机梯度下降SGD可能大家都比较了解，也很熟悉，说起来也很简单，在使用中我们一般用的是带minibatch的SGD。
silence1214·2014-03-27 09:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他