深度学习总结

多GPU训练深度学习总结

os.environ["CUDA_VISIBLE_DEVICES"]="0,1"当监视GPU的使用情况（nvidia-smi-l1）的时候会发现，尽管GPU不空闲，实质上只有一个GPU在跑，其他的就是闲置的占用状态，也就是说，如果你的电脑里面有多张显卡，无论有没有上面的代码，Keras都会默认的去占用所有能检测到的GPU。G=3#同时使用3个GPUwithtf.device("/cpu:0"):M
Lonwayne·2020-07-15 00:08

Dropout解决过拟合问题

|知乎地址|https://zhuanlan.zhihu.com/p/23178423作者|晓雷编辑|机器学习算法与自然语言处理公众号本文仅作学术分享，若侵权，请联系后台删文处理这篇也属于《神经网络与深度学习总结系列
机器学习算法与自然语言处理·2020-07-12 18:56

深度学习总结——CS231n课程深度学习（机器视觉相关）笔记整理

深度学习笔记整理说明基本知识点一：模型的设置（基本）1.激活函数的设置2.损失函数的设置(1)分类问题(2)属性问题(3)回归问题3.正则化方式的设置(1)损失函数添加正则化项(2)最大范式约束(3)随机失活4.参数更新方式(1)梯度下降的更新方式(2)学习率的更新方式基本知识点二：模型的训练（基本）1.训练之前(1)数据预处理(2)权重初始化(3)合理性检查2.训练之中(1)梯度检查(2)检查整
Jichao_Peng·2020-07-10 11:30

深度学习总结：常见卷积神经网络——Xception，SeNet，ResNext，Wide Residual Networks

深度学习总结：常见卷积神经网络——Xception，SeNet，ResNext，WideResidualNetworksXceptionSeNetSE机制SE模块可以直接加入到现有网络中ResNextWideResidualNetworks
Tianlock·2020-07-04 08:42

深度学习资料总结

深度学习总结1.MIT在线学习网站http://www.deeplearningbook.org/https://www.coursera.org/learn/hipython/supplement/8YtVH
vivimiu·2020-06-27 11:40

吴恩达深度学习总结(1)

DeaplearningAI01.weak2forwardbackward本周主要介绍了神经网络中forward和backward的一般实现和向量实现。一般实现较为简单，向量实现中存在一些疑点X\boldsymbol{X}X是一个由训练集组成的矩阵，每一列代表一个数据，列数为数据的大小ω\boldsymbol{\omega}ω是训练参数，大小与X\boldsymbol{X}X一列的大小一致bbb为
夜夜0810·2020-06-25 07:57

[Deep Learning] 循环神经网络 RNN

本文是深度学习总结系列的第四篇，本文的主要内容是对循环神经网络进行介绍。
JingYANG_8·2020-03-11 04:22

[Deep Learning] 神经网络基础 Foundations

本文是深度学习总结系列的第一篇，主要内容是神经网络的基础知识，最初版本翻译自：FeedforwardNetsandConvNets(lecturer:DarioGarcia)。
JingYANG_8·2020-02-29 14:40

深度学习总结、资源与规划

终于可以放假回家了，虽然只有半个月，但是还是可以好好地做个休整(陪女朋友)。这学期作为一个学数学的咸鱼，从今年4月份开始入坑深度学习，4月初写了第一篇文章，4月初正式入坑github和PyTorch，过程中写了一些简单的教程和自己学习中的总结，非常感谢大家一路以来对我这个写作能力和表达能力都不是特别好的理工男的支持，万万没想到我写的PyTorch小白教程居然也在github上有了快70个star，
SherlockLiao·2019-12-20 09:22

深度学习总结、资源与规划

深度学习总结、资源与规划深度学习总结、资源与规划SherlockSherlock第一个坑是关于编程的，作为学数学出生的人，没有受过太多计算机科学的训练，所以在写代码上一直存在一些问题，知乎编程大神萧井陌写过一个编程入门指南
readilen·2019-12-06 21:18

吴恩达深度学习总结

目录DeeplearningUseopensourcecode神经网络和深度学习改善深层神经网络Tessorflow基础结构化机器学习项目卷积神经网络序列模型DeeplearningUseopensourcecodeUsearchitecturesofnetworkspublishedintheliteratureUseopensourceimplementationifpossibleUsepr
soulup·2019-05-30 11:00

关于如何自定义修改pytest-html报告深度学习总结

第一、pytest-html执行命令总结：pytesttest_case.py--html=report.html--self-contained-html直接html独立显示pytesttest_case.py--html=report.html包含assets样式文件，htmL显示需要依赖于此文件第二、关于如何修改pytest-html的报告内容：1、如何修改report.html中的Envi
diaoyinbo1979·2019-02-18 15:00

深度学习总结——思维导图

这是一份整理超全的深度学习思维导图，涵盖深度学习的基础概念、架构和优化策略，并以TensorFlow为例，列举深度学习各个模块的介绍。下载地址：深度学习之思维导图第一部分：深度学习的基础概念。其是介绍深度学习的基础概念，含神经元、输入层、隐藏层、常见激活函数、反向传播、BN、常见损失函数、正则化、学习率、优化器和权重初始化等内容。第二部分：深度学习结构和策略。其是介绍有基础单元组成不同的神经学习结
鬼 | 刀·2019-01-08 15:20

快速入门人工智能的方法，持续更新ing

以下是你做AI必须懂的知识点关键词搜索如下：深度学习总结机器学习总结https://blog.csdn.net/aliceyangxi1987/article/details/7107
湾区人工智能·2018-11-15 19:55

深度学习总结三：特征处理流程

深度学习总结三：特征处理流程步骤1：数据审查步骤2：数据清洗步骤3：数据集成步骤4：数据规约步骤5：数据验证步骤6：特征选择sklearn中总结的衡量指标推荐1步骤1：数据审查观察数据集中趋势、离中趋势
su_poplar·2018-10-14 20:18

深度学习总结一：范数

深度学习总结一：范数L0范数和L1范数L2范数对应代码w∗=argminw∑iL(yi,f(xi;w))+λψ(w)w^*=argmin_w\sum_iL(y_i,f(x_i;w))+\lambda\psi
su_poplar·2018-10-14 10:31

图像算法、深度学习总结

一篇博客，来结束自己这几年来图像算法的职业生涯总的来说，图像算法、深度学习，前景不是很明朗。研究生做这个挺多的，因为大家要发论文，需要一些算法。并且，图像发论文比较容易，也就好毕业。这是学术方面的，最近几年在CVPR等论坛收到的文章越来越多。工作方面，发现周围和自己一样做图像的研究生，毕业的时候，90%转互联网、软件开发了，剩下的基本上过的不好，三年内也转行了。首先说说，图像算法是干什么的。图像算
hnsdgxylh·2018-07-07 16:07

深度学习总结（一）各种优化算法

参考博文：码农王小呆：https://blog.csdn.net/manong_wxd/article/details/78735439深度学习最全优化方法总结：https://blog.csdn.net/u012759136/article/details/52302426超级详细每个算法的讲解，可参考：https://blog.csdn.net/tsyccnh/article/details/
monkey512·2018-07-03 20:15

深度学习总结（lecture 11）Capsules Networks（CapsNet）

lecture11：CapsulesNetworks（CapsNet）目录lecture11：CapsulesNetworks（CapsNet）目录1、胶囊网络1.1CNN有重要的缺点1.2将3D世界硬编码为神经网络：逆向图形方法2、动态路由规划2.1背景2.2解决路由问题2.3网络构建3、代码1、胶囊网络1.1CNN有重要的缺点CNN（卷积神经网络）真棒。这是今天深度学习如此受欢迎的原因之一。他
九方先生·2018-03-03 15:16

深度学习总结（lecture 10）DenseNet

lecture10：DenseNet目录lecture10：DenseNet目录1、DenseNet网络结构2、稠密连接、优点3、DenseNet-BC代码4、一些实验及结论5、另外一些解释6、原作者的一些解释1、DenseNet网络结构使用一个叫做“增长率”(k)的超参数防止网络变得过宽，还用了一个1*1的卷积瓶颈层在3*3卷积前减少特征映射的数量。2、稠密连接、优点每层以之前层的输出为输入，对
九方先生·2018-03-03 11:53

深度学习总结（lecture 9）Residual Network （ResNet）

lecture9：ResidualNetwork（ResNet）目录lecture9：ResidualNetwork（ResNet）目录1、残差网络基础1.1VGG19、ResNet34结构图1.2ResNet残差块1.3梯度弥散和网络退化1.4残差块变体1.5ResNet模型变体1.6ResidualNetwork补充1.71*1卷积核2、ResNet（何凯明PPT）3、ResNet-50（Ng
九方先生·2018-02-28 21:34

深度学习总结（lecture 7）Network in Network（NIN）

lecture7：NetworkinNetwork（NIN）目录lecture7：NetworkinNetwork（NIN）目录1、NIN结构2、MLP卷积层3、全局均值池化4、总体网络架构5、NIN补充5.1广义线性模型（GLM）的局限性5.2CCCP层6、1*1卷积的作用7、手势识别RGB图像——NIN结构1、NIN结构2、MLP卷积层传统CNN的局部感受野窗口的运算，可以理解为一个单层的网络
九方先生·2018-02-28 20:35

深度学习总结（lecture 6）VGG13、16、19

lecture6：VGG13、16、19目录lecture6：VGG13、16、19目录1、VGG结构2、VGG结构解释3、3*3卷积核的优点4、VGG的Multi-Scale方法5、VGG应用1、VGG结构LeNet5用大的卷积核来获取图像的相似特征AlexNet用9*9、11*11的滤波器VGG巨大的进展是通过依次采用多个3×3卷积，模仿出更大的感受野（receptivefield）效果
九方先生·2018-02-28 19:57

深度学习总结（lecture 4）LeNet5

lecture4：LeNet5（1998）目录lecture4：LeNet5（1998）目录1、LeNet5模型1、LeNet5模型Conv1:f=[5,5],s=[1,1],padding=’valid’Pool1:f=[2,2],s=[2,2]Conv2:f=[5,5],s=[1,1],padding=’valid’Pool2:f=[2,2],s=[1,1](m,64,64,3)-(m,60,
九方先生·2018-02-27 20:14

深度学习总结（lecture 2）简单ANN

lecture2：简单神经网络目录lecture2：简单神经网络目录1、ImageNet&WebVision2、神经网络汇总3、简单神经网络ANN1、ImageNet&WebVision三大会议CVPR:IEEEConferenceonComputerVisionandPatternRecognitionICCV：IEEEInternationalConferenceonComputerVisio
九方先生·2018-02-27 20:11

Vue深度学习总结

1.Vue生命周期解读这一部分参考自Vue官方文档以及生命周期详解官网的生命周期图示例如下：测试代码如下：Vue生命周期学习{{message}}{{message+'这是在outerHTML中的'}}-->varvm=newVue({//注释el，可理解beforeMounted之前的生命周期el:'#app',//同步不注释h2定义的template,可理解template是如何加载//tem
_artoria_·2018-02-24 15:05

充电行动之四——学书感悟

图片发自App今天上午，赶在十二点之前修改了年级组读书美篇后，紧接着投入到书法学习中，首先对行书进行了再次深度学习总结。
金塔074高丙宇·2018-01-27 16:19

深度学习总结(十一)——early stopping

在训练中，我们希望在中间箭头的位置停止训练。而Earlystopping就可以实现该功能，这时获得的模型泛化能力较强，还可以得到一个中等大小的w的弗罗贝尼乌斯范数。其与L2正则化相似，选择参数w范数较小的神经网络。可以用L2正则化代替earlystopping。因为只要训练的时间足够长，多试几个lambda。总可以得到比较好的结果。Earlystopping:优点：只运行一次梯度下降，我们就可以找
manong_wxd·2017-12-07 19:46

深度学习总结(十)——dropout

1.Inverteddropout大家都知道dropout是一个概率值，它表示的是a[l](第l层的输入)中的元素以多大的概率置零。这里我们用它的对偶变量keep-prob代替dropout，它表示的是以多大的概率保留元素。可见dropout+keep-prob=1。现在我们以一个三层的神经网络为例，讨论keep-drop在神经网络中是如何发生作用的。importnumpyasnpkeep_pro
manong_wxd·2017-12-07 19:48

深度学习总结(九)——正则化

1.正则化简介以逻辑斯蒂回归为例，介绍正则化。原来的成本函数(costfunction)：minw,bJ(w,b)=minw,b1m∑i=1mL(y^(i),y(i))其中：w∈Rnx,b∈R加入正则化项得：J(w,b)=1m∑i=1mL(y^(i),y(i))+λ2m||w||22其中：||w||22=∑j=1nxw2j=wTw上式中的正则化是L2正则化。正则化是一种非常实用的减少方差的方法，正
manong_wxd·2017-12-07 15:37

深度学习总结(八)——训练、开发和测试集及偏差和方差

1.数据集的划分小数据时代：70%(训练集)/30%(测试集)或者60%(训练集)/20%(验证集)/20%(测试集)大数据时代：验证集和测试集的比例要逐渐减小，比如：980000/10000/100002.验证集和测试集的作用深度学习需要大量的数据，我们可能会采用网上爬取的方式获得训练集，容易出现训练集和验证集、测试集分布不一致的情况，由于验证集的目的就是为了验证不同的算法，选取效果好的。所以确
manong_wxd·2017-12-07 10:41

深度学习总结(七)——调参经验

关键词：Relu，batchnorm，dropout，adam，LearningRate设置合理观察loss胜于观察准确率，Loss设计要合理，对比训练集和验证集的loss；Relu可以很好的防止梯度弥散问题，当然最后一层的激活函数千万慎用relu，如果是分类的用softmax；Batchnorm可以大大加快训练速度和模型性能；Dropout防止过拟合，可直接设置为0.5，即一半一半，测试的时候把
manong_wxd·2017-12-06 21:42

深度学习总结(六)——梯度弥散、爆炸和过拟合

一、梯度弥散和爆炸1.梯度弥散的解释梯度弥散的问题很大程度上是来源于激活函数的“饱和”。因为在后向传播的过程中仍然需要计算激活函数的导数，所以一旦卷积核的输出落入函数的饱和区，它的梯度将变得非常小。使用反向传播算法传播梯度的时候，随着传播深度的增加，梯度的幅度会急剧减小，会导致浅层神经元的权重更新非常缓慢，不能有效学习。这样一来，深层模型也就变成了前几层相对固定，只能改变最后几层的浅层模型。梯度爆
manong_wxd·2017-12-06 21:06

深度学习总结(五)——各优化算法

一、各优化算法简介1.批量梯度下降（Batchgradientdescent，BGD）θ=θ−η⋅∇θJ(θ)每迭代一步，都要用到训练集所有的数据。2.随机梯度下降（StochasticGradientDescent，SGD）θ=θ−η⋅∇θJ(θ;x(i);y(i))通过每个样本来迭代更新一次，以损失很小的一部分精确度和增加一定数量的迭代次数为代价，换取了总体的优化效率的提升。增加的迭代次数远远
manong_wxd·2017-12-06 21:26

深度学习总结(四)——正则项系数、Batch_size设置

1.正则项系数（λ）的设置建议一开始将正则项系数λ设置为0，先确定一个比较好的learningrate。然后固定该learningrate，给λ一个值（比如1.0），然后根据validationaccuracy，将λ增大或者减小10倍（增减10倍是粗调节，当你确定了λ的合适的数量级后，比如λ=0.01,再进一步地细调节，比如调节为0.02，0.03，0.009之类。）2.Batchsize三种情况
manong_wxd·2017-12-06 20:28

深度学习总结(三)——学习率设置

1.学习率对训练的影响为了能够使得梯度下降法有较好的性能，我们需要把学习率的值设定在合适的范围内。太大的学习速率导致学习的不稳定，太小值又导致极长的训练时间。自适应学习速率通过保证稳定训练的前提下，达到了合理的高速率，可以减少训练时间。2.学习率的设置固定学习率的设置：经验选择：一般情况下倾向于选取较小的学习速率以保证系统的稳定性，学习速率的选取范围在0.01~0.8之间。对于不同大小的数据集，调
manong_wxd·2017-12-06 20:50

深度学习总结(一)——参数初始化

1.参数初始化的目的是什么？为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始化应该满足以下两个条件：初始化必要条件一：各层激活值不会出现饱和现象；初始化必要条件二：各层激活值不为0。2.把参数都初始化为0会是比较好的初始化？这样做其实会带来一个问题，经过正向传播和反向传播后，参数的
manong_wxd·2017-12-06 20:43

数据分析与深度学习总结

上一篇博客已经是10月11日写的了，过了大半个月，没有坚持将学习内容总结记录，需要调整！回顾十月剩下二十多天的时间，完成了三个计划：1.将Udacity数据分析入门剩余课程结束。2.在kaggle学习和实战，翻译文章《titanticdataanalysis》3.学习吴恩达在网易云公开课上的前两部分课程。1.Udacity数据分析入门第二部分（numpy和pandas使用）在Python中进行数据
helloworld_Fly·2017-11-01 21:05

电影推荐实例--基于协同过滤和DL特征提取的比较

数据集理论背景电影相似性深度学习总结数据集来源于MovieLens中的ml-latest-small.zip，当然也可以从本文最后我的github中找到。本项目主要用到其中
lolosoha·2017-05-21 03:05

Dropout解决过拟合问题

Dropout解决过拟合问题晓雷6个月前这篇也属于《神经网络与深度学习总结系列》，最近看论文对Dropout这个知识点有点疑惑，就先总结以下。
hk121·2017-05-02 15:55

Dropout解决过拟合问题

Dropout解决过拟合问题晓雷6个月前这篇也属于《神经网络与深度学习总结系列》，最近看论文对Dropout这个知识点有点疑惑，就先总结以下。
hk121·2017-05-02 15:00

不同分类算法的优缺点是什么？

目录目录1不同分类算法的优点是什么-XavierAmatriain版逻辑回归支持向量机SVM决策树集深度学习总结2不同分类算法的优点是什么-EdiwinChen版你的训练集多大朴素贝叶斯NB的优点逻辑回归的优点决策树的优点
一只小Kevin·2016-06-23 14:32

深度学习FPGA实现基础知识12(CSDN网友--深度学习总结)

需求说明：深度学习FPGA实现知识储备来自：http://blog.csdn.net/xudong0612/article/details/8930891最近一时兴起打算研究下深度学习，这个名词近来很火，貌似成为了人工智能领域一根新的稻草。经过几天的查资料和看论文，已经初步有了第一印象，闲话少说，结合一些资料，进入正题。深度学习的起源深度学习（DeepLearning）是机器学习中一个非常接近AI
Times_poem·2016-06-08 14:00

CVPR 2015 之深度学习总结

 Part1－AlexNet和VGG-Net 摘要－今年的CVPR非常的火爆，总共有2800多人参与，相比去年增加了700多人，这与deeplearning的异军突起是不无关系的。CVPR2015基本是“theyearofdeeplearning”，有大概70%的文章是关于deeplearning的。今年的CVPR非常的火爆，总共有2800多人参与，相比去年增加了700多人，这与deeplearn
tiandijun·2016-01-20 11:00

深度学习总结

转载自：深度学习总结-xudong0612的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/xudong0612/article/details/8930891最近一时兴起打算研究下深度学习
qq_26898461·2016-01-05 15:00

深度学习总结

最近一时兴起打算研究下深度学习，这个名词近来很火，貌似成为了人工智能领域一根新的稻草。经过几天的查资料和看论文，已经初步有了第一印象，闲话少说，结合一些资料，进入正题。深度学习的起源深度学习（DeepLearning）是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。深度学习属于无监督学习。深度学习的概念源于人工神经网络的研究。深度学习是相对于简单学习而言的，目前
yinlili2010·2015-08-16 02:00

深度学习总结——感自中科院吴怀宇教授

深度学习总结——                                               感自中科院吴怀宇教授参考http://www.sigvc.org/bbs/forum.php
tiandijun·2014-05-07 09:00

深度学习总结

最近一时兴起打算研究下深度学习，这个名词近来很火，貌似成为了人工智能领域一根新的稻草。经过几天的查资料和看论文，已经初步有了第一印象，闲话少说，结合一些资料，进入正题。深度学习的起源深度学习（DeepLearning）是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。深度学习属于无监督学习。深度学习的概念源于人工神经网络的研究。深度学习是相对于简单学习而言的，目前
xudong0612·2013-05-21 23:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他