《深度学习笔记》

吴恩达深度学习笔记 course2 week3 超参数调试,Batch Norm,和程序框架

1.TuningProcess对超参数的一个调试处理一般而言,在调试超参数的过程中,我们通常将学习率learning_rate看作是最重要的一个超参数,其次是动量梯度下降因子β(一般为0.9),隐藏层单元个数,mini-batchsize,再然后是layers,learningratedecacy.当然,这并不是绝对的.在adam算法中,β1,β2,ε通常取值为0.9,0.999,10-8调试超参
banghu8816·2020-09-10 12:05

深度学习笔记(2)：3.1 参数调试过程 | 3.2 使用适当的尺度选择参数 | 3.3 调参实践

3.1调试过程(tuningprocess)在训练神经网络过程中，我们会有很多的超参数需要调试，比如学习率，momentum参数，adam参数、和，神经网络层数(layers)，每层神经网络隐藏的神经元(hiddenunits)，如果使用learningratedecay，还会有其他参数，还有mini-batch的大小。但这些参数重要性有区别，如下图所示：红色圈起来的学习率是最重要的，其次是黄色，
起个名字好难.JPG·2020-09-10 10:17

吴恩达深度学习笔记04——卷积神经网络1

一、计算机视觉计算机视觉（ComputerVision）的高速发展标志着新型应用产生的可能，例如自动驾驶、人脸识别、创造新的艺术风格。人们对于计算机视觉的研究也催生了很多机算机视觉与其他领域的交叉成果。一般的计算机视觉问题包括以下几类：图片分类（ImageClassification）；目标检测（Objectdetection）；神经风格转换（NeuralStyleTransfer）。应用计算机视
阿尔基亚·2020-08-26 23:59

神经网络向量化与矩阵维度 [Andrew Ng 深度学习笔记]

成本函数：单样本时，假设成本函数为:,为预测值，为标签值那么多样本时，假设样本数为m,成本函数为：就是把每个样本分别算出成本函数再相加。大概的思路是把m个样本的每次实验当作独立同分布的，所以总共m次实验在概率上应该全部乘起来。对累乘的结果取对数，增减性不变。把对数符号里的累乘符号提出，就变成累加的了。为了方便后续计算，使m不同时，成本函数依然在一个数量级（保持和单样本时一样的尺度），故要对成本函数
Originum·2020-08-26 16:35

最全目标检测相关资料整理 (目标检测+数据增强+卷价神经网络+类别不均衡...)

1小目标检测：综述：综述论文Augmentationforsmallobjectdetection深度学习笔记（十）Augmentationforsmallobjectdetection（翻译）吴建明wujianning
stay_foolish12·2020-08-26 14:15

深度学习笔记（2）——卷积神经网络（Convolutional Neural Network）

卷积神经网络（ConvolutionalNeuralNetwork,CNN）是深度学习转折的标志性成果，在深度学习的早期，以Hinton等为代表的学者们研究主要集中在RBM（限制波尔兹曼机），AE（自编码器）等传统的全连接神经网络框架上，这个时期虽然出现了很多无监督、优化函数改进之类的研究，使得传统的神经网络层数有所增加，但是终究没有脱离全连接神经网络框架的约束，以至于最终网络可训练的参数量还是遇
迷川浩浩_ZJU·2020-08-26 13:30

Paddle 深度学习笔记

这些天我收获了什么Day1python信息可视化使用百度开源可视化框架pyecharts，绘制基本图表，地图图表pipinstallpyechartspipinstallpyechartsdemo：//导入柱状图-BarfrompyechartsimportBar//设置行名columns=["Jan","Feb","Mar","Apr","May","Jun","Jul","Aug","Sep"
Simonn_z·2020-08-25 17:13

如何做视频教程笔记（以吴恩达课程为例）

本人写过机器学习笔记和深度学习笔记，细心的朋友可以发现我有参考视频的字幕。我推荐我记笔记的方法和几个工具（所有工具现在都有最新版，但还是旧版好用）。
风度78·2020-08-25 00:20

Sigmoid ,tanh,ReLU常用的非线性激励函数的代码实现——深度学习笔记 ~2018年11月22

三大激励函数importnumpyasnpimportmatplotlib.pyplotaspltx=np.arange(-10,10,0.1)#随机生成-10到10之间的数据，步长为0.1y=1/(1+np.exp(-x))#函数plt.figure(1)#图号p1=plt.subplot(211)#绘图位置p1.set_title('Sigmoid')#标题名称p1.axhline(0.5,l
冷心笑看丽美人·2020-08-24 17:28

池化层学习笔记（C++实现）

参考文章：《深度学习笔记5：池化层的实现》池化层的理解：池化层是卷积神经网络中常用的操作，属于前馈神经网络的一部分。
张杰_·2020-08-24 15:51

【深度学习笔记整理-6.4】GRU

GRU相比于LSTM运算量小了许多，其中LSTM是SimpleRNN四倍，GRU是三倍。GRU只有更新门和重置门，其中更新门类似将遗忘门和输入门使用这一个门统一调控，重置门会将上一次的记忆重置后投入“信息门”使用。更新门使用更新门用以调控以往数据遗忘的比例和当下数据的输入比例重置门重置门用来重置上一次的记忆，然后再投入到信息门中形成当下的信息。整合其中类似LSTM中的遗忘门，类似LSTM中的输入门
Y·Not·Try·2020-08-24 02:11

深度学习笔记（六）卷积神经网络

参考资料【1】深度学习cnn卷积神经网络原理（图文详解）https://www.sumaarts.com/share/620.html【2】大话卷积神经网络（CNN）https://my.oschina.net/u/876354/blog/1620906【3】大话CNN经典模型：LeNethttps://my.oschina.net/u/876354/blog/1632862【4】直白介绍卷积神经
Lzjusc2017·2020-08-24 02:02

MATLAB2018a深度学习笔记一（CNN）(参考价值不大只有我自己能看懂)

downloadALEXnetdeepnet=alexnetclassifyimagepred=classify(deepnet,img)Savelayersly=deepnet.layersExtractfistlayerinlayer=ly(1)Extractinputsizeinsz=inlayer.InputSizeExtractlastlayeroutlayer=ly(end)Extra
我要成为程序艺术家·2020-08-24 01:35

深度学习笔记（九）AutoEncoder自动编码器

前面的神经网络都是是基于监督的网络，这一章节主要是介绍非监督学习网络，原理很简单，自己学习，然后将学习的内容反过来生存初始状态，然后对比，×自动编码器是一种尽可能复现输入信号的神经网络×自动编码器必须获取到代码输入数据的最主要的因素，类似于PCA，尽量找到主要成分基于监督的学习监督学习会有target，通过对比prediction和target调整参数。如果没有target将无法进行。非监督学习我
陈奉刚的笔记·2020-08-24 00:31

深度学习笔记之卷积神经网络CNN

卷积神经网络学习笔记（台湾大学李宏毅机器学习2017春）注：此笔记主要是用于自己温习之用，一些预备知识可能写的不够详细，仅供大家参考。如果有疑问欢迎留言交流。来自李老师的主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html卷积神经网络其实是深度神经网络根据图片（包括视频，下同）的特性进行的简化。图片的三大特性：1.Pattern一般都比整
Regnaiq·2020-08-23 23:40

吴恩达深度学习笔记(79)-池化层讲解（Pooling layers）

池化层（Poolinglayers）除了卷积层，卷积网络也经常使用池化层来缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性，我们来看一下。先举一个池化层的例子，然后我们再讨论池化层的必要性。假如输入是一个4×4矩阵，用到的池化类型是最大池化（maxpooling）。执行最大池化的树池是一个2×2矩阵。执行过程非常简单，把4×4的输入拆分成不同的区域，我把这个区域用不同颜色来标记。对于2×2
极客Array·2020-08-23 07:41

黄海广博士的github镜像下载（机器学习及深度学习资源）

其中机器学习笔记5600star，深度学习笔记3800star。由于某种原因，国内用户访问github非常慢，下载资源经常失败，于是，为方便读者，我们把github内容做成镜像文件予以发布。
风度78·2020-08-23 05:20

深度学习笔记---梯度法简单介绍与实现

#1.导入偏导数详细介绍参考百度百科https://baike.baidu.com/item/%E5%81%8F%E5%AF%BC%E6%95%B0/5536984?fr=aladdin求f(x0,x1,x2)关于x0的偏导数，就是将x1,x2看作常数再对x0求导。利用定义求偏导可用如下数学式表示这也就是数值微分。数值微分就是利用微小的差分求导数的过程。梯度详细介绍参考百度百科https://ba
武松111·2020-08-22 04:44

深度学习笔记（六）VGG14

VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition1.主要贡献本文探究了参数总数基本不变的情况下，CNN随着层数的增加，其效果的变化。(thoroughevaluationofnetworksofincreasingdepthusinganarchitecturewithverysmall(3×3)convolutionfilte
weixin_30666401·2020-08-22 03:16

深度学习笔记(四)：Cross-entropy损失函数

改进的Cost函数Cross-entropy使神经网络学习更快神经网络是如何学习的神经网络学习过程(Cost的变化情况)为什么神经网络会出现一开始学习很慢后来学习变快的情况呢介绍cross-entropy损失函数（costfunction）演示cross-entropy损失函数的学习情况用cross-entropy进行手写数字识别总结:改进的Cost函数Cross-entropy使神经网络学习更快
放不完的风筝·2020-08-22 03:42

吴恩达深度学习笔记（8）-重点-梯度下降法（Gradient Descent）

梯度下降法（GradientDescent）（重点）梯度下降法可以做什么？在你测试集上，通过最小化代价函数（成本函数）J(w,b)来训练的参数w和b，如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数）(上一篇文章已讲过）梯度下降法的形象化说明在这个图中，横轴表示你的空间参数w和b，在实践中，w可以是更高的维度，但是为了更好地绘图，我们定义w和b，都是单一实数，代价函数（成本函数）J(
极客Array·2020-08-21 18:35

深度学习笔记6：神经网络优化算法之从SGD到Adam

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。作者简介：鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学习，R与Python，理论与实践并行。个人公众号：
天善智能·2020-08-21 15:54

深度学习笔记（05）：梯度下降法

梯度下降的用途：用来更新训练集上的参数W和b。损失函数可以衡量算法的效果，每一个训练样例都输出一个y_hat，把这个y_hat和真正的标签y进行比较。成本函数衡量了参数W和b在训练集上的效果，要训练出适合的参数W和b，这些参数使成本函数的值尽可能的小。为了更好地找到更好的参数值，我们训练网络时，一般都是随机初始化参数W和b。梯度下降的实现：W-成本函数对W的偏导数；b-成本函数对b的偏导数其中的a
qq_36346625·2020-08-20 13:54

深度学习笔记——理论与推导之RNN的训练过程BPTT（五）

TrainingRNN——BPTT由于RNN和时间序列有关，因此我们不能通过Backpropagation来调参，我们使用的是Backpropagationthroughtime（BPTT）回顾BackpropagationBackpropagationthroughTime（BPTT）我们可以将RNN变成如下形式：参照之前的BP我们发现，反向传播其实就是一个梯度*矩阵*激活函数的微分（放大器）。
R3·2020-08-20 08:12

深度学习笔记6：神经网络优化算法之从SGD到Adam

1从前面的学习中，笔者带大家一起学会了如何手动搭建神经网络，以及神经网络的正则化等实用层面的内容。这些都使得我们能够更深入的理解神经网络的机制，而并不是初次接触深度学习就上手框架，虽然对外宣称神经网络是个黑箱机制，但是作为学习者我们极度有必要搞清楚算法在每个环节到底都干了些什么。今天笔者需要讲的是深度学习的一个大的主题——优化算法。采用何种方式对损失函数进行迭代优化，这是机器学习的一大主题之一，当
倔强_beaf·2020-08-20 07:58

深度学习笔记1：利用numpy从零搭建一个神经网络

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。作者简介：鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学习，R与Python，理论与实践并行。个人公众号：
R3eE9y2OeFcU40·2020-08-20 06:03

AI Studio 飞桨 零基础入门深度学习笔记6.7-手写数字识别之资源配置

AIStudio飞桨零基础入门深度学习笔记6.7-手写数字识别之资源配置概述前提条件单GPU训练分布式训练模型并行数据并行PRC通信方式NCCL2通信方式（Collective）概述从前几节的训练看，无论是房价预测任务还是
mejs·2020-08-19 11:02

深度学习笔记——将mnist数据集中的手写字体图片保存到本地

代码如下：importcv2fromkeras.datasetsimportmnistimportnumpyasnp(X_train,Y_train),(X_test,Y_test)=mnist.load_data()foriinrange(0,59999):#迭代0到59999之间的数字#C:/Users/kimcho/Desktop/photo2/x_trainfileName="C:/Use
_kimcho·2020-08-19 05:31

深度学习笔记2：关于LSTM神经网络输入输出的理解

我们在理解RNN或者LSTM的时候，对它们的输入和输出的维度都很迷惑，下面是我结合代码和网上的一些资料进行理解首先，正常的全连接层网络拓扑是这样的：有输入层、隐层和输出层，隐层中有神经元，无论是CNN还是RNN都可以这样概括，图中每个参数都跟全部的神经元有链接。关于RNN的理解可以看我上一篇的文章接下来看下LSTM的拓扑图：LSTM的精华就来了，就是如下公式：在拓扑图中，我们看到的是不同时刻的X输
陆撄宁·2020-08-19 04:14

深度学习笔记_基本概念_对Max Pooling的理解

目录MaxPooling是什么MaxPooling的作用作用1：invariance(不变性)作用2：增大感受野听说pooling层可以消失还是可以用pooling的参考链接MaxPooling是什么在卷积后还会有一个pooling的操作。maxpooling的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块（poolingsize）。每个小块内只取最大的数字，再舍弃其他节点后，保持原
skyjhyp11·2020-08-19 03:26

深度学习笔记_基本概念_卷积网络中的通道channel、特征图feature map、过滤器filter和卷积核kernel

目录卷积网络中的通道、特征图、过滤器和卷积核1.featuremap1.1featuremap1.2featuremap怎么生成的？1.3多个featuremap的作用是什么？2.卷积核2.1定义2.2形状2.3卷积核个数的理解3.filter4.channel4.1定义4.2分类4.3通道与特征4.4通道的终点卷积网络中的通道、特征图、过滤器和卷积核1.featuremap1.1featurem
skyjhyp11·2020-08-19 03:26

深度学习笔记——正则化方法

文章目录深度学习中的正则化和优化1、正则化方法1.1数据增强(DataAugmentation)1.2L1和L2正则化L2正则化L1正则化L1与L2正则化1.3添加噪声1.4提前终止（earlystopping）1.4参数共享1.5稀疏正则化1.6Dropout深度学习中的正则化和优化深度学习中，正则化与优化策略占据了重要的地位，它们很大程度上决定了模型的泛化与收敛等性能。通过阅读《深度学习》，简
ysc1006·2020-08-19 03:57

吴恩达深度学习笔记(33)-带你进一步了解Dropout

理解dropout（UnderstandingDropout）Dropout可以随机删除网络中的神经单元，他为什么可以通过正则化发挥如此大的作用呢？直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效果，和之前讲的L2正则化类似；实施dropout的结果实它会
极客Array·2020-08-19 01:07

深度学习笔记（一）：mnist 数据集手写数字图片识别

深度学习笔记（一）：mnist数据集手写数字图片识别数据简介数据集下载代码如下：数据简介数据集中含70000张书写字图像，分为训练集和测试集训练集：60000张图像，大小28x28，共10类（0-9）；
VolumeK·2020-08-19 00:10

吴恩达深度学习笔记(32)-Dropout正则化Dropout Regularization

dropout正则化（DropoutRegularization）除了L2正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”，我们来看看它的工作原理。假设你在训练上图这样的神经网络，它存在过拟合，这就是dropout所要处理的，我们复制这个神经网络，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节点都以抛硬币的方式设置概率，每个节点得
极客Array·2020-08-19 00:52

七月算法深度学习笔记5--CNN训练注意事项与框架使用

这套笔记是跟着七月算法五月深度学习班的学习而记录的，主要记一下我再学习机器学习的时候一些概念比较模糊的地方，具体课程参考七月算法官网：http://www.julyedu.com/1.神经网络的训练1.1Mini-batchSGD不断循环:1采样一个batch数据(比如32张,可以做镜像对称)2前向计算得到损失loss3反向传播计算梯度(一个batch上的)4用这部分梯度迭代更新权重参数未必找到全
thystar·2020-08-18 16:29

《Tensorflow和深度学习笔记》100页

"人工智能A7论坛编辑部"为大家带来了《Tensorflow和深度学习笔记》，一共100页,截图如下查看笔记，可以前往"http://book.aqinet.cn"。
_云游者_·2020-08-18 15:24

七月算法深度学习笔记7--RNN

这套笔记是跟着七月算法五月深度学习班的学习而记录的，主要记一下我再学习机器学习的时候一些概念比较模糊的地方，具体课程参考七月算法官网：http://www.julyedu.com/RNN：利用神经网络处理序列问题状态和模型之前，我们处理的模型叫做IID数据；网络用sampleA做一次forward，无论是分类还是回归，接下来用B做一次forward，A和B没有关系。这类网络学习到的是一个函数，输入
thystar·2020-08-18 13:04

七月算法深度学习笔记4 -- CNN与常用框架

这套笔记是跟着七月算法五月深度学习班的学习而记录的，主要记一下我再学习机器学习的时候一些概念比较模糊的地方，具体课程参考七月算法官网：http://www.julyedu.com/神经网络的结构神经网络包含输入层，输出层，及中间的隐层神经网络在做说明事情呢？从逻辑回归到神经元--感知机：X1,X2为输入，z为一个线性的输出，当z0函数趋近1.于是，得到一个分类器，对应到神经网络中，如右图。于是，逻
thystar·2020-08-18 13:03

通过波士顿房价预测模型快速入门神经网络

飞桨深度学习笔记课程链接：零基础入门深度学习1.深度学习的基本步骤深度学习不仅实现了模型的端到端学习，还推动了人工智能进入工业大生产阶段，产生了标准化、自动化和模块化的通用框架。
weixin_49214939·2020-08-18 10:56

【深度学习笔记】图像处理领域的不适定问题（ill-posed problem）

定义适定问题(well-posedproblem)，是数学领域的术语，它的成立需满足三个条件，若有一个不满足则称为"ill-posedproblem"：asolutionexists解必须存在thesolutionisunique解必须唯一thesolution’sbehaviorchangescontinuouslywiththeinitialconditions.解能根据初始条件连续变化，不会
Murphy.AI·2020-08-18 07:06

深度学习笔记: 逻辑回归模型和二元分类

多元分类（classification）在机器学习中，多元分类是将示例归类为多个（大于两个）类别中的一类（将示例归为两类中的一类被称为二元分类）。一些分类算法自然地允许使用超过两类，另一些自然是二元分类算法；然而，它们可以通过多种策略转化为多元分类。多元分类不应该和多标签分类相混淆，多标签分类要为每个示例预测多个标签，即一个示例可以同时被归为多个类别。所以，要解决多元分类问题，只需将其简化为多个二
西江月独酌·2020-08-17 15:50

深度学习笔记--单层感知机原理及代码实现

本文作者：合肥工业大学管理学院钱洋email：[email protected]。以下内容是个人的学习笔记，内容可能有不到之处，欢迎交流。未经本人允许禁止转载。python3实现简单的感知器下面使用python3实现or运算：#-*-coding:utf-8-*-fromfunctoolsimportreduceclassPerceptron(object):def__init__(self,in
HFUT_qianyang·2020-08-17 14:07

【深度学习笔记】（二）基于MNIST数据集的神经网络实验

一、介绍MNIST（MixedNationalInstituteofStandardsandTechnologydatabase）是网上著名的公开数据库之一，是一个入门级的计算机视觉数据集，它包含庞大的手写数字图片。无论我们学习哪门程序语言，我们最开始的一件事就是学习打印”HelloWorld！”。就好比编程入门有HelloWorld，Tensorflow入门有MNIST，通常把它当做Tensor
wolf_ray·2020-08-17 11:13

深度学习笔记一： LeNet-5、AlexNet 和 VGGNet等网络模型的小结

最近在学习吴恩达AndrewNg的深度学习课程，之前对这几个网络还比较混乱，现在记录一下：LeNet-5神经网络的贡献：1.这是一个比较早的网络模型，其中在卷积层后面加入池化层的思想先今还在使用。2.在最后的卷积层接入池化层和全连接层在当前也比较常用。出处：Gradient-BasedLearningAppliedtoDocumentRecognition其结构为输入-->卷积层-->平均池化层-
ronales·2020-08-17 04:03

深度学习笔记（二）：基于tensorflow gpu版本的深度神经网络程序总览

在第一篇笔记深度学习笔记（一）：基于numpy的深度神经网络程序总览之后，又用tensorflow的gpu版本实现了一遍，果然封装很好，写起来很舒服，速度也快很多，100次epoch分分钟就结束了，效果和第一篇笔记中基于
dongweiweiwei·2020-08-17 04:52

TensorFlow 深度学习笔记 从线性分类器到深度神经网络

转载请注明作者：梦里风林Github工程地址：https://github.com/ahangchen/GDLnotes欢迎star，有问题可以到Issue区讨论官方教程地址视频/字幕下载LimitofLinearModel实际要调整的参数很多如果有N个Class，K个Label，需要调整的参数就有(N+1)K个LinearModel不能应对非线性的问题LinearModel的好处GPU就是设计用
weixin_30889885·2020-08-17 03:56

深度学习笔记——深度学习框架TensorFlow(七)[TensorFlow广度&深度教程]

学习网站：https://www.tensorflow.org/versions/r0.12/tutorials/wide_and_deep/index.html#tensorflow-wide-deep-learning-tutorial对于前向反馈和后向传输进行解释的博客：http://blog.csdn.net/zhangjunhit/article/details/53501680Tens
R3·2020-08-17 02:29

深度学习笔记——深度学习框架TensorFlow(十)[Creating Estimators in tf.contrib.learn]

CreatingEstimatorsintf.contrib.learntf.contrib.learn框架通过其高级别的EstimatorAPI可以轻松构建和训练机器学习模型。Estimator提供可以实例化的类，以快速配置常见的模型类型，如回归和分类器：LinearClassifier：构建线性分类模型LinearRegressor：构建线性回归模型DNNClassifier：构建神经网络分类
R3·2020-08-17 02:29

深度学习笔记——深度学习框架TensorFlow(四)[高级API tf.contrib.learn]

参考网站：tf.contrib.learn：https://www.tensorflow.org/versions/r0.12/tutorials/tflearn/index.htmltf.contrib.learnQuickstartTensorFlow’shigh-levelmachinelearningAPI(tf.contrib.learn)makesiteasytoconfigure,t
R3·2020-08-17 02:57
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他