limu深度学习笔记

神经网络与深度学习笔记汇总四

神经网络与深度学习笔记汇总四往期回顾将之前掘金写的学习笔记所遇困难搬到这里，方便查看复习学习内容1、在信号处理中认为信号具有较大的方差，噪声有较小的方差，信噪比就是信号与噪声的方差比，越大越好。
Zzjw527·2020-09-13 00:19

神经网络与深度学习笔记汇总二

神经网络与深度学习笔记汇总二正交化（方便调整参数）迭代单实数评估指标（判断几种手段/方法哪个更好）指标选取训练集、开发集、测试集作用与用途评估指标判断算法是好是坏迁移学习总结往期回顾结构化机器学习项目正交化
Zzjw527·2020-09-13 00:48

神经网络与深度学习笔记汇总一

神经网络与深度学习笔记汇总一梯度下降法:向量化:代替for循环广播ReLU激活函数逻辑回归损失函数（误差函数）代价函数卷积神经网络往期回顾梯度下降法:通过最小化代价函数（成本函数）来训练的参数w和b步骤
Zzjw527·2020-09-13 00:46

神经网络与深度学习笔记汇总五

神经网络与深度学习笔记汇总五往期回顾将之前掘金写的学习笔记所遇困难搬到这里，方便查看复习遇到问题：报错(未解决)学习内容：1、报错operandshouldcontain1columnsin条件后面有多个字段
Zzjw527·2020-09-13 00:46

神经网络与深度学习笔记汇总三

神经网络与深度学习笔记汇总三往期回顾将之前掘金写的学习笔记所遇困难搬到这里，方便查看复习遇到问题：异常值处理学习内容1、.drop()返回的是一个新对象，原对象不会被改变。
Zzjw527·2020-09-13 00:46

seajs通过module.constructor.prototype扩展公共方法

http://limu.iteye.com/blog/1136712https://github.com/seajs/seajs/issues/67为了能够预加载公共部分模块！
LzwGlory·2020-09-12 22:16

深度学习笔记(2) - 神经网络的数学基础

神经网络的数学基础数学概念：张量、张量运算、微分、梯度下降。深度学习中的数据概念张量常见的张量类型张量：它是一个数据容器，模型中最基本的数据结构，比如，矩阵（2维张量）标量（0D张量）标量：仅仅包含一个数字的张量（标量张量，零维张量，0D张量）在Numpy中，一个float32或float64的数字,可以通过ndim属性来查询轴的个数。向量（1D张量）向量：数字组成的数组，只有一维，一个轴矩阵（2
瓦力人工智能·2020-09-12 16:45

神经网络与深度学习笔记（四）为什么用交叉熵代替二次代价函数

1、为什么不用二次方代价函数我们用的loss方程是a是神经元的输出，其中a=σ(z)，z=wx+b使用链式法则求权重和偏置的偏导数有：可知，偏导数受激活函数的导数影响再由sigmoid函数可知，sigmoid的导数在输出接近0和1的时候是非常小的，这会导致一些实例在刚开始训练时学习得非常慢：2、为什么要用交叉熵先看公式：求权重和偏置的偏导数：根据σ′(z)=σ(z)(1−σ(z))，知由以上公式可
dsjdjsa·2020-09-11 22:49

深度学习笔记1

自学笔记第1章引言人工智能真正的挑战在于解决那些对人类来说容易执行、但很难形式化描述的任务。如何将非形式化的知识传给计算机呢？AI深度学习可以让计算机从经验中学习，并根据层次化的概念体系来理解世界。一些人工智能项目力求将关于世界的知识用形式化的语言进行编码（hard-code），使计算机可以使用逻辑推理规则来自动地理解这些形式化语言中的声明。人们设法设计足够复杂的形式化规则来准确的描述世界，这些项
我是谁_谁是我·2020-09-10 18:55

Google深度学习笔记 文本与序列的深度模型

DeepModelsforTextandSequence转载请注明作者：梦里风林Github工程地址：https://github.com/ahangchen/GDLnotes欢迎star，有问题可以到Issue区讨论官方教程地址视频/字幕下载RareEvent与其他机器学习不同，在文本分析里，陌生的东西（rareevent）往往是最重要的，而最常见的东西往往是最不重要的。语法多义性一个东西可能有
梦里茶·2020-09-10 18:39

Google深度学习笔记 循环神经网络实践

转载请注明作者：梦里风林Github工程地址：https://github.com/ahangchen/GDLnotes欢迎star，有问题可以到Issue区讨论官方教程地址视频/字幕下载加载数据使用text8作为训练的文本数据集text8中只包含27种字符：小写的从a到z，以及空格符。如果把它打出来，读起来就像是去掉了所有标点的wikipedia。直接调用lesson1中maybe_downlo
梦里茶·2020-09-10 18:07

Google 深度学习笔记 卷积神经网络

ConvolutionalNetworks转载请注明作者：梦里风林Github工程地址：https://github.com/ahangchen/GDLnotes欢迎star，有问题可以到Issue区讨论官方教程地址视频/字幕下载deepdiveintoimagesandconvolutionalmodelsConvnetBackGround人眼在识别图像时，往往从局部到全局局部与局部之间联系往往
梦里茶·2020-09-10 18:06

深度学习笔记(4)：1.11 为什么要使用卷积运算？

1.11为什么要使用卷积(whyconvolutions?)首先直观上，使用卷积比全连接网络少很多参数，如下图所示:对于32*32*3的图像，令f=5，使用6个filter，参数值为5*5*6+6=156个参数，权重参数个数为5*5*6，偏差为6个，所以是156。但是全连接会产生多少个参数呢？将这两个图片都flatten成向量，分别是3072维和4704维向量，这时使用全连接就会有3072*470
起个名字好难.JPG·2020-09-10 14:28

吴恩达深度学习笔记 course2 week3 超参数调试,Batch Norm,和程序框架

1.TuningProcess对超参数的一个调试处理一般而言,在调试超参数的过程中,我们通常将学习率learning_rate看作是最重要的一个超参数,其次是动量梯度下降因子β(一般为0.9),隐藏层单元个数,mini-batchsize,再然后是layers,learningratedecacy.当然,这并不是绝对的.在adam算法中,β1,β2,ε通常取值为0.9,0.999,10-8调试超参
banghu8816·2020-09-10 12:05

深度学习笔记(2)：3.1 参数调试过程 | 3.2 使用适当的尺度选择参数 | 3.3 调参实践

3.1调试过程(tuningprocess)在训练神经网络过程中，我们会有很多的超参数需要调试，比如学习率，momentum参数，adam参数、和，神经网络层数(layers)，每层神经网络隐藏的神经元(hiddenunits)，如果使用learningratedecay，还会有其他参数，还有mini-batch的大小。但这些参数重要性有区别，如下图所示：红色圈起来的学习率是最重要的，其次是黄色，
起个名字好难.JPG·2020-09-10 10:17

吴恩达深度学习笔记04——卷积神经网络1

一、计算机视觉计算机视觉（ComputerVision）的高速发展标志着新型应用产生的可能，例如自动驾驶、人脸识别、创造新的艺术风格。人们对于计算机视觉的研究也催生了很多机算机视觉与其他领域的交叉成果。一般的计算机视觉问题包括以下几类：图片分类（ImageClassification）；目标检测（Objectdetection）；神经风格转换（NeuralStyleTransfer）。应用计算机视
阿尔基亚·2020-08-26 23:59

神经网络向量化与矩阵维度 [Andrew Ng 深度学习笔记]

成本函数：单样本时，假设成本函数为:,为预测值，为标签值那么多样本时，假设样本数为m,成本函数为：就是把每个样本分别算出成本函数再相加。大概的思路是把m个样本的每次实验当作独立同分布的，所以总共m次实验在概率上应该全部乘起来。对累乘的结果取对数，增减性不变。把对数符号里的累乘符号提出，就变成累加的了。为了方便后续计算，使m不同时，成本函数依然在一个数量级（保持和单样本时一样的尺度），故要对成本函数
Originum·2020-08-26 16:35

最全目标检测相关资料整理 (目标检测+数据增强+卷价神经网络+类别不均衡...)

1小目标检测：综述：综述论文Augmentationforsmallobjectdetection深度学习笔记（十）Augmentationforsmallobjectdetection（翻译）吴建明wujianning
stay_foolish12·2020-08-26 14:15

深度学习笔记（2）——卷积神经网络（Convolutional Neural Network）

卷积神经网络（ConvolutionalNeuralNetwork,CNN）是深度学习转折的标志性成果，在深度学习的早期，以Hinton等为代表的学者们研究主要集中在RBM（限制波尔兹曼机），AE（自编码器）等传统的全连接神经网络框架上，这个时期虽然出现了很多无监督、优化函数改进之类的研究，使得传统的神经网络层数有所增加，但是终究没有脱离全连接神经网络框架的约束，以至于最终网络可训练的参数量还是遇
迷川浩浩_ZJU·2020-08-26 13:30

Paddle 深度学习笔记

这些天我收获了什么Day1python信息可视化使用百度开源可视化框架pyecharts，绘制基本图表，地图图表pipinstallpyechartspipinstallpyechartsdemo：//导入柱状图-BarfrompyechartsimportBar//设置行名columns=["Jan","Feb","Mar","Apr","May","Jun","Jul","Aug","Sep"
Simonn_z·2020-08-25 17:13

JAVA面向对象(总结篇)

面向对象的语言中包含了三大基本特征，封装、继承和多态publicclasspeople{//属性intage=22;Stringname="limu";//成员方法没有static关键字publicvoidsleep
李木1973·2020-08-25 15:02

如何做视频教程笔记（以吴恩达课程为例）

本人写过机器学习笔记和深度学习笔记，细心的朋友可以发现我有参考视频的字幕。我推荐我记笔记的方法和几个工具（所有工具现在都有最新版，但还是旧版好用）。
风度78·2020-08-25 00:20

Sigmoid ,tanh,ReLU常用的非线性激励函数的代码实现——深度学习笔记 ~2018年11月22

三大激励函数importnumpyasnpimportmatplotlib.pyplotaspltx=np.arange(-10,10,0.1)#随机生成-10到10之间的数据，步长为0.1y=1/(1+np.exp(-x))#函数plt.figure(1)#图号p1=plt.subplot(211)#绘图位置p1.set_title('Sigmoid')#标题名称p1.axhline(0.5,l
冷心笑看丽美人·2020-08-24 17:28

池化层学习笔记（C++实现）

参考文章：《深度学习笔记5：池化层的实现》池化层的理解：池化层是卷积神经网络中常用的操作，属于前馈神经网络的一部分。
张杰_·2020-08-24 15:51

【深度学习笔记整理-6.4】GRU

GRU相比于LSTM运算量小了许多，其中LSTM是SimpleRNN四倍，GRU是三倍。GRU只有更新门和重置门，其中更新门类似将遗忘门和输入门使用这一个门统一调控，重置门会将上一次的记忆重置后投入“信息门”使用。更新门使用更新门用以调控以往数据遗忘的比例和当下数据的输入比例重置门重置门用来重置上一次的记忆，然后再投入到信息门中形成当下的信息。整合其中类似LSTM中的遗忘门，类似LSTM中的输入门
Y·Not·Try·2020-08-24 02:11

深度学习笔记（六）卷积神经网络

参考资料【1】深度学习cnn卷积神经网络原理（图文详解）https://www.sumaarts.com/share/620.html【2】大话卷积神经网络（CNN）https://my.oschina.net/u/876354/blog/1620906【3】大话CNN经典模型：LeNethttps://my.oschina.net/u/876354/blog/1632862【4】直白介绍卷积神经
Lzjusc2017·2020-08-24 02:02

MATLAB2018a深度学习笔记一（CNN）(参考价值不大只有我自己能看懂)

downloadALEXnetdeepnet=alexnetclassifyimagepred=classify(deepnet,img)Savelayersly=deepnet.layersExtractfistlayerinlayer=ly(1)Extractinputsizeinsz=inlayer.InputSizeExtractlastlayeroutlayer=ly(end)Extra
我要成为程序艺术家·2020-08-24 01:35

深度学习笔记（九）AutoEncoder自动编码器

前面的神经网络都是是基于监督的网络，这一章节主要是介绍非监督学习网络，原理很简单，自己学习，然后将学习的内容反过来生存初始状态，然后对比，×自动编码器是一种尽可能复现输入信号的神经网络×自动编码器必须获取到代码输入数据的最主要的因素，类似于PCA，尽量找到主要成分基于监督的学习监督学习会有target，通过对比prediction和target调整参数。如果没有target将无法进行。非监督学习我
陈奉刚的笔记·2020-08-24 00:31

深度学习笔记之卷积神经网络CNN

卷积神经网络学习笔记（台湾大学李宏毅机器学习2017春）注：此笔记主要是用于自己温习之用，一些预备知识可能写的不够详细，仅供大家参考。如果有疑问欢迎留言交流。来自李老师的主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html卷积神经网络其实是深度神经网络根据图片（包括视频，下同）的特性进行的简化。图片的三大特性：1.Pattern一般都比整
Regnaiq·2020-08-23 23:40

吴恩达深度学习笔记(79)-池化层讲解（Pooling layers）

池化层（Poolinglayers）除了卷积层，卷积网络也经常使用池化层来缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性，我们来看一下。先举一个池化层的例子，然后我们再讨论池化层的必要性。假如输入是一个4×4矩阵，用到的池化类型是最大池化（maxpooling）。执行最大池化的树池是一个2×2矩阵。执行过程非常简单，把4×4的输入拆分成不同的区域，我把这个区域用不同颜色来标记。对于2×2
极客Array·2020-08-23 07:41

黄海广博士的github镜像下载（机器学习及深度学习资源）

其中机器学习笔记5600star，深度学习笔记3800star。由于某种原因，国内用户访问github非常慢，下载资源经常失败，于是，为方便读者，我们把github内容做成镜像文件予以发布。
风度78·2020-08-23 05:20

深度学习笔记---梯度法简单介绍与实现

#1.导入偏导数详细介绍参考百度百科https://baike.baidu.com/item/%E5%81%8F%E5%AF%BC%E6%95%B0/5536984?fr=aladdin求f(x0,x1,x2)关于x0的偏导数，就是将x1,x2看作常数再对x0求导。利用定义求偏导可用如下数学式表示这也就是数值微分。数值微分就是利用微小的差分求导数的过程。梯度详细介绍参考百度百科https://ba
武松111·2020-08-22 04:44

深度学习笔记（六）VGG14

VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition1.主要贡献本文探究了参数总数基本不变的情况下，CNN随着层数的增加，其效果的变化。(thoroughevaluationofnetworksofincreasingdepthusinganarchitecturewithverysmall(3×3)convolutionfilte
weixin_30666401·2020-08-22 03:16

深度学习笔记(四)：Cross-entropy损失函数

改进的Cost函数Cross-entropy使神经网络学习更快神经网络是如何学习的神经网络学习过程(Cost的变化情况)为什么神经网络会出现一开始学习很慢后来学习变快的情况呢介绍cross-entropy损失函数（costfunction）演示cross-entropy损失函数的学习情况用cross-entropy进行手写数字识别总结:改进的Cost函数Cross-entropy使神经网络学习更快
放不完的风筝·2020-08-22 03:42

吴恩达深度学习笔记（8）-重点-梯度下降法（Gradient Descent）

梯度下降法（GradientDescent）（重点）梯度下降法可以做什么？在你测试集上，通过最小化代价函数（成本函数）J(w,b)来训练的参数w和b，如图，在第二行给出和之前一样的逻辑回归算法的代价函数（成本函数）(上一篇文章已讲过）梯度下降法的形象化说明在这个图中，横轴表示你的空间参数w和b，在实践中，w可以是更高的维度，但是为了更好地绘图，我们定义w和b，都是单一实数，代价函数（成本函数）J(
极客Array·2020-08-21 18:35

深度学习笔记6：神经网络优化算法之从SGD到Adam

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。作者简介：鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学习，R与Python，理论与实践并行。个人公众号：
天善智能·2020-08-21 15:54

深度学习笔记（05）：梯度下降法

梯度下降的用途：用来更新训练集上的参数W和b。损失函数可以衡量算法的效果，每一个训练样例都输出一个y_hat，把这个y_hat和真正的标签y进行比较。成本函数衡量了参数W和b在训练集上的效果，要训练出适合的参数W和b，这些参数使成本函数的值尽可能的小。为了更好地找到更好的参数值，我们训练网络时，一般都是随机初始化参数W和b。梯度下降的实现：W-成本函数对W的偏导数；b-成本函数对b的偏导数其中的a
qq_36346625·2020-08-20 13:54

深度学习笔记——理论与推导之RNN的训练过程BPTT（五）

TrainingRNN——BPTT由于RNN和时间序列有关，因此我们不能通过Backpropagation来调参，我们使用的是Backpropagationthroughtime（BPTT）回顾BackpropagationBackpropagationthroughTime（BPTT）我们可以将RNN变成如下形式：参照之前的BP我们发现，反向传播其实就是一个梯度*矩阵*激活函数的微分（放大器）。
R3·2020-08-20 08:12

深度学习笔记6：神经网络优化算法之从SGD到Adam

1从前面的学习中，笔者带大家一起学会了如何手动搭建神经网络，以及神经网络的正则化等实用层面的内容。这些都使得我们能够更深入的理解神经网络的机制，而并不是初次接触深度学习就上手框架，虽然对外宣称神经网络是个黑箱机制，但是作为学习者我们极度有必要搞清楚算法在每个环节到底都干了些什么。今天笔者需要讲的是深度学习的一个大的主题——优化算法。采用何种方式对损失函数进行迭代优化，这是机器学习的一大主题之一，当
倔强_beaf·2020-08-20 07:58

深度学习笔记1：利用numpy从零搭建一个神经网络

欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tsaiedu，并注明消息来源，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。作者简介：鲁伟：一个数据科学践行者的学习日记。数据挖掘与机器学习，R与Python，理论与实践并行。个人公众号：
R3eE9y2OeFcU40·2020-08-20 06:03

AI Studio 飞桨 零基础入门深度学习笔记6.7-手写数字识别之资源配置

AIStudio飞桨零基础入门深度学习笔记6.7-手写数字识别之资源配置概述前提条件单GPU训练分布式训练模型并行数据并行PRC通信方式NCCL2通信方式（Collective）概述从前几节的训练看，无论是房价预测任务还是
mejs·2020-08-19 11:02

深度学习笔记——将mnist数据集中的手写字体图片保存到本地

代码如下：importcv2fromkeras.datasetsimportmnistimportnumpyasnp(X_train,Y_train),(X_test,Y_test)=mnist.load_data()foriinrange(0,59999):#迭代0到59999之间的数字#C:/Users/kimcho/Desktop/photo2/x_trainfileName="C:/Use
_kimcho·2020-08-19 05:31

深度学习笔记2：关于LSTM神经网络输入输出的理解

我们在理解RNN或者LSTM的时候，对它们的输入和输出的维度都很迷惑，下面是我结合代码和网上的一些资料进行理解首先，正常的全连接层网络拓扑是这样的：有输入层、隐层和输出层，隐层中有神经元，无论是CNN还是RNN都可以这样概括，图中每个参数都跟全部的神经元有链接。关于RNN的理解可以看我上一篇的文章接下来看下LSTM的拓扑图：LSTM的精华就来了，就是如下公式：在拓扑图中，我们看到的是不同时刻的X输
陆撄宁·2020-08-19 04:14

深度学习笔记_基本概念_对Max Pooling的理解

目录MaxPooling是什么MaxPooling的作用作用1：invariance(不变性)作用2：增大感受野听说pooling层可以消失还是可以用pooling的参考链接MaxPooling是什么在卷积后还会有一个pooling的操作。maxpooling的操作如下图所示：整个图片被不重叠的分割成若干个同样大小的小块（poolingsize）。每个小块内只取最大的数字，再舍弃其他节点后，保持原
skyjhyp11·2020-08-19 03:26

深度学习笔记_基本概念_卷积网络中的通道channel、特征图feature map、过滤器filter和卷积核kernel

目录卷积网络中的通道、特征图、过滤器和卷积核1.featuremap1.1featuremap1.2featuremap怎么生成的？1.3多个featuremap的作用是什么？2.卷积核2.1定义2.2形状2.3卷积核个数的理解3.filter4.channel4.1定义4.2分类4.3通道与特征4.4通道的终点卷积网络中的通道、特征图、过滤器和卷积核1.featuremap1.1featurem
skyjhyp11·2020-08-19 03:26

深度学习笔记——正则化方法

文章目录深度学习中的正则化和优化1、正则化方法1.1数据增强(DataAugmentation)1.2L1和L2正则化L2正则化L1正则化L1与L2正则化1.3添加噪声1.4提前终止（earlystopping）1.4参数共享1.5稀疏正则化1.6Dropout深度学习中的正则化和优化深度学习中，正则化与优化策略占据了重要的地位，它们很大程度上决定了模型的泛化与收敛等性能。通过阅读《深度学习》，简
ysc1006·2020-08-19 03:57

吴恩达深度学习笔记(33)-带你进一步了解Dropout

理解dropout（UnderstandingDropout）Dropout可以随机删除网络中的神经单元，他为什么可以通过正则化发挥如此大的作用呢？直观上理解：不要依赖于任何一个特征，因为该单元的输入可能随时被清除，因此该单元通过这种方式传播下去，并为单元的四个输入增加一点权重，通过传播所有权重，dropout将产生收缩权重的平方范数的效果，和之前讲的L2正则化类似；实施dropout的结果实它会
极客Array·2020-08-19 01:07

深度学习笔记（一）：mnist 数据集手写数字图片识别

深度学习笔记（一）：mnist数据集手写数字图片识别数据简介数据集下载代码如下：数据简介数据集中含70000张书写字图像，分为训练集和测试集训练集：60000张图像，大小28x28，共10类（0-9）；
VolumeK·2020-08-19 00:10

吴恩达深度学习笔记(32)-Dropout正则化Dropout Regularization

dropout正则化（DropoutRegularization）除了L2正则化，还有一个非常实用的正则化方法——“Dropout（随机失活）”，我们来看看它的工作原理。假设你在训练上图这样的神经网络，它存在过拟合，这就是dropout所要处理的，我们复制这个神经网络，dropout会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节点都以抛硬币的方式设置概率，每个节点得
极客Array·2020-08-19 00:52

七月算法深度学习笔记5--CNN训练注意事项与框架使用

这套笔记是跟着七月算法五月深度学习班的学习而记录的，主要记一下我再学习机器学习的时候一些概念比较模糊的地方，具体课程参考七月算法官网：http://www.julyedu.com/1.神经网络的训练1.1Mini-batchSGD不断循环:1采样一个batch数据(比如32张,可以做镜像对称)2前向计算得到损失loss3反向传播计算梯度(一个batch上的)4用这部分梯度迭代更新权重参数未必找到全
thystar·2020-08-18 16:29
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他