《深度学习笔记》

深度学习笔记 —— 模型选择 + 过拟合和欠拟合

我们关心的是泛化误差，而非训练误差。这也给我们一定启示啊，光背题是行不通滴，要理解背后的本质和逻辑Attention：验证数据一定不要和训练数据混在一起！也不能用测试数据集来调超参数！好处是尽可能地把数据作为训练数据集，坏处是代价高（因为要跑多次）。k越大，效果越好，但是k的选择一般要在能承受的计算成本之内。另外，这种方法适用的情况是没有足够多数据的时候数据简单，应该选择比较低的模型容量，就会得到
Whisper_yl·2022-12-28 02:09

目标检测汇总

基于深度学习的目标检测技术演进：R-CNN、FastR-CNN、FasterR-CNN-Madcola-博客园https://www.cnblogs.com/skyfsm/p/6806246.htmlSSD：深度学习笔记
lx_xin·2022-12-28 01:54

深度学习笔记（4）——TextCNN、BiLSTM实现情感分类（weibo100k数据集）

文章目录0前言1数据准备1.1路径、常量、超参数1.2加载数据集2文本清洗3分词4工具类、文本向量化5模型构建6评估7总览8实时测试0前言使用数据集：微博数据集，共有约12万条数据，标签数为2。配置环境：Rtx3060Laptop/AutoDL1数据准备1.1路径、常量、超参数#路径DATASET_PATH='../data/weibo/weibo_senti_100k.csv'USER_DICT
热爱旅行的小李同学·2022-12-27 15:39

网易云课堂吴恩达Andrew Ng深度学习笔记（四）

01.神经网络和深度学习第四周深层神经网络所谓深层神经网络，字面上对应于浅层神经网络，即具有2层及以上的隐藏层。其正向传播过程一样，z[l]=w[l]a[l-1]+b[l],a[l]=g[l](z[l])小技巧，用维度来检查计算过程，n是每一层的神经元个数。导数的维度不变。如果只考虑单个数据，z和a的维度如下，对应上面的正向传播公式，可用维度检查[nl,1]=[nl,nl-1]*[nl-1,1]+
山羊君·2022-12-27 06:23

网易云课堂吴恩达Andrew Ng深度学习笔记（三）

01.神经网络和深度学习第三周浅层神经网络上一周的课程讲解了单神经元的正向及反向传播推导公式及向量化。一个神经元内部的操作分为两步：第一步是输入特征的线性组合，第二步是将z通过激活函数进行非线性变化得到a，也就是对y的拟合。先沿着正向计算损伤函数L(a,y)，再反向计算梯度，沿着dw下降方向来调整参数w=w-α*dw。这里介绍一个典型的2层神经网络，第1层有4个神经元，第二层有1个神经元。每个节点
山羊君·2022-12-27 06:52

深度学习笔记（三）：backpropagation反向传播算法python代码讲解

backpropation算法python代码实现讲解批量梯度更新backpropagation算法backpropagation算法步骤backpropation算法python代码实现讲解具体神经网络参见第一个笔记批量梯度更新classNetwork(object):...#参数，mini_batch:要批量更新的输入实例的集合;eta:学习率defupdate_mini_batch(self
放不完的风筝·2022-12-26 22:45

计算机视觉与深度学习笔记--北邮

视频来源：计算机视觉与深度学习北京邮电大学鲁鹏清晰版合集（完整版）_哔哩哔哩_bilibili
qq_35821503·2022-12-26 12:24

深度学习笔记（八）神经网络反向传播的梯度下降算法

按照吴恩达老师的话讲，反向传播的数学推导过程实际上是他看过的最复杂的数学之一，涉及线性代数矩阵导数链式法则等等，如果你微积分专家，你可以尝试从头进行数学推导，这是机器学习领域最难的推导之一。不管怎样，如果能实现这些方程，相信能让你有足够的直觉来调整神经网络并使其工作。一、前向传播公式的回顾Z[1]=W[1]X+b[1]A[1]=σ(Z[1])Z[2]=W[2]A[1]+b[2]A[2]=σ(Z[2
Mr.zwX·2022-12-26 10:57

动手深度学习笔记（二十六）5.2. 参数管理

动手深度学习笔记（二十六）5.2.参数管理5.深度学习计算5.2.参数管理5.2.1.参数访问5.2.1.1.目标参数5.2.1.2.一次性访问所有参数5.2.1.3.从嵌套块收集参数5.2.2.参数初始化
落花逐流水·2022-12-26 08:23

深度学习笔记（一）：PyTorch使用RNN对MNIST手写数字识别，一个项目进入深度学习。

importtorchimportnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimporttimeimportcopyfromtorchimportnnimporttorch.nn.functionalasFimporttorch.optimasoptimimporttorchvisionimporttorch.utils.dataas
这论坛真lj·2022-12-25 17:43

李沐基于Pytorch的深度学习笔记（11.5）-MNIST的数字识别实现（含代码）

本次博文参考的文章如下：用PyTorch实现MNIST手写数字识别(非常详细)_小锋学长生活大爆炸-CSDN博客_pytorch手写数字识别我们对这篇文章进行了一个更加详细的讲解首先我们来设置相关的包和库以及后面会用到的数据importtorchimportnumpyasnpimportpandasaspdimportrandomimportmatplotlibimportmatplotlib.p
chenyuhan1997·2022-12-25 17:41

深度学习笔记（二）卷积层 Convolutional tf.keras.layers.conv2D

如何理解tf.keras.layers.Conv2D（）在介绍，此函数之前，我们先了解卷积层在深度学习中的作用：什么卷积卷积是指将卷积核应用到某个张量的所有点上，通过卷积核在输入的张量上滑动而生成经过滤处理的张量。不同的卷积核对图像中不同特征的敏感程度不同，因此不同的卷积核提取的图像特征不同卷积层完成的是：对图像特征的提取或者信息匹配tf.keras.layers.Conv2D（）的函数参数具体如
咸鱼小姐-coding·2022-12-25 04:30

时序数据深度学习笔记——CNN

一、卷积神经网络卷积神经网络(CNN)是一种利用卷积运算的深度学习结构。这允许神经网络减少特征空间，有效地过滤输入，防止过度拟合。并且由于其可以通过卷积运算有效地滤除时间序列中的噪声，使得能够产生一系列不包括异常值的稳健特性。同时CNN通常比LSTM训练更快，因为它们的操作可以并行。卷积是通过一个内核来实现的，这个内核在模型拟合过程中也经过了训练。内核的步长决定了它在卷积的每一步移动的步数。在时序
HughYue1990·2022-12-24 20:12

anaconda学习python_python深度学习笔记1-Anaconda软件安装

————工欲善其事必先利其器一、Anaconda介绍Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。因为包含了大量的科学包，Anaconda的下载文件比较大(约531MB)，如果只需要某些包，或者需要节省带宽或存储空间，也可以使用Miniconda这个较小的发行版(仅包含conda和Python)。Python是非常适合进行深度学
康尔馨CARESEEN·2022-12-24 14:47

(五) 深度学习笔记 ｜LeNet-5

一、前言LeNet-5出自论文Gradient-BasedLearningAppliedtoDocumentRecognition，是一种用于手写体字符识别的非常高效的卷积神经网络。卷积神经网络能够很好的利用图像的结构信息。卷积层的参数较少，这也是由卷积层的主要特性即局部连接和共享权重所决定的。如果对卷积神经网络不了解的，可以查看我此前的博客，里面有从卷积神经网络结构的基础说起，详细地讲解每个网络
Viviana-0·2022-12-24 14:58

(三) 深度学习笔记 ｜关于梯度、导数、偏导数和方向导数的理解

一、关于梯度简单来说：梯度不是一个值，而是一个方向1.delta法则为了克服多层感知机调参存在的问题，人们设计了一种名为delta（[公式]）法则（deltarule）的启发式方法，该方法可以让目标收敛到最佳解的近似值。delta法则的核心思想在于，使用梯度下降（gradientdescent）的方法找极值。2.一维梯度如果这个斜率越大，就表明其上升趋势越强劲。当这个斜率为0时，就达到了这个函数的
Viviana-0·2022-12-24 13:15

深度学习笔记（1）| 导数、偏导数、梯度和方向导数的理解

1.梯度（Gradient）的理解深度学习尝试在权重空间中找到一个方向，沿着该方向能降低损失函数的损失值。其实不需要随机寻找方向，因为可以直接计算出最好的方向，这就是从数学上计算出最陡峭的方向。这个方向就是损失函数的梯度（gradient）。在蒙眼徒步者的比喻中，这个方法就好比是感受我们脚下山体的倾斜程度，然后向着最陡峭的下降方向下山。梯度的定义在函数各个点的变化率的一个向量,向量的模就是方向导数
菜鸟的追梦旅行·2022-12-24 13:32

深度学习笔记（十一）核对矩阵的维度（确定矩阵维度的精髓）

学习前面知识的过程中，遇到过很大的问题，那就是矩阵维度。这个到底是几乘几的矩阵？这个权重矩阵是否需要转置？输出的矩阵是否是我们期望的形状？那么这一课，我们来剖析一下参数及输入输出矩阵的维度。一、参数w[l]w^{[l]}w[l]和b[l]b^{[l]}b[l]的维度z[1]=w[1]x+b[1]z^{[1]}=w^{[1]}x+b^{[1]}z[1]=w[1]x+b[1]考虑权重维度时，抛开偏置值
Mr.zwX·2022-12-24 08:02

PyTorch深度学习笔记（十七）现有网络模型的使用与修改

课程学习笔记，课程链接在现有的torchvision中提供了许多常见的神经网络模型，这些模型主要包括：分类、语义分割、目标检测、视频分类等类型，其中分类主要针对图像分类，包括AlexNet、VGG、ResNet、GoogLeNet等网络。具体情况可以参照PyTorch官网。使用该数据集需安装scipy，可用piplist查看是否安装（数据集100多G，太大不适宜讲解）设置全局镜像新建文件夹C:\U
小于同学饿了·2022-12-24 06:16

神经网络与深度学习笔记——梯度下降算法是什么？

神经网络与深度学习笔记系列一共有五个专题，分别是第一章使用神经网络识别手写数字——梯度下降算法是什么。主要介绍了神经网络的基础例如感知器激活函数等概念，最主要介绍了梯度下降算法。
刘爱然·2022-12-23 22:55

深度学习笔记-tf.GradientTape用法详解

TensorFlowGradientTape用法详解最近看到莫凡老师上传的GAN相关的代码时,发现莫凡老师写的GAN网络的代码使用了tf.GradientTape()进行先计算模型的梯度,然后利用优化器的apply_gradients()方法进行训练优化,于是查了一下相应的api总结出了此篇文档.简单的梯度计算importtensorflowastfx=tf.Variable(3.)withtf.
DeepBrainWH·2022-12-23 19:49

CV领域的对比学习综述(下)

CV领域的对比学习综述(下)–潘登同学的深度学习笔记文章目录CV领域的对比学习综述(下)--潘登同学的深度学习笔记对比学习发展历程不用负样本BYOL整体思路网络架构BN层知道了副样本BYOL回应blogSimSiam
PD我是你的真爱粉·2022-12-23 17:46

CV领域的对比学习综述(上)

CV领域的对比学习综述(上)–潘登同学的深度学习笔记文章目录CV领域的对比学习综述(上)--潘登同学的深度学习笔记对比学习发展历程百花齐放InstDisc研究动机网络架构InvaSpreadCPCCMC
PD我是你的真爱粉·2022-12-23 17:45

【学习资源汇总】

学习资源汇总机器学习双目视觉模型部署工具安装和使用MTMCT工作学习感悟篇机器学习吴恩达深度学习笔记最全最详细！这一篇足够了！
XTX_AI·2022-12-23 13:59

深度学习笔记

人工神经元人工神经元人类神经元中抽象出来的数学模型输入求和(权重乘标签)Function输出(0/1是否激活)第一个人工神经网络Perceptron(感知机)输出是否激活感知机的致命缺点无法解决异或问题多层感知机单层神经网络基础上引入一个或多个隐藏层，使神经网络有多个网络层，因而得名多层感知机。多层感知机的层数往往是看有多少层有权重多层感知机的前向传播多层感知机的激活函数（没有激活函数多层将会退化
Summerke123·2022-12-23 12:17

深度学习笔记-遥感影像转为tensor前的检查及线性拉伸

@TOC前言-为什么要做线性拉伸近期在开展语义分割任务，用到的数据是经过SNAP预处理的Sentinel-1的SAR数据。工作需要将相关的Image和label送入模型，进行目标地物的分割。这里用到的深度学习框架是pytorch，需要将影像数据转换为tensor后送入model。转换为tensor之前，需要对image和label的存储格式进行检查。为什么呢？这里就需要知道transforms.T
高不胖·2022-12-22 13:22

01.深度学习笔记---实践与应用60讲（各领域的应用,CTR,深度学习几大经典模型）

1.1深度学习在各个领域的应用目前较为热门的GAN（生成式对抗网络）1.2CTR任务一、当深度学习遇到CTR预估CTR任务：给定一个商品，给定一个环境，用户购买此商品的概率。应用范围较广。例如有如下场景。比如：输入一部电影，预测会打几分（右边的1，2，3，4，5代表预测分值）蓝色框：用户橙色框：电影黄色框：用户过去看过那些电影，大国那些分数绿色框：时间酒红框：相关特征CTR任务特点：大量离散特征大
柒夏码农之路·2022-12-22 08:09

深度学习笔记在线版发布!

吴恩达老师的深度学习课程（deeplearning.ai），可以说是深度学习入门的最热门课程，我和志愿者编写了这门课的笔记，并在github开源，为满足手机阅读的需要，我将笔记做成了在线版，可以在手机上打开公众号收藏就能学习。（黄海广）课程说明课程地址：https://www.deeplearning.ai国内由网易云课堂进行了翻译，并免费提供给广大爱好者：https://mooc.study.1
生信宝典·2022-12-22 08:31

深度学习笔记（5）

一、卷积神经网络基础二维卷积层常用于处理图像数据二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。图1展示了一
-断言-·2022-12-21 01:09

深度学习笔记（一）——循环神经网络&NLP

1.1线性回归a.为追求更快的速度应该使用矢量计算来提高运算速率；b.`labels+=torch.tensor(np.random.normal(0,0.01,size=lables.size()),dtype=torch.float32)`#加上偏差的原因：计算所得的label值无法与真实数据完全相等c.random.shuffle对数据集进行打乱（想到了shuffleNet）d.全连接层按照
Jeremy Cui·2022-12-20 09:42

【深度学习笔记（十一）】之VGG13模型tensorflow2代码复现（附详细注释）

本文章由公号【开发小鸽】发布！欢迎关注！！！老规矩–妹妹镇楼：一．VGG模型前面已经介绍过了VGG网络模型，一共13层，这里说的13层指的是10层卷积层和3层全连接层，并没有包括池化层。下面代码详细地将VGG的13层网络模型复现，并用CIFAR100数据集进行训练，测试。代码中附有详细的注释，从数据的预处理，到训练，再到测试。二．代码实现importtensorflowastffromtensor
开发小鸽·2022-12-20 08:52

[深度学习笔记(3)]模型保存与加载

本系列是博主刚开始接触深度学习时写的一些笔记，写的很早了一直没有上传，趁着假期上传一下，作为分享，希望能帮助到你。目录一、模型保存二、模型加载1.加载模型2.加载模型参数总结一、模型保存保存模型/模型参数。torch.save(obj,f,pickle_module=,pickle_protocol=2)其中，obj是需要保存的对象，f是类文件对象或一个保存文件名的字符串，pickle_modul
阿飞没有花福蝶·2022-12-20 05:14

深度学习笔记（八）——pytorch数据处理工具箱（二）

数据处理工具箱torchvision简介transforms对PILImage的常见操作对Tensor的常见操作如下ImageFolder可视化工具tensorboardX简介用tensorboardX可视化神经网络用tensorboardX可视化损失值参考文献torchvision简介torchvision中有4个功能模块：model、datasets、transforms和utils。利用da
小白成长之旅·2022-12-20 04:54

RNN循环神经网络(AI写唐诗)

RNN循环神经网络–潘登同学的深度学习笔记文章目录RNN循环神经网络--潘登同学的深度学习笔记RNNRNN的数学表达式RNN手写数字识别RNN的拼接操作LSTM长短时记忆(LongShortTimeMemory
PD我是你的真爱粉·2022-12-20 03:41

深度学习笔记（二十二）超参数调试处理

一、调试超参数时的重要程度（偏主观）最重要：学习率α\alphaα次重要：动量梯度下降中的β\betaβ、隐藏单元数、Mini-batch数量次次重要：网络层数、学习衰减率不那么重要：Adam算法中的β1、β2、ε\beta_1、\beta_2、\varepsilonβ1、β2、ε一个重要的原则就是不要用网格取值来搜索超参数取值，要尽可能搜索随机取值，特别是在超参数非常多，搜索维度特别大的时候。搜
Mr.zwX·2022-12-19 17:38

【深度学习笔记】torch.unsqueeze()

一、作用主要是对数据维度进行扩充。给指定位置加上维数为1的维度，比如原本有个4行的数据（3），在0的位置加了一维就变成1行4列（1,3）。a.unsqueeze(N)就是在a中指定位置N加上一个维数为1的维度。还有一种形式就是b=torch.unsqueeze(a，N)a就是在a中指定位置N加上一个维数为1的维度。二、例子x=torch.tensor([1,2,3,4])torch.unsquee
月满星沉·2022-12-19 15:40

【week1】深度学习与pytorch基础

week01深度学习与pytorch基础练习深度学习笔记深度学习深度学习概述pytorch的基础练习螺旋数据分类构建线性模型分类构建两层神经网络分类深度学习笔记人工智能的三个层面：计算智能：能存能算计算机具有快速计算和记忆存储的能力感知智能
Coco珂·2022-12-19 10:54

吴恩达深度学习笔记 course2 week3 超参数调试,Batch Norm,和程序框架

1.TuningProcess对超参数的一个调试处理一般而言,在调试超参数的过程中,我们通常将学习率learning_rate看作是最重要的一个超参数,其次是动量梯度下降因子β(一般为0.9),隐藏层单元个数,mini-batchsize,再然后是layers,learningratedecacy.当然,这并不是绝对的.在adam算法中,β1,β2,ε通常取值为0.9,0.999,10-8调试超参
weixin_30872733·2022-12-19 09:57

吴恩达深度学习笔记7-Course2-Week3【超参数调试、Batch 正则化和程序框架】

超参数调试、Batch正则化和程序框架一、超参数调试（hyperparametertuning）推荐的超参数重要性排序：1、学习率(learningrate):α2、隐藏神经单元(hiddenunits);mini-batch的大小(mini-batchsize);β(momentum)3、神经网络层数(layers);学习率衰减率(learningratedecay)4、Adam优化算法的其它超
Wang_Jiankun·2022-12-19 09:53

HALCON 20.11：深度学习笔记(6)---有监督训练

HALCON20.11：深度学习笔记(6)---有监督训练HALCON20.11.0.0中，实现了深度学习方法。不同的DL方法有不同的结果。相应地，它们也使用不同的测量方法来确定网络的“好坏”。
机器视觉001·2022-12-19 07:08

动手深度学习笔记（二十三）4.9. 环境和分布偏移

动手深度学习笔记（二十三）4.9.环境和分布偏移4.多层感知机4.9.环境和分布偏移4.9.1.分布偏移的类型4.9.1.1.协变量偏移4.9.1.2.标签偏移4.9.1.3.概念偏移4.9.2.分布偏移示例
落花逐流水·2022-12-19 04:33

深度学习笔记与Keras实现细节（二）keras实现简单神经网络（Dense层细节）

能实现深度学习模型的包有许多，tensorflow,keras,pytorch,theano等等,自己选择keras是因为刚学习代码时，带我的学长使用的就是keras，我也就学习这个了。keras十分简洁，但正因如此，在其基础上进行改动有些麻烦，以至于中途想换tensorflow了，但发现tensorflow2.0以上就是tensorflow.keras了，几乎和keras一样，至于其到底和ker
flash_zhj·2022-12-18 13:02

【深度学习笔记】Tensorflow中dense（全连接层）各项参数

定义dense(inputs,units,activation=None,use_bias=True,kernel_initializer=None,bias_initializer=tf.zeros_initializer(),kernel_regularizer=None,bias_regularizer=None,activity_regularizer=None,trainable=Tru
月满星沉·2022-12-18 13:30

深度学习笔记------循环神经网络RNN

深度学习笔记------循环神经网络RNN抽象模型马尔可夫性马尔可夫链循环神经网络模型核心共享训练衰减与爆炸结构缺点抽象模型马尔可夫性这是一个概率论的概念，即：P(xt+1∣...,xt−1,xt)=P
yzsorz·2022-12-18 08:24

深度学习笔记

神经网络二分分类单神经网络：输入x，经过单个神经元进行线性运算得到输出y。大的神经网络由多个不同的神经元堆叠而成。喂给神经网络多个x,y的数据，神经网络会自己决定中间的节点是什么。（节点就是中间的小圆圈，神经元）神经元：ReLu函数，修正性单元。修正表示取不小于0的值神经网络的强大之处在于你无需考虑它中间经历怎样的过程，只要输入x,就能得到y。神经网络类型：标准神经网络，卷积神经网络（CNN，主要
BKXjilu·2022-12-17 15:06

深度学习笔记

动手深度学习v2引言机器学习中的关键组件无论什么类型的机器学习，都需要以下组件：学习的数据转换数据的模型目标函数，量化模型的有效性调整模型参数以优化目标函数的算法数据大多时候遵循独立同分布（指随机过程中，任何时刻的取值都为随机变量，这些随机变量服从同一分布，并且互相独立）目标函数通常定义一个目标函数，并希望优化它到最低点。因为越低越好，所以这些函数有时被称为损失函数（lossfunction)优化
evil心安·2022-12-17 15:50

深度学习笔记（十四）数据集及偏差方差

一、应用机器学习是高度迭代的过程决定项目进展速度的重要因素是创建高质量的训练数据集、验证集和测试集二、训练/验证/测试集将数据集划分为三个部分：训练集执行训练算法验证集选择最佳模型测试集无偏评估算法运行情况在小数据的机器学习时代，采用以下两种划分比例：train：70%dev：30%train：60%dev：20%test：20%后者是非常合理的划分在如今大数据时代，数据可能是百万级的，验证集和测
Mr.zwX·2022-12-17 13:19

神经网络与深度学习笔记（五）偏差与方差

文章目录前言什么是高偏差，高方差利用数据集误差判断拟合情况处理方式看模型在训练集上的表现看模型在开发集上的表现后记前言这篇文章的内容主要是偏差与方差的相关解释什么是高偏差，高方差在训练神经网络时，我们需要使用偏差与方差评估模型的准确度。但是，到底什么是高偏差？什么是高方差？我们举个靶心的例子。如果数据点集中于非靶心的地方，就是欠拟合。在这种情况下，模型属于高偏差如果数据点集中于靶心。拟合程度就刚刚
沧夜2021·2022-12-17 13:15

深度学习笔记——算法总结

一、分类问题KNN(距离度量)DT(ID3-信息增益,C4.5-信息增益比,CART-gini指数)RF(bootstrap抽样，CART)Adaboost(样本权值分布，分类器系数)GBDT(CART,残差)ANN(BP,SGD,sigmodorsoftmax)SVM(对偶,kernel)NaiveBayes(Bayes公式)LR(sigmod,SGDorBFGS)EM(隐变量，极大似然估计，E
R3·2022-12-17 11:39

ZFNet 深度学习笔记

1.ZFnet简介理论来源：MatthewD.Zeiler和RobFergus的VisualizingandUnderstandingConvolutionalNetworks论文，主要介绍CNN的每一层的特征学习，并通过可视化进行调整网络，提高精度ZFNet是2013年ImageNet图像分类竞赛冠军ZFNet的网络结构：在AlexNet的基础上进行了修改，将第一层的卷积核变成了7x7，调整步长
♡坚持の到底·2022-12-17 11:33
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他