limu深度学习笔记第10页

深度学习笔记

动手深度学习v2引言机器学习中的关键组件无论什么类型的机器学习，都需要以下组件：学习的数据转换数据的模型目标函数，量化模型的有效性调整模型参数以优化目标函数的算法数据大多时候遵循独立同分布（指随机过程中，任何时刻的取值都为随机变量，这些随机变量服从同一分布，并且互相独立）目标函数通常定义一个目标函数，并希望优化它到最低点。因为越低越好，所以这些函数有时被称为损失函数（lossfunction)优化

evil心安·2022-12-17 15:50

深度学习笔记（十四）数据集及偏差方差

一、应用机器学习是高度迭代的过程决定项目进展速度的重要因素是创建高质量的训练数据集、验证集和测试集二、训练/验证/测试集将数据集划分为三个部分：训练集执行训练算法验证集选择最佳模型测试集无偏评估算法运行情况在小数据的机器学习时代，采用以下两种划分比例：train：70%dev：30%train：60%dev：20%test：20%后者是非常合理的划分在如今大数据时代，数据可能是百万级的，验证集和测

Mr.zwX·2022-12-17 13:19

神经网络与深度学习笔记（五）偏差与方差

文章目录前言什么是高偏差，高方差利用数据集误差判断拟合情况处理方式看模型在训练集上的表现看模型在开发集上的表现后记前言这篇文章的内容主要是偏差与方差的相关解释什么是高偏差，高方差在训练神经网络时，我们需要使用偏差与方差评估模型的准确度。但是，到底什么是高偏差？什么是高方差？我们举个靶心的例子。如果数据点集中于非靶心的地方，就是欠拟合。在这种情况下，模型属于高偏差如果数据点集中于靶心。拟合程度就刚刚

沧夜2021·2022-12-17 13:15

深度学习笔记——算法总结

一、分类问题KNN(距离度量)DT(ID3-信息增益,C4.5-信息增益比,CART-gini指数)RF(bootstrap抽样，CART)Adaboost(样本权值分布，分类器系数)GBDT(CART,残差)ANN(BP,SGD,sigmodorsoftmax)SVM(对偶,kernel)NaiveBayes(Bayes公式)LR(sigmod,SGDorBFGS)EM(隐变量，极大似然估计，E

R3·2022-12-17 11:39

ZFNet 深度学习笔记

1.ZFnet简介理论来源：MatthewD.Zeiler和RobFergus的VisualizingandUnderstandingConvolutionalNetworks论文，主要介绍CNN的每一层的特征学习，并通过可视化进行调整网络，提高精度ZFNet是2013年ImageNet图像分类竞赛冠军ZFNet的网络结构：在AlexNet的基础上进行了修改，将第一层的卷积核变成了7x7，调整步长

♡坚持の到底·2022-12-17 11:33

深度学习笔记整理（六）——深度学习的应用

1.物体识别深度学习之前：尺度不变特征变换方法和支持向量机等机器学习方法组合应用；2012年：多伦多大学研究团队提出CNN、ReLU、DropOut的使用，可以自动捕捉到多个方向的边缘和颜色渐变、网纹图案等；2013年：反卷积网络的提出，可以恢复卷积结果，直观确认训练后网络的好坏；2014年：深度神经网络的提出，22层的GoogleNet和19层的VGG。2.物体检测确定图像中物体的位置的方法。分

xyq1212·2022-12-17 07:06

深度学习笔记 —— 微调

通常希望能在很大的数据集上训练好的模型能够帮助提升精度。一部分做特征抽取，一部分做线性分类。核心思想：在源数据集（通常是比较大的数据集）上训练的模型，我们觉得可以把做特征提取那块拿来用。（越底层的特征越为通用）在自己的数据集上训练的时候，使用一个与pre-train一样架构的模型，做除了最后一层的初始化的时候，不再是随机的初始化，而是使用pre-train训练好的weight（可能与最终的结果很像

Whisper_yl·2022-12-17 07:53

【Python】基于SVD的特征脸（Eigenface）方法

参考资料深度学习笔记系列（二）：特征值，特征向量与SVD奇异值分解新手入门eigenface以及python实现人脸识别算法一：特征脸方法（Eigenface）一、人脸图片图片我选的是耶

霍瑟夫·2022-12-16 10:58

时序数据深度学习笔记——LSTM

一、LSTM长期短期记忆(LSTM)是递归神经网络(RNN)的一个特殊情况。这种类型的神经网络用于处理数据序列，顺序在其中起到重要了作用。RNN和LSTM常用于自然语言处理，因为句子中的单词有一个顺序，改变这个顺序可以完全改变句子的意思，而时间序列中数据顺序也很重要，它们的顺序也是不可改变的。LSTM主用有三个门组成，遗忘门、输入门与输出门，遗忘门决定哪些来自过去和现在的信息必须保留，输入门决定来

HughYue1990·2022-12-16 07:22

PyTorch深度学习笔记（十）torchvision中的数据集使用

课程学习笔记，课程链接目录一、torchvision二、CIFAR数据集下载数据集数据集的使用transforms的使用目的：如何把数据集和Transforms结合在一起；介绍科研中使用的一些标准数据集和下载、查看、使用方法一、torchvisionPyTorch官网点进torchvisiontorchvision文档列出了很多科研或者毕设常用的一些数据集，如入门数据集MNIST，用于手写文字。这

小于同学饿了·2022-12-16 01:29

深度学习笔记-第一周

概要吴恩达老师的深度学习一共包括五门课第一门课程（神经网络和深度学习）：学习如何建立神经网络，包括一个深度神经网络，以及如何在数据上面训练他们。还将用一个深度神经网络进行辨认猫。四周时间。第二门课程(改善深层神经网络：超参数调试、正则化以及优化)：本门课程将进行深度学习方面的实践，学习严密的构建神经网络。如何真正让他表现良好，因此需要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法。三周

蜂鸟up·2022-12-15 14:51

吴恩达--深度学习笔记（2022年课程第二周）

*在tensorflow中训练神经网络的代码：逻辑回归模型：1.指定如何在给定输入x和参数的情况项目，计算输出2.指定损失和成本3.最小化*如何在tensorflow中训练神经网络---->将逻辑回归模型成本函数的三个步骤映射到训练神经网络中：1.该代码指定了神经网络的整个架构，告诉了tensorflow需要的一切2.指定什么是损失函数，同时定义我们用来训练神经网络的成本函数损失函数：二元交叉熵3

兔兔ting·2022-12-15 14:16

吴恩达--深度学习笔记(2022年课程第一周)

*神经网络（深度学习算法）：一组神经元是一层，一层可以有一个或多个神经元；他们输入相同或相似的特征，然后又反向输出一些特征。输入层隐藏层输出层4个数字（激活值）3个数字（激活值）隐藏层可以访问每个功能，即从上一层到输出层的每个值。当某些特征无关重要时，可以通过设置适当的参数进行适当的忽略；隐藏层在训练集中是看不到的，训练集中只有x,y，即输入层，输出层输出层输出的概率就是神经网络预测的输出概率x向

兔兔ting·2022-12-15 14:45

李沐深度学习笔记-04数据操作

前言1.《动手学深度学习》https://zh-v2.d2l.ai/2.记事本https://github.com/d2l-ai/d2l-zh3.数据操作和数据预处理N维数组是机器学习和神经网络的主要数据结构数据操作数据操作实现1.首先，要导入torch，他被称为PyTorch，但我们应该导入torch，而不是Pytorch。张量表示一个数值组成的数组，这个数组可能有多个维度importtorch

爱的小胡·2022-12-15 08:04

深度学习笔记一：logistic回归模型与神经网络

神经元——最小的神经网络激活函数sigmoid——二分类logistic回归模型sigmoid的输出在0,1之间，概率正好也在0,1之间，因此我们可以做一个定义：在二分类的情况下，当输入数据的时候，属于Y=0这个类的概率为这个函数的输出。在模型的训练之后，参数会根据训练数据进行调整，使得模型能够拟合数据。在随后的测试中，一个输入将会通过模型参数得到一个输出，完成分类任务。激活函数softmax-多

weixin_43356455·2022-12-15 02:06

深度学习笔记(十):深度学习评估指标

文章目录专业名词解释一级指标二级指标深度学习评估指标专业名词解释HTC(HybridTaskCascade)-混合任务级联boundingbox-边界矩形框RoI(RegionofInterest)-感兴趣区域RolPooling-Rol池化(RoIPooling=cropfeature+resizefeature)RolAlign-解决了ROIPooling操作中两次量化造成的区域不匹配(mis

ZZY_dl·2022-12-15 02:31

深度学习笔记一：FCN讲解（转载）

flybird7·2022-12-15 02:58

语音识别技术概述

深度学习数据集Author：louwillFrom：深度学习笔记语音识别（SpeechRecognition）是以语音为研究对象，通过语音信号处理和模式识别让机器自动识别和理解人类的语音。

louwill12·2022-12-14 06:55

【(强推)李宏毅2021/2022春机器学习课程】专栏汇总

又找到一个好的博客合集--李宏毅深度学习笔记

I"ll carry you·2022-12-13 17:40

MoCo论文详解

MoCo论文详解–潘登同学的深度学习笔记文章目录MoCo论文详解--潘登同学的深度学习笔记前言整体架构对比学习大而一致的字典实验LinearClassificationProtocol其他下游任务前言MoCo

PD我是你的真爱粉·2022-12-13 12:49

深度学习笔记------Faster_RCNN

目录1Faster_rcnn网络结构2Faster_RCNN的输入3RPN(RegionProposalNetworks)4ROIPooling5分类（Classification）1Faster_rcnn网络结构FasterRCNN是两阶段的目标检测算法，包括阶段一的Regionproposal以及阶段二的boundingbox回归和分类。用一张图来直观展示FasterRCNN的整个流程：Con

YOULANSHENGMENG·2022-12-12 20:45

深度学习笔记-3.Faster RCNN复现

FasterRCNN复现FasterRCNN源码解读1-整体流程和各个子流程梳理FasterRCNN源码解读2-_anchor_component()为图像建立anchors（核心和关键1）FasterRCNN源码解读3.1-_region_proposal()筛选anchors-_proposal_layer()（核心和关键2）FasterRCNN源码解读3.2-_region_proposal

业余狙击手19·2022-12-12 20:45

吴恩达深度学习笔记2.2 logistic回归

regression:回归supervised:有监督的logistic回归是一种学习算法被用于有监督学习问题,当y全都是0或1时例子:判断是否有猫给定一个由特征向量x代表的图像,那个算法将会估计猫是否在那个图像里的可能性logistic回归的参数如下:转载于:https://www.cnblogs.com/Dar-/p/9310066.html

banghu8816·2022-12-12 19:40

深度学习（三）转-可视化理解卷积神经网络直接查看卷积神经网络的过程特征...

www.cnblogs.com/DOMLX/p/9579461.html参考博客：http://blog.csdn.net/hjimce/article/details/50544370作者：hjimce这是深度学习笔记的第三篇

weixin_34258078·2022-12-12 19:07

深度学习笔记：卷积神经网络的可视化--特征图

目录1.前言2.模型的训练3.特征图可视化3.1加载保存的模型¶3.2图像预处理：将图像转换为张量3.3例化一个模型用于返回各层激活输出（即featuremap）3.5各层各通道汇总可视化4.小结参考文献1.前言人们常说，深度学习模型是“黑盒”，即模型学到的东西对于人类来说很难理解。对于很多深度学习模型来说的确是这样的，但是对于卷积神经网络（CNN）却并不尽然。CNN学习到的东西非常适合于可视化，

笨牛慢耕·2022-12-12 19:04

李宏毅深度学习笔记07（Brief Introduction of Deep Learning)

Deeplearning的历史Deeplearning的过程依旧是机器学习的三个过程：step1:defineasetoffunction;step2:goodnessoffunction;step3:pickthebestfunction.只不过step1用到neuralnetwork。它也有对应的公式：根据相应的数学计算得到输出值。一些问题1.Howmanylayers?Howmanyneur

稀里糊涂的小楠～·2022-12-11 17:11

深度学习理论知识

深度学习笔记：深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积）卷积中的不一样的操作_呆呆象呆呆的博客-CSDN博客_小卷积代替大卷积vs深度可分离卷积深度学习笔记（二）：Normalization

m0_61899108·2022-12-11 09:01

李宏毅深度学习笔记——呕心整理版

李宏毅深度学习笔记——呕心整理版闲谈叨叨叨:之前看过吴恩达的一部分课程，所以有一定理论基础，再看李宏毅的课程会有新的理解。

_Elf_·2022-12-11 04:22

李宏毅深度学习笔记——深度学习基本概念

深度学习神经网络神经元示意图（转载）Inputs：输入。Weights：权值，权重。Bias：偏置，或者称为阈值(Threshold)。Activationfunction：激活函数。1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络。在“感知器”中，有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输

在水一方_果爸·2022-12-11 04:51

深度学习Review【四】编解码

课程地址动手学深度学习笔记【三】一、编码-解码二、Seq2seqtorch一、编码-解码编码（训练）：处理输出，把输入编程成中甲你表达形式（特征）解码（预测）：生成输出，把特征解码成输出fromtorchimportnnclassEncoder

舒克儿不开飞机·2022-12-10 08:55

动手深度学习笔记（十六）4.2. 多层感知机的从零开始实现

动手深度学习笔记（十六）4.2.多层感知机的从零开始实现4.多层感知机4.2.多层感知机的从零开始实现4.2.1.初始化模型参数4.2.2.激活函数4.2.3.模型4.2.4.损失函数4.2.5.训练4.2.6

落花逐流水·2022-12-09 09:35

深度学习笔记(13.numpy实现LSTM)

摘要Ng深度学习课程第五部分序列化模型，第一周作业numpy实现，并利用LSTM生成恐龙名称实验。涉及到正向传播、反向传播公式，程序的整合，部分理论学习。代码注释添加了部分说明。和RNN程序流程基本一样，部分代码流程做了优化。实验程序用于检验程序是否正确，loss逐步下降，名称越来越像。程序地址：https://github.com/ConstellationBJUT/Coursera-DL-St

迷茫猿小明·2022-12-09 07:07

利用Gluon简洁实现线性回归——动手学深度学习笔记

在使用gluon接口之前，我们首先需要下载好mxnet包pipinstallmxnet生成数据集根据公式基础去理解，并加上噪声frommxnetimportautograd,ndnum_inputs=2num_examples=1000true_w=[2,-3.4]true_b=4.2features=nd.random.normal(scale=1,shape=(num_examples,num

看星河的兔子·2022-12-09 06:49

深度学习笔记理论篇:归一化

先贴一张阅读paper的一部分实际上啊读到这里,我就对这个行归一化产生了疑问,什么是归一化?归一化的作用是什么呢?(题外话:最近看了李沐对如何读文献的一些见解,个人感觉很受用,建议初读文献的小伙伴们可以去看看)注:本人数学功底尚浅,许多知识无法介绍,有待进一步学习,本笔记只讨论了归一化的学习范围.首先让我们看看广义归一化的解释:归一化（normalization）是一种简化计算的方式，即将有量纲的

吃小花的魔王·2022-12-08 19:12

深度学习笔记10：三维卷积、池化与全连接

在上一讲中，我们对卷积神经网络中的卷积操作进行了详细的解读，但仅仅是对二维图像，即通道数为1的图像（灰度图）进行了卷积，对于三维或者更高维的图像卷积显然并没有这么简单。如果图像大小为6*6*3，那么这里的3指的是三个颜色通道，你可以将其理解为3个6*6的图像的堆叠，如果要对此图像进行卷积的话，我们的滤波器也需要变成三维的，假设采用一个3*3*3的滤波器对其进行卷积（这里需要注意的是，滤波器的通道数

louwill12·2022-12-08 18:37

【深度学习笔记】Hopfield神经网络

Hopfield神经网络是一种循环神经网络模型，由一组互相连接的神经元组成。其具有如下特征：所有神经元互相连接且不分层。每个神经元既是输入单元又是输出单元。每个神经元的输入与输出只能是1或-1，即有n个神经元的Hopfield神经网络具有2n2^n2n个状态。具有反馈连接特性，不同神经元之间连接权重对称,神经元和自身没有反馈相连，即神经元集合具有对称性和反自反性。Hopfield神经网络分为离散型

RealWeakCoder·2022-12-08 00:38

【机器学习】《动手学深度学习 PyTorch版》深度学习笔记（RCNN、fast-RCNN、faster-RCNN）

文章目录RCNN一、RCNN系列简介二、RCNN算法流程的4个步骤三、RCNN存在的问题fast-RCNN一、fast-RCNN简介二、fast-RCNN算法的3个步骤RCNN一、RCNN系列简介R-CNN系列（R-CNN,fast-RCNN,faster-RCNN）是使用深度学习进行物体检测的鼻祖论文，其中fast-RCNN以及faster-RCNN都是延续R-CNN的思路。R-CNN全称reg

Jul7_LYY·2022-12-07 22:19

深度学习笔记（5）——pytorch实现Att-BiLSTM

文章目录1模型介绍2代码实现3传播过程理解4实验4参考文献1模型介绍模型图：LSTM层：Attention层M=tanh(H)α=softmax(ωT∗M)r=HαTh∗=tanh(r)\M=tanh(H)\\\alpha=softmax(\omega^T*M)\\r=H\alpha^T\\h^*=tanh(r)M=tanh(H)α=softmax(ωT∗M)r=HαTh∗=tanh(r)其中H为

热爱旅行的小李同学·2022-12-07 21:52

深度学习笔记（二）——对Tensor创建、修改、索引操作的整理

Tensor的创建、修改、索引操作Tensor概述创建Tensor修改Tensor形状这里说明两个问题torch.view与torch.reshape的异同unsqueeze函数的参数索引操作参考文献Tensor概述对Tensor的操作很多，从接口角度来划分，可以分为两类：（1）torch.function；（2）tensor.function这些操作对大部分Tensor都是等价的，如：torch

小白成长之旅·2022-12-07 19:16

深度学习笔记（八）—— 正则化[Regularization]

这是深度学习笔记第八篇，完整的笔记目录可以点击这里查看。

zeeq_·2022-12-07 17:22

动手学深度学习笔记1

环境配置Anaconda（Ubuntu）+Mxnetmxnet-gpu目前最新只有cuda10.0对应的版本，要不自己找资料编译，要不降低cuda的版本或者选择mxnet-cpuMxnet-cpu新建虚拟环境condacreate-ngluonpython=3.8激活环境：condaactivategluon安装MXNet-cpu：pipinstallmxnet安装其它软件包：pipinstall

Kaaaaaaan·2022-12-07 14:44

深度学习笔记1-《智能视频监控技术综述》阅读笔记

深度学习笔记1-《智能视频监控技术综述》阅读笔记引言部分如何从这些海量数据中高效地提取出有用的信息，是智能视频监控技术要解决的问题智能视频监控包括在底层上对动态场景中的感兴趣的目标进行检测、分类、跟踪和识别

PedestrianZ·2022-12-07 10:12

Pytorch深度学习笔记（02）--损失函数、交叉熵、过拟合与欠拟合

目录一、损失函数二、交叉熵损失函数详解1、交叉熵2、信息量3、信息熵4、相对熵（KL散度）5、交叉熵6、交叉熵在单分类问题中的应用7、总结：三、过拟合和欠拟合通俗解释1、过拟合2、欠拟合3、原因和方法此处不再说明一、损失函数损失函数（lossfunction）是用来估量你模型的预测值与真实值的差异程度，损失函数越小，模型的鲁棒性就越好。常用损失函数小结平方损失0-1损失Log损失Hinge损失指数

呆呆酱～^_^·2022-12-07 01:05

深度学习笔记：五步pytorch，六步tensorflow搭建神经网络

五步pytorch搭建神经网络准备数据&加载数据定义损失函数自定义损失函数或者使用Pytorch中已有的定义网络自定义或者引用定义优化器定义梯度下降方法，学习率调整策略等。迭代训练迭代训练，for循环。六步tensorflow搭建神经网络import相关模块，如importtensorflowastf。指定输入网络的训练集和测试集，如指定训练集的输入x_train和标签y_train，测试集的输入

ing_An·2022-12-07 00:47

深度学习笔记（3）——pytorch+TextCNN实现情感分类（外卖数据集）

文章目录0前言1数据准备1.1常量1.2加载数据集2数据预处理3文本表示4TextCNN模型5模型训练6模型评估7总览8完整代码0前言使用数据集：某外卖数据集，共有11987条数据，标签数为2。配置环境：Rtx3060Laptop1数据准备1.1常量包括batch_size、epochs、textcnn的滑动窗口大小、隐藏层、特征的大小、标签类别数等。#超参数BATCH_SIZE=64#批次大小E

热爱旅行的小李同学·2022-12-06 15:56

李宏毅深度学习笔记：Batch Normalization

李宏毅深度学习笔记：BatchNormalization本文是学习李宏毅老师讲解batchnormalization公开课的笔记。

qyhaill·2022-12-06 11:40

2020-4-8 深度学习笔记18 - 直面配分函数 1 ( 配分函数概念，对数似然梯度)

第十八章直面配分函数ConfrontingthePartitionFunction中文英文在16.2中，我们看到许多概率模型（通常是无向图模型）由一个未归一化的概率分布p~(x,θ)\tilde{p}(x,\theta)p~(x,θ)定义。我们必须通过除以配分函数Z(θ)Z(\theta)Z(θ)来归一化p~\tilde{p}p~，以获得一个有效的概率分布：p(x;θ)=1Z(θ)p~(x;θ)p

没人不认识我·2022-12-06 11:58

【深度学习笔记】神经网络模型及经典算法知识点问答巩固（算法工程师面试笔试）

文章目录前言一、前馈神经网络模型1、请说说你对前馈神经网络中“前馈”二字的理解。2、记忆和知识是存储在_____上的。我们通常是通过逐渐改变_____来学习新知识。3、在一个人工神经元中，首先对输入信号进行____，然后加上一个____，最后经过_____得到输出信号。4、请简要说明生物神经元和人工神经元的相似之处。5、不同神经元之间的连接被赋予了不同的______，用来表示一个神经元对另一个神经

Strawssberry778·2022-12-06 08:50

Detr论文详解

目标检测DETR–潘登同学的深度学习笔记文章目录目标检测DETR--潘登同学的深度学习笔记前言DETR的基本思想整体网络架构自注意力机制在重叠目标的表现训练的技巧前言faster-rcnn系列(15年)

PD我是你的真爱粉·2022-12-05 16:33

深度学习笔记——理论与推导之概念，成本函数与梯度下降算法初识（一）

##前情提要#####一、神经网络介绍###概念：Learning≈LookingforaFunction框架（Framework）：WhatisDeepLearning?深度学习其实就是一个定义方法、判断方法优劣、挑选最佳的方法的过程：我们可以将nn定义成一个生产线（productionline）比起过去的语音识别技术，DeepLearning的所有function都是从数据中进行学习的。深度学

R3·2022-12-05 15:49

推荐频道

limu深度学习笔记