【深度学习笔记】

深度学习笔记 卷积神经网络CNN

卷积神经网络基本框架上图为LeCunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognition[J].ProceedingsoftheIEEE,1998,86(11):2278-2324.中提出的-LeNet-5的框架，后续的卷积神经网络基本都是在此基础上进行改动和扩展的。输入图像会经过卷积层、池化层和全连接层
应天๑·2022-11-22 01:01

向毕业妥协系列之深度学习笔记（三）DL的实用层面（上）

目录一.训练_开发_测试集二.方差与偏差三.正则化四.Dropout正则化五.其他正则化方法本篇文章大部分又是在ML中学过的，除了Dropout正则化及之后的部分。一.训练_开发_测试集在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时，我们需要做出很多决策，例如：神经网络分多少层每层含有多少个隐藏单元学习速率是多少各层采用哪些激活函数在机器学
深海鱼肝油ya·2022-11-21 20:10

深度学习笔记 —— 多层感知机

感知机是一个二分类模型，求解算法等价于使用批量大小为1的梯度下降。感知机的缺点：不能解决XOR问题多层感知机：一次解决不了的问题，可以先学习一个简单函数，再学习一个简单函数，然后用另外一个函数组合两个函数为什么需要非线性激活函数：如果激活函数是本身，那么输出仍然会是一个线性函数，等价于一个单层的感知机ReLU优点在于简单输出是不用激活函数的，激活函数主要是为了避免层数的塌陷，最后一层不需要激活函数
Whisper_yl·2022-11-21 19:21

深度学习笔记

00.1工具的使用GoogleColab关于GoogleColab的使用基础能力：微积分，线性代数，概率编程：pythonreadandmodifythesamplecodes用numpy,matplotlib.硬件：GoogleColab使用即可。反向传播算法的理解0.2python的使用0.2.1常用操作符双星号（**）2**3:2的3次幂指数逻辑操作符and:两者为真才真or:一个为真即为真
dhuwangDHU·2022-11-21 14:46

深度学习笔记（十一）--读李宏毅《1天搞懂深度学习》

先引用他人关于李宏毅教授关于深度学习导论的PPT，应该非常容易入门。《1天搞懂深度学习》，300多页的ppt，台湾李宏毅教授写的，非常棒。不夸张地说，是我看过最系统，也最通俗易懂的，关于深度学习的文章。“具体链接如下：百度云链接：https://pan.baidu.com/s/1os1QHXy3uE0C-t7ScbIn8A密码：qwvj废话少说，先上干货，整个PPT的思维导图如下：深度学习概论介绍
ren_dong1996·2022-11-21 13:48

时序数据，图像数据，深度学习笔记

ConvLSTM[深度学习从入门到女装]FCN+RNNfor3Dimagesegmentationpytorch时空数据处理3——ConvLSTM介绍及应用LSTM以及ConvLSTM全面解析RNN,LSTM,Seq2Seq,Attention注意力机制基于深度学习的13种通用图像分类模型及其实现paper:CombiningFullyConvolutionalandRecurrentNeural
迷路在代码中·2022-11-21 12:39

深度学习笔记 9 循环神经网络（RNN、LSTM）

目录1.循环神经网络概述2.RNN多结构详解2.1one-to-one2.2n-to-n2.3one-to-n2.4n-to-one2.5Encoder-Decoder(n-to-m)3.RNN前向传播4.RNN反向传播5.LSTM长程依赖问题5.1为什么提出LSTM5.2LSTM概念与计算过程5.3LSTM网络详解（简书博主）6.门控循环单元（GRU）网络7.深层循环神经网络8.双向循环神经网络
李同学_道阻且行·2022-11-21 11:19

小土堆深度学习笔记

常见的引入库的总结。（1）torch.utils:工具类;效用;实用工具;实用菜单;fromtorch.utils.dataimportDataLoaderfromtorch.utils.dataimportDatasetfromtorch.utils.tensorboardimportDataLoader（2）PIL(PythonImageLibrary;Pillow)导包fromPILimpo
knife646·2022-11-21 09:05

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（Alexnet）

AlexNet一.alexnet与lenet的区别二.主要区别（1）激活函数从sigmoid变成ReLu（缓解梯度消失）（2）隐层全连接层后加入了丢弃层（3）数据增强（图像的随机翻转）三.详细图解四.一些小问题1.LRN没有什么用，在后续的网络中就没有再使用过了2.必须是两个，砍掉一个效果会变差3.这个resize不会直接把图像变得非常的小，它会先把图片进行等比缩减，在中间扣一块出来或者抠几块，所
Jul7_LYY·2022-11-21 04:13

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（神经网络卷积池化）

第一章卷积层1.对全连接层使用平移不变性（核不变）和局部性得到卷积层2.卷积层将输入和卷积核进行交叉相关（卷积其实是交叉相关的180°翻转），加上偏移后得到输出3.核矩阵和偏移是可学习的参数（核也在动态更新）4.核矩阵的大小是超参数5.全连接层权重会随着输入的变大会变得超级大，卷积不会产生这个问题（含有全连接层的网络输入数据的大小应该是固定的，这是因为全连接层和前面一层的连接的参数数量需要事先确定
Jul7_LYY·2022-11-21 04:43

2021动手学深度学习笔记pytorch版本--2.1预备知识

深度学习小白一枚，最近在看李沐的动手学深度学习（2021版本），一些代码感觉看不太懂，于是写个博客记录下代码的一些个人理解，也方便后续复习。2.1数据操作2.1.1入门importtorchx=torch.arange(12)x#结果：tensor([0,1,2,3,4,5,6,7,8,9,10,11])这里的张量我理解的就是一个’数组‘，一维是向量，二维是矩阵。torch.arange（12）创
生而无畏，战至终章·2022-11-21 04:12

【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记

第十一章模型选择+过拟合和欠拟合1.区分两种误差2.分清两种重要的数据集3.K-则交叉验证4.欠拟合和过拟合解决办法：（欠拟合）1.获得更多的训练数据2.降维3.正则化：保留特征、减少参数大小（过拟合）1.添加新特征2.增加模型复杂度3.减小正则化系数5.估计模型容量全连接层如何计算参数的个数：h=wx+b(h充当下一次的x每一层的b只有1个)6.总结7.一些小问题：1.Svm的缺点：不适用于大数
Jul7_LYY·2022-11-21 04:35

Pyotorch自定义损失函数

1.损失函数知识总结参考：深度学习笔记总结_GoAI的博客-CSDN博客PyTorch笔记.常见的PyTorch损失函数-知乎Pytorch神经网络实战学习笔记_10神经网络模块中的损失函数_LiBiGor
GoAI·2022-11-21 02:24

深度学习笔记

一、数值微分df(x)dx=lim⁡h→0f(x+h)−f(x)h\frac{\mathrm{d}f(x)}{\mathrm{d}x}=\lim_{h\to0}\frac{f(x+h)-f(x)}{h}dxdf(x)=h→0limhf(x+h)−f(x)求导公式表示瞬间的变化量，在python中可以定义为defnumerical_diff(f,x):h=10e-50return(f(x+h)-f(
Release 、·2022-11-21 01:01

深度学习笔记-self-attention

输入：不确定长度的向量。例如：A.文字处理，不同长度的句子，对词汇的向量表示可采用one-hotEncoding,wordembedding（会存在类形似性），如下图:B.一段声音信号是一排向量，一段长度（25ms）定义为一个window，定义为一个向量即一个frame，一个window右移一点长度(10ms)得到一个新的向量（frame）C.socialnetwork,分子输出：问题：之前确定向
財鸟·2022-11-21 00:47

李宏毅深度学习笔记打卡P1-P2

李宏毅深度学习笔记打卡P1-P2机器学习介绍人工智慧是想要达成的目标，机器学习是实现人工智能的手段，深度学习是机器学习的一部分。
wkywcd·2022-11-20 23:14

(九) 深度学习笔记 ｜ AlexNet网络结构详解

一、前言AlexNet是2012年ISLVRC2012(ImageNetLargeScaleVisualRecognitionChallenge)竞赛的冠军网络，分类准确率由传统的70%+提升到80%+。它是由Hinton和他的学生AlexKrizheveky设计的。也就是在那年后，深度学习开始迅速发展。二、AlexNet网络优点首次使用GPU进行网络加速训练使用了ReLU激活函数，而不是传统的S
Viviana-0·2022-11-20 22:13

李宏毅深度学习笔记06（Logistic Regression）

Step1：FunctionSetIncludingalldifferentwandbStep2：GoodnessofaFunction（决定一个function的好坏）假设trainingdata的数据如下图所示：则probability就是如下：crossentropy（与线性分析的时候的误差类似的东西）：Step3：FindthebestFunction（Logisticregression
稀里糊涂的小楠～·2022-11-20 22:02

向毕业妥协系列之深度学习笔记（二）深层神经网络

为什么直接去看深度学习笔记吧。时间紧任务重不多说。六.参数VS超参数
深海鱼肝油ya·2022-11-20 22:54

李宏毅2020机器学习深度学习笔记 P11 Logistic Regression

LogisticRegressionStep1:FunctionSet目的：要找几率Pw,b(C1∣x)Pw,b(C_1|x)Pw,b(C1∣x)若Pw,b(C1∣x)≥0.5Pw,b(C_1|x)\ge0.5Pw,b(C1∣x)≥0.5，输出为C1;若Pw,b(C1∣x)<0.5Pw,b(C_1|x)\lt0.5Pw,b(C1∣x)<0.5，输出为C2。若要用高斯分布，Pw,b(C1∣x)=σ(
shunjian666·2022-11-20 22:54

深度学习笔记Week4

1、为什么要用卷积来学习呢？图像都是用矩阵来表达的，学习的本质就是要抽象出特征，以边缘检测为例，它就是识别数字图像中亮度变化明显的点，这些点连接起来往往是物体的边缘。所有基于卷积神经网络来学习的图像算法，都是通过不断的卷积来进行特征的抽象，直到实现网络的目标。mnist手写数字识别importtorchimportmatplotlib.pyplotasplt#利用DataLoader来加载自己的数
[email protected]·2022-11-20 21:26

深度学习笔记Week5

池化（pooling）层LeNet深度卷积神经网络（AlexNet）自回归模型（AutoregressiveModel）马尔科夫模型(MarkovModel)池化（pooling）层它具有双重目的：降低卷积层对位置的敏感性，同时降低对空间降采样表示的敏感性。池化窗口从输入张量的左上角开始，从左往右、从上往下的在输入张量内滑动。在池化窗口到达的每个位置，它计算该窗口中输入子张量的最大值或平均值。即最
[email protected]·2022-11-20 21:26

【动手学深度学习笔记】一.数据操作

文章目录1.张量的概念1.1.torch.arange(12)1.2.reshape(3,4)1.3.torch.zeros(2,3,4)1.4.torch.ones((2,3,4))1.5.torch.randn(2,3,4)1.6.torch.tensor([[2,3,4],[3,4,5]])2.运算符3.广播机制1.张量的概念概念：Pytorch或者Tensorflow中的TensorTen
Allenpandas·2022-11-20 20:34

(四) 深度学习笔记 ｜卷积神经网络(CNN)

一、什么是卷积神经网络卷积神经网络（ConvolutionalNeuralNetwork，CNN）又叫卷积网络（ConvolutionalNetwork），是一种专门用来处理具有类似网格结构的数据的神经网络。卷积神经网络一词中的卷积是一种特殊的线性运算。卷积网络是指那些至少在网络的一层中使用卷积运算来代替一般的矩阵乘法的神经网络。典型应用场景：图像识别、语音识别等。二、卷积神经网络的描述2.1.人
Viviana-0·2022-11-20 19:00

PyTorch深度学习笔记（一）PyTorch环境配置及安装

课程学习笔记，课程链接PyTorch环境配置OS：Windows101、Anaconda安装Anaconda，集成的，应用于科学分析的，大量packag的软件。代码中，若函数为工具，Anaconda则为工具包。AnacondaInstallersandPackages链接为其历史版本的收录，点击左下角的安装包，找到相应的版本。其中Anaconda2/3表示python2/3的版本，5.3.x表示版
小于同学饿了·2022-11-20 14:52

向毕业妥协系列之深度学习笔记（一）浅层神经网络

计算图（反向传播求导的几个实例）1.普通式子反向传播求导2.逻辑回归中的梯度下降3.m个样本的梯度下降三.向量化四.python广播五.激活函数六.随机初始化深度学习系列的文章也可以结合下面的笔记来看：深度学习笔记
深海鱼肝油ya·2022-11-20 13:35

swin-Transformer论文详解

swin-Transformer论文详解–潘登同学的深度学习笔记文章目录swin-Transformer论文详解--潘登同学的深度学习笔记前言网络架构SwintransformerBlock巧妙的Mask
PD我是你的真爱粉·2022-11-20 12:42

深度学习笔记（二）

计算机视觉：人类肉眼识别的错误率大概在5%。到2016年的时候，计算机视觉中，用深度学习网络达到的错误率已经远低于人类。卷积神经网络（CNN）1.应用领域神经网络和卷积神经网络都是用来做特征提取的。传统神经网络在特征提取上有一些问题：第一点，权重参数矩阵特别大；第二点，过拟合风险比较高。卷积神经网络一定程度上就是要解决这些问题。超分辨率重构：怎么样重构一张图像，怎么样把一张图片做得更清晰一些？通过
邱宇-·2022-11-20 11:38

深度学习笔记（三）

几个经典的网络架构：1.AlexnetAlexnet是2012年在比赛中夺冠的一个网络。它有几个缺点：（1）11x11的filter，大刀阔斧的提取特征，这样是不好的，卷积核一般是越小越好（2）步长为4，过大；（3）没有加pad填充。Alexnet是一个8层的网络，有5层的卷积和3层的全连接。2.VggVgg是一个2014年出现的网络，它有不同的几个版本，下图中红色框起来的是比较主流的一个版本。它
邱宇-·2022-11-20 11:38

深度学习笔记（一）

计算机视觉：图像表示：计算机眼中的图像一张图像被表示成三维数组（三维矩阵）的形式，每个像素的值从0到255，图像中数值越大表示该点越亮，图像中数值越小表示该点越暗；例如：300*100*3，其中300是图像的长，100是宽，3表示颜色通道的数目，一张JPG图像或者RGB图像，其颜色通道数都是3；计算机视觉面临的挑战：照射角度改变、形状改变、部分遮蔽、背景混入机器学习常规套路：1、收集数据并给定标签
邱宇-·2022-11-20 11:38

2020-4-5 深度学习笔记17 - 蒙特卡罗方法 3 ( 马尔可夫链蒙特卡罗方法MCMC-先验分布/后验分布/似然估计，马尔可夫性质)

第十七章蒙特卡罗方法中文英文2020-4-4深度学习笔记17-蒙特卡罗方法1(采样和蒙特卡罗方法-必要性和合理性)2020-4-4深度学习笔记17-蒙特卡罗方法2(重要采样–采样数量一定，提高准确度，减少方差
没人不认识我·2022-11-20 10:43

深度学习笔记1——正则化

深度学习笔记——正则化前言一、参数范数惩罚1.1L²参数正则化1.2L¹参数正则化二、数据集增强三、半监督学习四、多任务学习五、提前终止（earlystopping）六、参数绑定和参数共享（parametersharing
angkoryy·2022-11-20 10:19

深度学习笔记（十六）正则化（L2 dropout 数据扩增 Earlystopping）

如果训练的模型过拟合，也就是高方差，我们首先想到的是正则化。高方差的解决方法有准备充足的数据，但是有时候我们无法找到足够的数据。下文详细说明正则化方法，包括L2正则化（菲罗贝尼乌斯）、dropout机制、数据扩增、Earlystopping。一、逻辑回归中的正则化需要求得损失函数J(w,b)J(w,b)J(w,b)的最小值，已知J(w,b)=1m∑i=1mL(y^(i),y(i))J(w,b)=\
Mr.zwX·2022-11-20 10:45

神经网络与深度学习笔记（六）L2正则化

文章目录前言最小化代价函数正则化在神经网络中的L2L_2L2正则化为什么L2L_2L2正则化可以防止过拟合，减少方差？前言前面提到过高方差问题主要的两种方式：获取更多的数据去训练。然而这种方式局限在于，数据并不是总是很容易获得的或者数据获取的代价很大。正则化。这就是这篇文章需要来讨论的主题。最小化代价函数正则化使用L2L_2L2正则化的最小化代价函数：min(w,b)ȷ(w,b)=1m∑i=1mȷ
沧夜2021·2022-11-20 10:34

YOLOv5基础知识点——激活函数

_哔哩哔哩_bilibili深度学习笔记：如何理解激活函数？
MUTA️·2022-11-20 07:10

李沐基于Pytorch的深度学习笔记（1）

首先，本文是李沐老师的视频的笔记，里面的编程部分是我用Pycharm编写的，希望对大家有所参考。1数据结构与数据操作:1.1机器学习和深度学习的数据结构，基本都是N维数组1.2创建一个数组创建数组需要具备的条件：①形状：3*4/4*5…………，就像矩阵的行列比一样②数据类型：int、float、long、以及int32、float64这种细分领域的类型，非常多③元素的值：例如X1=10，X2=1.
chenyuhan1997·2022-11-20 06:13

0824深度学习笔记--李沐《动手学深度学习》

目录简单数据操作元素访问元素基本操作数据预处理简单数据操作N维数组是机器学习和神经网络的主要数据结构元素访问比如数组[[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]]访问一个元素：[1,2]）（7）访问一行元素：[1,:]（[5,6,7,8]）访问一列元素：[:,1]（2，6，10，14）子区域：[1:3,1:]（表示第1行到第3行的开区间结束，即第1
不玩游戏的小菜鸡·2022-11-20 06:12

【深度学习】李沐的深度学习笔记来了！

转载自|机器之心去年年初，机器之心知识站上线了亚马逊资深首席科学家李沐博士的「动手学深度学习」中文系列课程。这门课从3月持续到8月，超过28000人参与了直播，课程回放在B站的播放量达到了上百万次。这门课程基于李沐等人编写的《动手学深度学习》第二版。《动手学深度学习》既有开源项目，也有纸质书，它覆盖了90年代至今重要的模型，特别是每一章都是一个Jupyter记事本，提供了所有模型的完整实现，并在真
风度78·2022-11-20 06:09

李宏毅深度学习笔记-P1机器学习介绍

好了，今天开始了李宏毅先生机器学习课程的自学，千里之行始于足下，P1介绍篇章是一个介绍性的概括章节，主要讲清楚了这门学科的几个基本问题。总结起来这一节主要说了两个问题，when&what，如下图1所示是机器学习发展的大致脉络，就我看来主要有两个时间点，第一个是19世纪80年代，此时AI界开始使用机器学习的方法来实现人工智能的目标（个人理解是放弃了handcrafted的规则推导，使用的是以概率论为
yzz19920820·2022-11-20 06:44

李宏毅深度学习笔记-P3&P4-回归

第二部分的内容主要讲的是有监督学习（supervisedlearning）的任务之一：回归-regression，本篇主要介绍了如何通过梯度下降法（gradientdescent）得到目标函数，并使用正则化（regularization）的方法解决训练数据过拟合（overfitting）的问题，对目标函数进行修正，从而在检验测试数据时得到更好的结果。回归（regression）是有监督学习的一种t
yzz19920820·2022-11-20 05:18

李沐动手学深度学习笔记---AlexNet

简介：更深更大的LeNet主要改进为：丢弃法Dropout、Relu、MaxPooling；激活函数从sigmoid变成了Relu；隐藏全连接层后加入丢弃层；数据增强架构：总体架构：代码实现：importtorchfromtorchimportnnfromd2limporttorchasd2lnet=nn.Sequential(#这⾥，我们使⽤⼀个11*11的更⼤窗⼝来捕捉对象。#同时，步幅为4，
天天向上inger·2022-11-20 03:52

李沐-动手学深度学习笔记-卷积神经网络

参考GitHub文章目录基本理论卷积层卷积层里的填充和步幅多个输入和输出通道做个总结：池化层代码实现：和别人的交流基本理论概念纠正：严格来说，卷积是二维交叉相关。（详见更多在沐神评论区）卷积层根据不同的需求选择不同的矩阵，可以得到不同的效果：唯一的区别是：卷积多了-号，但是因为对称性会导致没啥区别都一样。代码：两层for循环核心就是：遍历输入和卷积核矩阵每个元素相乘再相加。#互相关运算import
东方-教育技术博主·2022-11-20 03:16

吴恩达深度学习笔记——结构化机器学习项目（Structuring Machine Learning Projects）

深度学习笔记导航前言传送门结构化机器学习项目（MachineLearningStrategy）机器学习策略概述正交化（orthogonalization）评价指标数字评估指标的单一性满足指标与优化指标数据集划分数据集区分数据集划分比例什么时候改变指标
亦梦亦醒乐逍遥·2022-11-19 23:32

【Nan‘s 吴恩达深度学习笔记】第四课第一周 卷积神经网络

【Nan‘s吴恩达深度学习笔记】第四课第一周卷积神经网络ConvolutionalNeuralNetworks1.1计算机视觉(Computervision)边缘检测垂直边缘过滤器选择PaddingValid
Liareee·2022-11-19 22:22

吴恩达深度学习笔记 course4 week2 作业1

这周新使用了一个新框架,它是一个比较高级的框架,比起低级框架有更多的限制使用keras要注意的是:1.Keras框架使用的变量名和我们以前使用的numpy和TensorFlow变量不一样。它不是在前向传播的每一步上创建新变量（比如X,Z1,A1,Z2,A2,…）以便于不同层之间的计算。在Keras中，我们使用X覆盖了所有的值，没有保存每一层结果，我们只需要最新的值，唯一例外的就是X_input，我
banghu8816·2022-11-19 22:15

深度学习笔记1-model大致分类

深度学习笔记1-model大致分类前言一、Supervisedlearning（监督学习）1.什么是监督学习？
henrychur·2022-11-19 21:29

深度学习笔记（1）

importmatplotlib.pyplotaspltimportnumpyasnpfromsklearnimportsvm,datasetsfromsklearn.metricsimportprecision_recall_curvefromsklearn.metricsimportaverage_precision_scorefromsklearn.preprocessingimportla
雪吟灵·2022-11-19 21:39

深度学习笔记1——常见激活函数、MP、BP

1、常见的深度学习框架1.1TensorFlow最流行的深度学习框架，接口过于复杂抽象1.2Keras缺少灵活性1.3Caffe缺少灵活性1.4PyTorch新增自对求导系统2、万能近似定理是深度学习最根本的理论依据。它声明了在给定网络具有足够多的隐藏单元的条件下，配备一个线性输出层和一个带有任何“挤压”性质的激活函数(如logisticsigmoid激活函数)的隐藏层的前馈神经网络，能够以任何想
卖strawberry的小女孩·2022-11-19 20:07

【深度学习笔记001 深度学习入门导读】

2016年Google人工智能程序阿尔法围棋（AlphaGo）对战世界围棋选手李世石，最终以4:1的成绩获得胜利，这惊人的一幕将国内外研究和学习人工智能的热题推向了新的高潮。然而，何为深度学习？本文将揭开深度学习的面纱。•1什么是深度学习及深度学习的基本思想？•2人工智能是如何发展而来？•3机器学习的相关技术有哪些？•4Deeplearning与NeuralNetwork的异同？•5Deeplea
DaveBobo·2022-11-19 19:07

吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）

文章目录前言传送门神经网络与深度学习（NeuralNetworksandDeepLearning）绪论梯度下降法与二分逻辑回归（GradientDescendandLogisticsRegression）forwardpropagationbackwardpropagation(withChainRule)vectorization损失函数和成本函数推导（LossFunction|CostFunc
亦梦亦醒乐逍遥·2022-11-19 19:30
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他