limu深度学习笔记第4页

深度学习笔记其一：基础知识和PYTORCH

深度学习笔记其一：基础知识和PYTORCH1.数据操作1.2入门1.2.1导入torch1.2.2张量1.3运算符1.4广播机制1.5索引和切片1.6节省内存1.7转换为其他Python对象1.8小结2

泠山·2023-08-30 18:17

卷积神经网络之一维卷积、二维卷积、三维卷积

如果你对卷积维度的计算不清楚，可以参考我之前的博客吴恩达深度学习笔记（deeplearning.ai）之卷积神经网络（CNN）（上）。

bebr·2023-08-30 05:32

PyTorch DataLoader 报错 “DataLoader worker exited unexpectedly“ 的解决方案

一、代码运行日志C:\Users\Administrator\anaconda3\envs\limu\python.exeG:/PyCharmProjects/limu-d2l/ch03/softmax_regression.pyTraceback

枯木何日可逢春·2023-08-29 02:39

和李沐大神一起动手学深度学习笔记2——Softmax 回归

Softmax回归Softmax回归是一个多类分类模型，使用Softmax操作子可以得到每个类的预测置信度(概率)，使用交叉熵来衡量预测和标号的区别。分类vs回归image.png从回归到多类分类---均方损失,如下所示。image-20210827093003754.png 举例说明一位有效编码，大意为只有其中一个位的值为1，比如我有猫、狗和猪三类，标号则是长度为3的向量，那么可以分别表示为0

a_Janm·2023-08-22 02:27

剑指immer，更快更强的不可变数据js工具 limu 稳定版发布！

前言欢迎了解和关注limu，访问文档并点击右键调出控制台后可实时体验limuapi和immerapi做对比（全局已绑定limu和immer对象）。

·2023-08-15 22:19

深度学习笔记（kaggle课程《Intro to Deep Learning》）

一、什么是深度学习？深度学习是一种机器学习方法，通过构建和训练深层神经网络来处理和理解数据。它模仿人脑神经系统的工作方式，通过多层次的神经网络结构来学习和提取数据的特征。深度学习在图像识别、语音识别、自然语言处理等领域取得了重大突破，并被广泛应用于人工智能技术中。深度学习原理概括深度学习的原理可以简单地概括为以下几点：神经网络结构：深度学习使用一种称为神经网络的结构。神经网络由许多称为神经元的节点

Avasla·2023-08-15 07:13

深度学习笔记—模型优化

[问题]深度模型中的优化问题部分1.牛顿法神经网络中最广泛使用的二阶方法：牛顿法牛顿法解决了哪些问题？二阶方法→一阶的导数？牛顿法有哪些问题？1)会受到目标函数的某些特征带来的挑战2)每次训练迭代，导致参数的改变，需要进行重新计算导致→只有参数很少的网络才能在实际中用牛顿法来训练还有，当目标函数的表面非常凸，如有鞍点的情况→使用牛顿法会有问题2.共轭梯度最速下降方法有什么弱点？线搜索是什么？共轭梯

no_repeat·2023-08-13 22:28

【深度学习笔记】TensorFlow 常用函数

TensorFlow提供了一些机器学习中常用的数学函数，并封装在Module中，例如tf.nnModule提供了神经网络常用的基本运算，tf.mathModule则提供了机器学习中常用的数学函数。本文主要介绍TensorFlow深度学习中几个常用函数的定义与用法，并给出相应用法示例。目录1tf.nn.sigmoid2tf.nn.relu3tf.nn.softmax4tf.math.reduce_s

洋洋Young·2023-08-10 21:37

【深度学习笔记】TensorFlow 基础

在TensorFlow2.0及之后的版本中，默认采用EagerExecution的方式，不再使用1.0版本的Session创建会话。EagerExecution使用更自然地方式组织代码，无需构建计算图，可以立即进行数学计算，简化了代码调试的过程。本文主要介绍TensorFlow的基本用法，通过构建一个简单损失函数，介绍TensorFlow优化损失函数的过程。目录1tf.Tensor2tf.Vari

洋洋Young·2023-08-08 14:51

中欧Mini-MBA深度学习笔记+总结 Day-3

一、学习笔记学习笔记-3.png二、总结/心得在这个充满不确定性的VUCA时代，创新成为主旋律，从国家层面的新旧动能转换，到企业界的变革创新，只有创新才能生存，只有创新才能更好地发展。谈创新易，做创新难。各种关于创新的思维与理念层出不穷，而实际情况却是知易而行难，如何将创新切实与经营战略挂钩并可以落地，很多伟大的引领者通过自己的勇敢实践，探索出成功的道路。在此次课程的第三部分中，为创新梳理了五大原

Maggie雷玮·2023-08-07 12:46

【深度学习笔记】深度学习框架

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1TensorFlow2Caffe3PyTorch4PaddlePaddle对于大型神经网络，

洋洋Young·2023-08-06 14:03

吴恩达深度学习笔记（11）-烧脑神经网络前向传播和后向传播计算

计算图（ComputationGraph）可以说，一个神经网络的计算，都是按照前向或反向传播过程组织的。首先我们计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。后者我们用来计算出对应的梯度或导数。计算图解释了为什么我们用这种方式组织这些计算过程。在这篇笔记中中，我们将举一个例子说明计算图是什么。让我们举一个比逻辑回归更加简单的，或者说不那么正式的神经网络的例子。我们尝试计算函数J

极客Array·2023-08-06 07:54

深度学习笔记（一）二分分类 | logistic regression（详细的损失函数理解）

基于https://www.bilibili.com/video/BV164411m79z?p=24观后笔记相关函数定义介绍代价/成本函数和损失函数损失函数(Loss/errorfunction)是定义在单个训练样本上的，即一个样本的误差。代价函数(Costfunction)是定义在整个训练集上面的，对所有样本的误差的总和求平均值。但由于实质相同，都是事先定义一个假设函数，通过训练集由算法找出一个

Vonct·2023-08-02 12:15

深度学习笔记-暂退法（Drop out）

背景在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时

闪闪发亮的小星星·2023-08-02 08:36

机器学习深度学习笔记，常用算法Adam与Adagard。使用c++开发。

1.AdamAdam算法全称为AdaptiveMomentEstimate,这种算法结合了基于动量的算法和基于自适应学习率的算法.Adam算法记录了梯度的一阶矩(梯度的期望值)和二阶矩(梯度平方的期望值).1.1定义其中p,g,m,v,β1,β2,E分别表示参数,梯度,一阶矩,二阶矩,衰减率和极小值(防止0分母).Adam的必要参数是衰减率β1,β2,一般取β1=0.9,β2=0.999,β2=0

SDU-cb·2023-07-29 11:59

【深度学习笔记】Softmax 回归

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1Softmax激活函数2Softmax分类器1Softmax激活函数对于分类问题，如果有多个

洋洋Young·2023-07-29 10:15

【深度学习笔记】动量梯度下降法

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1指数加权平均2动量梯度下降法1指数加权平均在介绍更复杂的优化算法之前，你需要了解指数加权平均

洋洋Young·2023-07-29 10:15

深度学习笔记之人脸识别和风格抓换

第一课：什么是人脸识别卷积神经网络的重要应用：将从人脸识别开始，之后讲神经风格迁移百度林元庆人脸识别系统。人脸识别和活体检测。后者表明你是一个活人，事实上，活体检测可以使用监督学习来实现。那么如何构建这个系统中的人脸识别这一部分呢？首先，术语：人脸验证和人脸识别人脸验证：输入一张图片，或者某人的name/ID这个系统要做的是：验证输入图片是否是这个人，有时候也被称作是1对1问题，只需要弄明白这个人

带刺的小花_ea97·2023-07-27 06:04

深度学习笔记（2）——逻辑回归（基于梯度下降）

文章目录基本概念定义优点基于梯度下降损失函数损失函数表达式为什么选其为损失函数代码实现基本概念定义逻辑回归算法虽然名字上是回归，但实际上是二分类算法。本质就是以回归的方法来进行二分类优点也就是说我们为什么要用逻辑回归，而不用更简单的线性回归在线性回归中，离群值对结果的影响会很大。逻辑回归结果较于线性回归更准确因为逻辑回归所使用的函数是非线性的，所以离群值的影响更小从图片我们可以看出逻辑回归使用的s

晓山清·2023-07-27 03:55

【连载】深度学习笔记9：卷积神经网络（CNN）入门

前面的八篇学习笔记，基本上都是围绕着深度神经网络（DNN）和全连接网络（FCN）在学习。从本篇开始，将带着大家一起学习和研究深度学习的另一个主题——卷积神经网络（ConvolutionalNeuralNetwork），也就是我们平常眼熟的CNN。卷积神经网络作为当前计算机视觉领域的核心技术，发展到如今已是枝繁叶茂。笔者对于这一块的初步打算是从卷积网络的基本原理讲起，将卷积网络的前向传播和反向传播过

linux那些事·2023-07-26 04:33

【深度学习笔记】随机梯度下降法

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1Mini-batch2随机梯度下降法1Mini-batch常规的梯度下降法，在大数据集基础上

洋洋Young·2023-07-24 16:09

深度学习笔记（二十）—— Image Caption

Thegoalofimagecaptioningistoconvertagiveninputimageintoanaturallanguagedescription.Inthistutorial,weonlyintroduceyouwithtranslationfromimagetosentence.Wewouldalsointroduceyoutoembeddingattentionintoim

Nino_Lau·2023-07-23 13:51

吴恩达深度学习笔记(21)-神经网络的权重初始化为什么要随机？

随机初始化（Random+Initialization）当你训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为0，那么梯度下降将不会起作用。让我们看看这是为什么？有两个输入特征，n^([0])=2，2个隐藏层单元n^([1])就等于2。因此与一个隐藏层相关的矩阵，或者说W^([1])是2*2的矩阵，假设把它初

极客Array·2023-07-22 04:51

深度学习笔记(二)——激活函数原理与实现

深度学习笔记(二)——激活函数原理与实现闲聊昨天详细推了下交叉熵，感觉还可以，今天继续加油。ReLU原理定义：ReLU是修正线性单元(rectifiedlinearunit),在0和x之间取最大值。

没有顶会的咸鱼·2023-07-20 16:18

pycharm连接服务器详细步骤

深度学习笔记第一章Pycharm连接服务器文章目录深度学习笔记前言一、操作步骤二、连接步骤三、代码运行四、注意事项1、代码同步总结前言本文主要介绍Pycharm连接远程服务器实现代码运行的步骤。

SHEN,Q.F·2023-07-20 06:15

【深度学习笔记】梯度消失与梯度爆炸

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1梯度消失与梯度爆炸2初始化权重1梯度消失与梯度爆炸训练神经网络，尤其是深度神经网络所面临的一

洋洋Young·2023-07-19 10:50

【深度学习笔记】wins+anaconda虚拟环境中jupyter notebook添加内核

参考文章：(9条消息)jupyternotebook添加kernel的方法_TTdreamloong的博客-CSDN博客_jupyter添加内核JupyterNotebook介绍、安装及使用教程-知乎(zhihu.com)问题描述：jupyernotebook中没有适配虚拟环境的内核可选1、下载jupyternotebook我是使用的anaconda虚拟环境，常规来说，安装了Anaconda发行版

aalekvar·2023-07-19 10:10

【深度学习笔记3.2 正则化】Dropout

关于dropout的理解与总结：dropout是什么？参考文献[1]dropout会让train变差，让test变好。一般的如果在train-set上表现好，在test-set上表现差，用dropout才有效果。使用dropout是为了避免过拟合。(来自网友)下图来自文献[3] 上图中的思想就是说：Dropout是一种正则化技术，是防止过拟合最有效的方法，然而在以下几种情况下使用dropout会损

取取经·2023-07-17 08:28

吴恩达深度学习笔记整理（四）—— 超参数调试、正则化以及优化

目录改善深层神经网络：超参数调试、正则化以及优化训练，验证，测试集（Train/Dev/Testsets）偏差和方差权衡方差和偏差的问题正则化为什么只正则化参数？为什么不再加上参数呢？为什么正则化有利于预防过拟合呢？为什么压缩2范数，或者弗罗贝尼乌斯范数或者参数可以减少过拟合？dropout正则化。其他正则化方法归一化输入1.零均值2.归一化方差。为什么使用归一化处理输入？梯度消失/梯度爆炸神经网

梦想的小鱼·2023-07-17 08:27

【深度学习笔记】偏差与方差

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1偏差与方差的概念2机器学习基本方法1偏差与方差的概念对于包含两个输入特征的数据集，使用逻辑回

洋洋Young·2023-07-17 08:27

深度学习笔记4：正则化和dropout

结构风险函数模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：θ∗=arg⁡min⁡θ1N∑i=1NL(yi,f(xi,θ))+λϕ(θ)\theta^*=\arg\min_\theta\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i,\theta))+\lambda\phi(\theta)θ∗=argminθN1∑i=1NL(yi,f(xi,θ))+λϕ

春花幼稚园陈同学·2023-07-17 08:27

【深度学习笔记】正则化与 Dropout

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1正则化方法2Dropout随机失活1正则化方法如果神经网络过度拟合了数据（即存在高方差问题）

洋洋Young·2023-07-17 08:26

深度学习笔记之Transformer(四)铺垫：层标准化(Layer Normalization)

深度学习笔记之Transformer——层标准化[LayerNormalization]引言回顾：批标准化问题描述问题处理层标准化批标准化无法处理的问题引言在介绍Transformer\text{Transformer

静静的喝酒·2023-07-16 15:50

深度学习笔记之Transformer(五) Position Embedding铺垫:Word2vec

深度学习笔记之Transformer——PositionEmbedding铺垫：Word2vec引言回顾：关于词特征表示的One-hot\text{One-hot}One-hot编码目标函数构建关于语料库与任务目标似然函数构建

静静的喝酒·2023-07-16 15:50

深度学习笔记之卷积神经网络(二)图像卷积操作与卷积神经网络

深度学习笔记之卷积神经网络——图像卷积操作与卷积神经网络引言回顾：图像卷积操作补充：卷积核不是卷积函数卷积神经网络卷积如何实现特征描述/提取卷积神经网络中的卷积核的反向传播过程场景构建与前馈计算卷积层关于卷积核的反向传播过程卷积层关于输入的反向传播过程引言上一节介绍了卷积的基本思想以及图像卷积操作

静静的喝酒·2023-07-16 15:49

深度学习笔记之稀疏自编码器

深度学习笔记之稀疏自编码器引言引子：题目描述正确答案：ABCD\mathcalA\mathcalB\mathcalC\mathcalDABCD题目解析介绍：自编码器欠完备自编码器正则自编码器从先验角度解释稀疏自编码器稀疏自编码器的构建引言本节以一道算法八股题为引

静静的喝酒·2023-07-16 15:49

深度学习笔记之残差网络(ResNet)

深度学习笔记之残差网络[ResNet]引言引子：深度神经网络的性能问题核心问题：深层神经网络训练难残差网络的执行过程残差网络结构为什么能够解决核心问题残差网络的其他优秀性质引言本节将介绍残差网络(ResidualNetwork

静静的喝酒·2023-07-16 15:19

深度学习笔记之Transformer(八)Transformer模型架构基本介绍

机器学习笔记之Transformer——Transformer模型架构基本介绍引言回顾：简单理解：Seq2seq\text{Seq2seq}Seq2seq模型架构与自编码器自注意力机制Transformer\text{Transformer}Transformer架构关于架构的简单认识多头注意力机制包含掩码的多头注意力机制基于位置信息的前馈神经网络残差网络与层标准化操作编码器的输出与信息传递关于预

静静的喝酒·2023-07-16 14:15

2020-3-5 深度学习笔记12 - 深度学习应用 4（其他应用-推荐系统 / 知识表示、推理和回答）

第十二章应用中文官网英文原版2020-2-29深度学习笔记12-深度学习应用1（大规模深度学习）2020-3-1深度学习笔记12-深度学习应用2（计算机视觉，语音识别）2020-3-2深度学习笔记12-

没人不认识我·2023-07-16 12:31

【深度学习笔记】浅层神经网络

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：https://mooc.study.163.com/course/2001281002也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1神经网络的结构2激活函数3随机初始

洋洋Young·2023-07-15 02:27

【深度学习笔记】深层神经网络

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1深层神经网络2为什么使用深层表示3参数与超参数1深层神经网络从技术层面上说，Logistic

洋洋Young·2023-07-15 02:27

【深度学习笔记】训练 / 验证 / 测试集

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~在训练神经网络时，我们需要做出很多决策，例如神经网络分多少层、每层含有多少隐藏单元、学习率是多少、

洋洋Young·2023-07-15 02:17

深度学习笔记之循环神经网络(六)长短期记忆神经网络(LSTM)

深度学习笔记之循环神经网络——长短期记忆神经网络[LSTM]引言回顾：RNN\text{RNN}RNN的反向传播过程RNN\text{RNN}RNN反向传播的梯度消失问题长短期记忆神经网络遗忘门结构输入门结构遗忘门与输入门的特征融合操作输出门结构个人感悟引言上一节介绍了循环神经网络

静静的喝酒·2023-06-19 18:55

深度学习笔记之循环神经网络(八)LSTM的轻量级变体——门控循环单元(GRU)

深度学习笔记之LSTM轻量级变体——门控循环单元[GRU]引言回顾：LSTM\text{LSTM}LSTM的前馈计算过程LSTM\text{LSTM}LSTM的问题GRU\text{GRU}GRU的前馈计算过程