CS231n深度学习笔记第5页

cs231n assignment 3 Q2 Image Captioning with Vanilla RNNs

文章目录嫌啰嗦直接看代码Q2ImageCaptioningwithVanillaRNNs一个给的工具代码里的bug问题展示问题解决思路解决办法rnn_step_forward题面解析代码输出rnn_step_backward题面解析代码输出rnn_forward题面解析代码输出rnn_backward题面解析代码输出word_embedding_forwardwordembedding技术解释题面

理智点·2023-08-18 22:12

深度学习笔记（kaggle课程《Intro to Deep Learning》）

一、什么是深度学习？深度学习是一种机器学习方法，通过构建和训练深层神经网络来处理和理解数据。它模仿人脑神经系统的工作方式，通过多层次的神经网络结构来学习和提取数据的特征。深度学习在图像识别、语音识别、自然语言处理等领域取得了重大突破，并被广泛应用于人工智能技术中。深度学习原理概括深度学习的原理可以简单地概括为以下几点：神经网络结构：深度学习使用一种称为神经网络的结构。神经网络由许多称为神经元的节点

Avasla·2023-08-15 07:13

cs231n assignment2 q5 PyTorch on CIFAR-10

文章目录嫌啰嗦直接看源码Q5:PyTorchonCIFAR-10three_layer_convnet题面解析代码输出TrainingaConvNet题面解析代码输出ThreeLayerConvNet题面解析代码输出TrainaThree-LayerConvNet题面解析代码输出SequentialAPI:Three-LayerConvNet题面解析代码输出CIFAR-10open-endedch

理智点·2023-08-15 07:12

深度学习笔记—模型优化

[问题]深度模型中的优化问题部分1.牛顿法神经网络中最广泛使用的二阶方法：牛顿法牛顿法解决了哪些问题？二阶方法→一阶的导数？牛顿法有哪些问题？1)会受到目标函数的某些特征带来的挑战2)每次训练迭代，导致参数的改变，需要进行重新计算导致→只有参数很少的网络才能在实际中用牛顿法来训练还有，当目标函数的表面非常凸，如有鞍点的情况→使用牛顿法会有问题2.共轭梯度最速下降方法有什么弱点？线搜索是什么？共轭梯

no_repeat·2023-08-13 22:28

LSTM

ChrisOlah'sLSTMpostEdwinChen'sLSTMpostAndrejKarpathy'slectureonRNNsandLSTMsfromCS231nLSTM结构包括几个门:遗忘门，

徐凯_xp·2023-08-13 09:22

【深度学习笔记】TensorFlow 常用函数

TensorFlow提供了一些机器学习中常用的数学函数，并封装在Module中，例如tf.nnModule提供了神经网络常用的基本运算，tf.mathModule则提供了机器学习中常用的数学函数。本文主要介绍TensorFlow深度学习中几个常用函数的定义与用法，并给出相应用法示例。目录1tf.nn.sigmoid2tf.nn.relu3tf.nn.softmax4tf.math.reduce_s

洋洋Young·2023-08-10 21:37

Trusted AI SIG 一指禅

小白入门AI基础1，深度学习基础：cs231n，个人感觉这个课程很不错，配合

irrationality·2023-08-10 06:55

【深度学习笔记】TensorFlow 基础

在TensorFlow2.0及之后的版本中，默认采用EagerExecution的方式，不再使用1.0版本的Session创建会话。EagerExecution使用更自然地方式组织代码，无需构建计算图，可以立即进行数学计算，简化了代码调试的过程。本文主要介绍TensorFlow的基本用法，通过构建一个简单损失函数，介绍TensorFlow优化损失函数的过程。目录1tf.Tensor2tf.Vari

洋洋Young·2023-08-08 14:51

中欧Mini-MBA深度学习笔记+总结 Day-3

一、学习笔记学习笔记-3.png二、总结/心得在这个充满不确定性的VUCA时代，创新成为主旋律，从国家层面的新旧动能转换，到企业界的变革创新，只有创新才能生存，只有创新才能更好地发展。谈创新易，做创新难。各种关于创新的思维与理念层出不穷，而实际情况却是知易而行难，如何将创新切实与经营战略挂钩并可以落地，很多伟大的引领者通过自己的勇敢实践，探索出成功的道路。在此次课程的第三部分中，为创新梳理了五大原

Maggie雷玮·2023-08-07 12:46

【深度学习笔记】深度学习框架

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1TensorFlow2Caffe3PyTorch4PaddlePaddle对于大型神经网络，

洋洋Young·2023-08-06 14:03

吴恩达深度学习笔记（11）-烧脑神经网络前向传播和后向传播计算

计算图（ComputationGraph）可以说，一个神经网络的计算，都是按照前向或反向传播过程组织的。首先我们计算出一个新的网络的输出（前向过程），紧接着进行一个反向传输操作。后者我们用来计算出对应的梯度或导数。计算图解释了为什么我们用这种方式组织这些计算过程。在这篇笔记中中，我们将举一个例子说明计算图是什么。让我们举一个比逻辑回归更加简单的，或者说不那么正式的神经网络的例子。我们尝试计算函数J

极客Array·2023-08-06 07:54

手把手教你写CS231N作业一 KNN分类器详细解析作业源文件数据集

一些准备工作python环境官方课程给出的源文件在这里根据文件里的指导一步步编写答案就可。第一个实现KNN分类器。如果是windows环境，需要首先下载数据集。TheCIFAR-10dataset官网官网上也有关于本数据集的说明往下翻到下载，选择python版本的下载即可。如果用的是Unix系统可以用斯坦福课程给出的方式进行数据集的获取。inlinequestion的分析//todoknn.ipy

www_z_dd·2023-08-03 19:21

深度学习笔记（一）二分分类 | logistic regression（详细的损失函数理解）

基于https://www.bilibili.com/video/BV164411m79z?p=24观后笔记相关函数定义介绍代价/成本函数和损失函数损失函数(Loss/errorfunction)是定义在单个训练样本上的，即一个样本的误差。代价函数(Costfunction)是定义在整个训练集上面的，对所有样本的误差的总和求平均值。但由于实质相同，都是事先定义一个假设函数，通过训练集由算法找出一个

Vonct·2023-08-02 12:15

深度学习笔记-暂退法（Drop out）

背景在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问题，一般会采用模型集成的方法，即训练多个模型进行组合。此时

闪闪发亮的小星星·2023-08-02 08:36

将CIFAR-10数据导入python

根据官网的说明，需要使用python3下的pickle首先把官网的python版本数据下载保存到本地进行解压，会得到如下cifar.png下面就可以进行数据的导入了file1='D:/02document/cs231n

lei_de·2023-07-30 04:34

cs231n assignment2(1)

assignment2内容有：利用numpy实现Fully-connectedNeuralNetwork(forward和backpropagation)、BatchNormalization和Dropout、利用numpy实现ConvolutionalNetworks的卷积层、池化层的朴素版本以及最后熟悉pytorchFully-connectedNeuralNetwork这一部分与assign

没天赋的学琴·2023-07-30 00:46

Pytorch中torch.gather函数

在学习CS231n中的NetworkVisualization-PyTorch任务，讲解了使用torch.gather函数，gather函数是用来根据你输入的位置索引index，来对张量位置的数据进行合并

木禾DING·2023-07-29 17:40

机器学习深度学习笔记，常用算法Adam与Adagard。使用c++开发。

1.AdamAdam算法全称为AdaptiveMomentEstimate,这种算法结合了基于动量的算法和基于自适应学习率的算法.Adam算法记录了梯度的一阶矩(梯度的期望值)和二阶矩(梯度平方的期望值).1.1定义其中p,g,m,v,β1,β2,E分别表示参数,梯度,一阶矩,二阶矩,衰减率和极小值(防止0分母).Adam的必要参数是衰减率β1,β2,一般取β1=0.9,β2=0.999,β2=0

SDU-cb·2023-07-29 11:59

【深度学习笔记】Softmax 回归

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1Softmax激活函数2Softmax分类器1Softmax激活函数对于分类问题，如果有多个

洋洋Young·2023-07-29 10:15

【深度学习笔记】动量梯度下降法

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1指数加权平均2动量梯度下降法1指数加权平均在介绍更复杂的优化算法之前，你需要了解指数加权平均

洋洋Young·2023-07-29 10:15

CS231N assignment3-transformer,GAN,self-supervised,LSTM

这部分作业内容很大，上传到github费了很多时间，参考的是这篇：如何在GitHub上传大文件（≥100M）|码农家园(codenong.com)但是还是没传成功···所以我直接传到网盘里了链接：https://pan.baidu.com/s/1T8Sc2Owq6OMtDSo5SNKlaA提取码：784w--来自百度网盘超级会员V2的分享然后简单介绍一下作业31.RNN在之前的博客写过了2.tra

鱼鱼9901·2023-07-28 16:09

深度学习笔记之人脸识别和风格抓换

第一课：什么是人脸识别卷积神经网络的重要应用：将从人脸识别开始，之后讲神经风格迁移百度林元庆人脸识别系统。人脸识别和活体检测。后者表明你是一个活人，事实上，活体检测可以使用监督学习来实现。那么如何构建这个系统中的人脸识别这一部分呢？首先，术语：人脸验证和人脸识别人脸验证：输入一张图片，或者某人的name/ID这个系统要做的是：验证输入图片是否是这个人，有时候也被称作是1对1问题，只需要弄明白这个人

带刺的小花_ea97·2023-07-27 06:04

深度学习笔记（2）——逻辑回归（基于梯度下降）

文章目录基本概念定义优点基于梯度下降损失函数损失函数表达式为什么选其为损失函数代码实现基本概念定义逻辑回归算法虽然名字上是回归，但实际上是二分类算法。本质就是以回归的方法来进行二分类优点也就是说我们为什么要用逻辑回归，而不用更简单的线性回归在线性回归中，离群值对结果的影响会很大。逻辑回归结果较于线性回归更准确因为逻辑回归所使用的函数是非线性的，所以离群值的影响更小从图片我们可以看出逻辑回归使用的s

晓山清·2023-07-27 03:55

【连载】深度学习笔记9：卷积神经网络（CNN）入门

前面的八篇学习笔记，基本上都是围绕着深度神经网络（DNN）和全连接网络（FCN）在学习。从本篇开始，将带着大家一起学习和研究深度学习的另一个主题——卷积神经网络（ConvolutionalNeuralNetwork），也就是我们平常眼熟的CNN。卷积神经网络作为当前计算机视觉领域的核心技术，发展到如今已是枝繁叶茂。笔者对于这一块的初步打算是从卷积网络的基本原理讲起，将卷积网络的前向传播和反向传播过

linux那些事·2023-07-26 04:33

【深度学习笔记】随机梯度下降法

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1Mini-batch2随机梯度下降法1Mini-batch常规的梯度下降法，在大数据集基础上

洋洋Young·2023-07-24 16:09

深度学习笔记（二十）—— Image Caption

Thegoalofimagecaptioningistoconvertagiveninputimageintoanaturallanguagedescription.Inthistutorial,weonlyintroduceyouwithtranslationfromimagetosentence.Wewouldalsointroduceyoutoembeddingattentionintoim

Nino_Lau·2023-07-23 13:51

吴恩达深度学习笔记(21)-神经网络的权重初始化为什么要随机？

随机初始化（Random+Initialization）当你训练神经网络时，权重随机初始化是很重要的。对于逻辑回归，把权重初始化为0当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为0，那么梯度下降将不会起作用。让我们看看这是为什么？有两个输入特征，n^([0])=2，2个隐藏层单元n^([1])就等于2。因此与一个隐藏层相关的矩阵，或者说W^([1])是2*2的矩阵，假设把它初

极客Array·2023-07-22 04:51

深度学习笔记(二)——激活函数原理与实现

深度学习笔记(二)——激活函数原理与实现闲聊昨天详细推了下交叉熵，感觉还可以，今天继续加油。ReLU原理定义：ReLU是修正线性单元(rectifiedlinearunit),在0和x之间取最大值。

没有顶会的咸鱼·2023-07-20 16:18

pycharm连接服务器详细步骤

深度学习笔记第一章Pycharm连接服务器文章目录深度学习笔记前言一、操作步骤二、连接步骤三、代码运行四、注意事项1、代码同步总结前言本文主要介绍Pycharm连接远程服务器实现代码运行的步骤。

SHEN,Q.F·2023-07-20 06:15

【深度学习笔记】梯度消失与梯度爆炸

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1梯度消失与梯度爆炸2初始化权重1梯度消失与梯度爆炸训练神经网络，尤其是深度神经网络所面临的一

洋洋Young·2023-07-19 10:50

【深度学习笔记】wins+anaconda虚拟环境中jupyter notebook添加内核

参考文章：(9条消息)jupyternotebook添加kernel的方法_TTdreamloong的博客-CSDN博客_jupyter添加内核JupyterNotebook介绍、安装及使用教程-知乎(zhihu.com)问题描述：jupyernotebook中没有适配虚拟环境的内核可选1、下载jupyternotebook我是使用的anaconda虚拟环境，常规来说，安装了Anaconda发行版

aalekvar·2023-07-19 10:10

【深度学习笔记3.2 正则化】Dropout

关于dropout的理解与总结：dropout是什么？参考文献[1]dropout会让train变差，让test变好。一般的如果在train-set上表现好，在test-set上表现差，用dropout才有效果。使用dropout是为了避免过拟合。(来自网友)下图来自文献[3] 上图中的思想就是说：Dropout是一种正则化技术，是防止过拟合最有效的方法，然而在以下几种情况下使用dropout会损

取取经·2023-07-17 08:28

吴恩达深度学习笔记整理（四）—— 超参数调试、正则化以及优化

目录改善深层神经网络：超参数调试、正则化以及优化训练，验证，测试集（Train/Dev/Testsets）偏差和方差权衡方差和偏差的问题正则化为什么只正则化参数？为什么不再加上参数呢？为什么正则化有利于预防过拟合呢？为什么压缩2范数，或者弗罗贝尼乌斯范数或者参数可以减少过拟合？dropout正则化。其他正则化方法归一化输入1.零均值2.归一化方差。为什么使用归一化处理输入？梯度消失/梯度爆炸神经网

梦想的小鱼·2023-07-17 08:27

【深度学习笔记】偏差与方差

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1偏差与方差的概念2机器学习基本方法1偏差与方差的概念对于包含两个输入特征的数据集，使用逻辑回

洋洋Young·2023-07-17 08:27

深度学习笔记4：正则化和dropout

结构风险函数模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子：θ∗=arg⁡min⁡θ1N∑i=1NL(yi,f(xi,θ))+λϕ(θ)\theta^*=\arg\min_\theta\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i,\theta))+\lambda\phi(\theta)θ∗=argminθN1∑i=1NL(yi,f(xi,θ))+λϕ

春花幼稚园陈同学·2023-07-17 08:27

【深度学习笔记】正则化与 Dropout

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记，视频由网易云课堂与deeplearning.ai联合出品，主讲人是吴恩达AndrewNg教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习，视频的链接如下：神经网络和深度学习-网易云课堂也欢迎对神经网络与深度学习感兴趣的网友一起交流~目录1正则化方法2Dropout随机失活1正则化方法如果神经网络过度拟合了数据（即存在高方差问题）

洋洋Young·2023-07-17 08:26

cs231n assignment3解析

cs231n-assignment3解析前言：每年的作业都差不多，但是有些地方有微小改动，比如将循环的内容单独作为一个函数，核心内容其实都是一样的。

角度洗·2023-07-17 00:53

CS231n-assignment3-LSTM

ln[1]:#Setupcell.importtime,os,jsonimportnumpyasnpimportmatplotlib.pyplotaspltfromcs231n.gradient_checkimporteval_numerical_gradient

Esaka7·2023-07-17 00:51

CS231n assignment3 Q1 Image Captioning with Vanilla RNNs

来到最后一个作业，前两个作业仍然是使用numpy来实现一个rnn/lstm网络，后边三个作业则用到了tensorflow/pytorch，目前只用了tensorflow来完成，以后或许会把pytorch的也完成了。前言第一个任务是使用rnn来完成图像标注的任务。imagecaption是rnn类网络的经典应用，属于encoder-decoder网络，encoder使用cnn网络，如VGG16，采用

weixin_30545285·2023-07-17 00:51

【CS231n assignment 2022】Assignment 3 - Part 5，Self Supervised Learning

睡晚不猿序程·2023-07-17 00:21

CS231N作业3assignment3 RNN&LSTM

RNN1.完成rnn_layers.py中的rnn_step_forward（）函数defrnn_step_forward(x,prev_h,Wx,Wh,b):"""RuntheforwardpassforasingletimestepofavanillaRNNthatusesatanhactivationfunction.TheinputdatahasdimensionD,thehiddenst

努力学习做大佬·2023-07-17 00:21

[CS231n Assignment 3 #01] 简单RNN的图像字幕(Image Captioning with Vanilla RNNs)

文章目录作业介绍0.准备1.MicrosoftCOCO1.1可视化数据2.递归神经网络(RNN)2.1朴素RNN：单时间步的前向传播2.2单时间步的反向传播2.3整个时间序列的前向传播2.4整个时间序列上的反向传播3.词嵌入（Wordembedding）3.1词嵌入前向传播3.2词嵌入的反向传播4.时序输出转换4.1前向传播4.2反向传播5.时序输出Softmax损失6.使用RNN完成ImageC

灵隐寺扫地僧·2023-07-17 00:20

【CS231n assignment 2022】Assignment 3 - Part 1，RNN for Image Caption

睡晚不猿序程·2023-07-17 00:20

【CS231n assignment 2022】Assignment 3 - Part 4，GAN