深度学习基础课程笔记第34页

深度学习基础--各种Dropout--Dropout和DropConnect

dropout是一种正则化的方法Dropout和DropConnect 其实在实验中我们经常使用的是dropout（(Hintonetal.,2012).）方法，dropconnect的方法只是对其进行了简单的改进在全连接层引入"Dropout"或"DropConnect"的方法，即在训练过程中以一定概率P将隐含层节点的输出值(对于"DropConnect"为输入权值)清0，而用反向传播算法

whitenightwu·2023-01-01 12:30

深度学习基础--各种Dropout--Stochastic Depth

#Drop-path 尽管ResNet在许多应用中已被证明很强大，但它的主要的缺点是，更深层的网络通常需要几周的时间进行训练，而这在实际应用中几乎不可行。为了解决这个问题，引入了一种在训练过程中随机丢弃图层的反直觉方法，同时使用完整的网络进行推理。作者使用残差块作为其网络的构建块，因此，在训练期间，当特定残差块被启用时，它的输入在身份近路和权重层流动，否则，输入只在身份近路流动。在训练时间内

whitenightwu·2023-01-01 12:00

深度学习之图像处理与分析(一)

深度学习之图像处理与分析目录人工智能和深度学习概论图像基础深度学习基础深度学习的基本数学理解的人工神经网络人工智能和深度学习概论AI与ML与DLArtificialintelligence(人工智能)使人类通常执行的智力任务自动化的努力

何以问_·2023-01-01 09:57

nlp深度学习基础-CNN、GNN、RNN

文章目录卷积神经网络CNN卷积层池化层全连接层CNN网络结构结构特性参数学习CNN在NLP上的应用图卷积神经网络GNN结构参数维度卷积步骤循环神经网络RNN单元结构网络结构输入输出结构参数学习算法长短时记忆神经网络LSTM（longshort-termmemory）GRU（GatedRecurrentUnit）卷积神经网络CNNDNN存在的问题，当层数和神经元个数都很大时，权重矩阵的参数也会非常多

◝(⑅•ᴗ•⑅)◜..°♡·2023-01-01 08:20

Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案

Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案1.LogisticRegression前面说的单变量线性回归模型和多变量线性回归模型，它们都是线性的回归模型。

bigface1234fdfg·2023-01-01 00:16

深度学习知识速成 I 深度学习工具链名词解释深度学习原理

需要具有最基本的CNN深度学习基础，我的上一篇文章就够了。主要是为了做毕设。

RzBu11d023r·2022-12-31 18:08

吴恩达课程笔记-第二课高级学习算法（主讲神经网络）

目录概论神经网络模型基本建立流程神经网络前向传播基于TensorFlow的模型训练过程（基础版-模型，策略，算法）神经元的激活函数选择为什么要使用激活函数？激活函数-softmax回归多类别分类问题-softmax一般神经网络模型-隐藏层用ReLU,输出层用SoftmaxTensorflow中损失函数计算产生的精度误差问题（Tensorflow代码-改进版）多标签分类问题（Multi-labelc

Lofty_goals·2022-12-31 12:05

【深度学习基础】卷积是如何计算的

1.1卷积从本质上讲，卷积的计算过程其实同全连接一样，也是各个神经元之间的线性组合。只是卷积操作在进行线性组合时选择的是特定位置上的神经元。下面我们首先通过一张动图来直观感受一下卷积的过程。如图所示，**卷积操作其实就是每次取一个特定大小的矩阵F（蓝色矩阵中的阴影部分），然后将其对输入X（图中蓝色矩阵）依次扫描并进行内积的运算过程。可以看到，阴影部分每移动一个位置就会计算得到一个卷积值（绿色矩阵中

夏日轻风有你·2022-12-31 11:51

【深度学习基础】池化

深度学习基础-池化池化pool池化的方式：最大池化和平均池化池化的作用1、增大感受野所谓感受野，即一个像素对应回原图的区域大小，假如没有pooling，一个33，步长为1的卷积，那么输出的一个像素的感受野就是

夏日轻风有你·2022-12-31 11:51

深度学习在CTR预估的应用

2017年底Archsummit全球架构师峰会演讲内容所做笔记CTR（Cleick-Throug'xhRatePrediction）点击率预估目录1.当深度学习遇到CTR预估2.传统主流CTR预估方法3.深度学习基础模型

Dorothy_Xue·2022-12-31 09:39

自然语言处理复习

目录第3章深度学习基础第4章语言模型+词向量第5章NLP中的注意力机制第6章NLP基础任务第7章预训练语言模型第3章深度学习基础1.人工神经网络2.激活函数（1）激活函数的作用为了增强网络的表达能力，需要引入连续的非线性激活函数

过动猿·2022-12-31 08:39

Udacity机器人软件工程师课程笔记（五）-样本搜索和找回-基于漫游者号模拟器-自主驾驶

9.自主驾驶在接下来的环节中，我们要实现漫游者号的自动驾驶功能。完成这个功能我们需要四个程序，第一个为感知程序，其对摄像头输入的图片进行变换处理和坐标变换使用。第二个程序为决策程序，功能是帮助漫游者号根据当前条件和状态进行相应的决策，以实现漫游者号前进，后退，转向等功能。第三个是支持程序，来定义一些关于漫游者号状态的类等。最后为主程序，来调用三个函数对漫游者号进行控制的。Udacity提供的初始程

Stan Fu·2022-12-30 20:45

深度学习基础 - 3.12. 权重衰减 - 《动手学深度学习》 - 书栈网 · BookStack...

3.12.权重衰减上一节中我们观察了过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。本节介绍应对过拟合问题的常用方法：权重衰减(weightdecay)。3.12.1.方法权重衰减等价于范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述

weixin_39922151·2022-12-30 11:17

1.语法与入门-pytorch与自然语言处理

课程链接：Python人工智能20个小时玩转NLP自然语言处理【黑马程序员】_哔哩哔哩_bilibili本系列是自己记的课程笔记pytorch概念与基本元素是基于numpy的科学计算包，提供使用GPU能力的深度学习平台关键元素

还我的鸭脖！·2022-12-30 08:14

【深度学习基础】CSPNet——PyTorch实现CSPDenseNet和CSPResNeXt

【深度学习基础】CSPNet——PyTorch实现CSPDenseNet和CSPResNeXt1论文关键信息1.1CSP结构1.2关于PartialTransitionLayer2pytorch实现CSP-DenseNet

Cai Yichao·2022-12-30 08:20

yxc算法课程笔记

这里写目录标题快速排序堆排序归并排序大数加法大数减法大数乘法大数除法二维前缀和二维差分双指针求最长不重复子串区间合并kmp算法trie树插入并查询单词并查集实现1.判断两个元素是否属于同一个集合2.将两个集合合并DFS和BFSDFS实现全排列DFS实现八皇后BFS求走出迷宫的最短路径（左上走到右下）质数质数的判定：o（sqrt（n）复杂度）短除法给一串数，筛选其中的质数快速幂简单快速幂快速排序#i

mallocbict·2022-12-29 20:00

机器学习 | 台大林轩田机器学习基石课程笔记8 --- Noise and Error

课程主页课程视频和PPT上一节课，我们主要介绍了VCDimension的概念。如果Hypothesesset的VCDimension是有限的，且有足够多N的数据，那么,同时能够找到一个hypothesis使它的,那么就能说明机器学习是可行的。本节课主要讲了数据集有Noise的情况下，是否能够进行机器学习，并且介绍了假设空间H下演算法A的Error估计。目录1.NoiseandProbabistic

CoreJT·2022-12-29 19:15

【MindStudio训练营第一季】课程笔记

【MindStudio训练营第一季】课程笔记新手班课程零基础入门之后，可以了解AI应用的开发流程。使用MindStudio可视化完成流程编排，迅速上手昇腾AI应用开发。

weixin_48453538·2022-12-29 19:04

知识图谱系统课程笔记（二）——知识抽取与挖掘

知识图谱系统课程笔记（二）——知识抽取与挖掘文章目录知识图谱系统课程笔记（二）——知识抽取与挖掘OWL、RDF与RDFS关系知识抽取任务定义和相关比赛知识抽取技术知识获取关键技术与难点知识抽取的子任务实体抽取命名实体识别非结构化数据的实体抽取序列标注方法

微莱羽墨·2022-12-29 19:33

【深度学习】03-04-Spatial Transformer Layer（选修）-李宏毅老师21&22深度学习课程笔记

03-04-SpatialTransformerLayer（选修）不变性为什么CNN有transitioninvariant?1卷积2池化CNN并不是完全transitioninvariantCNN有不完全transitioninvariant无scalinginvariant无rotationinvariantSpatialTransformerLayerSTL概览STN如何实现Transfor

暖焱·2022-12-29 15:21

深度学习基础-神经网络权重初始化

文章目录一、两个问题1.全零初始化是否可以2.参数全部相同初始化是否可以二、参数初始化方式1.预训练初始化2.随机初始化2.1randominitialization2.2Xavierinitialization2.3Heinitialization3.固定初始化参考链接一、两个问题假设3层神经网络,输入节点v0，第一层节点v1,v2,v3第二层节点v4,v5第三层节点v6。其中vi=f(ai),

JMXGODLZ·2022-12-29 12:05

python写篮球游戏_程序员们把“蔡徐坤打篮球”写成了一个游戏

原标题：程序员们把“蔡徐坤打篮球”写成了一个游戏github一直是一个人才辈出的地方从“杨超越杯编程大赛”到“清华课程笔记”无数令人惊叹“还能这样”的项目都源于在github上默默求star的程序员们近期由于

weixin_39810441·2022-12-29 11:48

Coursera课程Big Data Analysis with Scala and Spark Week 1笔记

Coursera上的spark课程笔记。spark为什么快把尽可能多的不可变数据存到内存里，记录对数据的一系列操作。如果某个节点出现问题，重新执行一遍操作即可还原结果，无需太多的磁盘操作。

zhang35·2022-12-29 10:05

PaddlePaddle - 人脸关键点检测课程笔记

文章目录一、问题定义二、数据准备2.2查看图像2.3数据集定义作业1：自定义Dataset，完成人脸关键点数据集定义2.4训练集可视化2.5Transforms作业2：实现自定义ToCHW2.6使用数据预处理的方式完成数据定义三、模型组建3.1组网可以很简单作业3：根据上图，实现网络结构3.2网络结构可视化四、模型训练4.1模型配置4.2自定义评估指标作业4：实现模型的配置和训练4.2模型训练4.

鱼不辞水·2022-12-28 18:00

深度学习基础----Transformer（简单图解版+细节版）

好看视频版transformer对于RNN比较直观的功能理解：RNN是单向的，按照时间顺序进行的，所以像此句中的“他”，“它”是很难得到理解的。所以，相较之下transformer的优势是：结合句子理解上下文语义。并行执行，堆叠多层解决LSTM训练太慢，不能多层的问题。不分先后顺序提取单个词与整句话中其它词的关系，解决单项信息流问题。参考视频：https://haokan.baidu.com/v?

无意识积累中·2022-12-28 16:47

机器学习 | 台大林轩田机器学习基石课程笔记7 --- The VC Dimension

课程主页课程视频和PPT前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释。机器能够学习必须满足两个条件：假设空间H的SizeM是有限大的，即当N(D的大小)足够大时，那么对于假设空间中任意一个假设h，有.利用演算法A从假设空间H中，挑选一个最好的h，记为g，使得,则。这两个条件，正好对应着test和trian两个过程。train的目的是使损失期望;；test的目的是使将算法用到新的样本时

CoreJT·2022-12-28 12:22

林轩田《机器学习基石》课程笔记第七章-VC Dimension

林轩田《机器学习基石》课程笔记7-VCDimension一、概念VCDimension就是某假设集H能够shatter的最多的input的个数，即最大完全正确的分类能力。

f_jiaqi·2022-12-28 12:19

神经网络和反向传播算法的详细解释，深度学习基础

本文通过以下8个部分来详细解释神经网络的一些基本概念：模型表示（ModelRepresentation）模型的数学表示（ModelRepresentationMathematics）激活函数（ActivationFunctions）偏置节点（BiasNode）损失函数（CostFunction）前向传播计算（ForwardPropagationCalculation）反向传播算法（Backprop

CA727·2022-12-28 12:38

课程笔记：深度学习与人类语言处理 ——李宏毅，2020 (P5)

原创·作者|阿芒Aris学校|北京理工大学研究方向|自然语言处理来自|AINLP语音辨识模型2、3、4、5：CTC、RNN-T（&RNA）、NeuralTransducer、MoChA李宏毅老师2020新课深度学习与人类语言处理课程主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html视频链接地址：https://www.bilibi

zenRRan·2022-12-28 02:44

深度学习基础总结

一、神经网络图解、前向传播、反向传播（推导）推荐阅读：https://blog.csdn.net/u010089444/article/details/52555567二、激活函数参考自：https://www.cnblogs.com/makefile/p/activation-function.html，https://blog.csdn.net/edogawachia/article/deta

雪糕cool·2022-12-27 23:44

非常适合大学生自学人工智能的几个原创公众号

深度学习基础与进阶专注于机器学习，深度学习以及计算机视觉等研究方向，每天会更新人工智能最前沿知识和分享自己的论文总结和学习笔记，让你系统化的学习每个知识点，每天进步一点点。

woshicver·2022-12-27 21:59

深度学习基础: BP神经网络训练MNIST数据集

BP神经网络训练MNIST数据集不用任何深度学习框架，一起写一个神经网络训练MNIST数据集本文试图让您通过手写一个简单的demo来讨论1.导包importnumpyasnpimportstructimportrandomimportmatplotlib.pyplotaspltimportpandasaspdimportmath2.加载label,images由于下载的数据集是二进制文件，这里用s

狗蛋Predy·2022-12-27 16:22

第二次作业：深度学习基础

ekkoalex·2022-12-27 14:54

php代码审计课程笔记

代码审计第一章代码审计环境PHP核心配置详解（前5个很重要）register_globals（全局变量注册开关）版本5.4.0移除功能：把用户GET、POST等方式提交上来的参数注册成全局变量，并初始化值为参数对应的值，使得提交参数可以直接在脚本中使用。**allow_url_include（是否允许包含远程文件）**5.2.0默认off功能：直接包含远程文件，当存在include(var)且va

Amire0x·2022-12-27 07:32

吴恩达（Andrew Ng）深度学习课程笔记目录

第一门课程中，你将学习如何建立神经网络（包含一个深度神经网络），以及如何在数据上面训练他们。在这门课程的结尾，你将用一个深度神经网络进行辨认猫。接下来在第二门课中，我们将使用三周时间。你将进行深度学习方面的实践，学习严密地构建神经网络，如何真正让它表现良好，因此你将要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法，比如Momentum和Adam算法，犹如黑魔法一样根据你建立网络的方式。

开始King·2022-12-27 06:18

模仿学习笔记：生成判别模仿学习 Generative Adversarial Imitation Learning, GAIL

这里简单地回顾一下GAN，详细的可见NTU课程笔记7454GAN_UQI-LIUWJ的博客-CSDN博客GAN由生成器(Generator)和判别器(Discriminator)组成，它们各是一个神经网络

UQI-LIUWJ·2022-12-26 23:01

深度学习课程笔记（三）Backpropagation 反向传播算法

深度学习课程笔记（三）Backpropagation反向传播算法2017.10.06材料来自：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html

a1424262219·2022-12-26 22:36

数据挖掘-基础知识-笔记汇总5：数据预处理-主成分分析（PCA）和特征提取

课程笔记第四篇本课程笔记的课程来源于清华大学深圳研究生院-袁博老师的《数据挖掘：理论与算法》。视频在学堂在线或者b站都有。

bensonrachel·2022-12-26 21:21

UFLDL教程（四）之Softmax回归

关于AndrewNg的machinelearning课程中，有一章专门讲解逻辑回归（Logistic回归），具体课程笔记见另一篇文章。

weixin_30509393·2022-12-26 16:34

深度学习基础之线性回归

深度学习基础之线性回归【代码】1.线性回归的基本要素以⼀个简单的房屋价格预测作为例⼦来解释线性回归的基本要素。假设价格只取决于房屋状况的两个因素，即面积（平方米）和房龄（年）。

DeeGLMath·2022-12-26 08:53

强化学习笔记（初级篇）

关于机器学习，之前在校内上过深度学习基础课程，对于深度学习有一个基础性的了解，由于是选修课，没有做大量作业，对于知识的理解一般化。目前做的方向是基于强化学习的路径规划，所以要先把强化学习的基础过一遍。

cp3111·2022-12-26 08:53

吴恩达【神经网络和深度学习】Week1——深度学习概述

4、Quiz课程笔记整理按照所讲章节的标题来完成1、Whatisaneuralnetwork?以房价预测模型为例，是一个由size过渡

小白有颗大白梦·2022-12-26 07:31

1.1 图像分类：数据驱动的方法，k-近邻，划分训练集/验证集/测试集

本文是对斯坦福大学“CS231n：用于视觉识别的卷积神经网络”课程笔记的翻译。

Hao-qiang·2022-12-25 23:10

Udacity机器人软件工程师课程笔记（十五）-运动学-正向运动学和反向运动学(其二)-DH参数等

正向运动学和反向运动学目录2D中的旋转矩阵sympy包旋转的合成旋转矩阵中的欧拉角平移齐次变换及其逆变换齐次变换的合成Denavit-Hartenberg参数DH参数分配算法正向运动学反向运动学反向运动学举例7.齐次变换的合成齐次变换的合成与旋转的合成遵循着相同的逻辑。假设从坐标系C到坐标系B的变换是已知的，从坐标系B到坐标系a的变换也是已知的。CrP/Co^C\bold{r}P/CoCrP/Co

Stan Fu·2022-12-25 22:15

复现KGAT: Knowledge Graph Attention Network for Recommendation（五）

上一个看过代码的是NCF，那个难度简直没法和这个相提并论，准确的说，有点机器学习、深度学习基础的那个代码看起来分分钟的事。这篇。。。对我这个新手很不友好啊。。。

Lalune21·2022-12-25 18:28

深度学习基础（一）

深度学习理论知识文章目录深度学习理论知识写在前面卷积神经网络发展机器学习分类器KNN线性分类器优化方法图像的特征介绍神经网络梯度反向传播——是链式法则的递归调用卷积神经网络卷积神经网络的历史——一些比较重要的网络卷积神经网络训练卷积神经网络激活函数数据处理训练优化:[优化方法介绍](https://www.cnblogs.com/guoyaohua/p/8542554.html)提高泛化能力，缓解

用户昵称还已存在·2022-12-25 17:26

【大四上学期】过程控制系统课程笔记

过程控制系统笔记食用指南(bySJJ)期末考试内容=过程控制系统+过程控制工程,包含小题(填空,判断等),大题(简答,计算等),期中考试的内容期末也会考到,但不一定是一样的题目,会换种形式.掌握1-9章(8除外)各种各样的典型控制系统是分析后面10-13章工程控制系统的基础.前9章内容(8除外)明显远多于后4章,大家可以根据自己的进度进行重点复习.过程控制系统部分:内容完整✔️过程控制工程部分:1

olioolii·2022-12-24 19:37

TensorFlow入门（1）深度学习基础知识以及tf.keras

目录目录多层感知器MLP隐藏层的选择Dense层Activation层Dropout层Flatten层activation激活函数：relusigmoidTanhleakyrelu神经网络的拟合能力参数选择原则：梯度下降法——多层感知器的优化5、学习速率（人为规定的变化速率）7、反向传播算法(计算loss)——一种高效计算数据流图中梯度的技术8、compile()函数将一个字符串编译为字节代码。常

Kristen+U·2022-12-24 16:21

【深度学习基础】基于PyTorch实现Inception-v4, Inception-ResNet-v1, Inception-ResNet-v2亲身实践

【深度学习基础】基于PyTorch实现Inception-v4,Inception-ResNet-v1,Inception-ResNet-v2亲身实践1论文关键信息1.1Inception-v4网络整体架构

Cai Yichao·2022-12-24 16:19

线性回归、逻辑回归、正则化小结

课程笔记总览传送门：https://blog.csdn.net/weixin_42900928/article/details/86523192目录小结（一）1.线性回归1.1无正则化1.2正则化2.逻辑回归

A_waken·2022-12-24 08:37

推荐频道

深度学习基础课程笔记