深度学习基础第7页

【阶段四】Python深度学习03篇：深度学习基础知识：神经网络可调超参数：激活函数、损失函数与评估指标

本篇的思维导图：神经网络可调超参数：激活函数神经网络中的激活函数（有时也叫激励函数）。在逻辑回归中，输入的特征通过加权、求和后，还将通过一个Sigmoid逻辑函数将线性回归值压缩至［0，1］区间，以体现分类概率值。这个逻辑函数在神经网络中被称为激活函数（这个名词应该是来自生物的神经系统中神经元被激活的过程）。在神经网络中，不仅最后的分类输出层需要激活函数，而且每一层都需要进行激活，然后向下一层输入

胖哥真不错·2023-01-15 13:54

深度学习基础——week4

更好的阅读体验!!序列模型例子音乐、语言、文本、视频、股价…统计方法方案A：马尔科夫假设假设当前当前数据只跟τ\tauτ个过去数据点相关p(xt∣x1,…xt−1)=p(xt∣xt−τ,…xt−1)=p(xt∣f(xt−τ,…xt−1))p\left(x_{t}\midx_{1},\ldotsx_{t-1}\right)=p\left(x_{t}\midx_{t-\tau},\ldotsx_{t-

-meteor-·2023-01-15 10:19

【深度学习基础】02梯度下降算法改进：SGD、Momentum、NAG、RMSProp、Adam等

目录1.优化算法背景1.1常见优化问题1.1.1梯度消失或梯度爆炸1.1.2局部最小值1.2常用解决办法1.2.1参数初始化策略1.2.2小批量梯度下降1.2.3梯度下降算法优化（本文关注）1.2.4其他非算法优化方式2.梯度下降算法优化2.1动量梯度下降2.2RMSProp算法2.3Adam算法2.4学习率衰减1.优化算法背景传统的机器学习会小心设计目标函数和约束，以确保优化问题是凸的，从而避免

TianleiShi·2023-01-15 10:28

深度学习基础——week1

更好的阅读体验PyTorch什么是PyTorch(来自官方文档)PyTorch是基于以下两个目的而打造的python科学计算框架：无缝替换NumPy，并且通过利用GPU的算力来实现神经网络的加速。通过自动微分机制，来让神经网络的实现变得更加容易。Tensor（张量）张量如同数组和矩阵一样,是一种特殊的数据结构。在PyTorch中,神经网络的输入、输出以及网络的参数等数据,都是使用张量来进行描述。张

-meteor-·2023-01-14 11:44

深度学习基础--不同网络种类--可微分编程；Differentiable Programming

可微分编程；DifferentiableProgramming lecun说"深度学习已死，可微分编程万岁！",即深度学习这个词已死，该有新的名词可微分编程来替代它了。深度学习的本质是可微分编程，那么，就把神经网络当函数用吧！一个程序本身当成一个神经网络，然后自己调节参数。实现真正的可微分编程需要的就是自动化调参，于是乎，贝叶斯方法开始大量用于深度学习。传统编程方法与可微分编程(Diff

whitenightwu·2023-01-13 14:44

《从深度学习基础到车道线模型训练与部署》学习（三）

1.Python常用库之一：Numpy库NumPy是Python语言的一个扩充程序库。支持高级大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。总而言之，包含：一个强大的N维数组对象ndarray广播功能函数整合C/C++/Fortran代码的工具线性代数、傅里叶变换、随机数生成等功能2.Python常用库之二：Pandas库Pandas是用于数据操纵和分析，建立在Numpy之上的

majunyongzhangduo·2023-01-13 09:17

interview

保存模型种类及区别2.目标检测2.1yolo3,4,5,7区别2.2yolo使用的loss(ciou,BCE等等)ciouBCElossL1,L2,CE,BCE2.3图像增强2.4IOU计算公式3.机器学习/深度学习基础

highoooo·2023-01-13 08:34

【深度学习基础】Mac系统安装Anaconda

【深度学习基础】苹果系统安装Anaconda1.查看电脑的硬件架构2.下载匹配的Anaconda版本3.安装（sh安装包为例）4.激活5.验证ok你已经成功啦，拜拜参考博客1.查看电脑的硬件架构查看硬件架构命令

骆先生的老屁·2023-01-13 03:34

统计学系统学习目录（持续更新中）

日概率论基础矩阵论基础统计学基础回归分析基础凸优化基础随机过程基础随机过程预备知识离散鞅理论随机微分方程时间序列分析基础随机微分方程在时间序列的应用神经网络随机微分方程在时间序列的应用机器学习基础（后续会进行归类）EM算法深度学习基础时间序列分析进阶机器学习进

邓宏宇·2023-01-12 17:11

深度学习基础及实现的必备步骤

为什么要以均方误差作为损失函数？(将模型在每个训练样本上的预测误差加和，来衡量整体样本的准确性)解：利用均方误差画出来的图像有如下特点曲线的最低点是可导的。越接近最低点，曲线的坡度逐渐放缓，有助于通过当前的梯度来判断接近最低点的程度（是否逐渐减少步长，以免错过最低点）标准神经网络的构成：神经网络的标准结构中每个神经元由加权和与非线性变换构成，然后将多个神经元分层的摆放并连接形成神经网络。深度学习的

啊这？啊这？·2023-01-12 14:48

一文读懂残差网络ResNet

作者：苘郁蓁链接：https://zhuanlan.zhihu.com/p/91385516专栏：郁蓁的机器学习笔记本文的内容包括残差网络的基础知识以及相关辅助理解的知识点，希望有一定深度学习基础的同学能够平滑上手理解

风度78·2023-01-12 02:15

【深度学习基础知识 - 46】贝叶斯定理与条件概率公式

基本定理贝叶斯基于概率论中的贝叶斯定理，贝叶斯定理就是用先验概率和条件概率求出最终的事件概率。贝叶斯网络可以理解为将模型看作是一个概率密度函数，它可以表示数据的分布，训练过程就是概率分布的参数估计过程，预测过程就是求解条件概率的过程。通过条件概率求得后验概率后验概率可以用条件概率表示，公式为：由此可推导：从条件概率推导贝叶斯定理见公式博主会持续更新一些深度学习相关的基础知识以及工作中遇到的问题和感

雁宇up·2023-01-10 12:22

【深度学习基础知识 - 48】贝叶斯网络的特点

贝叶斯网络的特点贝叶斯网络主要引入了两个基本概念：有向无环图和条件概率集合。有向无环图的节点是特征和类别，边是两个特征或者特征和类别之间的关系，并不是彼此独立的。条件概率集合主要的概念是条件独立性，也就是某个节点在给定其父节点的条件下，与其他节点是相互独立的。贝叶斯网络关注的不是因果关系，而是变量间的依赖关系。博主会持续更新一些深度学习相关的基础知识以及工作中遇到的问题和感悟，喜欢请关注、点赞、收

雁宇up·2023-01-10 12:52

20180813视频笔记深度学习基础上篇（1）之必备基础知识点深度学习基础上篇（2）神经网络模型视频笔记：深度学习基础上篇（3）神经网络案例实战和深度学习基础下篇...

20180813视频笔记深度学习基础上篇（1）之必备基础知识点深度学习基础上篇（2）神经网络模型视频笔记：深度学习基础上篇（3）神经网络案例实战和深度学习基础下篇深度学习基础上篇（3）神经网络案例实战https

轮子去哪儿了·2023-01-09 11:03

【深度学习基础】SENet——PyTorch实现CNN的SE结构改造

【深度学习基础】【深度学习基础】SENet——PyTorch实现CNN的SE结构改造1论文关键信息1.1SEblock1.1.1squeeze1.1.2Exitation2pytorch实现2.1SEblock

Cai Yichao·2023-01-09 08:33

Python深度学习基础（八）——线性回归

线性回归引言损失函数解析解公式代码实例梯度下降理论随机梯度下降的手动实现代码torch中的随机梯度下降引言我们生活中可能会遇到形如y=w1x1+w2x2+w3x3+by=w_1x_1+w_2x_2+w_3x_3+by=w1x1+w2x2+w3x3+b的问题，其中有y为输出，x为输入，w为权值，b为偏置假设我们有一个房价预测的问题，我们有很多条数据，每一个数据项有很多特征，这些特征就是x，而房价就是

艾醒(AiXing-w)·2023-01-08 07:03

超详细｜算法岗的学习路线大总结｜机器学习｜深度学习｜CV、NLP、推荐

算法岗的面试主要分为四大项，具体顺序可能因面试官而异Coding，给你一道题限时完成机器学习or深度学习基础论文or项目介绍其他问题&向面试官提问本文将从以上四点进行展开一、数据结构

苏学算法·2023-01-08 06:32

深度学习基础知识（二）--- 卷积操作与池化操作

这里并不介绍卷积操作具体是如何进行的，关于这点，很多文章都有介绍。本文主要介绍一下为何会广泛使用卷积操作？参考资料：《DeepLearning》https://mooc.study.163.com/learn/2001281004?tid=2001392030#/learn/content?type=detail&id=2001728690卷积运算主要通过三个重要的思想来帮助改进机器学习系统：稀疏

Teeyohuang·2023-01-07 08:13

机器学习-神经网络（Neural Network）算法

学习彭亮《深度学习基础介绍：机器学习》课程背景以人脑中的神经网络为启发，最著名的算法是1980年的backpropagation多层向前神经网络（MultilayerFeed-ForwardNeuralNetwork

YEN_csdn·2023-01-07 07:02

语音识别入门 --各个模型的整理

本人有图像识别、深度学习基础，实习因为项目需要，需要对语音识别做一个整合梳理。论语音识别三大技术结构图语

MIngo的成长·2023-01-06 22:22

深度学习基础之激活函数

文章目录激活函数阶跃函数sigmoid函数sigmoid函数和阶跃函数的比较为什么激活函数要用非线性函数？ReLU函数-线性整流函数LeakyReLU函数-带泄露线性整流函数tanh函数-双曲正切函数参考激活函数激活函数是连接感知机和神经网络的桥梁。激活函数以阈值为界，一旦输入超过阈值，就切换输出。这样的函数称为“阶跃函数”。因此，可以说感知机中使用了阶跃函数作为激活函数。也就是说，在激活函数的众

Icy Hunter·2023-01-06 20:27

《动手学深度学习》| 2 深度学习基础

目录1线性回归1.1线性回归的基本要素1.2线性回归与神经网络的联系1.3线性回归的矢量表示法1.4线性回归的从零开始实现1.5线性回归的简洁实现1.6Keras线性回归练习2图像分类数据集（Fashion-MNIST）2.1数据集介绍2.2数据集获取2.3读取小批量2.4小结3softmax回归3.1softmax回归模型3.2softmax的矢量计算表达式3.3交叉熵损失函数3.4softma

Marlowe.·2023-01-06 11:48

深度学习（01）-- 基础学习

文章目录目录1.深度学习基础1.1深度学习总览1.2深度网络训练过程1.2.1传统神经网络的训练方法为什么不能用在深度神经网络1.2.2deeplearning训练过程1.3数学知识：2.九种深度学习模型

Zero-One-0101·2023-01-06 10:04

人脸识别美颜算法实战-深度学习基础知识

深度学习与机器学习的区别：机器学习：人类定义输入数据的特征深度学习：机器自动找到输入数据的特征在深度学习中，采用多层的神经网络架构来提取图像信息，越靠近底层的神经网络提取出来的都是点、线等低维度特征，而高维度的神经网络层则会更多地保留比如耳朵、眼睛等高维度特征深度学习通过低维度特征到高维度特征一层层地构建，找到最终能够构成分类器的最佳组合。深度学习入门概念1．神经网络在深度学习中，神经网络由很多“

南妮儿·2023-01-06 07:31

动手学深度学习学习笔记tf2.0版（第三课:深度学习基础之线性回归）

start=time.time()c=tf.Variable(tf.zeros(1000,))foriinrange(1000):c[i].assign(a[i]+b[i])time()-start#输出0.31618547439575195向量相加的另一种方法是，将这两个向量直接做矢量加法。start=time()c.assign(a+b)time()-start#输出0.0小结：和大多数深度学

Zero_to_zero1234·2023-01-06 04:09

深度学习学习文章、视频整理

weixin_47741262·2023-01-04 11:09

深度学习基础——卷积神经网络（二）

本文介绍卷积神经网络的第二部分。多输入多输出通道多输入通道当输入包含多个通道时，需要构造一个与输入数据具有相同通道数的卷积核，以便进行互相关运算。假设输入的通道数为cic_ici，则卷积核的输入通道数也应为cic_ici。如果卷积核的窗口形状时kh×kwk_h\timesk_wkh×kw，则卷积核可以看做kh×kwk_h\timesk_wkh×kw的二维张量。如果cic_ici大于1时，卷积核的通

希望变强的小菜鸟·2023-01-04 10:38

零基础入门深度学习：自然语言处理的变迁

从本课程大纲为：numpy实现神经网络构建和梯度下降算法深度学习基础知识计算机视觉领域主要方向的原理、实践自然语言处理领域主要方向的原理、实践个性化推荐算法的原理、实践前面的文章介绍了前三

JKX_geek·2023-01-03 18:19

深度学习基础：数据集及其拆分（类别标签、数据集与有监督学习、留出法、K折交叉验证、分层抽样策略、网络搜索调超参数）

1鸢尾花数据集2数据集的数学表示3类别标签（groundtruth、goldstandard）4数据集与有监督学习5训练集、测试集的拆分6训练集测试集拆分（留出法）7K折交叉验证8分层抽样策略（Stratifiedk-fold）9用网络搜索来调超参数

xMathematics·2023-01-03 08:21

【学习周报】研究生学习周报

这周主要研读了HMN中reference的一篇论文TRL，经过学习对比发现TRL中的很多思想都在HMN中有所借鉴，看完TRL后对HMN中的一些问题理解也更加的透彻；因为这周需要集中对深度学习基础进行学习

Bohemian_mc·2023-01-02 18:44

3.16_kaggle-house-price

3.16实战Kaggle比赛：房价预测作为深度学习基础篇章的总结，我们将对本章内容学以致用。下面，让我们动手实战一个Kaggle比赛：房价预测。

给算法爸爸上香·2023-01-02 16:39

深度学习基础（3）——神经网络与常用函数

目录概述神经网络简介感知器（Perceptron）多层感知器（MLP）卷积神经网络（CNN）循环神经网络（RNN）生成对抗式网络（GAN）常用函数与术语激活函数损失函数梯度下降概述在我们学习深度学习模型，或者了解某种算法的过程中，经常会看到如卷积层，全连接层，归一化，正则化，激活函数等概念，这些东西如果直接看的话十分的多且杂乱，在此对其进行梳理。神经网络简介神经网络是深度学习中最常见也是最基础的概

白白白白白丶·2023-01-02 08:32

深度学习基础算法梳理

1、实质用途深度学习用来处理图像、语音等任务，也可用来处理数值型分类、回归任务。深度学习无需特征选择过程，具有较强的自学习能力，能拟合任意函数。2、算法列表2.1感知器感知器是由神经元，组成的一个基本的线性深度学习模型。用来解决线性分类问题。感知器可实现基本的与、或函数、基本的二分类。它可以拟合任何的线性函数，任何线性分类或线性回归问题都可以用感知器来解决。（1）感知器的定义感知器为神经网络的组成

小黑上街·2023-01-02 03:45

深度学习基础--各种Dropout--Dropout和DropConnect

dropout是一种正则化的方法Dropout和DropConnect 其实在实验中我们经常使用的是dropout（(Hintonetal.,2012).）方法，dropconnect的方法只是对其进行了简单的改进在全连接层引入"Dropout"或"DropConnect"的方法，即在训练过程中以一定概率P将隐含层节点的输出值(对于"DropConnect"为输入权值)清0，而用反向传播算法

whitenightwu·2023-01-01 12:30

深度学习基础--各种Dropout--Stochastic Depth

#Drop-path 尽管ResNet在许多应用中已被证明很强大，但它的主要的缺点是，更深层的网络通常需要几周的时间进行训练，而这在实际应用中几乎不可行。为了解决这个问题，引入了一种在训练过程中随机丢弃图层的反直觉方法，同时使用完整的网络进行推理。作者使用残差块作为其网络的构建块，因此，在训练期间，当特定残差块被启用时，它的输入在身份近路和权重层流动，否则，输入只在身份近路流动。在训练时间内

whitenightwu·2023-01-01 12:00

深度学习之图像处理与分析(一)

深度学习之图像处理与分析目录人工智能和深度学习概论图像基础深度学习基础深度学习的基本数学理解的人工神经网络人工智能和深度学习概论AI与ML与DLArtificialintelligence(人工智能)使人类通常执行的智力任务自动化的努力

何以问_·2023-01-01 09:57

nlp深度学习基础-CNN、GNN、RNN

文章目录卷积神经网络CNN卷积层池化层全连接层CNN网络结构结构特性参数学习CNN在NLP上的应用图卷积神经网络GNN结构参数维度卷积步骤循环神经网络RNN单元结构网络结构输入输出结构参数学习算法长短时记忆神经网络LSTM（longshort-termmemory）GRU（GatedRecurrentUnit）卷积神经网络CNNDNN存在的问题，当层数和神经元个数都很大时，权重矩阵的参数也会非常多

◝(⑅•ᴗ•⑅)◜..°♡·2023-01-01 08:20

深度学习知识速成 I 深度学习工具链名词解释深度学习原理

需要具有最基本的CNN深度学习基础，我的上一篇文章就够了。主要是为了做毕设。

RzBu11d023r·2022-12-31 18:08

【深度学习基础】卷积是如何计算的

1.1卷积从本质上讲，卷积的计算过程其实同全连接一样，也是各个神经元之间的线性组合。只是卷积操作在进行线性组合时选择的是特定位置上的神经元。下面我们首先通过一张动图来直观感受一下卷积的过程。如图所示，**卷积操作其实就是每次取一个特定大小的矩阵F（蓝色矩阵中的阴影部分），然后将其对输入X（图中蓝色矩阵）依次扫描并进行内积的运算过程。可以看到，阴影部分每移动一个位置就会计算得到一个卷积值（绿色矩阵中

夏日轻风有你·2022-12-31 11:51

【深度学习基础】池化

深度学习基础-池化池化pool池化的方式：最大池化和平均池化池化的作用1、增大感受野所谓感受野，即一个像素对应回原图的区域大小，假如没有pooling，一个33，步长为1的卷积，那么输出的一个像素的感受野就是

夏日轻风有你·2022-12-31 11:51

深度学习在CTR预估的应用

2017年底Archsummit全球架构师峰会演讲内容所做笔记CTR（Cleick-Throug'xhRatePrediction）点击率预估目录1.当深度学习遇到CTR预估2.传统主流CTR预估方法3.深度学习基础模型

Dorothy_Xue·2022-12-31 09:39

自然语言处理复习

目录第3章深度学习基础第4章语言模型+词向量第5章NLP中的注意力机制第6章NLP基础任务第7章预训练语言模型第3章深度学习基础1.人工神经网络2.激活函数（1）激活函数的作用为了增强网络的表达能力，需要引入连续的非线性激活函数

过动猿·2022-12-31 08:39

深度学习基础 - 3.12. 权重衰减 - 《动手学深度学习》 - 书栈网 · BookStack...

3.12.权重衰减上一节中我们观察了过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。本节介绍应对过拟合问题的常用方法：权重衰减(weightdecay)。3.12.1.方法权重衰减等价于范数正则化(regularization)。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述

weixin_39922151·2022-12-30 11:17

【深度学习基础】CSPNet——PyTorch实现CSPDenseNet和CSPResNeXt

【深度学习基础】CSPNet——PyTorch实现CSPDenseNet和CSPResNeXt1论文关键信息1.1CSP结构1.2关于PartialTransitionLayer2pytorch实现CSP-DenseNet

Cai Yichao·2022-12-30 08:20

深度学习基础-神经网络权重初始化

文章目录一、两个问题1.全零初始化是否可以2.参数全部相同初始化是否可以二、参数初始化方式1.预训练初始化2.随机初始化2.1randominitialization2.2Xavierinitialization2.3Heinitialization3.固定初始化参考链接一、两个问题假设3层神经网络,输入节点v0，第一层节点v1,v2,v3第二层节点v4,v5第三层节点v6。其中vi=f(ai),

JMXGODLZ·2022-12-29 12:05

深度学习基础----Transformer（简单图解版+细节版）

好看视频版transformer对于RNN比较直观的功能理解：RNN是单向的，按照时间顺序进行的，所以像此句中的“他”，“它”是很难得到理解的。所以，相较之下transformer的优势是：结合句子理解上下文语义。并行执行，堆叠多层解决LSTM训练太慢，不能多层的问题。不分先后顺序提取单个词与整句话中其它词的关系，解决单项信息流问题。参考视频：https://haokan.baidu.com/v?

无意识积累中·2022-12-28 16:47

神经网络和反向传播算法的详细解释，深度学习基础

本文通过以下8个部分来详细解释神经网络的一些基本概念：模型表示（ModelRepresentation）模型的数学表示（ModelRepresentationMathematics）激活函数（ActivationFunctions）偏置节点（BiasNode）损失函数（CostFunction）前向传播计算（ForwardPropagationCalculation）反向传播算法（Backprop

CA727·2022-12-28 12:38

深度学习基础总结

一、神经网络图解、前向传播、反向传播（推导）推荐阅读：https://blog.csdn.net/u010089444/article/details/52555567二、激活函数参考自：https://www.cnblogs.com/makefile/p/activation-function.html，https://blog.csdn.net/edogawachia/article/deta

雪糕cool·2022-12-27 23:44

非常适合大学生自学人工智能的几个原创公众号

深度学习基础与进阶专注于机器学习，深度学习以及计算机视觉等研究方向，每天会更新人工智能最前沿知识和分享自己的论文总结和学习笔记，让你系统化的学习每个知识点，每天进步一点点。

woshicver·2022-12-27 21:59

深度学习基础: BP神经网络训练MNIST数据集

BP神经网络训练MNIST数据集不用任何深度学习框架，一起写一个神经网络训练MNIST数据集本文试图让您通过手写一个简单的demo来讨论1.导包importnumpyasnpimportstructimportrandomimportmatplotlib.pyplotaspltimportpandasaspdimportmath2.加载label,images由于下载的数据集是二进制文件，这里用s

狗蛋Predy·2022-12-27 16:22

推荐频道

深度学习基础