limu深度学习笔记

吴恩达深度学习笔记(29)-神经网络训练的方差和偏差分析

这一节我们学习在神经网络学习训练时出现的结果进行分析，偏差和方差的表现和优化，仔细看好咯~偏差，方差（Bias/Variance）几乎所有机器学习从业人员都期望深刻理解偏差和方差，这两个概念易学难精，即使你自己认为已经理解了偏差和方差的基本概念，却总有一些意想不到的新东西出现。关于深度学习的误差问题，另一个趋势是对偏差和方差的权衡研究甚浅，你可能听说过这两个概念，但深度学习的误差很少权衡二者，我们
极客Array·2020-08-14 16:12

深度学习笔记 Day2 python基础知识系列

这里写自定义目录标题链式赋值-系列解包赋值-常量1.链式赋值2.系列解包赋值3.常量最基本内置数据类型介绍1.整型2.浮点型3.布尔型4.字符串型基本算数运算1.数字2.整数3.浮点数4.时间的表示5.布尔值6.字符串字符串驻留机制和字符串比较1.字符串驻留2.字符串比较和同一性3.成员操作符字符串常用方法汇总1.常用查找方法2.去除首尾信息3.大小写转换4.格式排版5.其他方法字符串的格式化1.
ω@·2020-08-14 15:09

深度学习笔记 Day7 python基础知识系列（仅本人自用）

文章目录嵌套函数（内部函数）monlocal关键字LEGB规则面向对象编程面向对象和面向过程区别面向过程（ProcedureOriented）思维面向对象（ObjectOriented）思维面向对象思考方式对象的进化类的定义构造函数__init__()实例属性实例方法函数和方法的区别类对象类属性和类方法静态方法__del__方法（析构函数）和垃圾回收机制__call__方法和可调用对象嵌套函数（内
ω@·2020-08-14 15:09

深度学习笔记 Day4 python基础知识系列（仅本人自用）

Day4字典1.字典元素的访问2.字典元素添加、修改、删除序列解包字典核心底层原理（重要）集合集合创建和删除集合相关操作控制语句选择结构单分支选择结构双分支选择结构多分支选择结构选择结构嵌套循环结构while循环字典字典是“键值对”的无序可变序列，字典中的每个元素都是一个“键值对”，包含：“键对象”和“值对象”。可以通过“键对象”实现快速获取、删除、更新对应的“值对象”。列表中我们通过“下标数字”
ω@·2020-08-14 15:09

深度学习笔记：Deep Residual Networks with Dynamically Weighted Wavelet Coefficients for Fault Diagnosis of

深度学习笔记：DeepResidualNetworkswithDynamicallyWeightedWaveletCoefficientsforFaultDiagnosisofPlanetaryGearboxes
yc_z·2020-08-14 04:13

深度学习笔记二:PAC,PAC白化，ZCA白化

不知道怎么回事，博客误删了。不想再写了，列下提纲。PCAsigma=(x*x')/size(x,2);[u,s,v]=svd(sigma);xRot=zeros(size(x));%YouneedtocomputethisxRot=u'*x;%以下降维xHat=zeros(size(x));%Youneedtocomputethisuk=u(:,1:k);xHat=uk*(uk'*x);PCA白化
丁香留心·2020-08-13 23:15

深度学习笔记（12）：为什么不能将神经网络的初始权值设置成全0值

前言快一周没写博客了，遗忘的真主快要降临了吧，我也得做些什么了。今天重温了一下神经网络的细节，本篇文章主要从初始化的权重矩阵www和bbb进行探讨，讨论分析一下为什么不能设置成全0.希望以后不会忘记这一块哈。（我承认因为资料已经很多了，我写这些对大家也不一定有很大的益处…渡己难奥。最起码算是自己能加深记忆吧）对于logstic函数为什么权重矩阵可以初始化为0对于logistic回归函数，我们在反向
良夜星光·2020-08-13 22:08

【深度学习笔记2.2.3】AlexNet训练17flowers

概述本文介绍使用AlexNet做17flowers的分类任务，代码参考文献[1]，数据集17flowers来自文献[2]，预训练模型bvlc_alexnet.npy来自文献[4]。实验1：finetune最后一个全连接层调参实验总结如下：初始学习率不能大于0.0001，否则训练loss将会是nan；如果learning_rate_init=0.0001，train_layers=[‘fc7’,‘f
取取经·2020-08-13 19:15

【深度学习笔记1.1】人工神经网络（内含模型保存与恢复介绍）

线性阈值单元线性阈值单元（LTU）：输入和输出是数字（而不是二进制开/关值），并且每个输入连接都与权重相连。LTU计算其输入的加权和（z=W1×1+W2×2+…++WN×n=Wt·x），然后将阶跃函数应用于该和，并输出结果：HW(x)=STEP(Z)=STEP(W^T·x)[1]。单一的LTU可被用作简单线性二元分类[2]。代码示例1sklearn提供了一个感知器类，它实现了一个LTU网络[2]。
取取经·2020-08-13 19:14

深度学习笔记-14.各种优化器Optimizer的总结与比较

转载自：机器学习：各种优化器Optimizer的总结与比较，我觉得单纯的看印象可能不太深，所以采用边看边手动记录一遍的方式以加深印象！里面的公式自己又手动敲了一遍。目录一、优化器的作用：二、各种优化器介绍2.1梯度下降法(GradientDescent)2.1.1标准梯度下降法(GD)2.1.2.批量梯度下降法(BGD)2.1.3随机梯度下降法(SGD)2.2动量优化法2.2.1Momentum2
业余狙击手19·2020-08-13 19:01

SSD源码解析4-损失函数（理论+源码）

SSD源码解析1-整体结构和框架SSD源码解析2-input_pipeline()SSD源码解析3-ssd_model_fn()SSD源码解析4-损失函数（理论+源码）参考文章：博客园：深度学习笔记（七
业余狙击手19·2020-08-13 19:01

深度学习笔记（四）：常用优化算法分析比较及使用策略（SGD、SGDM、SGD with Nesterov Acceleration、AdaGrad、AdaDelta、Adam、Nadam）

文章目录一、一个框架回顾优化算法1、SGD算法：评价：2、SGDM(SGDwithMomentum)算法：评价：3、SGDwithNesterovAcceleration4、AdaGrad5、AdaDelta/RMSProp6、Adam7、Nadam二、关于Adam的分析1、Adam存在的问题一：可能不收敛2、Adam存在的问题二：可能错过全局最优解3、到底该用Adam还是SGD？三、优化算法的选
呆呆象呆呆·2020-08-13 17:52

深度学习笔记1——卷积神经网络概述

目录1.卷积神经网络特点概述2.卷积神经网络在图像任务方面的优势概述3.传统神经网络的缺点3.1.庞大的参数3.2.丢失像素间的信息3.3.制约网络深度的发展4.卷积神经网络的三大核心思想4.1.局部感知4.2.权值共享4.3.下采样技术5.可视化手写字体的网络特征5.1.LeNet5的训练5.2.可视化特征向量5.3.获取最好的保存的模型5.4.获取特征的输出1.卷积神经网络特点概述卷积神经网络
ChaucerG·2020-08-13 16:16

深度学习笔记——pytorch的使用（上）

聊到深度学习,大家第一感觉就是很高大上。就像我们曾经说到机器学习，很多人也是感觉很高大上，但是慢慢接触之后，发现其无非是数学+编程实现，所以从线性回归开始，不断学习，把各种机器学习方法都学习了一遍，并能够通过Python的sklearn库编程实现。有很多朋友和我聊到学习深度学习这个事情，我会推荐他们去看一些相关理论算法，从CNN、RNN到LSTM，从各种传统的深度学习网络结构到比较新的网络结构。在
Code进阶狼人·2020-08-13 15:37

pytorch深度学习笔记3

1、批量归一化（BatchNormalization）对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化位置：全连接层中的仿射变换和激活函数之间。全连接：批量归一化：这⾥ϵ
cencen_binbin·2020-08-13 13:10

深度学习笔记(8.DNN优化算法)

前言DNN中引入mini_batch方法，学习了gd、momentum、RMSprop和Adam优化算法。在原DNN实现（包括正则化）中，添加优化算法。程序地址：https://github.com/ConstellationBJUT/Coursera-DL-Study-Notes公式公式和程序对比在前一篇文章中已经写到，公式和程序基本一样。https://blog.csdn.net/bjjoy2
迷茫猿小明·2020-08-13 13:58

吴恩达深度学习笔记（五） —— 优化算法：Mini-Batch GD、Momentum、RMSprop、Adam、学习率衰减...

主要内容：一.Mini-BatchGradientdescent二.Momentum四.RMSprop五.Adam六.优化算法性能比较七.学习率衰减一.Mini-BatchGradientdescent1.一般地，有三种梯度下降算法：1）（Batch）GradientDescent，即我们平常所用的。它在每次求梯度的时候用上所有数据集，此种方式适合用在数据集规模不大的情况下。X=data_inpu
alince20008·2020-08-13 13:04

吴恩达深度学习笔记（十一）—— dropout正则化

主要内容：一、dropout正则化的思想二、dropout算法流程三、dropout的优缺点一、dropout正则化的思想在神经网络中，dropout是一种“玄学”的正则化方法，以减少过拟合的现象。它的主要思想就是：在训练神经网络的每一轮迭代中，随机地关闭一些神经元，以此降低神经网络的复杂程度：二、dropout算法流程1）对于第k层的结点，选择一个范围在(0,1]的数keep_prob，表明每一
alince20008·2020-08-13 13:04

吴恩达深度学习笔记（九） —— FaceNet

主要内容：一.FaceNet人脸识别简介二.使用神经网络对人脸进行编码三.代价函数tripleloss四.人脸库五.人脸认证与人脸识别一.FaceNet简介1.FaceNet是一个深层神经网络，它将人脸编码成一个含有128个数的向量。通过比较两张人脸编码后的向量，可以判定两张人脸是否属于同一个人。2.FaceNet的代价函数叫做“tripletlossfunction”，就是在训练的时候，一条训练
alince20008·2020-08-13 13:04

AI Studio 飞桨 零基础入门深度学习笔记2-基于Python编写完成房价预测任务的神经网络模型

AIStudio飞桨零基础入门深度学习笔记2-基于Python编写完成房价预测任务的神经网络模型波士顿房价预测任务线性回归模型线性回归模型的神经网络结构构建波士顿房价预测任务的神经网络模型1数据处理1.1
mejs·2020-08-12 14:31

深度学习笔记（五）用Torch实现RNN来制作一个神经网络计时器

本节代码地址https://github.com/vic-w/torch-practice/tree/master/rnn-timer现在终于到了激动人心的时刻了。我最初选用Torch的目的就是为了学习RNN。RNN全称RecurrentNeuralNetwork（递归神经网络），是通过在网络中增加回路而使其具有记忆功能。对自然语言处理，图像识别等方面都有深远影响。这次我们要用RNN实现一个神经网
山猫小队长·2020-08-12 12:04

李宏毅深度学习笔记（十三）LSTM（长短期记忆网络）

1.结构2.计算例1：假设x1x_1x1，x2x_2x2，x3x_3x3均为输入，当x2=1x_2=1x2=1的时候将x1x_1x1加入记忆单元，当x2=−1x_2=-1x2=−1时将将记忆单元清空，当x3=1x_3=1x3=1的时候输出记忆单元里面的数值。根据规则，最开始记忆单元里面存储的是0，当输入x1=1x_1=1x1=1时因为x2=0x_2=0x2=0，x3=0x_3=0x3=0所以记忆单
comli_cn·2020-08-11 03:24

学习日记2

算法方向的书，一本pythonML方向的书O(∩_∩)O~~2019-07月★★★★★《cs231n》~（）★★★★★《算法竞赛进阶指南》~（）★★★☆☆《算法之美》~（）★★★☆☆《deeplearning深度学习笔记
weixin_30505485·2020-08-10 22:21

深度学习笔记

机器学习（MachineLearning）定义：是对研究问题进行模型假设，利用计算机从训练数据中学习得到模型参数。并最终对数据进行预测和分析的一门学科。二分类问题的基本解决思路：（1）建立假设模型（可理解为函数）。即建立一条直线，表达式为y=f(x)=W1x+W0。则通过确定模型参数W1与W0的取值，就可以确定函数的具体位置。（2）训练模型。利用已明确分类结果的样本数据集（称为训练集）进行训练，即
沈奕阳·2020-08-10 21:57

深度学习笔记三：反向传播（backpropagation）算法

接上一篇的最后，我们要训练多层网络的时候，最后关键的部分就是求梯度啦。纯数学方法几乎是不可能的，那么反向传播算法就是用来求梯度的，用了一个很巧妙的方法。反向传播算法应该是神经网络最基本最需要弄懂的方法了，要是反向传播方法不懂，后面基本上进行不下去。非常推荐的是Howthebackpropagationalgorithmworks在最开始的博客中提过，这本书是这篇笔记用到的教材之一，这节反向传播也是
谢小小XH·2020-08-10 11:45

深度学习笔记（二十五）DenseBox & FCOS & PolarMask

0.paper&codeDenseBoxpaper:DenseBox:UnifyingLandmarkLocalizationwithEndtoEndObjectDetectioncode:Caffe、PyTorchFCOSpaper:FCOS:FullyConvolutionalOne-StageObjectDetectioncode:FCOSPolarMaskpaper:PolarMask:S
xuanyuyt·2020-08-09 23:00

深度学习笔记——卷积神经网络的入门与介绍

1.前言CNN功能的总体概述:我们希望电脑能够区分所有的图像，并找出且能识别实际案例（如：识别狗狗或识别小猫）的独特功能。当我们看一只狗的照片时，如果图片具有可识别的特征，例如爪子或四条腿，我们可以对其进行分类。以类似的方式，计算机能够通过寻找诸如边缘和曲线的低级特征，然后通过一系列卷积层来构建更抽象的概念来执行图像分类。举个形象的例子，计算机通过图像得出了的独特特征有：翅膀等，那么很容易我们就可
_kimcho·2020-08-09 01:28

深度学习笔记（十 一）---分类与回归评价指标

目录1、概念1.1、前提2、评价指标（性能度量）2.1、分类评价指标2.1.1值指标-Accuracy、Precision、Recall、F值2.1.2相关曲线-P-R曲线、ROC曲线及AUC值2.2、回归评价指标2.2.1可释方差得分2.2.2平均绝对误差MAE（Meanabsoluteerror）2.2.3均方差MSE（Meansquarederror）2.2.4logistics回归损失2.
Jayden yang·2020-08-08 20:58

35 Oracle深度学习笔记 关于dbms shared pool MARKHOT

35.Oracle深度学习笔记——关于dbms_shared_pool.MARKHOT欢迎转载，转载请标明出处：http://blog.csdn.net/notbaron/article/details
不靠傻空·2020-08-08 00:52

深度学习笔记_卷积神经网络基本概念

卷积神经网络(CNN)典型结构CNN各层作用简介卷积层和采样层(convolutionsandsubsamplinglayers)类似于特征提取全连接层(fullyconnectedlayer)根据提取的特征进行分类池化层(Poolinglayer)作用:首要作用，下采样（downsamping）降维、去除冗余信息、对特征进行压缩、简化网络复杂度、减少计算量、减少内存消耗等等。各种说辞吧，总的理解
skyjhyp11·2020-08-08 00:06

深度学习笔记_术语/缩写/基本概念

各种误差：RMSE、MSE、MAE、SDRMSE（RootMeanSquareError）均方根误差衡量观测值与真实值之间的偏差。常用来作为机器学习模型预测结果衡量的标准。MSE（MeanSquareError）均方误差MSE是真实值与预测值的差值的平方然后求和平均。通过平方的形式便于求导，所以常被用作线性回归的损失函数。MAE（MeanAbsoluteError）平均绝对误差是绝对误差的平均值。
skyjhyp11·2020-08-08 00:35

35 Oracle深度学习笔记——关于dbms shared pool MARKHOT

35.Oracle深度学习笔记——关于dbms_shared_pool.MARKHOT欢迎转载，转载请标明出处：http://blog.csdn.net/notbaron/article/details
墨绿色的妻子·2020-08-08 00:15

35.Oracle深度学习笔记——关于dbms_shared_pool. MARKHOT

35.Oracle深度学习笔记——关于dbms_shared_pool.MARKHOT欢迎转载，转载请标明出处：http://blog.csdn.net/notbaron/article/details
badman250·2020-08-08 00:28

32.Oracle深度学习笔记——LogMiner使用

32.Oracle深度学习笔记——LogMiner使用欢迎转载，转载请标明出处：http://blog.csdn.net/notbaron/article/details/50831854LogMiner
badman250·2020-08-08 00:28

7.Oracle深度学习笔记——内存架构之SGA IM Column Store

7.Oracle深度学习笔记——内存架构之SGAIMColumnStore欢迎转载，转载请标明出处：http://blog.csdn.net/notbaron/article/details/50597341
badman250·2020-08-08 00:28

深度学习笔记1：利用numpy从零搭建一个神经网络

很多人说深度学习就是个黑箱子，把图像预处理之后丢进tensorflow就能出来预测结果，简单有效又省时省力。但正如我在上一篇推送中所说，如果你已是一名功力纯厚的深度学习工程师，这么做当然没问题。但我想大多数人也和我一样，都是走在学习深度学习的路上，一上来就上框架并没有什么特别不妥之处，但总归是对你理解深度学习的黑箱机制是了无裨益的。所以，我建议在学习深度学习的路上，从最简单的感知机开始写起，一步一
louwill12·2020-08-04 20:45

【深度学习笔记】循环神经网络和递归神经网络区别

1.循环神经网络(recurrentneuralnetwork)是时间上的展开,处理的是序列结构的信息,是有环图,模型结构如下:recurrent:时间维度的展开,代表信息在时间维度从前往后的的传递和积累…2.递归神经网络(recursiveneuralnetwork)递归神经网络是空间上的展开,处理的是树状结构的信息,是无环图,模型结构如下:recursive:空间维度的展开,是一个树结构.
Murphy.AI·2020-08-04 16:36

吴恩达深度学习笔记(105)-人脸识别之面部验证与二分类

https://www.toutiao.com/a6652895489354105351/面部验证与二分类（Faceverificationandbinaryclassification）Tripletloss是一个学习人脸识别卷积网络参数的好方法，还有其他学习参数的方法，让我们看看如何将人脸识别当成一个二分类问题。另一个训练神经网络的方法是选取一对神经网络，选取Siamese网络，使其同时计算这
喜欢打酱油的老鸟·2020-08-04 06:32

深度学习笔记：稀疏自编码器（3）——稀疏自编码算法

  有了神经网络和反向传播的基础，我们就可以将其应用到稀疏自编码器中了。稀疏自编码器属于非监督学习，主要通过尝试学习一个hW,b(x)≈x的函数，来提取输入值x中的特征。0.本文中使用的符号  本文中使用的符号大体与上一篇文章相同，在此仅列出一些新增加的符号和需要注意的符号符号描述m样本总数a(2)j第2层第j个神经元的激活度a(2)j(x)在给定输入值为x的情况下，第2层第j个神经元的激活度ρj
aaronwu2·2020-08-04 03:20

【深度学习笔记】python图像特征提取

这里使用的是python3.6、opencv_python-3.4.0+contrib，特征提取的代码如下：importcv2img=cv2.imread("feature.jpg")img=cv2.resize(img,(136*3,76*3))cv2.imshow("original",img)gray=cv2.cvtColor(img,cv2.COLOR_RGB2GRAY)#使用SIFTsi
Li xiang007·2020-08-03 08:12

2020-2-4 深度学习笔记6 - 深度前馈网络1（XOR实现）

第六章深度前馈网络1（XOR实现）官网深度前馈网络，也叫作前馈神经网络或者多层感知机，是典型的深度学习模型。前馈网络的目标是近似某个函数f∗f^*f∗。例如，对于分类器，y=f∗(x)y=f^*(x)y=f∗(x)将输入xxx映射到一个类别yyy。前馈网络定义了一个映射y=f(x;θ)y=f(x;\theta)y=f(x;θ)，并且学习参数θ\thetaθ的值，使它能够得到最佳的函数近似。解释一下
没人不认识我·2020-08-03 07:36

深度学习笔记（十二）---One-hot编码

在学习语义分割过程中，最后的逐像素分类网络中，对像素进行分类时使用了one-hot编码，这也是现分类任务中常用的一种分类方式。那么什么是one-hot编码呢？为什么使用One-hot呢？One-hot编码：称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射
Jayden yang·2020-08-03 03:11

深度学习笔记（十）---RNN时间序列详解

目录1.摘要（Abstract）：2.网络结构(Method)2.1RNN2.2RNN的变体2.2.1双向RNN2.2.2深层双向RNN2.3LSTM2.3.1LSTM内部结构详解2.4GRU3.实验分析以及代码实现(Experiments)4.结论(Coclusion)5.参考文献1.摘要（Abstract）：RNN的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，
Jayden yang·2020-08-03 03:11

吴恩达深度学习笔记(55)-Softmax 回归（Softmax regression）

Softmax回归（Softmaxregression）到目前为止，我们讲到过的分类的例子都使用了二分分类，这种分类只有两种可能的标记0或1，这是一只猫或者不是一只猫，如果我们有多种可能的类型的话呢？有一种logistic回归的一般形式，叫做Softmax回归，能让你在试图识别某一分类时做出预测，或者说是多种分类中的一个，不只是识别两个分类，我们来一起看一下。假设你不单需要识别猫，而是想识别猫，狗
极客Array·2020-08-02 15:59

深度学习笔记（二）——感知器·补充知识点（算法概念）

文章目录线性可分与线性不可分问题step激活函数sigmoid激活函数误差修正学习法误差反向传播算法梯度下降法（最值下降）误差反向传播算法简提QQ:3020889729小蔡线性可分与线性不可分问题线性可分问题线性不可分问题step激活函数对应一般表达式：即，输入对应的输出要么是0，要么是1。sigmoid激活函数sigmoid激活函数f(u)=11+e−uf\left(u\right)=\frac
NULL not error·2020-08-02 14:00

深度学习笔记

目录什么是深度学习简介释义深度学习典型模型卷积神经网络模型深度信任网络模型堆栈自编码网络模型深度学习框架TensorflowCaffeMicrosoftCognitiveToolkit/CNTK火炬/PyTorchMXNet深度神经网络的模块1.深度神经网络的基本零件1.1常用层：1.2卷积层1.3.池化层1.4.正则化层1.5.反卷积层2.深度神经网络的上下游结构2.2.输入模块2.3凸优化模块
风中少年01·2020-08-02 13:36

动手学深度学习笔记day1：线性回归模型、softmax分类模型、多层感知机

目录线性回归模型1.模型2.数据集3.损失函数4.优化函数softmax与分类模型1.分类问题2.softmax运算符3.矢量运算表达式4.交叉熵损失函数多层感知机模型1.隐藏层2.表达公式3.激活函数3.1ReLU函数3.2Sigmoid函数线性回归模型1.模型以房价预测模型为例进行线性回归模型的讲解，假设影响房价的因素为房屋面积（平方米）和房屋年龄（年），这两个因素与房价之间为线性关系：2.数
Hhhana·2020-08-02 12:17

深度学习笔记二：卷积神经网络（CNN）

卷积神经网络CNN1.绪论1.卷积神经网络的应用基本应用：分类、检索、检测、分割2.传统神经网络VS卷积神经网络深度学习三部曲：放一个知乎上写的辅助理解CNN的文章：https://zhuanlan.zhihu.com/p/27908027Step1.搭建神经网络Step2.找到一个合适的损失函数（交叉熵损失、均方误差等）softmax给定W，可以由像素映射到类目得分。损失函数是用来衡量吻合度的，
脂环·2020-08-01 21:00

深度学习笔记（四）：梯度下降法与局部最优解

在深度学习过程中，避免不了使用梯度下降算法。但是对于“非凸问题”，训练得到的结果往往可能陷入局部极小值，而非全局最优解。那么这里就以Himmelblau函数为例，探究待优化参数的初始值对梯度下降方向的影响，从而得到不同的局部极小值。首先介绍一下Himmelblau函数：下图为Himmelblau函数的等高线，大致可以看出，它共有4个局部极小值点，并且局部极小值都是0，所以这4个局部极小值也是全局最
AI 菌·2020-08-01 06:00

深度学习笔记（7）：几种常见的激活函数介绍，以及为什么必须要使用非线性函数作为激活函数

当前主流的激活函数主要有四种ReLU线性整流函数（RectifiedLinearUnit,ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activationfunction），通常指代以斜坡函数及其变种为代表的非线性函数。很显然，在正区域内，斜率为1，在负区域内，斜率为0，在零处，（发生概率极小），自行定义即可。提出ReLU那篇论文，我记得是在11年发表的，号称是人工智能再度兴
良夜星光·2020-08-01 05:45
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他