一只懒猪猪

第五章：深度生成模型

➢Part One.深度生成模型概述

➢Part Two.Hopfield神经网络

➢一、神经网络的分类

➢二、Hopfiled神经网络

➢1.Hopfield神经网络优点

➢2.Hopfield神经网络计算

➢3.基于Hebb学习的参数训练

➢Part Three.玻尔兹曼机和受限的波尔兹曼机

➢一、玻尔兹曼机

➢1.玻尔兹曼机概述

➢ 2.玻尔兹曼机中的模拟退火算法

➢ 3.玻尔兹曼机的训练过程

➢二、受限玻尔兹曼机

➢1.受限玻尔兹曼机概述

➢2.受限玻尔兹曼机中的对比散度算法

➢ Part Four.深度玻尔兹曼机和深度信念网络

➢ 一、深度波尔兹曼机

➢ 二、深度信念网络

➢ Part Five.自编码器及其变种

➢ 一、自编码器

➢ 1.自编码器的概述

➢ 2.自编码器的训练

➢ 二、降噪自编码器

➢ 1.降噪自编码器的概述

➢ 三、稀疏自编码器

➢ 1.稀疏自编码器的概述

➢ 2.稀疏自编码器的训练

➢ 四、栈式自编码器

➢ 1.栈式自编码器的概述

➢ 2.栈式自编码器的训练

➢ 3.栈式自编码器在训练中的应用

➢ Part Six.中英文术语对照

➢Part One.深度生成模型概述

深度生成模型从整体上来说，是以某种方式寻找某种数据的概率分布，深度生成模型可以基于有向图或者无向图的形式来生成深层次的概率分布

常见的深度生成模型的结构图如下：深度玻尔兹曼机和深度信念网络都是以受限的玻尔兹曼机为基本单元，区别就是深度信念网络的最高层的两层是无向图的连接，下面的两层是采用有向图的连接；深度自编码网络可以看做由深度信念网络来进一步构成，它可以被认为和栈式自编码器是一种东西，他们都是通过信念网络的结构和形式(自编码器和自解码器这样的两个信念网络的连接)连接

如果自编码器的输入是带有噪声的，那么自编码器会提取出这些输入的数据中比较稳定的特征(这部分生成的特征我们是不需要带有标签的)，并通过解码器重构出没有噪声的原始的信号，这个就可以看做是去躁的自编码器网络

下面这个是我们最常见的GAN网络，GAN网络是过去的十年中最有趣的发明，GAN引入了博弈论的思想，由生成网络和判别网络组成，生成网络不断的生成符合某种概率的数据，判别网络进行判别，直到判别网络判别不出生成网络中的是真实的数据还是生成的数据的时候，整个GAN就达到一种稳定的状态，生成网络是一个无监督的过程，不需要提供带有标签的训练数据，生成网络可以帮助我们生成很多特征

➢Part Two.Hopfield神经网络

➢一、神经网络的分类

多层神经网络：模式识别

相互连接型网络：通过联想记忆去除数据中的噪声

例如左图前馈型的多层神经网络，可以用于模式识别和回归等任务；例如中间的图，每个神经元节点与其他的神经元节点之间都是相互连接的，这样看不出来连接的层次，中间的图还可以展开成右图的形式，节点A既是其他节点的输入，也是当前节点的输出，其他节点也是相同的，这就是一种相互连接的神经网络

➢二、Hopfiled神经网络

Hopfield神经网络是最典型的相互连接型网络

➢1.Hopfield神经网络优点

单元之间的连接权重对称（ $w_{ij}$ = $w_{ji}$ ），因为采用的是无向图的连接方式

每个单元没有到自身的连接（ $w_{ii}=0$ ）

Hopfiled神经网络在 t 时刻的状态间接的和他 t-1 时刻的状态是有关的，因为不同单元都有连接

单元的状态采用随机异步更新方式，每次只有一个单元改变/更新状态

个二值单元做成的二值神经网络，每个单元的输出只能是0或1的两个值

Hopfiled的网络是把训练数据的信息存储到权重上，这个可以看做是联想记忆的形式，这个就跟人类大脑记忆信息的形式是一样的。例如我们看到香蕉就会想到黄色，看到苹果就会想到红色，这就是联想记忆的形式

联想记忆就是当输入模式为某种状态时，输出端要给出与之相应的输出模式。如果输入模式与输出模式一致，称为自联想记忆，否则称为异联想记忆

➢2.Hopfield神经网络计算

假设有个单元组成的Hopfield神经网络，第个单元在时刻的输入记作 $u_{i}(t)$ ，输出记作 $x_{i}(t)$ ，神经单元和之间的连接权重为 $w_{ij}$ ，阈值为 $b_{i}(t)$ ，则时刻单元的输出 $x_{i}(t+1)$ 可表示为:

如果输入 $u_{i}(t)> 0$ ，则表示其他神经元加权之后是超过这个阈值 $b_{i}(t)$ 的，则该神经元被激活，所以下一时刻的输出状态值为1；

如果输入 $u_{i}(t)< 0$ ，则表示其他神经元加权之后是没超过这个阈值 $b_{i}(t)$ 的，则该神经元没被激活，所以下一时刻的输出状态值为0；

如果输入 $u_{i}(t)=0$ ，则表示其他神经元加权之后是等于这个阈值 $b_{i}(t)$ 的，则该神经元状态不变，所以下一时刻的输出状态值 $x_{i}(t+1)=x_{i}(t)$ ；

注意我们阈值一般是用减号，而偏置才是加号

在Hopfield神经网络中，每个时刻都只有一个随机选择的单元会发生状态变化

对于一个由n个单元组成的网络，如果要完成全部单元的状态变化，至少需要n个时刻

单元的状态变化会一直进行下去，直到网络达到稳定状态。各单元的最终状态就是输出模式

那么怎么才算是网络达到稳定的状态呢？

这个我们就可以看做是应用Hopfiled神经网络或者说是进行测试的时候，比如，我们有一个测试样本，我们想看一下Hopfiled神经网络把它识别成什么了或者记住他是什么了没有，那这个时候和其他的网络一样，我们都需要先确定连接权重，因为连接权重确定了以后这个网络才是一个有意义的网络

根据输入模式联想输出模式时，需要事先确定连接权重，而连接权重要对输入模式的训练样本进行训练后才能确定

和多层神经网络一样，一次训练并不能确定连接权重，而是要不断重复这个过程，直到满足终止判断条件，而这个指标就是Hopfield神经网络的能量函数 ( 公式如下)，当输入模式与输出模式一致时，能量函数的结果是0

Hopfield神经网络的能量函数的特点

根据前面定义的状态变化规则( 即：Hopfield神经网络的计算 )改变网络状态时，上式中定义的能量函数总是非递增的，即随时间的不断增加而逐渐减小，直到网络达到稳定状态为止。为什么是非递增的呢？我们可以进行简单的推导。能量函数是所有神经元构成的能量函数，所以，我们可以把能量函数分解成两部分：单元的能量函数和以外的单元的能量函数

第一步：首先把最外层的最为index，根据把神经元分为神经元和以外的神经元的能量函数。把能量函数中的第一项： $- \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} w_{ij}x_{i}x_{j}$ 分解成两项和 $i\neq k$ ；第二项： $\sum_{i=1}^{n} b_{i}x_{i}$ 也分解成两项和 $i\neq k$

第二步：下一步我们把index 所处的神经元也是分成和 $j\neq k$ 两部分

第三步：去掉括号

第四步：我们根据Hopfiled网络发现，神经元是与自身没有连接的， $w_{kk}=0$ ，即： $w_{kk}x_{k}^{2}=0$

这些神经元每一次都是随机有一个神经元的状态更新，其他的神经元的状态都是保持不变的，我们要更新的神经元是第个神经元，那么这个时候能量的变化就是从时刻到时刻，只有这个神经元在发生变化，其他的是不变的。

$\sum_{j\neq k}^{n}w_{kj}x_{j}$ 和 $\sum_{i\neq k}^{n}w_{ik}x_{i}$ 其实表达的是一个意思， $\sum_{j\neq k}^{n}w_{kj}x_{j}$ 表示其他所有神经元到这个神经元上连接的一个关系， $\sum_{i\neq k}^{n}w_{ik}x_{i}$ 也表示其他所有神经元到这个神经元上连接的一个关系，也就是说把 $\sum_{i\neq k}^{n}w_{ik}x_{i}$ 中的 $i\neq k$ 中的下标换成即可，再利用单元之间的连接权重对称性，知道 $\sum_{j\neq k}^{n}w_{kj}x_{j}$ $= \sum_{i\neq k}^{n}w_{ik}x_{i}$ 。所以当第个神经元发生状态改变的时候，能量函数的变化就是 $-u_{k}$ 乘以这个第个神经元状态改变量。

下面我们对第个神经元状态的变化量进行分类讨论：

当∆ $x_{k}$ > 0时， $x_{k}$ 从  到  由0变成1，前提是保证 $u_{k}(t)> 0$ ，神经元被激活，此时 $\Delta E_{k}< 0$ ，也就是能量在减小

当∆ $x_{k}$ < 0时， $x_{k}$ 从到  由1变成0，前提是保证 $u_{k}(t)< 0$ ，神经元被抑制，此时 $\Delta E_{k}< 0$ ，也就是能量在减小

当∆ $x_{k}$ = 0时， $x_{k}$ 从  到状态不变

综上：是非递增的！

注意不同的教材上的区别

➢3.基于Hebb学习的参数训练

Hebb学习规则是Donald Hebb在1949年提出的一种学习规则，用来描述神经元的行为是如何影响神经元之间的连接的，通俗的说，就是如果相连接的两个神经元同时被激活，显然我们可以认为这两个神经元之间的关系应该比较近，因此将这两个神经元之间连接的权值增加，而一个被激活一个被抑制，显然两者间的权值应该减小。我们把权重写成这样的形式： $w_{ij}=x_{i}x_{j}$ 。此时网络如果要记忆P个模式，那么 $w_{ij}=\frac{1}{p}\sum_{s=1}^{p}x_{i}^{s}x_{j}^{s}$ ，是训练样本的index， $s_{1}$ 表示样本1， $s_{p}$ 表示样本，和相当于模式，例如我们的输入样本有好几个维度，比如说输入是 $5\times 5$ 的图像块 $x_{1}^{5}x_{2}^{5}$ ，这样就相当于有25个神经元，这样的话，我们的权重 $w_{ij}$ 就会记住要训练的模式，由于每次只更新一个神经元的状态，所以我们需要好多步才能使得这个网络达到稳定的状态，所以这里的权重 $w_{ij}$ 也是在不断的变化，以此达到稳定。

达到稳定就是训练好了，训练好了以后，权重 $w_{ij}$ 就会把的训练样本的模式记住，这个时候我们就可以进行测试。使用训练样本(a)进行训练，这个时候网络记住了我们训练样本(a)的模式，当我们使用测试样本(b)进行测试时，我们发现，网络能够正确的输出，虽然测试样本中的4和训练样本中的4差异较大，但是网络的拟合能力也是很不错的。这个过程实际上是对测试样本具有一定程度的识别和去躁。

当需要记忆的模式之间的较为相似，或者需要记忆的模式太多时，Hopfield神经网络就不能正确地辨别模式。这种相互干扰、不能准确记忆的情况称为串扰(crosstalk)

Hopfield神经网络能够记忆的模式数量有限，大约是网络单元数的15%左右，为了防止串扰，可以采用先把模式正交化再进行记忆等方法。正交化可以避免模式之间的相似性，例如神经网络有个单元的话，他应该可以包含 $2^{n}$ 种模式，也就是记住 $2^{n}$ 种模式，但是这么多的模式他记不住，只能够记住15%。但是正交化方法并不能完全解决问题，而接下来讲到的玻尔兹曼机可以解决这一问题。

➢Part Three.玻尔兹曼机和受限的波尔兹曼机

➢一、玻尔兹曼机

➢1.玻尔兹曼机概述

❑玻尔兹曼机也是相互连接型网络。玻尔兹曼机和Hopfield神经网络很相似，但是Hopfield神经网络如果发生串扰或陷入局部最优解的话，Hopfield神经网络就不能正确的辨别模式。而玻尔兹曼机则可以通过让每个单元按照一定的概率分布发生状态变化，来避免陷入局部最优解

❑玻尔兹曼机保持了Hopfield神经网络的假设：权重对称；自身无连接；二值输出

❑玻尔兹曼机的输出是按照某种概率分布决定的

(>0)表示温度系数，当趋近于无穷时，无论 $u_{i}$ 取值如何，下一时刻的状态 $x_{i}$ 等于1 或 0 的概率都是1/2，这种状态称为稳定状态。k是玻尔兹曼常数，是一个能量变化的函数，和 $x_{i}$ 没有关系。

下面是概率曲线随着温度的变化情况：当T越来越大的时候，基本上趋于均匀分布，概率为 $\frac{1}{2}$ ；当T越来越小的时候，曲线在0附近变得越来越陡。

➢ 2.玻尔兹曼机中的模拟退火算法

玻尔兹曼机选择模拟退火算法进行求解，可以先采用较大的温度系数及进行粗调，然后逐渐减小温度系数进行微调。温度系数越大，跳出局部最优解的概率越高，因为他的概率就在 $\frac{1}{2}$ 附近，相当于输出是1或者输出是0的随机性比较大，所以跳出局部最优解的概率就会大一些。但是温度系数增大时，获得能量函数极小值的概率就会降低；反之，温度系数减小时，虽然获得能量函数极小值的概率增加了，但是玻尔兹曼机需要经历较长时间才能达到稳定状态。（疑问：能量函数极小值的概率增加怎么就增加了？？？？？）

模拟退火是一种贪心算法，但是它的搜索过程引入了随机因素,以一定的概率来接受一个比当前解要差的解，因此有可能会跳出这个局部的最优解，达到全局的最优解, 而且这个概率随着时间推移逐渐降低(逐渐降低才能趋向稳定)

例如我们要求一条曲线的最大值。求最小值的时候，我们是沿着梯度的负方向进行求解，求最大值的时候我们就是沿着梯度的正方向找这个最大值，也就是爬山算法。首先我们达到了C这个点，然后我们到达了A这个局部最优解，这个时候，他就跳不出这个局部最优解(因为A附近周围的任何一个值，都没有A大)，他觉得在这就是稳定了，此时我们希望A能够以一定的概率接受一个当前情况下，比A自身次的点，使得其能够跳出这样的局部最优解A。比如我们当前找的是D，我们就有可能跳出这个局部最优解，因为我们在D附近再找的时候，就会慢慢的接近B这个点，所以说模拟退火算法不一定百分之百能够保证你得到一个全局最优解，他是说具有一定的概率跳出这个局部最优解从而找到一个更好的解，降低陷入局部最优解得可能性。

➢ 3.玻尔兹曼机的训练过程

玻尔兹曼机的训练过程

– 1. 训练准备：初始化连接权重 $w_{ij}$ 和偏置 $b_{i}$ (输入输出的连接关系就是 $\sum_{j=1} w_{ij}x_{j}+b_{i}$ )

– 2. 调整参数

– 2.1 选取一个单元 ,求输入 $u_{i}$ (和Hopfield类似，玻尔兹曼机也是每次随机选择一个单元进行更新，其他的单元不变)

– 2.2 根据 $u_{i}$ 的值，计算输出 $x_{i}$ (和Hopfield不类似，玻尔兹曼机引入了概率，按照某种概率分布来决定它输出是0还是1)

– 2.3 根据输出 $x_{i}$ 和 $x_{j}$ 的值，调整连接权重 $w_{ij}$ 和偏置 $b_{i}$

– 重复步骤 2 ，直到满足终止判断条件

具体而言，当初始化连接权重后，选取一个单元

– 2.1计算单元激活值 $u_{i}$ （这一步和Hopfiled一样）

– 2.2计算 $x_{i}$ 等于 1 或 0 的概率，这个概率还要和随机数进行比较

根据概率 $x_{i}$ 等于1或0的概率，调整 $x_{i}$ 的取值。一般是随机产生一个(0,1)之间的随机数λ，如果p>λ, 确认状态改变，否则不改变。不能将计算所得概率直接作为 $x_{i}$ 的值，而是作为概率来决定 $x_{i}$ 的值

– 2.3调整连接权重 $w_{ij}$ 和偏置 $b_{i}$ , 这里用似然函数(θ)导出调整值，θ 表示所有的连接权重和偏置

$s_{k}$ 代表训练样本，给定参数θ 的情况下，以最大概率出现这个训练样本的情况，就是让(θ )最大。有很多训练样本，所有的样本都要以最大概率出现自身训练样本的情况，所以这些所有训练样本的出现的概率要相乘。训练样本就是我们网络要记住的这个模式

其中，概率分布的定义如下，训练样本S={ $s_{1}$ , $s_{2}$ ,…, $s_{k}$ ,…, $s_{K}$ } ，表示能量函数，(θ)是归一化常数，是对所有的样本的能量函数的求和。能量越小，出现的概率就会越大一些,如果能量是0的话，概率就是 $\frac{1}{Z(\theta )}$

前面连乘的形式不太方便计算，所以我们在似然函数求解的时候把连乘的形式变成求和的形式，求和的形式就是取对数。所以通常，使用对数似然函数求解

当对数似然函数的梯度为0时，就可以得到最大似然估计量，即通过求连接权重 $w_{ij}$ 和偏置 $b_{i}$ 的相关梯度，可以求出调整值。也就是说，求极值点，极值点是梯度等于0的时候（极大值极小值都是），如果求极大值的话，修正的方向是沿着梯度的正方向；求极小值的时候我们就是沿着梯度的负方向，所以我们是可以进行求导调整权重 $w_{ij}$ 和偏置 $b_{i}$ 的

求解困难：似然函数是基于所有单元组合来计算的，所以单元数过多将导致组合数异常庞大，无法进行实时计算。为了解决这个问题，人们提出了一种近似算法，对比散度算法（稍后介绍）

➢二、受限玻尔兹曼机

➢1.受限玻尔兹曼机概述

前面介绍的玻尔兹曼机默认了所有单元都为可见单元，各单元之间是等同地位的，在实际应用上，玻尔兹曼机还可以由可见单元和隐藏单元共同构成，例如下图中h是隐藏单元，v是可见单元。隐藏单元与输入数据没有直接联系，但输入数据会影响可见单元的概率。假设可见单元为可见变量，隐藏单元为隐藏变量 ℎ 。玻尔兹曼机含有隐藏变量时，概率分布仍然与前面计算的结果相同。对玻尔兹曼机的训练困难没有起到任何的作用。

含有隐藏变量的波尔兹曼机训练非常困难，为了让训练变得可行，有人提出了受限玻尔兹曼机

– 由可见层和隐藏层构成，可见层只有可见单元，隐藏层只有隐藏单元

– 层内单元之间无连接，层层之间有连接

– 信息可双向流动，权重对称，自身没有到自己的权重

前面我们定义的玻尔兹曼机的能量函数是：神经元的偏置 $\times$ 该神经元，而我们定义受限玻尔兹曼机的能量函数为:

利用能量函数，可以给出状态(v,h)的联合概率分布，这个和前面的玻尔兹曼机就非常相似了，这里面他是一个联合概率分布，因为它分为隐藏层和可见层，而玻尔兹曼机呢仅表示为神经元，没有区分什么隐藏层和可见层，表示为 $p(u_{i}|\theta )$ 。 $Z_{}\theta$ 是一个归一化向量，这个归一化向量是所有神经元的能量函数的求和

观测数据 $S=\left \{ v^{1}, v^{2}, ...,v^{n_{s}} \right \}$ 的概率分布, 也就是可见层状态变量的概率分布。有 $n_{s}$ 个观测数据， $v^{1}$ 是一个观测数据的样本，其中例如 $v^{1}$ 是 $v^1=\left \{ v_{1}^1,v_{2}^1,v_{3}^1,... \right \}$ 对应的是可见层的神经元。我们在实际中，更关心的是，参数 $\theta$ 取什么值的时候，训练样本的概率最大，所以后面我们会更多的用到 $p(\overrightarrow{v}|\theta )$ 。

类似地，有关于隐藏层状态变量的概率分布

在我们后面推导受限玻尔兹曼机参数更新的时候，我们会用到下面这两个概率分布：

给定可见层上所有神经元的状态时，隐藏层上的第个神经元被激活(即取值为1)的概率

给定隐藏层上所有神经元的状态时，可见层上的第个神经元被激活(即取值为1)的概率

我们把隐藏层神经元的状态分成两部分：第一部分是包含第个神经元；第二部分是不包含第个神经元。不包含第个神经元的其他的所有神经元记为向量的形式 $\overrightarrow{h}_{-k}$ ，这样划分以后，相应的能量也是可以被划分为两部分：第一部分是第个神经元所包含的能量；第二部分是不包含第个神经元的其他的所有神经元所拥有的能量。

能量函数可以表达为：

以推导 $p(h_{k}=1|\overrightarrow{v})$ 为例，紫色圈加入等号仍然相等的原因是受限的玻尔兹曼机规定了同一层内是没有连接的，所以他们是不相关的，所以不加上第个神经元也是没有关系的；下一步的绿色部分是去掉第个隐藏层神经元单元和可见层所有的神经元单元的联合概率分布；绿色部分的概率可以进一步拆分成两部分（相当于全概率公式的拆分）：红色部分和青色部分，在第个神经元上做累加，第个神经元的取值有两种情况0和1，

给定训练样本 $S=\left \{ v^{1}, v^{2}, ...,v^{n_{s}} \right \}$ ，调整参数 θ 训练RBM， $\overrightarrow{v_i}=(v_{1}^i , v_{2}^i ,...,v_{n_{v}}^i)^T$ ， $n_{v}$ 个可见层的神经元单元， $i=1,2,...,n_{s}$ ，这些训练样本是独立同分布的，训练RBM是最大化似然函数

和玻尔兹曼机一样，计算时通常使用对数似然函数：

最大化时就沿着梯度的正方向更新：我们会更新三个参数：w,a,b

梯度求解：由于是求和形式，所以仅以一个样本为例

以上的推导很繁琐复杂，所以改良后的受限玻尔兹曼机依然在计算上存在着问题： $\sum$ ()是所有输入模式的总和，不可避免会产生庞大的算量，要想解决这个问题，可以使用常规蒙特卡罗MCMC采样估计，但算法进行迭代计算求近似解，但即使这样处理，迭代次数也仍然非常多。于是，人们提出了对比散度算法，前面玻尔兹曼机里面，我们也提到了这个算法，我们现在正式介绍。

➢2.受限玻尔兹曼机中的对比散度算法

2002年Hinton提出, MCMC的状态以训练样本为起点，这样只需很少的状态转移就可以得到RBM的分布

对比散度算法的训练过程(和玻尔兹曼机的训练过程是一样的)

– 1. 训练准备：初始化连接权重和偏置

– 2. 调整参数

• 2.1 在可见层 $v^{(0)}$ 设置输入模式（训练样本输入的时候设置训练样本的初值）

• 2.2 调整隐藏层中单元 $h^{(0)}$ 的值（根据 $h^{(0)}$ 的值，再进一步得到可见层的状态的值）

• 2.3根据输出 $x_{i}$ 和 $x_{j}$ 的值，调整连接权重 $w_{ij}$ 、偏置 $a_{i}$ 、偏置 $b_{j}$

– 重复步骤 2 ，直到满足终止判断条件

具体来看：

初始化连接权重和偏置：随机数初始化

调整参数：在可见层设初值 $v^{(0)}$ （根据训练样本设置），根据参数初始值计算隐藏层为状态1的概率：

根据这个概率计算符合二项分布的隐藏层中单元 $h^{(0)} _{j}$ 的状态,其中 $\sigma$ 表示sigmoid函数

图解神经网络教材中例子：我现在有训练样本｛1，0，1，1｝，我们可以把它作为可见层的初值，然后给 $w_{ij}$ 一个随机初始化的值，那么我就可以得到隐藏层神经单元状态的值，也就是可以根据上面的这个公式得到隐藏层神经元状态的概率，根据前面讲的玻尔兹曼机的知识，我们知道这个概率值并不是隐藏层神经元状态的值，而是需要和一个随机的值Random进行比较，大于这个概率值的时候，就把这个神经元的状态置为1，反之置为0。

进一步，根据隐藏层的状态，计算在可见层各单元状态为1的概率。因为我们得到 $h^{(0)}$ 之后，我们还可以计算可见层的状态，更新一下可见层的状态。

根据这个概率计算各可见单元 $v^{(1)}_{i}$ 的状态，下图中绿色的圆圈表示可见层神经元的概率，由概率我们在根据一个随机数Random进行比较，从而得到可见层神经元状态｛1，1，....，0，....，1｝这样我就得到这次迭代过程中，可见层神经元更新的状态

再次根据可见层神经元的值 $\overrightarrow{v}^{1}$ 计算隐层单元 $h^{(1)}_{j}$ 状态为1的概率，计算完之后，在更新参数即可

以此，由隐藏层神经元的状态在计算出可见层神经元状态 $\overrightarrow{v}^{2}$ ，不断迭代下去进行参数更新，当然上述过程还可以继续进行k次(k步的Gibbs采样)，称为k步对比散度法，记做CD-k

连接权重 $w_{ij}$ 、偏置 $a_{i}$ 、偏置 $b_{j}$ 的调整值分别为下图中所示。粉色表示经过一步迭代后，神经元新的状态的概率，紫色表示根据样本可以计算的得到。这样就相当于对每一个训练样本计算更新的状态，就不用在所有的样本上计算概率和。

原来的方法的复杂度高在于：需要对所有的样本求概率（蓝色部分），而且每次我们需要在所有的样本上求和。现在只需要计算神经元状态的概率，不需要计算在对所有训练样本计算概率再求和。

玻尔兹曼机中调整参数时也可以Mini-Batch为单位进行计算时效果更佳

– Stochastic GD (SGD)

• 每次一个样本，更新参数（这样会导致参数有偏，因为单独的样本具有个体性）

– Batch GD

• 每次迭代的梯度方向计算由所有训练样本共同决定（最准，但是复杂度很高，效率很低）

– Mini-batch GD（折中的方案，更常用）

• 每个mini-batch(训练集的一个子集)更新参数，Batch size（一个Batch里面有多少个训练样本）

– Epoch, iteration

Epoch：当一个完整的数据集通过了神经网络称为一个epoch

Iteration：处理一个Batch称为一次迭代（一个epoch里面有多少次迭代，就有多少个Batch）

➢ Part Four.深度玻尔兹曼机和深度信念网络

深度玻尔兹曼机（左：DBM）和深度信念网络（右：DBN）的结构很相似。他们都是由受限玻尔兹曼机堆叠构成。

➢ 一、深度波尔兹曼机

以深度波尔兹曼机为主介绍：

深度玻尔兹曼机采用与多层神经网络不同的训练方法，在训练时采用对比散度算法，逐层来调整连接权重和偏置

具体做法：

– 首先训练输入层和隐藏层之间的参数，把训练后得到的参数作为下一层的输入

– 再调整该层与下一个隐藏层之间的参数

– 然后逐次迭代，完成多层网络的训练

深度玻尔兹曼机既可以当作生成模型，也可以当作判别模型：

– 作为生成模型使用时：

网络会按照某种概率分布生成训练数据。例如前面我们有很多带躁的样本，它会根据自己的记忆，生成出新的不带躁的样本。概率分布可根据训练样本导出，但是覆盖全部数据模式的概率分布很难导出，所以通常选择最大似然估计法训练参数，得到最能覆盖训练样本的概率分布

这种生成模型能够：去除输入数据中含有的噪声，得到新的数据，对输入数据压缩和特征表达，因为通过这样的训练找到了训练数据中稳定的部分

– 作为判别模型使用时：

需要在模型顶层添加一层Softmax实现分类。进行分类时，需要同时提供训练样本和期望输出，在最顶层级联一个层

❑ 训练方法

– 除最顶层外，其他各层都可以使用无监督学习进行训练

– 把训练得到的参数作为初始值，使用误差反向传播算法对包含最顶层的神经网络进行训练

– 最顶层的参数使用随机数进行初始化

➢ 二、深度信念网络

深度信念网络和深度玻尔兹曼机很相似。

深度信念网络的结构：

深度信念网络的训练过程：（和玻尔兹曼机的训练过程相似）

➢ Part Five.自编码器及其变种

➢ 一、自编码器

➢ 1.自编码器的概述

自编码器现在还是应用非常广泛的。

自编码器(Autoencoder)：是一种有效的数据维度压缩降维算法，主要应用在以下两个方面：

– 构建一种能够重构输入样本并进行特征表达的神经网络。特征表达：是指对于分类会发生变动的不稳定模式，例如手写字体识别中由于不同人的书写习惯和风格的不同造成字符模式不稳定，或者输入样本中包含噪声等情况，神经网络也能将其转换成可以准确识别的特征，也就是在不同中找出共性。

– 训练多层神经网络时，通过自编码器训练样本得到参数初始值

自编码器的基本形式如下图所示：和RBM类似，由输入层和输出层组成。输入数据向量与对应的连接权重矩阵相乘，再加上偏置向量，并经过激活函数(∙)变换后，就可以得到输出。自编码器是前馈的神经网络，它是由输入到输出的方向。这里面的偏置也是向量的形式，因为每一个神经元都有一个偏置。这里的输出的方法和玻尔兹曼机有所不同。玻尔兹曼机的输出先是一个概率值，这个概率值还要和一个随机数Random比较，最后才能确定这个输出的值是0还是1。自编码器的训练过程就是使用BP算法，不需要使用对比散度算法。

➢ 2.自编码器的训练

自编码器是一种基于无监督学习的神经网络，目的在于通过不断调整参数，重构经过维度压缩的输入样本。一种能够重构输入样本的三层神经网络如下图。让输入输出尽可能的接近，中间层尽可能的小。这里，(∙)表示编码器的激活函数, $\widetilde{f}(\cdot )$ 表示解码器的激活函数。中间层和重构层之间的连接权重及偏置分别记为 $\widetilde{W}$ 和 $\widetilde{b}$ ,重构值记作 $\widetilde{x}$ 。

自编码器的训练就是确定编码器和解码器的参数W, $\widetilde{W}$ , , $\widetilde{b}$ 的过程。其中和 $\widetilde{W}$ 可以相同，这称为权值(参数)共享。好处是参数减少了，训练的时候简单一些，但是训练以后得到的性能不一定是最好的。训练的目的是尽可能重构其原始输入。重构和输入的误差尽可能小。参数的训练使用误差反向传播算法，误差函数可以使用最小二乘误差函数或交叉熵代价函数

比较有代表性的自编码器：当样本中包含噪声时，如果神经网络能够消除噪声，则被称为降噪自编码器。还有一种称为稀疏自编码器的网络，它在自编码器中引入了正则化项，约束神经元的激活程度，以去除冗余信息。

➢ 二、降噪自编码器

➢ 1.降噪自编码器的概述

降噪自编码器的网络结构和自编码器一样，只是对训练方法进行了改进。自编码器是把训练样本直接输入给输入层，而降噪自编码器则是把通过向训练样本中加入随机噪声得到的带躁的样本 $\widetilde{x}$ 输入给输入层。 $\widetilde{x}=x+\epsilon$

因为我们的输入是带躁的，而我们期望的输出是不带躁的，所以假设随机噪声服从均值为0，方差为 $\sigma^{2｝$ 的正态分布，我们需要训练神经网络，使得输出的重构结果和不含噪声的样本之间的误差收敛于极小值。（这一点和前面的自编码器不同，自编码器是让输入和输出尽可能的逼近）误差函数会对不含噪声的输入样本进行计算，故降噪自编码器可以完成以下两项训练：

保持输入样本不变的条件下，能够更好地反映样本属性的特征

消除输入样本中包含的噪声

➢ 三、稀疏自编码器

➢ 1.稀疏自编码器的概述

在多层自编码器中，由于我们要做压缩，中间层的单元数太少会导致维度压缩的太厉害，使得神经网络很难重构输入样本，而单元数太多，会感觉没有怎么压缩，使得又会产生单元冗余，降低压缩效率。那我们怎么选择设置多少个神经元比较合适呢？

为了解决这个问题，人们将稀疏正则化引入到自编码器中，提出了稀疏自编码器：通过增加正则化项，大部分单元的输出都变成了0，只有少数单元是被激活的，这样就能利用少数单元完成压缩或重构。也就是我们不用去设置具体应该有多少个神经元数目，但是我们要约束神经元的激活程度。

加入正则化后的误差函数如下所示：有N个训练样本，每一个训练样本在激活后都会产生一个激活值。

➢ 2.稀疏自编码器的训练

KL距离反映了平均激活度和目标值的差异。我们一般设置的比较小，例如0.05，这就意味着平均激活度是5%。值越接近于0，中间层的平均激活度 $\hat \rho_{j}$ 就越小。也就是说，虽然你中间可以设置很多个神经元，但实际平均激活度很小的话，那么实际上中间很多的神经元都是0。这样就避免了多个神经元导致压缩效率降低的问题。稀疏自编码器的训练也需要用到误差反向传播算法，对误差函数求导时须考虑 $KL(\rho ||\hat \rho_{j} )$ 的导数

平均激活度是根据所有样本计算出来的，所以在计算任何单元的反向传播之前，需要对所有样本计算一遍正向传播，从而获取平均激活度（也就是我们在每次训练的时候，要把所有的样本都计算一遍，得到误差，然后再反向传播，这样相当于Batch，计算复杂度高），所以使用小批量梯度下降法进行训练时的效率很低。为了解决此问题，可以只计算Mini-Batch中包含的样本的平均激活度，然后在Mini-Batch之间计算加权平均并求近似值。

假设时刻(−1)的Mini-Batch的平均激活度为 $\hat \rho ^{(t-1)}_{j}$ ,当前t时刻Mini-Batch的平均激活度如下。这里的是权重，越大，则时刻( − 1)的Mini-Batch所占的比重也越高。

➢ 四、栈式自编码器

➢ 1.栈式自编码器的概述

自编码器、降噪自编码器、稀疏自编码器都是包括编码器和解码器的三层结构，中间只有一个隐藏层。但是在进行维度压缩时，可以只包括输入层和中间层。这样的网络比较浅，参数有限，所以网络的表达能力并不是很高的。这个时候我们可以借鉴前面的深度玻尔兹曼机或者深度信念网络等，输入层和中间层多层堆叠后，然后就可以得到栈式(深度)自编码器。

➢ 2.栈式自编码器的训练

栈式自编码器和深度信念网络一样，都是逐层训练。但两种网络的训练方法不同，深度信念网络是一种概率型的网络。它是利用对比散度算法逐层训练两层之间参数。而栈式自编码器的训练过程采用的是误差的后向传递的方式，训练如下：

首先训练第一个自编码器（有输入层和中间层），然后保留第一个自编码器的编码器部分

把第一个自编码器的中间层作为第二个自编码器的输入层进行训练

反复地把前一个自编码器的中间层作为后一个编码器的输入层，进行迭代训练

这个流程上和深度玻尔兹曼机很相似的，仅是训练方法不一样而已。

➢ 3.栈式自编码器在训练中的应用

栈式自编码器每层都能得到有效的参数，所以我们可以把训练后的参数作为神经网络或卷积神经网络的参数初始值,这种方法叫作预训练。预训练属于无监督学习，接下来需要使用有监督学习来调整整个网络的参数，这也叫作微调( fine tuning )

➢ Part Six.中英文术语对照

❑ 串扰：Crosstalk

❑ 能量函数： Energy function

❑ 模拟退火算法：Simulated Anneal

❑ 对数似然函数： Log-likelihood function

❑ 小批量：Mini-batch

❑ 可见变量：Visible variables

❑ 隐藏变量：Hidden variables

❑ 玻尔兹曼机：Boltzmann Machine

❑ 受限玻尔兹曼机： Restricted Boltzmann Machine

❑ 深度信念网络：Deep Belief Network

❑ 对比散度算法：Contrastive Divergence

❑ 稀疏自编码器：Sparse Autoencoder

❑ 栈式自编码器：Stacked Autoencoder

❑ 降噪自编码器：Denoising Autoencoder

你可能感兴趣的:(深度学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
将cmd中命令输出保存为txt文本文件落难Coder Windows cmd window
最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
推荐3家毕业AI论文可五分钟一键生成！文末附免费教程！小猪包333 写论文人工智能 AI写作深度学习计算机视觉
在当前的学术研究和写作领域，AI论文生成器已经成为许多研究人员和学生的重要工具。这些工具不仅能够帮助用户快速生成高质量的论文内容，还能进行内容优化、查重和排版等操作。以下是三款值得推荐的AI论文生成器：千笔-AIPassPaper、懒人论文以及AIPaperPass。千笔-AIPassPaper千笔-AIPassPaper是一款基于深度学习和自然语言处理技术的AI写作助手，旨在帮助用户快速生成高质
AI大模型的架构演进与最新发展季风泯灭的季节 AI大模型应用技术二人工智能架构
随着深度学习的发展，AI大模型（LargeLanguageModels,LLMs）在自然语言处理、计算机视觉等领域取得了革命性的进展。本文将详细探讨AI大模型的架构演进，包括从Transformer的提出到GPT、BERT、T5等模型的历史演变，并探讨这些模型的技术细节及其在现代人工智能中的核心作用。一、基础模型介绍：Transformer的核心原理Transformer架构的背景在Transfo
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
[实践应用] 深度学习之优化器 YuanDaima2048 深度学习工具使用 pytorch 深度学习人工智能机器学习 python 优化器
文章总览：YuanDaiMa2048博客文章总览深度学习之优化器1.随机梯度下降（SGD）2.动量优化（Momentum）3.自适应梯度（Adagrad）4.自适应矩估计（Adam）5.RMSprop总结其他介绍在深度学习中，优化器用于更新模型的参数，以最小化损失函数。常见的优化函数有很多种，下面是几种主流的优化器及其特点、原理和PyTorch实现：1.随机梯度下降（SGD）原理:随机梯度下降通过
生成式地图制图 Bwywb_3 深度学习机器学习深度学习生成对抗网络
生成式地图制图（GenerativeCartography）是一种利用生成式算法和人工智能技术自动创建地图的技术。它结合了传统的地理信息系统（GIS）技术与现代生成模型（如深度学习、GANs等），能够根据输入的数据自动生成符合需求的地图。这种方法在城市规划、虚拟环境设计、游戏开发等多个领域具有应用前景。主要特点：自动化生成：通过算法和模型，系统能够根据输入的地理或空间数据自动生成地图，而无需人工逐
吴恩达深度学习笔记(30)-正则化的解释极客Array
正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
个人学习笔记7-6：动手学深度学习pytorch版-李沐浪子L 深度学习深度学习笔记计算机视觉 python 人工智能神经网络 pytorch
#人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
深度学习-点击率预估-研究论文2024-09-14速读 sp_fyf_2024 深度学习人工智能
深度学习-点击率预估-研究论文2024-09-14速读1.DeepTargetSessionInterestNetworkforClick-ThroughRatePredictionHZhong,JMa,XDuan,SGu,JYao-2024InternationalJointConferenceonNeuralNetworks,2024深度目标会话兴趣网络用于点击率预测摘要：这篇文章提出了一种新
损失函数与反向传播 Star_. PyTorch pytorch 深度学习 python
损失函数定义与作用损失函数(lossfunction)在深度学习领域是用来计算搭建模型预测的输出值和真实值之间的误差。1.损失函数越小越好2.计算实际输出与目标之间的差距3.为更新输出提供依据（反向传播)常见的损失函数回归常见的损失函数有：均方差（MeanSquaredError，MSE）、平均绝对误差（MeanAbsoluteErrorLoss，MAE）、HuberLoss是一种将MSE与MAE
【深度学习】训练过程中一个OOM的问题，太难查了 weixin_40293999 深度学习深度学习人工智能
现象：各位大佬又遇到过ubuntu的这个问题么？现象是在训练过程中，ssh上不去了，能ping通，没死机，但是ubunutu的pc侧的显示器，鼠标啥都不好用了。只能重启。问题原因：OOM了95G，尼玛！！！！pytorch爆内存了，然后journald假死了，在journald被watchdog干掉之后，系统就崩溃了。这种规模的爆内存一般，即使被oomkill了，也要卡半天的，确实会这样，能不能配
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
深度学习-13-小语言模型之SmolLM的使用皮皮冰燃深度学习深度学习
文章附录1SmolLM概述1.1SmolLM简介1.2下载模型2运行2.1在CPU/GPU/多GPU上运行模型2.2使用torch.bfloat162.3通过位和字节的量化版本3应用示例4问题及解决4.1attention_mask和pad_token_id报错4.2max_new_tokens=205参考附录1SmolLM概述1.1SmolLM简介SmolLM是一系列尖端小型语言模型，提供三种规
基于深度学习的农作物病害检测 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的农作物病害检测利用卷积神经网络（CNN）、生成对抗网络（GAN）、Transformer等深度学习技术，自动识别和分类农作物的病害，帮助农业工作者提高作物管理效率、减少损失。1.农作物病害检测的挑战病害种类繁多：农作物病害的类型多样，不同病害在同一作物上的表现差异很大，同时同一种病害在不同生长阶段的症状也可能不同。环境影响：天气、光照、湿度等外部环境因素会影响农作物的表现，使得病害检
基于深度学习的文本引导的图像编辑 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的文本引导的图像编辑（Text-GuidedImageEditing）是一种通过自然语言文本指令对图像进行编辑或修改的技术。它结合了图像生成和自然语言处理（NLP）的最新进展，使用户能够通过描述性文本对图像内容进行精确的调整和操控。1.文本引导的图像编辑的挑战文本和图像之间的对齐：如何将文本中的语义信息准确地映射到图像中的特定区域或元素是一个关键挑战。这涉及到多模态数据的对齐和理解。编
深度学习--对抗生成网络（GAN, Generative Adversarial Network） Ambition_LAO 深度学习生成对抗网络
对抗生成网络（GAN,GenerativeAdversarialNetwork）是一种深度学习模型，由IanGoodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。1.概念GAN由两个神经网络组成：生成器（Generator）和判别器（Discrimina
深度学习：怎么看pth文件的参数奥利给少年深度学习人工智能
.pth文件是PyTorch模型的权重文件，它通常包含了训练好的模型的参数。要查看或使用这个文件，你可以按照以下步骤操作：1.确保你有模型的定义你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。2.加载模型权重使用PyTorch的load_state_dict方法来加载权重。这里是如何操作的：importtorchimporttorch.nnasnn#定义模型结构
chatgpt赋能python：如何在Python中安装Keras库？ turensu ChatGpt python chatgpt keras 计算机
如何在Python中安装Keras库？Keras是一个简单易用的神经网络库，由FrançoisChollet编写。它在Python编程语言中实现了深度学习的功能，可以使您更轻松地构建和试验不同类型的神经网络。如果您是一名Python开发人员，肯定会想知道如何在您的Python项目中安装Keras库。在本文中，我们将向您展示如何安装和配置Keras库。步骤1：安装Python要使用Keras库，您需
如何理解深度学习的训练过程奋斗的草莓熊深度学习人工智能 python scikit-learn virtualenv numpy pandas
文章目录1.训练是干什么？2.预训练模型进行训练，主要更改的是预训练模型的什么东西？1.训练是干什么？以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗2.预训练模型进行训练，主要更改的是预训练模型的什么东西？超参数（Hyperparameters）：这是模型结构中定义的参数，比如：卷积核大小（kernel_size
Keras深度学习框架入门及实战指南司莹嫣Maude
Keras深度学习框架入门及实战指南keraskeras-team/keras:是一个基于Python的深度学习库，它没有使用数据库。适合用于深度学习任务的开发和实现，特别是对于需要使用Python深度学习库的场景。特点是深度学习库、Python、无数据库。项目地址:https://gitcode.com/gh_mirrors/ke/keras一、项目介绍Keras简介Keras是一款高级神经网络
深度学习驱动的车牌识别：技术演进与未来挑战逼子歌深度学习车牌识别神经网络字符识别 YOLO 卷积神经网络
一、引言1.1研究背景在当今社会，智能交通系统的发展日益重要，而车牌识别作为其关键组成部分，发挥着至关重要的作用。车牌识别技术广泛应用于交通管理、停车场管理、安防监控等领域。在交通管理中，它可以用于车辆识别、交通违法监控和车流统计等，提高交通管理的效率和准确性。在停车场管理中，实现车辆的自动识别和收费，提升管理和服务水平。在安防监控领域，可用于追踪嫌疑人及犯罪行为。深度学习的出现为车牌识别带来了重
每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 人工智能神经网络机器学习优化算法
本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
什么是AIGC？有哪些免费工具？ chent_某位 AIGC
AIGC（AIGeneratedContent），即“人工智能生成内容”，是指通过人工智能技术自动生成各种类型的数字内容。AIGC让机器能够根据输入的信息或数据生成符合人类需求的文本、图像、音频、视频等内容，极大提高了内容创作的效率。AIGC的背景与起源随着深度学习和自然语言处理技术的快速发展，人工智能已经不再局限于简单的任务，如分类、预测和数据分析，而是具备了生成内容的能力。生成式AI模型，如O
transformer架构(Transformer Architecture)原理与代码实战案例讲解 AI架构设计之禅大数据AI人工智能 Python入门实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
transformer架构(TransformerArchitecture)原理与代码实战案例讲解关键词：Transformer,自注意力机制,编码器-解码器,预训练,微调,NLP,机器翻译作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来自然语言处理（NLP）领域的发展经历了从规则驱动到统计驱动再到深度学习驱动的三个阶段。
如何有效的学习AI大模型？ Python程序员罗宾学习人工智能语言模型自然语言处理架构
学习AI大模型是一个系统性的过程，涉及到多个学科的知识。以下是一些建议，帮助你更有效地学习AI大模型：基础知识储备：数学基础：学习线性代数、概率论、统计学和微积分等，这些是理解机器学习算法的数学基础。编程技能：掌握至少一种编程语言，如Python，因为大多数AI模型都是用Python实现的。理论学习：机器学习基础：了解监督学习、非监督学习、强化学习等基本概念。深度学习：学习神经网络的基本结构，如卷
【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程牙牙要健康深度学习 onnx onnxruntime 深度学习 python 人工智能
【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程提示:博主取舍了很多大佬的博文并亲测有效,分享笔记邀大家共同学习讨论文章目录【深度学习】【OnnxRuntime】【Python】模型转化、环境搭建以及模型部署的详细教程前言模型转换--pytorch转onnxWindows平台搭建依赖环境onnxruntime调用onnx模型ONNXRuntime推理核
基于深度学习的多模态信息检索 SEU-WYL 深度学习dnn 深度学习人工智能
基于深度学习的多模态信息检索（MultimodalInformationRetrieval,MMIR）是指利用深度学习技术，从包含多种模态（如文本、图像、视频、音频等）的数据集中检索出满足用户查询意图的相关信息。这种方法不仅可以处理单一模态的数据，还可以在多种模态之间建立关联，从而更准确地满足用户需求。1.多模态信息检索的挑战异构数据表示：多模态数据通常具有不同的特征和表示形式（如文本的词嵌入与图
C/C++Win32编程基础详解视频下载择善Zach 编程 C++Win32
课题视频：C/C++Win32编程基础详解视频知识：win32窗口的创建 windows事件机制主讲：择善Uncle老师学习交流群：386620625 验证码：625 --
Guava Cache使用笔记 bylijinnan java guava cache
1.Guava Cache的get/getIfPresent方法当参数为null时会抛空指针异常我刚开始使用时还以为Guava Cache跟HashMap一样，get(null)返回null。实际上Guava整体设计思想就是拒绝null的，很多地方都会执行com.google.common.base.Preconditions.checkNotNull的检查。 2.Guava
解决ora-01652无法通过128（在temp表空间中） 0624chenhong oracle
解决ora-01652无法通过128（在temp表空间中）扩展temp段的过程一个sql语句后，大约花了10分钟，好不容易有一个结果，但是报了一个ora-01652错误，查阅了oracle的错误代码说明：意思是指temp表空间无法自动扩展temp段。这种问题一般有两种原因：一是临时表空间空间太小，二是不能自动扩展。分析过程：既然是temp表空间有问题，那当
Struct在jsp标签不懂事的小屁孩 struct
非UI标签介绍：控制类标签： 1：程序流程控制标签 if elseif else <s:if test="isUsed"> <span class="label label-success">True</span> </
按对象属性排序换个号韩国红果果 JavaScript 对象排序
利用JavaScript进行对象排序，根据用户的年龄排序展示 <script> var bob={ name;bob, age:30 } var peter={ name;peter, age:30 } var amy={ name;amy, age:24 } var mike={ name;mike, age:29 } var john={
大数据分析让个性化的客户体验不再遥远蓝儿唯美数据分析
顾客通过多种渠道制造大量数据，企业则热衷于利用这些信息来实现更为个性化的体验。分析公司Gartner表示，高级分析会成为客户服务的关键，但是大数据分析的采用目前仅局限于不到一成的企业。挑战在于企业还在努力适应结构化数据，疲于根据自身的客户关系管理（CRM）系统部署有效的分析框架，以及集成不同的内外部信息源。然而，面对顾客通过数字技术参与而产生的快速变化的信息，企业需要及时作出反应。要想实
java笔记4 a-john java
操作符 1，使用java操作符操作符接受一个或多个参数，并生成一个新值。参数的形式与普通的方法调用不用，但是效果是相同的。加号和一元的正号（+）、减号和一元的负号（-）、乘号（*）、除号（/）以及赋值号（=）的用法与其他编程语言类似。操作符作用于操作数，生成一个新值。另外，有些操作符可能会改变操作数自身的
从裸机编程到嵌入式Linux编程思想的转变------分而治之：驱动和应用程序 aijuans 嵌入式学习
笔者学习嵌入式Linux也有一段时间了，很奇怪的是很多书讲驱动编程方面的知识，也有很多书将ARM9方面的知识，但是从以前51形式的（对寄存器直接操作，初始化芯片的功能模块）编程方法，和思维模式，变换为基于Linux操作系统编程，讲这个思想转变的书几乎没有，让初学者走了很多弯路，撞了很多难墙。笔者因此写上自己的学习心得，希望能给和我一样转变
在springmvc中解决FastJson循环引用的问题 asialee 循环引用 fastjson
我们先来看一个例子： package com.elong.bms; import java.io.OutputStream; import java.util.HashMap; import java.util.Map; import co
ArrayAdapter和SimpleAdapter技术总结百合不是茶 android SimpleAdapter ArrayAdapter 高级组件基础
ArrayAdapter比较简单，但它只能用于显示文字。而SimpleAdapter则有很强的扩展性，可以自定义出各种效果 ArrayAdapter;的数据可以是数组或者是队列 // 获得下拉框对象 AutoCompleteTextView textview = (AutoCompleteTextView) this
九封信 bijian1013 人生励志
有时候，莫名的心情不好，不想和任何人说话，只想一个人静静的发呆。有时候，想一个人躲起来脆弱，不愿别人看到自己的伤口。有时候，走过熟悉的街角，看到熟悉的背影，突然想起一个人的脸。有时候，发现自己一夜之间就长大了。 2014，写给人
Linux下安装MySQL Web 管理工具phpMyAdmin sunjing PHP Install phpMyAdmin
PHP http://php.net/ phpMyAdmin http://www.phpmyadmin.net Error compiling PHP on CentOS x64 一、安装Apache 请参阅http://billben.iteye.com/admin/blogs/1985244 二、安装依赖包 sudo yum install gd
分布式系统理论 bit1129 分布式
FLP One famous theory in distributed computing, known as FLP after the authors Fischer, Lynch, and Patterson, proved that in a distributed system with asynchronous communication and process crashes,
ssh2整合(spring+struts2+hibernate)-附源码白糖_ eclipse spring Hibernate mysql 项目管理
最近抽空又整理了一套ssh2框架，主要使用的技术如下： spring做容器，管理了三层(dao,service,actioin)的对象 struts2实现与页面交互(MVC)，自己做了一个异常拦截器，能拦截Action层抛出的异常 hibernate与数据库交互 BoneCp数据库连接池，据说比其它数据库连接池快20倍，仅仅是据说 MySql数据库项目用eclipse
treetable bug记录 braveCS table
// 插入子节点删除再插入时不能正常显示。修改： //不知改后有没有错，先做个备忘 Tree.prototype.removeNode = function(node) { // Recursively remove all descendants of +node+ this.unloadBranch(node); // Remove
编程之美-电话号码对应英语单词 bylijinnan java 算法编程之美
import java.util.Arrays; public class NumberToWord { /** * 编程之美电话号码对应英语单词 * 题目： * 手机上的拨号盘，每个数字都对应一些字母，比如2对应ABC，3对应DEF.........，8对应TUV，9对应WXYZ， * 要求对一段数字，输出其代表的所有可能的字母组合
jquery ajax读书笔记 chengxuyuancsdn jQuery ajax
1、jsp页面 <%@ page language="java" import="java.util.*" pageEncoding="GBK"%> <% String path = request.getContextPath(); String basePath = request.getScheme()
JWFD工作流拓扑结构解析伪码描述算法 comsci 数据结构算法工作活动 J#
对工作流拓扑结构解析感兴趣的朋友可以下载附件，或者下载JWFD的全部代码进行分析 /* 流程图拓扑结构解析伪码描述算法 public java.util.ArrayList DFS(String graphid, String stepid, int j)
oracle I/O 从属进程 daizj oracle
I/O 从属进程　　I/O从属进程用于为不支持异步I/O的系统或设备模拟异步I/O.例如，磁带设备(相当慢)就不支持异步I/O.通过使用I/O 从属进程，可以让磁带机模仿通常只为磁盘驱动器提供的功能。就好像支持真正的异步I/O 一样，写设备的进程(调用者)会收集大量数据，并交由写入器写出。数据成功地写出时，写入器(此时写入器是I/O 从属进程，而不是操作系统)会通知原来的调用者，调用者则会
高级排序:希尔排序 dieslrae 希尔排序
public void shellSort(int[] array){ int limit = 1; int temp; int index; while(limit <= array.length/3){ limit = limit * 3 + 1;
初二下学期难记忆单词 dcj3sjt126com english word
kitchen 厨房 cupboard 厨柜 salt 盐 sugar 糖 oil 油 fork 叉；餐叉 spoon 匙；调羹 chopsticks 筷子 cabbage 卷心菜；洋白菜 soup 汤 Italian 意大利的 Indian 印度的 workplace 工作场所 even 甚至；更 Italy 意大利 laugh 笑 m
Go语言使用MySQL数据库进行增删改查 dcj3sjt126com mysql
目前Internet上流行的网站构架方式是LAMP，其中的M即MySQL, 作为数据库，MySQL以免费、开源、使用方便为优势成为了很多Web开发的后端数据库存储引擎。MySQL驱动Go中支持MySQL的驱动目前比较多，有如下几种，有些是支持database/sql标准，而有些是采用了自己的实现接口,常用的有如下几种: http://code.google.c...o-mysql-dri
git命令 shuizhaosi888 git
---------------设置全局用户名： git config --global user.name "HanShuliang" //设置用户名 git config --global user.email "[email protected]" //设置邮箱 ---------------查看环境配置 git config --li
qemu-kvm 网络 nat模式 (四) haoningabc kvm qemu
qemu-ifup-NAT #!/bin/bash BRIDGE=virbr0 NETWORK=192.168.122.0 GATEWAY=192.168.122.1 NETMASK=255.255.255.0 DHCPRANGE=192.168.122.2,192.168.122.254 TFTPROOT= BOOTP= function check_bridge()
不要让未来的你，讨厌现在的自己 jingjing0907 生活奋斗工作梦想
故事one 　23岁，他大学毕业，放弃了父母安排的稳定工作，独闯京城，在家小公司混个小职位，工作还算顺手，月薪三千，混了混，混走了一年的光阴。　　　　24岁，有了女朋友，从二环12人的集体宿舍搬到香山民居，一间平房，二人世界，爱爱爱。偶然约三朋四友，打扑克搓麻将，日子快乐似神仙；　　　　25岁，出了几次差，调了两次岗，薪水涨了不过百，生猛狂飙的物价让现实血淋淋，无力为心爱银儿购件大牌
枚举类型详解一路欢笑一路走 enum 枚举详解 enumset enumMap
枚举类型详解一.Enum详解 1.1枚举类型的介绍 JDK1.5加入了一个全新的类型的”类”—枚举类型，为此JDK1.5引入了一个新的关键字enum,我们可以这样定义一个枚举类型。 Demo:一个最简单的枚举类 public enum ColorType { RED
第11章动画效果（上） onestopweb 动画
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
Eclipse中jsp、js文件编辑时，卡死现象解决汇总 ljf_home eclipse jsp卡死 js卡死
使用Eclipse编辑jsp、js文件时，经常出现卡死现象，在网上百度了N次，经过N次优化调整后，卡死现象逐步好转，具体那个方法起到作用，不太好讲。将所有用过的方法罗列如下： 1、取消验证 windows–>perferences–>validation 把除了manual 下面的全部点掉，build下只留 classpath dependency Valida
MySQL编程中的6个重要的实用技巧 tomcat_oracle mysql
每一行命令都是用分号(;)作为结束对于MySQL，第一件你必须牢记的是它的每一行命令都是用分号(;)作为结束的，但当一行MySQL被插入在PHP代码中时，最好把后面的分号省略掉，例如： mysql_query("INSERT INTO tablename(first_name,last_name)VALUES('$first_name',$last_name')");
zoj 3820 Building Fire Stations(二分+bfs) 阿尔萨斯 Build
题目链接：zoj 3820 Building Fire Stations 题目大意：给定一棵树，选取两个建立加油站，问说所有点距离加油站距离的最大值的最小值是多少，并且任意输出一种建立加油站的方式。解题思路：二分距离判断，判断函数的复杂度是o(n)，这样的复杂度应该是o(nlogn)，即使常数系数偏大，但是居然跑了4.5s，也是醉了。判断函数里面做了3次bfs，但是每次bfs节点最多