一朝英雄拔剑起
一朝英雄拔剑起

BP神经网络原理推导

本文会完成BP神经网络的推导过程，先介绍BP神经网络的历史，然后介绍BP神经网络的结构，然后再开始推导，最后介绍BP神经网络的优缺点以及几个优化的方法。

目录

1 BP神经网络的历史

2 BP神经网络的结构

2.1 神经元

2.2 输入层

2.3 隐含层

2.4 输出层

3 结构图及符号声明

3.1 结构图

3.2 符号声明

4 BP神经网络的推导

4.1 前向过程

4.2 反向过程

5 更新公式

5.1 权值更新公式

5.2 偏置值更新公式

 

6、BP神经网络的优缺点

6.1 优点

6.2 缺点

7 BP神经网络的改进

7.1 增加动量项

7.2 学习速率的自适应调节

8 BP神经网络结构设计原则

8.1 隐含层层数的设计

8.2 隐含层神经元个数的设计

9 参考文献

10 最后

1 BP神经网络的历史

    20世纪80年代中期，David Runelhart。Geoffrey Hinton和Ronald W-llians、DavidParker等人分别独立发现了误差反向传播算法(Error Back Propagation Training)，简称BP，系统解决了多层神经网络隐含层连接权学习问题，并在数学上给出了完整推导。人们把采用这种算法进行误差校正的多层前馈网络称为BP网。

2 BP神经网络的结构

2.1 神经元

神经元是BP神经网络最基础的组成，是最基本的单元。一个神经元包括输入值，输出值，以及输出值与输入值之间的映射关系，即激励函数  y=f(x)  常用的激励函数有    f(x)=\frac{1}{1+(e^{-x})}  和  f(x)=\frac{2}{1+(e^{-2x})}-1   ，后者的性能要比前者好。

除此之外，神经元还包含权值\omega和偏置b，这是网络的基础参数，也是训练的对象。

需要注意的是，这里的\omega是指该神经元与下一层神经元的连接权值。

2.2 输入层

输入层是BP神经网络的第一层，由k1个神经元组成，k1是训练数据中输入数据的维度大小，输入层的激励函数一般为线性函数，即y=f(x)  ，（其实是其他函数也可以，只要相应地更改反向公式即可，区别是性能的问题了）。

输入层神经元的输入值 x_{i}=p_{i} (x_{i}表示输入层第i个神经元的输入值，y_{i}表示一组训练数据中的输入数据的第i个值)。

输入层神经元的输出值o_{i}=x_{i}  （o_{i}表示输入层第i个神经元的输出值）。

2.3 隐含层

隐含层是神经网络的主要结构，神经网络的强大功能都是在隐含层得以实现的。隐含层主要的作用是构建训练数据的输入数据与输出数据之间的映射关系。隐含层并非一层，它可以有很多层，层数由自己决定，每一层的神经元个数也由自己决定。

隐含层神经元的输入值x_{ij}=\sum_{h=1}^{n_{i-1}}o_{(i-1)h}\cdot \omega _{(i-1)hj}-b  (其中x_{ij}表示网络中第i层第j个神经元的输入值，n_{i-1}表示第i-1层神经元个数，o_{(i-1)h}表示第i-1层第h个神经元的输出值，\omega _{(i-1)hj}  表示第i-1层第h个神经元与第i层第j个神经元的权值，b是神经元的偏置）

隐含层神经元的输出值o_{ij}=f(x_{ij})，f是神经元的激励函数，x_{ij}表示第i层第j个神经元的输入。

2.4 输出层

输出层是网络的最后一层，输出层由k2个神经元组成，k2是训练数据中输出数据的维度大小，神经元的输出值就是网络的预测值。

输出层神经元的输入与隐含层的输入层公式一样，都等于上一次所有神经元的输出值乘上相应权值的和。

输出层神经元的输出值直接等于输入值，即o_{j}=x_{j}，即激励函数为  f(x)=x。

3 结构图及符号声明

3.1 结构图

                               BP神经网络原理推导_第1张图片

3.2 符号声明

符号 含义
M 神经网络的总层数，包括输入输出层，所以M\geqslant 3  (隐含层至少一层)
n_{i} 第i层的神经元个数
i 变量，表示第i层网络，1\leqslant i\leqslant M，i=0表示输入层，i=M表示输出层
j 变量，表示第i层的第j个神经元，1\leqslant j\leqslant n_{i}
k 变量，表示第i层第j个神经元与第i+1层第k个神经元，1\leqslant k\leqslant n_{i+1}
w_{ijk} 第i层第j个神经元和第i+1层第k个神经元之间的权值
b 神经元的偏置
x_{ij} 第i层第j个神经元的输入值
o_{ij} 第i层第j个神经元的输出值
f 激励函数，在下面推导中，使用  y=f(x)=\frac{1}{1+(e^{-x})}，{f(x)}'=y(1-y)
d_{j} 一组训练数据的第j个输出数据
p_{j} 一组训练数据的第j个输入数据
e_{j} 输出层第j个神经元的误差，e_{j}=d_{j}-o_{j}，o_{j}是输出层第j个神经元的输出值
E 目标函数，E=\frac{1}{2}\sum_{J}^{ }(d_{j}-y_{j})^{2}=\frac{1}{2}\sum_{J}^{ }(e_{j})^{2}，其中J是训练样本个数
\eta 学习速率，一般在0.001以下

4 BP神经网络的推导

BP神经网络可以分为两个过程。

一是正向过程，这个过程中，输入数据从输入层传入，然后经历各个隐含层，传到输出层，由输出层输出网络的预测值。

二是反向过程，在这个过程中，根据网络的误差，跟新隐含层和输入层的权值，以及隐含层的偏置值。反向过程也就是误差的反向传播，是BP神经网络的精髓所在。

4.1 前向过程

前向过程的主要任务就是计算出网络的预测值，即输出层神经元的输出值，由于除了输入层，其他层神经元的输出值都与其前一层的神经元的输出值有关，所以计算出每个神经元的输入输出值。

输入层神经元：

输入值x_{1j}=p_{j} (输入层，i=1)

输出值o_{1j}=x_{1j}

隐含层神经元：

输入值x_{ij}=\sum_{h=1}^{n_{i-1}}o_{(i-1)h}\cdot \omega _{(i-1)hj}-b

输出值o_{ij}=f(x_{ij})

输出层神经元：

输入值x_{Mj}=\sum_{h=1}^{n_{M-1}}o_{(M-1)h}\cdot \omega _{(M-1)hj}-b  (输入层，i=M)

输出值o_{Mj}=x_{Mj}

4.2 反向过程

前向过程之后，为了减小网络的误差，即训练网络，需要根据误差来更新网络的权值与偏置值，反向过程就是完成这个的。

1、计算每个输出神经元误差

e_{j}=d_{j}-o_{j}

2、计算目标函数值

E=\frac{1}{2}\sum_{J}^{ }(d_{j}-y_{j})^{2}=\frac{1}{2}\sum_{J}^{ }(e_{j})^{2}

3、更新权值

输入层和输出层没有进行激励函数的计算，输入层的权值需要更新，输出层的权值不会用到，不需要更新。

首先，

\bigtriangleup w_{ijk}=-\eta \frac{\partial E}{\partial w_{ijk}}=-\eta \frac{\partial E}{\partial x_{(i+1)k}}\cdot \frac{\partial x_{(i+1)k}}{\partial w_{ijk}}

令\delta_{ik} =-\frac{\partial E}{\partial x_{(i+1)k}}，则\bigtriangleup w_{ijk}=\eta \cdot \delta _{ik}\cdot \frac{\partial x_{(i+1)k}}{\partial w_{ijk}}

然后分别计算\frac{\partial x_{(i+1)k}}{\partial w_{ijk}}和\delta _{ik}

3.1 计算\frac{\partial x_{(i+1)k}}{\partial w_{ijk}}

由于i+1>1，所以不会是输入层

对于隐含层和输出层，\frac{\partial x_{(i+1)k}}{\partial w_{ijk}}=o_{ij}

 

3.2 计算\delta _{ik}

\delta_{ik} =-\frac{\partial E}{\partial x_{(i+1)k}} = -\frac{\partial E}{\partial o_{(i+1)k}} \cdot \frac{\partial o_{(i+1)k}}{\partial x_{(i+1)k}}

a.计算\frac{\partial o_{(i+1)k}}{\partial x_{(i+1)k}}

如果i+1为输出层，\frac{\partial o_{(i+1)k}}{\partial x_{(i+1)k}}=1

否则，i+1为隐含层，\frac{\partial o_{(i+1)k}}{\partial x_{(i+1)k}}={f(x_{(i+1)k})}' =o_{(i+1)k} \cdot (1-o_{(i+1)k})

 

b.计算\frac{\partial E}{\partial o_{(i+1)k}}

如果i+1为输出层，则\frac{\partial E}{\partial o_{(i+1)k}} =o_{(i+1)k}-d_{k},\delta_{ik} = {f(x_{(i+1)k})}' \cdot (o_{(i+1)k}-d_{k}) = (o_{(i+1)k}-d_{k})

如果i+1为隐含层，\frac{\partial E}{\partial o_{(i+1)k}} =\sum_{h=1}^{n_{i+2}} \delta _{(i+1)h} \cdot \omega _{(i+1)kh}

\delta_{ik} = {f(x_{(i+1)k})}' \cdot \sum_{h=1}^{n_{i+2}} \delta _{(i+1)h} \cdot \omega _{(i+1)kh} =(d_{k}-y_{k}) \cdot \sum_{h=1}^{n_{i+2}} \delta _{(i+1)h} \cdot \omega _{(i+1)kh}

综上，可得

\delta _{ik}=\left\{\begin{matrix} {f(x_{(i+1)k})}' \cdot (o_{(i+1)k}-d_{k}) = (o_{(i+1)k}-d_{k}) & i+1=M \\ {f(x_{(i+1)k})}' \cdot \sum_{h=1}^{n_{i+2}} \delta _{(i+1)h} \cdot \omega _{(i+1)kh} =(d_{k}-y_{k}) \cdot \sum_{h=1}^{n_{i+2}} \delta _{(i+1)h} \cdot \omega _{(i+1)kh} & i+1<M \end{matrix}\right.

 

所以，

\bigtriangleup w_{ijk}=\eta \cdot \delta _{ik}\cdot o_{ij}

4、更新偏置值

输入层和输出层的偏置不需要进行更新，对于隐含层：

如果i+1层为输出层：

\frac{\partial E }{\partial b_{ij}} = (o_{(i+1)k}-d_{k})

如果i+1层为输出层：

 x_{ij}=\sum_{k=1}^{n_{i-1}}o_{(i-1)k}\cdot w_{(i-1)kj} -bij          \frac{\partial E }{\partial b_{ij}} = \frac{\partial E }{\partial x_{ij}} \cdot \frac{\partial x_{ij} }{\partial b_{ij}} = \delta _{(i-1)j}

所以，

\bigtriangleup b_{ij}=\left\{\begin{matrix} \eta \cdot (o_{(i+1)k-d_{k}}) &i+1=M \\ \eta \cdot \delta _{(i-1)j}& i+1<M \end{matrix}\right.

5 更新公式

5.1 权值更新公式

\omega_{ijk} (t+1)=w_{ijk}(t)+\eta \cdot \delta _{ik}\cdot o_{ij}

5.2 偏置值更新公式

b_{ij}(t+1)=\left\{\begin{matrix} b_{ij}(t)+\eta \cdot (o_{(i+1)k-d_{k}}) &i+1=M \\ b_{ij}(t)+\eta \cdot \delta _{(i-1)j}& i+1<M \end{matrix}\right.

6、BP神经网络的优缺点

6.1 优点

BP神经网络是全局逼近的，所以它的整体性能比较好，另外，它的隐含层层数以及每一层的神经元数可以无限增加，这让BP神经网络的能力没有上限，不过一般都不会使用很多层，因为计算机的算力有限。

6.2 缺点

收敛慢，精度不够高，可能陷入局部最小（几乎所有智能算法的通病，只可改善，不可消除）。

7 BP神经网络的改进

7.1 增加动量项

即在更新公式后面加上前一次的变化量，公式如下

\bigtriangleup w(t)=\eta \cdot \delta \cdot o+\alpha \cdot \bigtriangleup w(t-1)

\bigtriangleup w(t-1)是上一次迭代的变动量。

偏置值的更新也是如此。

7.2 学习速率的自适应调节

学习速率在一定程度上决定了网络预测的精度，学习速率太大，则精度差，甚至不收敛，如果学习速率太小，则收敛缓慢。

学习速率自适应调节就是为了解决这个问题：

如果本次迭代使得误差函数的值E下降，则增大学习速率：

\begin{matrix} \eta =\beta \cdot \eta & \end{matrix} 1<\beta

如果本次迭代使得误差函数的值E上升，则此次调整无效，且减小学习速率：

\begin{matrix} \eta =\alpha \cdot \eta & \end{matrix} 0<\alpha <1

需要注意的是，由于学习速率在自己调节，所以会出现误差变大的现象，这是正常操作。

 

8 BP神经网络结构设计原则

8.1 隐含层层数的设计

对于函数拟合，理论上，只含一层隐含层的BP神经网络即可拟合出任意连续函数，只有当函数不连续时，才需要增加隐含层的层数。

8.2 隐含层神经元个数的设计

可由经验公式决定：

m=\sqrt{n+l}+\alpha或者m=\sqrt{nl}

m即神经元个数，n是输入节点数，l是输出节点数，\alpha是常数，在1-10之间

9 参考文献

人工神经网络原理及应用/朱大奇，史慧编著.

——北京：科学出版社，2006

10 最后

其实在2018年4月左右我为了在单片机上做一个3输入2输出的函数拟合，才写的神经网络，后来写完之后，没有将原理记录下来，这里隔了近1年的时间才重新记录，真是汗颜。如果大家需要BP神经网络C语言的实现，可以查看下面的链接，里面有代码以及每个函数的讲解，可以直接在单片机上使用，进行函数拟合或者预测。

链接：

https://blog.csdn.net/qq_39545674/article/details/82495569

 

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(神经网络)

  • ai绘画工具midjourney怎么下载？附作品管理教程 设计师早上好
    Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
  • 吴恩达深度学习笔记(30)-正则化的解释 极客Array
    正则化（Regularization）深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据，这是非常可靠的方法，但你可能无法时时刻刻准备足够多的训练数据或者获取更多数据的成本很高，但正则化通常有助于避免过拟合或减少你的网络误差。如果你怀疑神经网络过度拟合了数据，即存在高方差问题，那么最先想到的方法可能是正则化，另一个解决高方差的方法就是准备更多数据，这也是非常
  • 个人学习笔记7-6：动手学深度学习pytorch版-李沐 浪子L 深度学习深度学习笔记计算机视觉python人工智能神经网络pytorch
    #人工智能##深度学习##语义分割##计算机视觉##神经网络#计算机视觉13.11全卷积网络全卷积网络（fullyconvolutionalnetwork，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换。引入l转置卷积（transposedconvolution）实现的，输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。13.11.1构造模型下
  • 计算机视觉中，Pooling的作用 Wils0nEdwards 计算机视觉人工智能
    在计算机视觉中，Pooling（池化）是一种常见的操作，主要用于卷积神经网络（CNN）中。它通过对特征图进行下采样，减少数据的空间维度，同时保留重要的特征信息。Pooling的作用可以归纳为以下几个方面：1.降低计算复杂度与内存需求Pooling操作通过对特征图进行下采样，减少了特征图的空间分辨率（例如，高度和宽度）。这意味着网络需要处理的数据量会减少，从而降低了计算量和内存需求。这对大型神经网络
  • 神经网络-损失函数 红米煮粥 神经网络人工智能深度学习
    文章目录一、回归问题的损失函数1.均方误差（MeanSquaredError,MSE）2.平均绝对误差（MeanAbsoluteError,MAE）二、分类问题的损失函数1.0-1损失函数（Zero-OneLossFunction）2.交叉熵损失（Cross-EntropyLoss）3.合页损失（HingeLoss）三、总结在神经网络中，损失函数（LossFunction）扮演着至关重要的角色，它
  • BP神经网络的传递函数 大胜归来19 MATLAB
    BP网络一般都是用三层的，四层及以上的都比较少用；传输函数的选择，这个怎么说，假设你想预测的结果是几个固定值，如1,0等，满足某个条件输出1，不满足则0的话，首先想到的是hardlim函数，阈值型的，当然也可以考虑其他的；然后，假如网络是用来表达某种线性关系时，用purelin---线性传输函数；若是非线性关系的话，用别的非线性传递函数，多层网络时，每层不一定要用相同的传递函数，可以是三种配合，可
  • 神经网络传递函数sigmoid,神经网络传递函数作用 快乐的小荣荣 神经网络机器学习深度学习人工智能
    神经网络传递函数选取不同会有特别大差别嘛？只是最后一层，但前面层是非线性，那么可能存在区别不大的情况。线性函数f(a*input)=af(input),一般来说，input为向量，最简化情况下，可以假设input的各个维度，a1=a2=a3。。。意味着你线性层只是简单的对输入做了scale~而神经网络能起作用的原因，在于通过足够复杂的非线性函数，来模拟任何的分布。所以，神经网络必须要用非线性函数。
  • Python和R均方根误差平均绝对误差算法模型 亚图跨际 Python交叉知识R回归模型误差指标归一化均方根误差生态状态指标神经网络成本误差气体排放气候模型多项式拟合
    要点回归模型误差评估指标归一化均方根误差生态状态指标神经网络成本误差计算气体排放气候算法模型Python误差指标均方根误差和平均绝对误差均方根偏差或均方根误差是两个密切相关且经常使用的度量值之一，用于衡量真实值或预测值与观测值或估计值之间的差异。估计器θ^\hat{\theta}θ^相对于估计参数θ\thetaθ的RMSD定义为均方误差的平方根：RMSD⁡(θ^)=MSE⁡(θ^)=E((θ^−θ
  • 【NLP5-RNN模型、LSTM模型和GRU模型】 一蓑烟雨紫洛 nlprnnlstmgrunlp
    RNN模型、LSTM模型和GRU模型1、什么是RNN模型RNN（RecurrentNeuralNetwork)中文称为循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分（当下时间步的输入除了正常的输入外还包括上一步的隐层输出）对当下时间步的输出产生影响2、R
  • 基于深度学习的农作物病害检测 SEU-WYL 深度学习dnn深度学习人工智能
    基于深度学习的农作物病害检测利用卷积神经网络（CNN）、生成对抗网络（GAN）、Transformer等深度学习技术，自动识别和分类农作物的病害，帮助农业工作者提高作物管理效率、减少损失。1.农作物病害检测的挑战病害种类繁多：农作物病害的类型多样，不同病害在同一作物上的表现差异很大，同时同一种病害在不同生长阶段的症状也可能不同。环境影响：天气、光照、湿度等外部环境因素会影响农作物的表现，使得病害检
  • 深度学习--对抗生成网络（GAN, Generative Adversarial Network） Ambition_LAO 深度学习生成对抗网络
    对抗生成网络（GAN,GenerativeAdversarialNetwork）是一种深度学习模型，由IanGoodfellow等人在2014年提出。GAN主要用于生成数据，通过两个神经网络相互对抗，来生成以假乱真的新数据。以下是对GAN的详细阐述，包括其概念、作用、核心要点、实现过程、代码实现和适用场景。1.概念GAN由两个神经网络组成：生成器（Generator）和判别器（Discrimina
  • chatgpt赋能python：如何在Python中安装Keras库？ turensu ChatGptpythonchatgptkeras计算机
    如何在Python中安装Keras库？Keras是一个简单易用的神经网络库，由FrançoisChollet编写。它在Python编程语言中实现了深度学习的功能，可以使您更轻松地构建和试验不同类型的神经网络。如果您是一名Python开发人员，肯定会想知道如何在您的Python项目中安装Keras库。在本文中，我们将向您展示如何安装和配置Keras库。步骤1：安装Python要使用Keras库，您需
  • 如何理解深度学习的训练过程 奋斗的草莓熊 深度学习人工智能pythonscikit-learnvirtualenvnumpypandas
    文章目录1.训练是干什么？2.预训练模型进行训练，主要更改的是预训练模型的什么东西？1.训练是干什么？以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗2.预训练模型进行训练，主要更改的是预训练模型的什么东西？超参数（Hyperparameters）：这是模型结构中定义的参数，比如：卷积核大小（kernel_size
  • Keras深度学习框架入门及实战指南 司莹嫣Maude
    Keras深度学习框架入门及实战指南keraskeras-team/keras:是一个基于Python的深度学习库，它没有使用数据库。适合用于深度学习任务的开发和实现，特别是对于需要使用Python深度学习库的场景。特点是深度学习库、Python、无数据库。项目地址:https://gitcode.com/gh_mirrors/ke/keras一、项目介绍Keras简介Keras是一款高级神经网络
  • 每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch深度学习pytorch人工智能神经网络机器学习优化算法
    本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
  • 如何有效的学习AI大模型？ Python程序员罗宾 学习人工智能语言模型自然语言处理架构
    学习AI大模型是一个系统性的过程，涉及到多个学科的知识。以下是一些建议，帮助你更有效地学习AI大模型：基础知识储备：数学基础：学习线性代数、概率论、统计学和微积分等，这些是理解机器学习算法的数学基础。编程技能：掌握至少一种编程语言，如Python，因为大多数AI模型都是用Python实现的。理论学习：机器学习基础：了解监督学习、非监督学习、强化学习等基本概念。深度学习：学习神经网络的基本结构，如卷
  • 【3.6 python中的numpy编写一个“手写数字识”的神经网络】 wang151038606 深度学习入门pythonnumpy神经网络
    3.6python中的numpy编写一个“手写数字识”的神经网络要使用Python中的NumPy库从头开始编写一个“手写数字识别”的神经网络，我们通常会处理MNIST数据集，这是一个广泛使用的包含手写数字的图像数据集。但是，完全用NumPy来实现神经网络（包括数据的加载、预处理、模型定义、前向传播、损失计算、反向传播和权重更新）是一个相当复杂的任务，因为NumPy本身不提供自动微分或高级优化算法（
  • yolov5单目测距+速度测量+目标跟踪 cv_2025 YOLO目标跟踪人工智能计算机视觉机器学习图像处理opencv
    要在YOLOv5中添加测距和测速功能，您需要了解以下两个部分的原理：单目测距算法单目测距是使用单个摄像头来估计场景中物体的距离。常见的单目测距算法包括基于视差的方法（如立体匹配）和基于深度学习的方法（如神经网络）。基于深度学习的方法通常使用卷积神经网络（CNN）来学习从图像到深度图的映射关系。单目测距代码单目测距涉及到坐标转换，代码如下：defconvert_2D_to_3D(point2D,R,
  • 探索深度学习的奥秘：从理论到实践的奇幻之旅 小周不想卷 深度学习
    目录引言：穿越智能的迷雾一、深度学习的奇幻起源：从感知机到神经网络1.1感知机的启蒙1.2神经网络的诞生与演进1.3深度学习的崛起二、深度学习的核心魔法：神经网络架构2.1前馈神经网络（FeedforwardNeuralNetwork,FNN）2.2卷积神经网络（CNN）2.3循环神经网络（RNN）及其变体（LSTM,GRU）2.4生成对抗网络（GAN）三、深度学习的魔法秘籍：算法与训练3.1损失
  • 卷积神经网络（CNN）详细介绍及其原理详解（二） FFmpeg123 Pytorchcnn深度学习人工智能
    接上一文继续;五、全连接层假设还是上面人的脑袋的示例，现在我们已经通过卷积和池化提取到了这个人的眼睛、鼻子和嘴的特征，如果我想利用这些特征来识别这个图片是否是人的脑袋该怎么办呢？此时我们只需要将提取到的所有特征图进行“展平”，将其维度变为1×x1×x1×x，这个过程就是全连接的过程。也就是说，此步我们将所有的特征都展开并进行运算，最后会得到一个概率值，这个概率值就是输入图片是否是人的概率，这个过程
  • 【图像压缩】奇异值分解SVD灰色图像压缩（可设置压缩比）【含Matlab源码 4358期】 Matlab武动乾坤 Matlab图像处理（进阶版）matlab
    ✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。个人主页：海神之光代码获取方式：海神之光Matlab王者学习之路—代码获取方式⛳️座右铭：行百里者，半于九十。更多Matlab仿真内容点击Matlab图像处理（进阶版）路径规划（Matlab）神经网络预测与分类（Matlab）优化求解（Matlab）语音处理（Matlab）信号处理（Matlab）车间调度
  • TextCNN：文本卷积神经网络模型 一只天蝎 编程语言---Pythoncnn深度学习机器学习
    目录什么是TextCNN定义TextCNN类初始化一个model实例输出model什么是TextCNNTextCNN（TextConvolutionalNeuralNetwork）是一种用于处理文本数据的卷积神经网（CNN）。通过在文本数据上应用卷积操作来提取局部特征，这些特征可以捕捉到文本中的局部模式，如n-gram（连续的n个单词或字符）。定义TextCNN类importtorch.nnasn
  • 基于VGG的猫狗识别 卑微小鹿 tensorflowtensorflow
    由于猫和狗的数据在这里，所以就做了一下分类的神经网络1、首先进行图像处理：importcsvimportglobimportosimportrandomos.environ['TF_CPP_MIN_LOG_LEVEL']='2'importtensorflowastffromtensorflowimportkerasfromtensorflow.kerasimportlayersimportnum
  • 机器学习到底是个啥 旷_9b08
    机器学习是装逼神器？曾几何时，当我还在本科打dota玩屁股的时候，身边总有一帮大神。听他们谈话我的心情是。。。大佬中有各路高手前端、后段、java三大架构。。。但最令本渣一听到就仰慕甚至肃然起敬的是当听到卷积神经网络的时候。顿时就有种掉线三十分钟别人都是六神装的感觉。另外，班会上别班小哥用说用机器学习把图片转换成梵高风格时自己班妹纸那一声声尖叫怕是很难忘掉了。。。好在家里爸妈给了次重新做人的机会，
  • 入门篇，带你了解CPU, GPU, TPU, NPU, DPU 今夕是何年， 视觉算法部署深度学习算法人工智能
    目录CPU(中央处理器)GPU(图形处理器)TPU(张量处理单元)NPU(神经网络处理器)DPU(数据处理器)CPU(中央处理器)专业介绍：CPU是计算机系统的核心，负责执行操作系统和应用程序的指令。它由多个核心组成，每个核心可以独立执行任务。CPU的设计重点是处理复杂的逻辑运算和顺序任务，如分支预测、指令调度等。现代CPU通常包含多个层级的缓存（如L1、L2和L3缓存），以减少访问主存储器的延迟
  • 深度学习之基于Tensorflow卷积神经网络水果蔬菜分类识别系统 qq1744828575 pythonpythonplotly
    欢迎大家点赞、收藏、关注、评论啦，由于篇幅有限，只展示了部分核心代码。文章目录一项目简介二、功能三、系统四.总结一项目简介  一、项目背景与目标背景：在现代农业、智能零售等领域，自动化分类与识别技术对于提高效率、优化供应链管理具有重要意义。为了响应这一需求，本项目旨在构建一个基于深度学习技术的水果蔬菜分类识别系统。目标：构建一个准确率高、性能稳定的水果蔬菜分类识别模型，利用Tensorflow框架
  • 【深度学习实战】使用深度学习模型可视化工具——Netron在线可视化深度学习神经网络 量子-Alex 深度学习神经网络人工智能
    一直以来，对于深度学习领域的开发者，可视化模型都是非常迫切的需求，今天主要介绍一款可视化工具——NetronNetron有三种使用方式：在线、本地安装、pip安装今天在这里只介绍在线使用这种方式。Netron有个官方的网站：Netron点击进去是这样的一个界面我们可以点击openmodel从本地选择一个预训练模型可以看到这里就显示出来了
  • PHP中使用grpc服务的教程详解 Oona_01 phpandroid开发语言
    这篇文章主要为大家详细介绍了PHP中使用grpc服务的教程相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下grpc是通过定义服务端和客户端的代码来实现的通信的。但是要实现通信，还是要将其方法包装为一个http请求，除非你把grpc的服务端代码放在本地的端口上。grpc是面对微服务框架而风生水起的，上次我用python编写了一个图神经网络处理的微服务，使用grpc放在我的服务
  • 每天五分钟玩转深度学习框架PyTorch：获取神经网络模型的参数 幻风_huanfeng 深度学习框架pytorch深度学习pytorch神经网络人工智能模型参数python
    本文重点当我们定义好神经网络之后，这个网络是由多个网络层构成的，每层都有参数，我们如何才能获取到这些参数呢？我们将再下面介绍几个方法来获取神经网络的模型参数，此文我们是为了学习第6步（优化器）。获取所有参数Parametersfromtorchimportnnnet=nn.Sequential(nn.Linear(4,2),nn.Linear(2,2))print(list(net.paramet
  • 每天五分钟玩转深度学习框架PyTorch：将nn的神经网络层连接起来 幻风_huanfeng 深度学习框架pytorch深度学习pytorch神经网络人工智能机器学习python
    本文重点前面我们学习pytorch中已经封装好的神经网络层，有全连接层，激活层，卷积层等等，我们可以直接使用。如代码所示我们直接使用了两个nn.Linear（），这两个linear之间并没有组合在一起，所以forward的之后，分别调用了，在实际使用中我们常常将几个神经层组合在一起，这样不仅操作方便，而且代码清晰。这里介绍一下Sequential()和ModuleList()，它们可以将多个神经网
  • apache ftpserver-CentOS config gengzg apache
    <server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
  • 优化MySQL数据库性能的八种方法 AILIKES sqlmysql
    1、选取最适用的字段属性 　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的 性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
  • JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
    JeeSite 企业信息化快速开发平台 平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
  • 通过Spring Mail Api发送邮件 120153216 邮件main
    原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。 【Spring Mail API】 Spring Mail API都在org.spri
  • Pysvn 程序员使用指南 2002wmj SVN
    源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
  • 在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
    SELECT  R.session_id AS BlockedSessionID ,          S.session_id AS BlockingSessionID ,          Q1.text AS Block
  • Intent 常用的用法备忘 7454103 .netandroidGoogleBlogF#
    Intent     应该算是Android中特有的东西。你可以在Intent中指定程序 要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料 。都指定好后，只要调用startActivity()，Android系统 会自动寻找最符合你指定要求的应用 程序，并执行该程序。 下面列出几种Intent 的用法 显示网页:
  • Spring定时器时间配置 adminjun spring时间配置定时器
    红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
  • POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
    来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。 思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。 代码： #include <iostream> #include <cstdio>
  • 重构笔记——提取方法（Extract Method） ayaoxinchao java重构提炼函数局部变量提取方法
    提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。   下面是我学习这个重构手法的笔记：   提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
  • 为UILabel添加点击事件 bewithme UILabel
        默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。   UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
  • NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis数据库NoSQL
    一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
  • SecureCRT使用备注 bingyingao secureCRT每页行数
    SecureCRT日志和卷屏行数设置 一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
  • 【Scala九】Scala核心三：泛型 bit1129 scala
    泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
  • 素数与音乐 bookjovi 素数数学haskell
        由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。     闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
  • Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
            这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。         简单的说，IdentityHashMap和HashM
  • 读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
  • PS人像润饰&调色教程集锦 cherishLC PS
      1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/   新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。   所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
  • 更新多个字段的UPDATE语句 crabdave update
    更新多个字段的UPDATE语句                    update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
  • hive实例讲解实现in和not in子句 daizj hivenot inin
    本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。 假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
  • 一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
    这是人类算24点的方法？！！！ 事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态 朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。 然后么。。。我就在深夜很得瑟的问室友求室友算 刚出完题，文哥的暴走之旅开始了 5秒后
  • 关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yiiframework
    在使用 YIi的路径管理工具时，发现了一个问题。                    <?php         
  • 对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
    概述   “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。   “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
  • 学习编程那点事 gcq511120594 编程互联网
    一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
  • Reverse Linked List II hcx2013 list
    Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return 
  • Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Hadoop集群工具distcp liyonghui160com
        1. 环境描述 两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
  • 一个备份MySQL数据库的简单Shell脚本 pda158 mysql脚本
    　　主脚本（用于备份mysql数据库）： 　　该Shell脚本可以自动备份 数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。 　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
  • 300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
    A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
  • thrift总结 - 跨语言服务开发 uule thrift
    官网 官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍   RPC    POM： <dependency> <groupId>org.apache.thrift</groupId>
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他