BP神经网络和RBF神经网络的区别

本站原创文章,转载请说明来自《老饼讲解-BP神经网络》 bp.bbbdata.com


有些同学只学过BP神经网络,想了解RBF神经网络
或者只学过RBF神经网络,想了解BP神经网络
那么本文就非常适合这些同学阅读,帮助大家快速将相关知识迁移到BP/RBF上
声明:本节所说的BP神经网指的是三层BP神经网络(tansig+purelin)

目录

一. BP神经网络与RBF神经网络的相同之处    

01. 用途相同

02. 思想相同

二. BP神经网络与RBF神经网络的不同之处    

2.1 求解(训练)方法的不同

2.2 隐节点个数确定的方法不同

2.3 求解精度的不同


一. BP神经网络与RBF神经网络的相同之处    

本节讲解BP神经网络与RBF神经网络相同的地方
BP神经网络与RBF神经网络的相同之处    
BP神经网络与RBF神经网络的具有极多的相似之处
最核心的相似之处如下:
 1. 用途相同:同样用于数值预测                      
  2. 思想相同:本质同样是用一些基本曲线来进行曲线拟合

01. 用途相同

BP和RBF的用途相同,主要用于数值的预测
也就是说,BP的RBF的输出都是连续的

02. 思想相同

同样是曲线拟合
BP是通过tansig曲线对目标数据进行拟合   
而RBF则是通过多个径向基曲线对目标数据进行拟合 

BP神经网络和RBF神经网络的区别_第1张图片  
 它们的数学表达式分别如下
BP的数学表达式:\text{y}=\displaystyle \sum\limits_{i}w_i *\textbf{tansig}+b
RBF的数学表达式:\text{y}=\displaystyle \sum\limits_{i}w_i *\textbf{RBF}+b 

二. BP神经网络与RBF神经网络的不同之处    

本节讲解BP神经网络与RBF神经网络不相同的地方
BP神经网络与RBF神经网络的不同之处     

2.1 求解(训练)方法的不同

BP神经网络与RBF的主要区别在于求解上的不同
BP的tansig曲线所有参数是在训练中确定
而RBF控制径向基曲线中心、宽的内层参数一般人为确定,只有径向基外层的参数需要训练
 BP的常用训练算法   :梯度下降法、LM法                          
 RBF的常用训练算法 :精确求解、OLS求解、k-means求解 

2.2 隐节点个数确定的方法不同

BP的tansig个数(隐节点个数)一般人为设定
而RBF的径向基个数,则由训练算法确定    
 例如RBF精确求解时,径向基个数等于样本个数,
使用OLS算法求解时,则是逐个添加RBF,直到误差能满足要求

2.3 求解精度的不同

径向基神经网络的最大特点是,它可以达到0误差,
当然,有时为了避免过拟合和让模型简单化,并不会采用0误差
 而是让隐节点尽量少的同时误差尽量低
但不管怎么样,0误差是径向基神经网络一个非常大的特色


RBF的详细讲解目录:老饼|BP神经网络

BP的详细讲解目录:老饼|BP神经网络

你可能感兴趣的:(机器学习,深度学习,算法)