RBF、GMM、FUZZY

• 感觉这三种方法有联系，RBF用多个加权高斯拟合值函数，GMM用多个加权高斯拟合联合分布函数，GMM的加权相比于概率更像FUZZY里的隶属度，并且FUZZY的不同规则实现的就是一定程度的聚类。
  

一、RBF

资料：https://blog.csdn.net/weixin_40802676/article/details/100805545

1、模型描述

• 总共分为三层，第一层是输入层，第二层隐藏层，第三层是全连接层。
  
• 隐藏层是多元高斯分布概率密度函数，将输入层所有变量输入，输出一个待加权项。隐藏层的个数是很重要的参数，每个高斯分布的参数是不同的。
• 径向基神经网络可以看作是若干个多元高斯分布的加权和。

2、参数优化

（1）中心向量和宽度

中心向量（均值）

• 中心向量刚开始可以随机选取，之后在随机选取的基础上进行优化

K-均值聚类

宽度（方差）

• 方差代表的是数据的“扩散/集中程度”，数值越大，分布越扩散。也就说方差越大，单个分布对其他分布的影响就越大。所以这个方差值要有所有中心点之间的关系去计算
  

（2）权重和偏置

• 如果中心向量和宽度已知，则输出层就是一个单层的全连接，只要梯度下降即可进行优化
• 单层的问题也可以使用最小二乘法（这二者在这种情况下，如何区分优劣呢？）

二、GMM

1、模型描述

• GMM本身也是多个高斯分布的加权和，但是它想逼近的是一个联合分布函数。注意这里和径向基神经网络的区别，高斯混合分布的空间是 输入×输出 ，是无监督的聚类。而径向基神经网络则是一种回归算法，是在拟合目标函数。

2、参数优化

（1）最大似然估计

• 如果已知一组数据符合一个正态分布，但不知道正态分布的参数，可以通过最大似然函数去估计均值和方差。
  
• 当对似然函数做最大化处理，当似然函数最大时，此时的参数就是“最有可能”的参数

（2）EM算法

资料：https://zhuanlan.zhihu.com/p/326055752

（3）EM算法在GMM上的应用

资料：https://zhuanlan.zhihu.com/p/30483076

3、GMR

• 利用GMM训练的函数作为联合分布函数
  

• 通过联合分布函数计算条件概率P(输出|输入)
  证明过程资料：https://www.zhihu.com/tardis/zm/art/74068143?source_id=1005
  

• 通过条件概率计算期望作为对输出的估计
  

三、FUZZY

资料：https://blog.csdn.net/qq_40943760/article/details/122261531

模糊神经网络