23 前馈神经网络——Feedforward Neural Network

23 前馈神经网络——Feedforward Neural Network

23.1 神经网络背景

神经网络也是从机器学习中拓展而出。回顾之前的机器学习，我们可以将内容如下划分：

• 频率派——统计机器学习
  1. 正则化：通过给loss funtion加上惩罚项修正结果
  2. 核化：通过引入核方法解决更多类型的问题，如Kernal SVM
  3. 集成化：AdaBoost、Random Forest
  4. 层次化：Neural Network，如MLP、Autoencoder、CNN、RNN
• 贝叶斯派——概率图模型
  1. 有向图模型：Bayesian Nerwork $\to$ Deep Directed Network，如Sigmoid belief Network、VAE、GAN
  2. 无向图模型：Markov Nerwork $\to$ Deep Boltzmann Network
  3. 混合图模型：Bayesian Nerwork $\to$ Deep Belief Network

为什么要开始应用深度学习呢？

1. 数据量增大
2. 分布式计算到发展
3. 硬件的发展
4. 效果比SVM更好了

23.2 解决非线性问题的三种方法

方法一——非线性转换：通过设计非线性转换的函数，将数据转换到高维空间使得线性可分

方法二——核方法：在核函数中隐含了一个非线性转换

方法三——神经网络：MLP(FNN)，通过有向无环图实现的复合函数

具体举例来说，通过MLP解决异或问题：

1. 由于异或问题是复合运算，可以表达为（这样拆分的原因是因为两个括号中表示了异或的两种情况）：
   KaTeX parse error: Undefined control sequence: \and at position 30: …_2 = (\neg x_1 \̲a̲n̲d̲ ̲x_2) \or (x_1 \…

2. 这样我们就可以通过或与非的三种运算，通过多层的结构得到异或的表达方式。