从异或问题到前馈神经网络 (from XOR problem to FNN)

【参考资料】
1.B站：机器学习-白板推导系列(二十三)-前馈神经网络（Feedforward Neural Network）

关于非线性问题 Non-Linear Problem
有以下三种常见的解决方法

1 Non-Linear Transformation 非线性转化

$$\varphi :\mathcal{X}\to \mathcal{Z}$$

即构造函数 $\varphi$，将 input space $\mathcal{X}$ 转化成 feature space $\mathcal{Z}$
通常是由低维至高维的装换 (高维特征往往更加容易线性可分)

2 Kernel Method

$$\kappa (x,x^{\prime })=<\varphi (x),\varphi (x^{\prime })>$$

核方法可以视作隐藏的非线性转化

3 Neural Network

以异或问题为例
异或问题 (XOR $\oplus$) 是一个典型的线性不可分的问题

而基本运算 AND: $\wedge$, OR: $\vee$, NOT: $\neg$ 都是线性可分的

将基本运算符进行组合，我们可以表示出符合运算符 XOR

$$x_1\oplus x_2=(\neg x_1\wedge x_2)\vee (x_1\wedge \neg x_2)$$

推导
令 $x_1\oplus x_2\to 1$
那么 $x_1,x_2=\{\begin{array}{ll}1,0& (1)\\ 0,1& (2)\end{array}$, 因此 $x_1\oplus x_2=(1)\vee (2)$
对于 $(1):1,0\to 1$ 可以类比于 AND ($1,1\to 1$) (这里只有一种对应情况，和 AND 很类似，而 OR 则有三种对应情况)
因此 $(1):x_1\wedge \neg x_2\to 1$
同理 $(2):\neg x_1\wedge x_2\to 1$
最终可得 $x_1\oplus x_2=(\neg x_1\wedge x_2)\vee (x_1\wedge \neg x_2)$

如果把以上推导以图的形式展现，就得到了一个最简单的神经网络

如果在给每层都加上一个 bias unit，就可以得到一个简单的多层感知机 MLP，也叫前馈神经网络 FNN