Julia：用多层感知机解决异或问题

1/ 异或问题（XOR Problem）

异或问题就是当两个输入的布尔值不一致时，输出为 True（可以用 1 代表），如果两个输入的布尔值一致的时候，输出为 False（可以用 0 代表）。

据说多层感知机（MLP）是很难处理异或问题的，就好比下面的问题。

首先由一个问题引入，来自邱锡鹏老师的书《神经网络与深度学习》第四章的习题 4-2：

习题 4-2 试设计一个前馈神经网络来解决 XOR 问题，要求该前馈神经网络具有两个隐藏神经元和一个输出神经元，并使用 ReLU 作为激活函数。

一个可行的结果如下，
$$\begin{gathered} {\mathbf{W}}^{(1)}=\left[\begin{array}{ll}1& 1\\ 1& 1\end{array}\right],{\mathbf{b}}^{(1)}=\left[\begin{array}{c}0\\ -1\end{array}\right] \\ {\mathbf{w}}^{(2)}=\left[\begin{array}{c}1\\ -2\end{array}\right],b^{(2)}=\left[0\right]\text{\hspace{1em}(1)} \end{gathered}$$
故整个网络的计算为：
$$\mathbf{y}={\left({\mathbf{w}}^{(2)}\right)}^{\mathrm{T}}\left(\mathrm{ReLU}\left({\left({\mathbf{W}}^{(1)}\right)}^{\mathrm{T}}\mathbf{X}+{\mathbf{b}}^{(1)}\right)\right)+b^{(2)}$$
代入：
$$\mathbf{X}=\left[\begin{array}{llll}0& 0& 1& 1\\ 0& 1& 0& 1\end{array}\right]$$
可以算得：$\mathbf{y}=\left[\begin{array}{llll}0& 1& 1& 0\end{array}\right]$

2/ 使用 Flux 训练

2.1/ 两个隐含神经元

实际上这样的一个网络结构，如果使用随机初始化的方式去训练，是训练不好的，原因在于中间要求的是一个 ReLU 激活函数，如果换成其他的激活函数就能够训练好。

使用如下代码：

using Flux

function loss()
    ŷ = mlp(data)
    Flux.mse(ŷ, y)
end

cb = function ()
    println(loss())
end

data = Array([[0 1 0 1];
              [0 0 1 1]]);
y = Array([[0 1 1 0];]);

mlp = Chain(Dense(2, 2, relu), Dense(2, 1));
ps = Flux.params(mlp);

opt = ADAM(0.01)
@time Flux.train!(loss, ps, Iterators.repeated((), 1000), opt, cb=cb)

训练完之后会发现，损失依然很高，输出的结果会是全部都很接近 $0.5$.

如果我们将隐含层的参数设置为 (1) 式的结果，然后只训练输出层的权重 ${\mathbf{w}}^{(2)}$，那么会得到相同的结果：

# 自定义权重，将权重都初始化为全 1 的矩阵
mlp = Chain(Dense(2, 2, relu, bias=[0; -1], init=ones),
            Dense(2, 1, bias=zeros(1), init=ones))
# 只拿出第三个参数，即输出层的权重训练
ps = Flux.params(Flux.params(mlp)[3])
opt = ADAM(0.1)
@time Flux.train!(loss, ps, Iterators.repeated((), 1000), opt, cb=cb)

结果会得到 ${\mathbf{w}}^{(2)}=[0.9999...-1.9999...]$，与题目设计的是一样的。

2.2/ 三个隐含神经元

但实际上，如果我们在隐含层上使用三个神经元，就能够解决这个问题。这证明只使用两个隐含神经元，模型的能力并不够，加多了一个就能够解决了：

mlp = Chain(Dense(2, 3, relu), Dense(3, 1));
ps = Flux.params(mlp)
opt = ADAM(0.01)
@time Flux.train!(loss, ps, Iterators.repeated((), 1000), opt, cb=cb)
# loss = 0.22230548
# loss = 0.21818444
# ...
# loss = 0.0
ŷ = mlp(data)

最后的解是对的，查看各层的参数可以知道
$$\begin{gathered} {\mathbf{W}}^{(1)}=\left[\begin{array}{ll}0.574309& -0.574309\\ 0.92754& -0.966212\\ 1.12378& -1.12138\end{array}\right],{\mathbf{b}}^{(1)}=\left[\begin{array}{c}0.5743128\\ -0.00046141824\\ -0.0034916808\end{array}\right] \\ {\mathbf{w}}^{(2)}=\left[\begin{array}{c}-1.74122\\ 0.60053\\ 1.2883\end{array}\right],b^{(2)}=\left[1.0000067\right] \end{gathered}$$
当使用两个隐含神经元的时候，使用随机初始化权重的方式去训练，会非常难以求解，但是如果使用三个隐含神经元，那么其能力就足以解决异或问题了。

不过实际上，在使用两个隐含神经元的时候，不使用 ReLU 作为激活函数，而是在隐含层使用 Sigmoid 函数，那么只有两个隐含神经元的情况下，也可以解决异或问题。

主要的问题应该还是在 ReLU 会把小于零的部分直接截断，相当于这个神经元没有被激活，会容易造成神经元「死亡」无法再继续训练。