Model Representation--machine learning

1.How does the nervous system work

这是一个简单的模型，一个神经元接受来自其他神经元的输入，并且输出信息到其他神经元。考虑到神经元之间的联系，我们有更加复杂的模型

几个神经元作为一个神经元的输入，这个神经元作为下一个神经元的输入，这样子就构成了很多层。

2.What do we learn from nervous system?

仿照神经元的信息传输模式，我们建立了神经网络，针对没有中间层的神经元传输模型我们建立了没有中间层的神经网络。

即：$$h_{\theta }x=g({\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3)$$ 将$x_0$作为偏置输入
对有中间层的神经网络，我们同样可以建立模型

即：$$a_1^{(2)}=g({\theta }_{10}^{(1)}{x}_0+{\theta }_{11}^{(1)}{x}_1+{\theta }_{12}^{(1)}{x}_2+{\theta }_{13}^{(1)}{x}_3)$$$$a_2^{(2)}=g({\theta }_{20}^{(1)}{x}_0+{\theta }_{21}^{(1)}{x}_1+{\theta }_{22}^{(1)}{x}_2+{\theta }_{23}^{(1)}{x}_3)$$$$a_3^{(2)}=g({\theta }_{30}^{(1)}{x}_0+{\theta }_{31}^{(1)}{x}_1+{\theta }_{32}^{(1)}{x}_2+{\theta }_{33}^{(1)}{x}_3)$$我们令$$z_1^{(2)}={\theta }_{10}^{(1)}{x}_0+{\theta }_{11}^{(1)}{x}_1+{\theta }_{12}^{(1)}{x}_2+{\theta }_{13}^{(1)}{x}_3$$ $$z_2^{(2)}={\theta }_{20}^{(1)}{x}_0+{\theta }_{21}^{(1)}{x}_1+{\theta }_{22}^{(1)}{x}_2+{\theta }_{23}^{(1)}{x}_3$$ $$z_3^{(2)}={\theta }_{30}^{(1)}{x}_0+{\theta }_{31}^{(1)}{x}_1+{\theta }_{32}^{(1)}{x}_2+{\theta }_{33}^{(1)}{x}_3$$可以得到$$a_1^{(2)}=g(z_1^{(2)})$$ $$a_2^{(2)}=g(z_2^{(2)})$$ $$a_3^{(2)}=g(z_3^{(2)})$$
二层的表示与上面的例子类似。

3.In terms of matrices

从上面的式子中，相信同学们已经发现可以用矩阵来表示
$$\left[\begin{array}{c}{z}_1^{(2)}\\ z_2^{(2)}\\ z_3^{(2)}\end{array}\right]=\left[\begin{array}{cccc}{\theta }_{10}^{(1)}& {\theta }_{11}^{(1)}& {\theta }_{12}^{(1)}& {\theta }_{13}^{(1)}\\ {\theta }_{20}^{(1)}& {\theta }_{21}^{(1)}& {\theta }_{22}^{(1)}& {\theta }_{23}^{(1)}\\ {\theta }_{30}^{(1)}& {\theta }_{31}^{(1)}& {\theta }_{32}^{(1)}& {\theta }_{33}^{(1)}\end{array}\right]\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right]$$