吴恩达机器学习笔记（六）Neural NetWorks:Representation

神经网络

Neural Networks:Representation

模型表达I:Model representation I

单个神经元树突:input wires 轴突：output wires
神经元：逻辑单元
parameter：weight权重
x0:bias unit \ bias neuron(偏置单元\偏置神经元）
Sigmoid(logistic) activation function :non-linearity非线性函数g(z)
神经网络：a group of these different neurons strung togther.
即一组神经元连接在一起的集合。
典型的三层神经网络：输入层、隐藏层、输出层。

$a_i^{(j)}$：第 j 层的第 i个激活项 。(“activation" of unit i in layer j”)
Θ(j)：从第 j层( units:$s_j$j​)到第 j+1层( units: $s_{j+1}$​)的权重矩阵，
维数： $s_{j+1}\times (s_j+1)$

模型表达II:Model representation II

Forward propagation：向前传播向量化实现

神经网络中神经元的连接方式称为神经网络架构（architecture)
架构指不同的神经元的连接方式。
$$h_{\Theta }(x)=a^{(3)}=g(z^{(3)})=g({\Theta }^{(2)}{a}^{(2)})=g({\Theta }^{(2)}g(z^{(2)}))=g({\Theta }^{(2)}g({\Theta }^{(1)}{a}^{(1)}))$$

例子与直觉理解：Example and intuitions

神经网络实现逻辑与AND
神经网络实现逻辑或OR
神经网络实现逻辑或XNOR

多类别分类：Mult-class classification