ML笔记——神经网络

目录

---

想法

用计算机的方式表示各个神经元，模仿生物的大脑。
用数据表示各个神经细胞，用函数表示神经细胞间的传递过程。

数学表达

其中的

x1, x2 x 1 ,   x 2

表示原始数据，

a(2)1 a 1 ( 2 )

表示第二个激活层的第一个单元
由原始数据向激活层传递的过程表示为

a(2)1=g(θ(1)10x0+θ(1)11x1+θ(1)12x2) a 1 ( 2 ) = g ( θ 10 ( 1 ) x 0 + θ 11 ( 1 ) x 1 + θ 12 ( 1 ) x 2 )

上式中的

θ(j)ik θ i k ( j )

表示为从第 j 层中的第 k 个单元向第 j+1 层中第 i 个单元传递的权值
其中的假设函数

hθ(x)=a(2)1 h θ ( x ) = a 1 ( 2 )

对于再复杂一些的网络如下图：

则有

a(2)1=g(θ(1)10x0+θ(1)11x1+θ(1)12x2+θ(1)13x3) a 1 ( 2 ) = g ( θ 10 ( 1 ) x 0 + θ 11 ( 1 ) x 1 + θ 12 ( 1 ) x 2 + θ 13 ( 1 ) x 3 )

a(2)2=g(θ(1)20x0+θ(1)21x1+θ(1)22x2+θ(1)23x3) a 2 ( 2 ) = g ( θ 20 ( 1 ) x 0 + θ 21 ( 1 ) x 1 + θ 22 ( 1 ) x 2 + θ 23 ( 1 ) x 3 )

a(2)3=g(θ(1)30x0+θ(1)31x1+θ(1)32x2+θ(1)33x3) a 3 ( 2 ) = g ( θ 30 ( 1 ) x 0 + θ 31 ( 1 ) x 1 + θ 32 ( 1 ) x 2 + θ 33 ( 1 ) x 3 )

hθ(x)=a(3)1=g(θ(2)10a(2)0+θ(2)11a(2)1+θ(2)12a(2)2+θ(2)13a(2)3) h θ ( x ) = a 1 ( 3 ) = g ( θ 10 ( 2 ) a 0 ( 2 ) + θ 11 ( 2 ) a 1 ( 2 ) + θ 12 ( 2 ) a 2 ( 2 ) + θ 13 ( 2 ) a 3 ( 2 ) )

实现过程

神经网络的实现方式可以选择一组基本操作（如：加减法），再通过这一组基本操作求解复杂过程的解（如：解一元一次方程）
机器学习视频中讲述的是通过构造与、或、非三个基本的逻辑运算，并用这些简单的神经网络构造异或运算