感知机

---

感知机

• 权重( w1 w 1 , w2 w 2 …)表示相应输入对于输出重要性的参数
• 神经元的输出为0或1

output={01∑jwjxj≤threshold∑jwjxj>threshold o u t p u t = { 0 ∑ j w j x j ≤ t h r e s h o l d 1 ∑ j w j x j > t h r e s h o l d

• w∗x=∑jwjxj w ∗ x = ∑ j w j x j
• b=−threshold b = − t h r e s h o l d

output={01w∗x+b≤0w∗x+b>0 o u t p u t = { 0 w ∗ x + b ≤ 0 1 w ∗ x + b > 0

S型神经元

• Input,output(sigmod)可以为浮点数
• σ=11+e−z σ = 1 1 + e − z
• output=11+exp(−∑jwjxj−b) o u t p u t = 1 1 + e x p ( − ∑ j w j x j − b )
  

---

神经网络架构

• input layer, output layer, hidden layer
• 多层网络=> 多层感知器或者MLP
• 前馈神经网络（上一层输出作为下一层输入，没有环路）
• 递归神经网络（具有反馈回路）：具有休眠前会在一段有限的时间内保持激活状态的神经元，这种神经元可以刺激其他神经元，使其随后被激活并同样保持一段有限的时间。这样会导致更多的神经元被激活，随着时间的推移，得到一个级联的神经元激活系统。因为一个神经元的输出只在一段时间后而不是即刻影响它的输入，回路并不会引起问题。

---