【Notes on Neural Networks and Deep Learning】(to be continued)

写在前面

为做毕设，在看Neural Networks and Deep Learning
“一本免费的在线书籍，爱好者福音。”应该是一本比较通俗的书，因为看到了一些从逻辑门角度由感知器过渡到常见神经网络（sigmoid neuron）的内容，感觉有些深度，所以打算看看；该书专注于回答”为什么“，能使读者获得更多有关神经网络和深度学习的intuition，既可当做UFLDL的补充，也可作为以后阅读Deep Learning（Bengio etc.） 的导论材料。
一个字——赞！
声明:下面的笔记只是自己阅读过程中觉得比较重要的idea/point.

chap 1

Using neural nets to recognize handwritten digits

1，首先给感知器做了比较形象的解释，举的例子是去参加cheese festival，有三个影响决策（是否去参加）的因素，分别是：

• Is the weather good?
• Does your boyfriend or girlfriend want to accompany you?
• Is the festival near public transit? (You don’t own a
  car).

三个取值均只能是0或1， 那么W矩阵就反映出这三个因素影响最终决策的权重。

2，NAND gate（与非门）足以刻画任意的逻辑运算了，但是不便于learning；阐明了将硬阀值的感知器（输入输出都只能是0/1，且激活函数为step function）“进化”成为软阀值形式（输入输出介于01之间，激活函数为sigmoid）的根本原因就是为了便于learning， 因为软阀值时W的微变带给输出的也是微变，原文：Sigmoid neurons are similar to perceptrons, but modified so that small changes in their weights and bias cause only a small change in their output.
想起加州理工的数据挖掘课，老师说软阀值是为了便于求导，和这里说的原因是等价的，但是这里说得更加get the point 。因为终归还是为了使输出相对于权重矩阵可微，便于learning.