【神经网络哲学思考和研究启示】

写在前面的话

“神经网络”是什么？如何直观理解它的能力极限？它是如何无限逼近真理的？
视频笔记~

什么是神经网络？

神经网络由多个感知机组成。下面给出一个基本的神经网络，由输入层，隐藏层和输出层构成，隐藏层由多个感知机组成。不论是给一个结构化的数据还是非结构化的数据，隐藏层所接收的都是特征数据，每个特征数据有一定的权重，当给出一个猫的图片，耳朵和胡子权重占比大就会激活猫的分类而抑制狗的分类。注意下面是一个全连接层的神经网络，除此之外还有卷积神经网络，循环神经网络等等。

普遍逼近定理：只要神经网络有一个隐藏层，那它就能任意逼近一个连续函数。

傅里叶级数：把一个复杂的函数分解成一个个圆周运动（正弦波）。

神经网络：把一个复杂的函数分解成一个个感知机（线性函数+激活函数）。

全连接神经网络的缺点

当数据维度过大时，全连接神经网络很难花费较短的时间去调节参数：考虑一张1080p的图片，200多万个像素点，代表数据有200多万个维度，输入到全连接神经网络就有200多万参数需要被调节。

神经网络和感知器训练的不同

感知机需要两侧的数据把分界线夹逼出来，即胖和瘦的数据。

神经网络只需要一侧的数据就能把分界线找出，它是怎么找出来的呢？比如训练识别猫，我们只给猫的照片，没有给出不是猫的照片（因为太多了）进行训练，那么神经网络怎么找到这个决策面的呢？

感知机的激活函数是0/1跃阶

神经网络的激活函数是非线性的，例如sigmoid函数

从一个是非问题，变成了好坏程度问题（是不是猫，变成到底有多像猫）。平面变成曲面。

神经网络找出一个偏差最小的模型，逼近任何一种统计模型。

感知机：

线性函数：对某个类型里标准模型的描述

激活函数：判断标准，判断你这个数据是否符合这个标准

神经网络：

一堆线性函数+一堆激活函数（层层逼问）

思考

神经网络是演化的产物，类似遗传算法能找到的解，但是这个解不能被写成一个统一的表达式，只能一步步执行，神经网络也是如此。但是现实中的物理规律是底层规律的组合，不用像神经网络一样判断对或错，好或坏，所以可以写成统一的表达式。也许正是因为神经网络引入激活函数这样的概念，使得神经网络通过演化的方式不断逼近真相。