2020-12-06什么是神经网络？

定义：aritificial neural network模拟生物大脑神经网络以及生物大脑功能的数学模型。（线性变换和非线性变换叠加在一起来学习数据中的特征）

需要了解的基础知识：
一、激活函数（印象中有的地方叫归一函数） sigmoid函数、Tanh函数、ReLU函数、Leaky函数等。
二、向前传播
为什么要乘以权重矩阵？（让神经网络实现基于原点的线性变换ax）
为什么要与偏置项相加？（让神经网络的线性变换脱离原点束缚）
为什么要经过激活函数？（拟合非线性变换）
这样，神经网络就可以拟合任意线性函数和非线性函数
三、损失函数（优化标准）
分为 0-1损失函数、平方损失函数、对数损失函数、交叉熵损失函数、指数损失函数
四、梯度下降算法（优化方法）（局部最优或者全局最优）
五、反向传播算法（更新梯度）
六、过拟合与欠拟合