tensorflow相关知识

反向传播
就是梯度下降使用reverse-mode autodiff
reverse-mode autodiff：
反向模式自动微分 （autodiff），通常称为反向传播，是一种用于训练人工神经网络的技术。它是在训练过程中优化神经网络参数（权重和偏差）的关键组成部分。反向模式 autodiff 特别适用于输入数量远大于输出数量的情况。

前向传播
就是进行预测，然后计算出误差，计算出每个神经元节点对误差的贡献
求贡献就是反向传播是根据前向传播的误差来求梯度的
然后根据贡献调整原来的权重

调优神经网络超参数
每个隐藏层的神经元个数
输入层和输出层的神经元很容易确定，根据需求
通常的做法是每个隐藏层的神经元越来越少
简单的方式是选择比你实际需要跟多的层数和神经元个数，然后使用early stopping
去防止过拟合，还有L1，L2正则化技术，和dropout

early stopping
early stopping背后的基本原理植根于以下观察结果：
在训练期间，模型可能在训练数据上表现良好，但随着它继续学习数据中的噪声，它可能会开始过度拟合。
通过监视验证集的性能，early stopping旨在找到模型在很好地拟合训练数据和泛化到新数据之间实现最佳权衡的点。
是模型选择和正则化的一种形式，可以有效防止过度拟合，尤其是在训练具有大量参数的深度神经网络或模型时。