【北京大学】人工智能实践：Tensorflow笔记（二）：优化

2.1 损失函数

神经元模型：

激活函数：

神经网络复杂度：

损失函数：



softmax() 函数使输出满足概率分布要求，因此可用下图中代码实现交叉熵损失函数：

2.2 学习率

TensorFlow 中的 tf.train.exponential_decay() 指数衰减法

2.3 滑动平均

MOVING_AVERAGE_DECAY：衰减率，是一个超参数。

trainable_variables() 把所有待训练的参数汇总成列表。
把计算滑动平均和训练过程绑定在一起运行，用 control_dependencies() 实现：

2.4 正则化