tf.nn.l2_loss()的用法

l2_loss()这个函数的作用是利用L2范数来计算张量的误差值，但是没有开发并且只取L2范数的值的一半

函数：

tf.nn.l2_loss(

    t,

    name=None

)

参数：

t：一个张量(tensor)，类型可以为：half, bfloat16, float32, float64

name：op的一个名字，即为这个操作取个名字

作用：不使用sqrt计算张量的L2范数的一半

输出：

一个tensor，数据类型和t相同，是一个标量

计算公式：

output = sum(t**2)/2

简单的可以理解成张量中的每一个元素进行平方，然后求和，最后乘一个1/2

 

l2_loss一般用于优化目标函数中的正则项，防止参数太多复杂容易过拟合(所谓的过拟合问题是指当一个模型很复杂时，它可以很好的“记忆”每一个训练数据中的随机噪声的部分而忘记了要去“学习”训练数据中通用的趋势)

 

例子：

#coding:utf-8

import tensorflow as tf

x = tf.constant([1,2,3],dtype=tf.float32)

with tf.Session() as sess:

    print(sess.run(tf.nn.l2_loss(x)))

 

结果输出：

7.0

计算的过程:

1/2(1**2+2**2+3**2) = 1/2(1+4+9) = 7.0

 

题外话：

正则化的基本思想是向损失函数添加一个惩罚项用于惩罚大的权重，隐式地减少自由参数的数量，所以可以达到弹性地适用不同数据量训练的要求而不产生过拟合的问题。

正则化方法是将惩罚因子加入到各层的参数或激活函数中。其实现位置通常是在模型的optimization里，在计算损失函数时将该惩罚因子加进去。