2.1神经网络优化之损失函数

损失函数(loss)：预测(y)与已知答案(y_)的差距
神经网络优化的目标就是想找到某一套参数使损失函数最小
主流的loss计算有三种

1. 均方误差mse(Mean Squared Error)
2. 自定义
3. 交叉熵ce(Cross Entropy)
   eg.预测酸奶的日销量y。x1和x2是影响日销量的因素
   建模前，应预先采集的数据有，每日x1和x2和y（已知答案，最佳情况销量=产量），拟造数据X，Y_，y_=x1+x2 噪声：-0.05~+0.05
   当预测多和预测少不影响时
   我们用均方误差去减小loss

import tensorflow as tf
import numpy as np
BATCH_SIZE = 8#表示一次喂入神经网络多少组数据（不要过大）
seed =23445
#基于seed产生的随机数
rdm=np.random.RandomState(seed)
#随机数返回32行2列的随机数，作为数据集，表示32组体积和重量
X = rdm.rand(32,2)
Y_ = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]
#.rand()会生成0到1，前闭后开的区间，-0.05就变成-0.05~+0.05
#定义神经网络的输入、参数和输出，定义前向传播过程
x = tf.placeholder(tf.float32,shape=(None,2))#特征
y_ = tf.placeholder(tf.float32,shape=(None,1))#标准答案
#参数要匹配输入和输出
w1=tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))

#用矩阵乘法实现的前向传播
y=tf.matmul(x,w1)

#定义损失函数和反向传播方法
loss=tf.reduce_mean(tf.square(y-y_))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss)#以梯度下降实现训练过程，学习率为0.001
#还有两种实现方法，选择其一即可
#train_step=tf.train.MomentumOptimizer(0.001,0.9).minimize(loss)
#train_step=tf.train.AdadeltaOptimizer(0.001).minimize(loss)

#生成会话，训练STEPS轮
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()  # 实现对所有参数的初始化
    sess.run(init_op)
    #训练模型
    STEPS=20000
    for i in range(STEPS):
        start = (i*BATCH_SIZE)%32
        end = start +BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})
        if i % 500 ==0:

            print("经过%d轮的训练，w1是" % i)
            print(sess.run(w1))
    print("最后w1是")
    print(sess.run(w1))

最后w1是
[[0.9614939]
[1.0495782]]
两个参数都向1趋近，y=0.96x1+1.04x2
我们上面用的是均方误差去减小损失函数，默认认为预测多或者少不影响，实际上并不是这样的，接下来我们通过自定义去减小loss

预测酸奶销量，成本1元，利润9元
预测少了损失利润，预测多了损失成本
我们希望往大了预测

BATCH_SIZE = 8#表示一次喂入神经网络多少组数据（不要过大）
seed =23445
COST=1
PROFIT=9
#基于seed产生的随机数
rdm=np.random.RandomState(seed)
#随机数返回32行2列的随机数，作为数据集，表示32组体积和重量
X = rdm.rand(32,2)
Y_ = [[x1+x2+(rdm.rand()/10.0-0.05)] for (x1,x2) in X]
#.rand()会生成0到1，前闭后开的区间，-0.05就变成-0.05~+0.05
#定义神经网络的输入、参数和输出，定义前向传播过程
x = tf.placeholder(tf.float32,shape=(None,2))#特征
y_ = tf.placeholder(tf.float32,shape=(None,1))#标准答案
#参数要匹配输入和输出
w1=tf.Variable(tf.random_normal([2,1],stddev=1,seed=1))

#用矩阵乘法实现的前向传播
y=tf.matmul(x,w1)

#定义自定义损失函数，预测少了损失大，于是模型偏预测大了走
loss=tf.reduce_mean(tf.where(tf.greater(y,y_),(y-y_)*COST,(y_-y)*PROFIT))
train_step=tf.train.GradientDescentOptimizer(0.001).minimize(loss)

#生成会话，训练STEPS轮
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()  # 实现对所有参数的初始化
    sess.run(init_op)
    #训练模型
    STEPS=20000
    for i in range(STEPS):
        start = (i*BATCH_SIZE)%32
        end = start +BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y_[start:end]})
        if i % 500 ==0:

            print("经过%d轮的训练，w1是" % i)
            print(sess.run(w1))
    print("最后w1是")
    print(sess.run(w1))

这里只改变了参数
最后w1是
[[1.037331 ]
[1.0162693]]，参数都是大于1，是往大了预测

交叉熵可以表征两个概率之间分布的距离
交叉熵大，分布远；交叉熵小，分布近

ce=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-12,1.0)))