Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用

一、二次代价函数

 

Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用_第1张图片

y代表实际值,其实就是label。y-a即误差,误差的平方和除以样本数。

第二个公式是表示只有一个样本时的代价函数。σ()是激活函数,输出前需要经过一个激活函数。W是权值,X是上一层的信号值,b是偏置值,最终得到z,z是信号的总和。

Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用_第2张图片

第一个式子:对w权值求偏导;(复合函数求偏导)

第二个式子:对b偏置值求偏导。

其中,z表示神经元的输入,sigma表示激活函数。w和b的梯度跟激活函数的梯度成正比,w和b的大小天正得越快,训练收敛得越快。

Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用_第3张图片

sigmoid函数即S形函数,值域为[0,1]。在B点出现梯度消失。

假设我们的目标是收敛到1,A点的值为0.82离目标比较远,梯度比较大,权值调整比较大。B的值为0.98离目标比较近,梯度比较小,权值调整比较小。调整方案合理。

假设我们的目标是收敛到0,A点的值为0.82离目标比较远,梯度比较大,权值调整比较大,调整方案合理。B的值为0.98,梯度比较小,权值调整比较小,调整方案不合理。

二、交叉熵代价函数

Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用_第4张图片

Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用_第5张图片

策略更加合理,故相比于二次代价函数,模型收敛更快。

三、对数似然代价函数

与softmax函数搭配使用。softmax函数是将数值转化为概率。

Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用_第6张图片

Python-Tensorflow-二次代价函数、交叉熵、对数似然代价函数、交叉熵应用_第7张图片

策略更加合理,故相比于二次代价函数,模型收敛更快。

四、优化代价函数的实战训练

这里仅仅将代价函数进行转换,使用softmax较适用的交叉熵代价函数 

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
#读取mnist数据集 如果没有则会下载
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

#每个批次的大小
batch_size = 100
#计算一共有多少批次
n_batch = mnist.train.num_examples // batch_size

#定义两个占位符
x = tf.placeholder(tf.float32,[None,784])
y = tf.placeholder(tf.float32,[None,10])

#创建简单的神经网络
#群值
W = tf.Variable(tf.zeros([784,10]))
#偏置值
b = tf.Variable(tf.zeros([10]))
#预测值
prediction = tf.nn.softmax(tf.matmul(x,W)+b)

#二次代价函数
#loss = tf.reduce_mean(tf.square(y-prediction))
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#使用梯度下降法
train_step = tf.train.GradientDescentOptimizer(0.3).minimize(loss)
#初始化变量
init = tf.global_variables_initializer()

#预测数据与样本比较,如果相等就返回1 求出标签
#结果存放在布尔型列表中
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一维张量中最大的值所在的位置
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

#进行训练
with tf.Session() as sess:
    sess.run(init)
    for i in range(21):#周期
        for batch in range(n_batch):#批次
            batch_xs, batch_ys = mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys})

        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print("周期 :"+ str(i) + "准确率:" +  str(acc))

运行结果 

周期 :0准确率:0.8839
周期 :1准确率:0.9017
周期 :2准确率:0.9059
周期 :3准确率:0.9107
周期 :4准确率:0.9127
周期 :5准确率:0.915
周期 :6准确率:0.9155
周期 :7准确率:0.919
周期 :8准确率:0.9178
周期 :9准确率:0.9196
周期 :10准确率:0.9204
周期 :11准确率:0.9222
周期 :12准确率:0.9215
周期 :13准确率:0.9224
周期 :14准确率:0.9219
周期 :15准确率:0.9222
周期 :16准确率:0.9217
周期 :17准确率:0.923
周期 :18准确率:0.9236
周期 :19准确率:0.9237
周期 :20准确率:0.9249

通过对比可以看出后者的训练的速度更快,训练的准确率更高了

 

你可能感兴趣的:(#,机器学习)