class4---tensorflow:损失函数-激活函数、交叉熵、softmax函数

之前的神经元模型：

1943年McCulloch Pitts神经元模型：添加了偏置项bias和激活函数activation function

以后都用这种模型

激活函数：

relu（现在最常用）     sigmoid            tanh

tf.nn.relu()                    tf.nn.sigmoid()         tf.nn.tanh()

交叉熵：

保证输入log值为有意义的数

自己改了一下的函数，用了bias和relu函数

#建立一个两层网络，输入层2，中间层3，输出层1

import tensorflow as tf
import numpy as np
BATCH_SIZE=40
seed=23455

#虚拟样本，基于seed生成随机数
rng=np.random.RandomState(seed)
#随机生成
X=rng.rand(80,2)
#生成标签 0、1
Y=[[x1+x2+(rng.rand()/10.0-0.05)] for (x1,x2) in X]

x=tf.placeholder(tf.float32)
y_=tf.placeholder(tf.float32)

w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=0))
b1=tf.Variable(tf.ones([1,3]))
w2=tf.Variable(tf.random_normal([3,1],stddev=1,seed=0))
b2=tf.Variable(tf.ones([1,1]))

a0=tf.add(tf.matmul(x,w1),b1)
a=tf.nn.relu(a0)
y=tf.add(tf.matmul(a,w2),b2)


#定义loss和反向传播方法
learning_rate=0.001
loss=tf.reduce_sum(tf.square(y-y_))
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
#train_step=tf.train.MomentumOptimizer(learning_rate,momentum=0.1).minimize(loss)
#train_step=tf.train.AdamOptimizer(learning_rate,beta1=0.9,beta2=0.999).minimize(loss)
with tf.Session() as sess:
    init_op=tf.global_variables_initializer()
    sess.run(init_op)
    STEPS=20000
    for i in range(STEPS):
        start=(i*BATCH_SIZE)%80
        end=start+BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i%2000 == 0:
            total_loss=sess.run(loss,feed_dict={x:X,y_:Y})
            #print("a0_val is",a0_val,"y0_val is",y0_val,"a_val is",a_val,"y_val is",y_Val,"\n")
            print("%d:loss:%g",i,total_loss)