神经网络可视化

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

#定义添加层
#in_size,out_size输入单位输出单位大小
def add_layer(inputs, in_size,out_size,activation_function=None):
Weights = tf.Variable(tf.random_normal([in_size,out_size]))#矩阵 #tf.random.normal生成随机数
biases = tf.Variable(tf.zeros([1,out_size]) + 0.1)#列表
Wx_plus_b = tf.matmul(inputs,Weights) + biases
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
return outputs

#生成训练的数据
#维度[:,np.newaxis]，构造列矩阵 #创建等差数列
x_data = np.linspace(-1,1,300)[:,np.newaxis].astype(‘float32’)
#noise是不完全符合y=x*x -0.5,更像真实数据
noise = np.random.normal(0,0.05,x_data.shape)#np.random.normal是一个正态分布
y_data = np.square(x_data) - 0.5 + noise

#定义节点准备接收数据
xs=tf.placeholder(tf.float32,[None,1])#[None,1]行不定，列为1，可以理解为列向量
ys=tf.placeholder(tf.float32,[None,1])

#l1 隐藏层
l1= add_layer(xs,1,10,activation_function=tf.nn.relu)
#prediction 输出层
prediction = add_layer(l1,10,1,activation_function=None)

#reducition_indices=[1]按列求和，reducition_indices=[0]按行求和

#设置参数
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction),
reduction_indices=[1]))

#定义反向传播算法（使用梯度下降算法训练）选择 optimizer 使 loss 达到最小 学习效率0.1（一般小于1）
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
init =tf.initialize_all_variables()

#会话控制
sess=tf.Session()
sess.run(init)

fig = plt.figure()
ax = fig.add_subplot(1,1,1)
ax.scatter(x_data,y_data)

#训练1000次
for i in range(1000):
sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
if i % 50 ==0:
print(sess.run(loss,feed_dict={xs:x_data,ys:y_data}))
try:
ax.lines.remove(lines[0])
except Exception:
pass
prediction_value = sess.run(prediction,feed_dict={xs:x_data})
lines = ax.plot(x_data,prediction_value,‘r-’,lw =5)
#0.1秒的停顿
plt.pause(0.1)
plt.ion()
plt.show()
#防止图像消失
plt.pause(0)
#注意placeholder和feed_dict是绑定用的