Tensorflow笔记三：神经网络的搭建
一，基本概念
(1) 基于Tensorflow的NN：用张量表示数据，用计算图搭建神经网络，用会话执行计算图，优化线上的权重（参数），得到模型。
(2) 张量:张量就是多维数组（列表）,用“阶”表示张量的维度。
(3) 数据类型:Tensorflow的数据类型有tf.float32,tf.int32等
import tensorflow as tf #导入模块
a=tf.constant([1.0,2.0]) #定义一个张量等于[1.0,2.0]
b=tf.constant([3.0,4.0]) #定义一个张量等于[3.0,4.0]
result=a+b
print result
(4) 计算图(Graph):搭建神经网络的计算过程，是承载一个或者多个计算节点的一张图，只搭建网络，不运算。
import tensorflow as tf
x=tf.constant([[1.0,2.0]])
w=tf.constant([[3.0],[4.0]])
y=tf.matmul(x,w)
print y(5)会话(Session):执行计算图中的节点运算
with tf.Session() as sess:
print sess.run(y)import tensorflow as tf
x=tf.constant([[1.0,2.0]])
y=tf.constant([[3.0],[4.0]])
y=tf.matmul(x,w)
print y
with tf.Session() as sess:
print sess.run(y)二，神经网络的搭建准备
(1) 神经网络的参数：是指神经元线上的权重w，用变量表示，一般会先随机生成这些参数。生成参数的方法是让w等于tf.variable(),把生成方式写在括号里面。
神经网络中常用的生成随机数/数组的函数有：
tf.random_normal() #生成正态分布随机数
tf.truncated_normal() #生成去掉过大偏离点的正态分布随机数
tf.random_uniform() #生成均匀分布随机数
tf.zeros() #生成全0数组
tf.ones() #生成全1数组
tf.fill() #生成全定值数组
tf.constant() #生成直接给定值得数组
w=tf.variable(tf.random_normal([2,3],stddev=2,mean=0,seed=1))
w=tf.variable(tf.truncated_normal([2,3],stddev=2,mean=0,seed=1))
w=random_uniform(shape=7,minval=0,maxval=1,dtype=tf.int32,seed=1)注：
1，随机种子如果去掉，每次生成的随机数将不一致。
2，如果没有特殊要求标准差，均值，随机种子是可以不写的。
(2) 神经网络的搭建
1，准备数据集，提取特征，作为输入喂给神经网络
2，搭建NN结构，从输入到输出（先搭建计算图，再用会话执行）（NN前向传播算法用来计算输出）
3，大量特征数据喂给NN，迭代优化NN参数（NN反向传播算法用来优化参数训练模型）
4，使用训练好的模型预测和分类
(3) 前向传播：就是搭建模型的计算过程，让模型具有推理能力，可以针对一组输入给出相应输出。
#两次简单神经网络（全连接）
import tensorflow as tf
#定义输入和参数
x=tf.constant([[0.7,0.5]])
w1=tf.variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.variable(tf.random_normal([3,1],stddev=1,seed=1))
#定义前向传播过程
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)
#用会话计算结果
with tf.Session() as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)
print sess.run(y)#喂入数据的两层简单网络
import tensorflow as tf
x=tf.placeholder(tf.float32,shape=(None,2))
w1=tf.variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.variable(tf.random_normal([3,1],stddev=1,seed=1))
a=tf.matmul(x,w1)
y=tf.matmul(a,w2)
with tf.Session() as sess:
init_op=tf.global_variables_initializer()
sess.run(init_op)
print sess.run(y,feed_dict={x:[[0.7,0.5],[0.2,0.3],[0.3,0.4],[0.4,0.5]]})
print sess.run(w1)
print sess.run(w2)(4)反向传播：训练模型参数，在所有参数上用梯度下降，使得NN模型在训练数据上的损失函数最小。
损失函数（loss）:计算得到的预测值y与已知答案y_的差距，可以使用均方误差（MSE）的方法实现。
loss_mse=tf.reduce_mean(tf.square(y_-y))
方向传播的训练方法：以减小loss为优化目标，有梯度下降，momentum优化器，adam优化器等优化方法。
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
train_step=tf.train.MomentumOptimizer(learning_rate,momentum).minimize(loss)
train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)学习率（learning_rate）:决定每次参数更新的幅度。
三，搭建神经网络
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
seed = 23455
#基于seed产生随机数
rng = np.random.RandomState(seed)
X = rng.rand(32,2)
#从X这个32行2列的矩阵中取出一行判断如果和小于1给Y赋值1如果和不小于1赋值0，作为输入数据集的标签
Y = [[int(x0+x1<1)] for (x0,x1) in X]
print "X:\n" X
print "Y:\n" Y
x = tf.placeholder(tf.float32,shape=(None,2))
y_ = tf.placeholder(tf.float32,shape=(None,1))
w1 = tf.variable(tf.random_normal([2,3],stddev=1,seed=1))
w2 = tf.variable(tf.random_normal([3,1],stddev=1,seed=1))
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)
#定义损失函数及反向传播方法,learning_rate默认为0.001，后面会介绍learning_rate的创建
loss=tf.reduce_mean(tf.square(y_-y))
train_step=tf.trainGradientDescentOptimizer(0.001).minimize(loss)
#train_step=tf.train.MomentumOptimizer(0.001,0.9).minimize(loss)
#train_step=tf.train.AdamOptimizer(0.001).minimize(loss)
#生成会话，训练STEPS轮
with tf.Session() as sess:
init_op=tf.gloabl_variables_initializer()
sess.run(init_op)
#输出目前未经训练的参数值
print "w1:\n",sess.run(w1)
print "w2:\n",sess.run(w2)
print "\n"
#训练模型
STEPS=3000
for i in range(STEPS):
start=(i*BATCH_SIZE)%32
end=start+BATCH_SIZE
sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
if i%500==0:
total_loss=sess.run(loss,feed_dict={x:X,y_:Y})
print "loss data is %g\n",total_loss
#输出经过训练后的参数取值
print"\n"
print"w1:\n",sess.run(w1)
print"w2:\n",sess.run(w2)