tensorflow: 如何定义常量tensor与变量tensor

Refence:  《Tensorflow machine learning cookbook》 : Declaring Tensors

Packt.TensorFlow.Machine.Learning.Cookbook.2017 笔记


主要应用领域：计算机视觉，语音识别，机器翻译，健康医疗
流行的GPU架构：Nvidia Tesla and Pascal，4G RAM，
GPU软件支持：Nvidia Cuda Toolkit and also v 5.x +
通用十步骤：
1.导入或生成数据集；
2.转换和标准化数据；data = tf.nn.batch_norm_with_global_normalization(...)
3.划分训练、测试和验证数据集；
4.设置超参数，集中设置；
learning_rate = 0.01
batch_size = 100
iterations = 1000
5.初始化变量与占位符；通过占位符喂数据，模型调整变量，权重和偏好。
a_var = tf.constant(42)
x_input = tf.placeholder(tf.float32, [None, input_size])
y_input = tf.placeholder(tf.float32, [None, num_classes])
6.定义模型结构；构建计算图。
y_pred = tf.add(tf.mul(x_input, weight_matrix), b_matrix)
7.定义损失函数；
loss = tf.reduce_mean(tf.square(y_actual – y_pred))
8.初始化和训练模型
with tf.Session(graph=graph) as session:
...
session.run(...)
...
或：
session = tf.Session(graph=graph)
session.run(…)
9.评估模型；在训练集和测试集上。
10.超参数调优；在验证集上
11.应用，部署上线，预测新输出；


http://tensorfly.cn/tfdoc/mltools.html有广泛的机器学习资源介绍。
但tensorflow的api在tensorfly.cn上还没有。可以下一个tensorflow manual,里面包括了tensorflow的基础教程，运作方式和python,c++的api.

图一：模型的各类参数

申明tensor: 只创建tensor，tf不会在计算图中加任何东西，只有这些东西可用时才会加入计算图。


定义tensor练习：

#申明tensor常见方式
import tensorflow as tf;
from tensorflow.python.framework import ops
ops.reset_default_graph()


def show(tip, *a):
    sess = tf.Session()
    b = sess.run(a)
    print('-------------------')
    print(tip)
    for i in b:
        print(i)  


sess = tf.Session()
    
#1.常量tensor    
zeros_tsr = tf.zeros([2, 3])
show("tf.zeros:",zeros_tsr)
ones_tsr = tf.ones([1, 3])
show("tf.ones:",ones_tsr)
filled_tsr = tf.fill([2, 4], 8) #创建一个常量
show('tf.fill:',filled_tsr)
constant_tsr = tf.constant([1, 2, 3]) #创建一个自定义的常量
show('tf.constant:',constant_tsr)
constant2_str = tf.constant(8, tf.float32, [2,4]) #等价于fill
show('tf.constant:',constant2_str)
#2.其于其它变量的shape来创建常量
zeros_similar = tf.zeros_like(zeros_tsr)
show('tf.zeros_like:',zeros_similar)
ones_similar = tf.ones_like(ones_tsr)
show('tf.ones_like:',ones_similar)
#3.序列类常量
linear_tsr = tf.linspace(start=0.0, stop=1, num=11) #使用样本个数，常用
show("tf.linspace:",linear_tsr)
range_tsr = tf.range(0, 1, 0.1) #等价于linspace，但使用步长，有时不方便 
show('tf.range:',range_tsr)
#4.随机类常量
rand_unif_tsr = tf.random_uniform([2,3], 0, 10) #[0,10)的均匀分布
show('tf.random_uniform:',rand_unif_tsr)
randnorm = tf.random_normal([2,3], 0, 0.1) #均值0，标准差 0.1
show('tf.random_normal:' , randnorm)
trunc_norm = tf.truncated_normal([2,3], 0, 0.1) #同上，但2个标准差之外的截掉
show('tf.truncated_normal',trunc_norm)
value = tf.range(1,10)
show('tf.range:', value)
shuffle_output = tf.random_shuffle(value) #洗牌
show('tf.random_shuffle:',shuffle_output)
rand_int_tsr = tf.random_uniform([3,4], 0, 100)
cropped_output = tf.random_crop(rand_int_tsr, [2,2])
show('tf.random_crop:', rand_int_tsr,  cropped_output)  #在3*4的矩阵上，随机取一个 2*2的子矩阵，常用于彩色图片 （高，宽，3颜色通道）


#创建变量tensor
print('--------------------------------')
cropped_output_var = tf.Variable(cropped_output)
sess.run(cropped_output_var.initializer)
print(sess.run(cropped_output_var))
cropped_output_var2 = tf.Variable(tf.lin_space(7.0, 9, 3))
sess.run(cropped_output_var2.initializer)
print(sess.run(cropped_output_var2))


var1 = tf.Variable(tf.range(1,3))
var2 = tf.Variable(tf.range(4,8))
init_allvars_op = tf.global_variables_initializer() #不用每个变量都去取initializer
sess.run(init_allvars_op)
print(sess.run([var1,var2]))


#转任意数组或常量到tensor
a = [1, 2, 3]
show("const to tensor:" , tf.convert_to_tensor(a))

输出结果：

-------------------
tf.zeros:
[[ 0.  0.  0.]
 [ 0.  0.  0.]]
-------------------
tf.ones:
[[ 1.  1.  1.]]
-------------------
tf.fill:
[[8 8 8 8]
 [8 8 8 8]]
-------------------
tf.constant:
[1 2 3]
-------------------
tf.constant:
[[ 8.  8.  8.  8.]
 [ 8.  8.  8.  8.]]
-------------------
tf.zeros_like:
[[ 0.  0.  0.]
 [ 0.  0.  0.]]
-------------------
tf.ones_like:
[[ 1.  1.  1.]]
-------------------
tf.linspace:
[ 0.          0.1         0.2         0.30000001  0.40000001  0.5
  0.60000002  0.69999999  0.80000001  0.90000004  1.        ]
-------------------
tf.range:
[ 0.          0.1         0.2         0.30000001  0.40000001  0.5
  0.60000002  0.70000005  0.80000007  0.9000001 ]
-------------------
tf.random_uniform:
[[ 7.20409775  6.92542934  4.91668463]
 [ 2.51387954  4.47322464  0.28337955]]
-------------------
tf.random_normal:
[[ 0.05500451 -0.01932122 -0.00656942]
 [ 0.27151474  0.05169746  0.08516382]]
-------------------
tf.truncated_normal
[[-0.09705421  0.18184513 -0.09811895]
 [-0.00603499  0.11441358 -0.19262247]]
-------------------
tf.range:
[1 2 3 4 5 6 7 8 9]
-------------------
tf.random_shuffle:
[2 9 8 3 1 5 7 4 6]
-------------------
tf.random_crop:
[[ 99.53952026   1.27675533  68.68402863  85.94589233]
 [ 21.94381905  83.0783844   88.68248749  51.50793839]
 [ 16.83168411  37.43605804  72.67305756   7.39020109]]
[[ 68.68402863  85.94589233]
 [ 88.68248749  51.50793839]]
--------------------------------
[[ 17.86952019  46.57141113]
 [ 64.63282013  68.54146576]]
[ 7.  8.  9.]
[array([1, 2]), array([4, 5, 6, 7])]
-------------------
const to tensor:
[1 2 3]