计算机视觉学习之路之tensorflow学习-01基本概念与常用函数

框架中的基本概念

tensor张量

是多维数组，用阶表示张量的维数。

0阶张量叫做标量，表示的是一个单独的数，如 123；
1阶张量叫作向量，表示的是一个一维数组如[1,2,3]；
2阶张量叫作矩阵，表示的是一个二维数组，它可以有 i 行 j列个元素，每个元素用它的行号和列号共同索引到，如在[[1,2,3],[4,5,6],[7,8,9]]中，2 的索引即为第 0 行第 1 列；

注：张量的阶数与方括号的数量相同，0 个方括号即为 0 阶张量，1 个方括号即为 1 阶张量。

故张量可以表示
0 阶到 n 阶的数组。也可通过 reshape 的方式得到更高维度数组，举例如下：

c = np.arange(24).reshape(2,4,3) #两行 四列 三数
print( c )

创建张量的方式01

利用 tf.constant(张量内容，dtype=数据类型(可选))，第一个参数表示张量内容，
第二个参数表示张量的数据类型。举例如下：

import tensorflow as tf 
a=tf.constant([1,5],dtype=tf.int64)
print(a)
print(a.dtype)
print(a.shape)

输出结果为：


(2,)

即会输出张量内容、形状与数据类型，shape 中数字为 2，表示一维张量里有 2个元素。

注：去掉 dtype 项，不同电脑环境不同导致默认值不同，可能导致后续程序 bug

创建张量的方式02

很多时候数据是由 numpy 格式给出的，此时可以通过如下函数将 numpy 格式化为 Tensor 格式：tf. convert_to_tensor(数据名，dtype=数据类型(可选))。
举例如下：

import tensorflow as tf
import numpy as np
a = np.arange(0, 5)
b = tf.convert_to_tensor( a, dtype=tf.int64 )
print(a)
print(b)

输出结果为：
[0 1 2 3 4]
tf.Tensor([0 1 2 3 4], shape=( 5 , ), dtype=int64)

创建张量的方式03

可采用不同函数创建不同值的张量。如用 tf. zeros(维度)创建全为 0 的张量，
tf.ones(维度)创建全为 1 的张量，tf. fill(维度，指定值)创建全为指定值的张量。
其中维度参数部分，如一维则直接写个数，二维用[行，列]表示，多维用[n,m,j…]表示。

a = tf.zeros([2, 3])
b = tf.ones(4)
c = tf.fill([2, 2], 9)
print(a)
print(b)
print(c)

输出结果：
tf.Tensor([[0. 0. 0.] [0. 0. 0.]], shape=(2, 3), dtype=float32)
tf.Tensor([1. 1. 1. 1.], shape=(4, ), dtype=float32)
tf.Tensor([[9 9] [9 9]], shape=(2, 2), dtype=int32)

可见，tf.zeros([2,3])创建了一个二维张量，第一个维度有两个元素，第二个维度有三个元素，元素的内容全是 0；tf.ones(4)创建了一个一维张量，里边有 4 个元素，内容全是 1；tf.fill([2,2],9)创建了一个两行两列的二维张量，第一个维度有两个元素，第二个维度也有两个元素，内容都是 9。

创建张量的方式04

可采用不同函数创建符合不同分布的张量。
如用 tf. random.normal (维度，mean=均值，stddev=标准差)生成正态分布的随机数，默认均值为 0，标准差为 1；
用 tf. random.truncated_normal (维度，mean=均值，stddev=标准差)生成截断式正态分布的随机数，能使生成的这些随机数更集中一些，如果随机生成数据的取值在 (µ - 2σ，u + 2σ ) 之外则重新进行生成，保证了生成值在均值附近；
利用 tf. random. uniform(维度，minval=最小值，maxval=最大值)，生成指定维度的均匀分布随机数，用 minval 给定随机数的最小值，用 maxval 给定随机数的最大值，最小、最大值是前闭后开区间。举例如下

d = tf.random.normal ([2, 2], mean=0.5, stddev=1)
print(d)
e = tf.random.truncated_normal ([2, 2], mean=0.5, stddev=1)
print(e)
f = tf.random.uniform([2, 2], minval=0, maxval=1)
print(f)

输出结果：
tf.Tensor([[0.7925745 0.643315 ]
[1.4752257 0.2533372]], shape=(2, 2), dtype=float32)
tf.Tensor([[ 1.3688478 1.0125661 ]
 [ 0.17475659 -0.02224463]], shape=(2, 2), dtype=float32)
tf.Tensor([[0.28219545 0.15581512]
[0.77972126 0.47817433]], shape=(2, 2), dtype=float32)

数据类型

TensorFlow 中数据类型包括
32 位整型(tf.int32)、32 位浮点(tf.float32)、64 位浮点(tf.float64)、布尔型(tf.bool)、字符串型(tf.string)

常用函数

• 强制转换，最小值，最大值

利用 tf.cast (张量名，dtype=数据类型)强制将 Tensor 转换为该数据类型；
利用tf.reduce_min (张量名)计算张量维度上元素的最小值；
利用tf.reduce_max (张量名)计算张量维度上元素的最大值。举例如下：

x1 = tf.constant ([1., 2., 3.], dtype=tf.float64)
print(x1)
x2 = tf.cast (x1, tf.int32)
print(x2)
print (tf.reduce_min(x2), tf.reduce_max(x2))

输出结果：
tf.Tensor([1. 2. 3.], shape=(3,), dtype=float64)
tf.Tensor([1 2 3], shape=(3,), dtype=int32)
tf.Tensor(1, shape=(), dtype=int32)
tf.Tensor(3, shape=(), dtype=intt32)

• 均值，和（可指定维度）

可用 tf.reduce_mean (张量名，axis=操作轴)计算张量沿着指定维度的平均
值；
可用 f.reduce_sum (张量名，axis=操作轴)计算张量沿着指定维度的和，如不
指定 axis，则表示对所有元素进行操作。其中维度可按图 3.1 理解。

由上图可知对于一个二维张量，如果 axis=0 表示纵向操作(沿经度方向) ，axis=1 表示横向操作(沿纬度方向)。举例如下：

x=tf.constant( [ [ 1, 2,3],[2, 2, 3] ] )
print(x)
print(tf.reduce_mean( x ))
print(tf.reduce_sum( x, axis=1 ))

输出结果：
tf.Tensor([[1 2 3] [2 2 3]], shape=(2, 3), dtype=int32)
tf.Tensor(2, shape=(), dtype=int32) (对所有元素求均值)
tf.Tensor([6 7], shape=(2,), dtype=int32) (横向求和，两行分别为 6 和 7)

• 返回张量沿指定维度最大值的索引

可利用 tf.argmax (张量名,axis=操作轴)返回张量沿指定维度最大值的索引

import numpy as np
test = np.array([[1, 2, 3], [2, 3, 4], [5, 4, 3], [8, 7, 2]])
print(test)
print( tf.argmax (test, axis=0)) # 返回每一列（经度）最大值的索引
print( tf.argmax (test, axis=1)) # 返回每一行（纬度）最大值的索引

输出结果：
[[1 2 3] [2 3 4] [5 4 3] [8 7 2]]
tf.Tensor([3 3 1], shape=(3,), dtype=int64)
tf.Tensor([2 2 0 0], shape=(4,), dtype=int64)

• 定义训练变量

可利用 tf.Variable(initial_value,trainable,validate_shape,name)函数可以将
变量标记为“可训练”的，被它标记了的变量，会在反向传播中记录自己的梯度
信息。其中 initial_value 默认为 None，可以搭配 tensorflow 随机生成函数来初始化参数；trainable 默认为 True，表示可以后期被算法优化的，如果不想该变量被优化，即改为 False；validate_shape 默认为 True，形状不接受更改，如果需要更改，validate_shape=False；name 默认为 None，给变量确定名称

w = tf.Variable(tf.random.normal([2, 2], mean=0, stddev=1))，表示首先随机
生成正态分布随机数，再给生成的随机数标记为可训练，这样在反向传播中就可
以通过梯度下降更新参数 w了。

• 张量的四则运算

利用 TensorFlow 中函数对张量进行四则运算。
利用 tf.add (张量 1,张量2)实现两个张量的对应元素相加；
利用 tf.subtract (张量 1,张量 2)实现两个张量的对应元素相减；
利用 tf.multiply (张量 1,张量 2)实现两个张量的对应元素相乘；
利用 tf.divide (张量 1,张量 2)实现两个张量的对应元素相除。
注：只有维度相同的张量才可以做四则运算，举例如下

a = tf.ones([1, 3])
b = tf.fill([1, 3], 3.)
print(a)
print(b)
print(tf.add(a,b))
print(tf.subtract(a,b))
print(tf.multiply(a,b))
print(tf.divide(b,a))

输出结果：
tf.Tensor([[1. 1. 1.]], shape=(1, 3), dtype=float32)
tf.Tensor([[3. 3. 3.]], shape=(1, 3), dtype=float32
tf.Tensor([[4. 4. 4.]], shape=(1, 3), dtype=float32)
tf.Tensor([[-2. -2. -2.]], shape=(1, 3), dtype=float32)
tf.Tensor([[3. 3. 3.]], shape=(1, 3), dtype=float32)
tf.Tensor([[3. 3. 3.]], shape=(1, 3), dtype=float32)

• 张量的幂次运算

利用 TensorFlow 中函数对张量进行幂次运算。
可用 tf.square (张量名)计算某个张量的平方；利用 tf.pow (张量名，n 次方数)计算某个张量的 n 次方；
利用 tf.sqrt (张量名)计算某个张量的开方。举例如下：

a = tf.fill([1, 2], 3.)
print(a)
print(tf.pow(a, 3))
print(tf.square(a))
print(tf.sqrt(a))

输出结果：
tf.Tensor([[3. 3.]], shape=(1, 2), dtype=float32)
tf.Tensor([[27. 27.]], shape=(1, 2), dtype=float32)
tf.Tensor([[9. 9.]], shape=(1, 2), dtype=float32)
tf.Tensor([[1.7320508 1.7320508]], shape=(1, 2), dtype=float32)

• 张量的矩阵运算

可利用 tf.matmul(矩阵 1，矩阵 2)实现两个矩阵的相乘。举例如下：

a = tf.ones([3, 2])
b = tf.fill([2, 3], 3.)
print(tf.matmul(a, b))
11

输出结果：tf.Tensor([[6. 6. 6.] [6. 6. 6.] [6. 6. 6.]], shape=(3, 3), dtype=float32)，
即 a 为一个 3 行 2 列的全 1 矩阵，b 为 2 行 3 列的全 3 矩阵，二者进行矩阵相乘。

• 利用张量得到输入特征/标签对

可利用 tf.data.Dataset.from_tensor_slices((输入特征, 标签))切分传入张量
的第一维度，生成输入特征/标签对，构建数据集.此函数对 Tensor 格式与 Numpy格式均适用，其切分的是第一维度(比如[12,23,10,17] 中的12，30，10，17即为其第一维度而 [ [1,2,3,4],[5,6,7,8]] 中[1,2,3,4]与[5,6,7,8]为第一维)，表征数据集中数据的数量，之后切分 batch等操作都以第一维为基础。举例如下：

features = tf.constant([12,23,10,17])
labels = tf.constant([0, 1, 1, 0])
dataset = tf.data.Dataset.from_tensor_slices((features, labels))
print(dataset)
for element in dataset:
print(element)

输出结果：<TensorSliceDataset shapes: ((),()), types: (tf.int32, tf.int32))>
(<tf.Tensor: id=9, shape=(), dtype=int32, numpy=12>, <tf.Tensor: id=10, shape=(), 
dtype=int32, numpy=0>)
(<tf.Tensor: id=11, shape=(), dtype=int32, numpy=23>, <tf.Tensor: id=12, shape=(), 
dtype=int32, numpy=1>)
(<tf.Tensor: id=13, shape=(), dtype=int32, numpy=10>, <tf.Tensor: id=14, shape=(), 
dtype=int32, numpy=1>)
(<tf.Tensor: id=15, shape=(), dtype=int32, numpy=17>, <tf.Tensor: id=16, shape=(), 
dtype=int32, numpy=0>)

即将输入特征 12 和标签 0 对应，产生配对；将输入特征 23 和标签 1 对应，产生配对……

• 计算损失函数在某一张量处的梯度
  可利用 tf.GradientTape( )函数搭配 with 结构计算损失函数在某一张量处
  的梯度，举例如下：

with tf.GradientTape( ) as tape:
 w = tf.Variable(tf.constant(3.0))
 loss = tf.pow(w,2) #损失函数定义
grad = tape.gradient(loss,w) #损失函数对w求偏导
print(grad)

输出结果：tf.Tensor(6.0, shape=(), dtype=float32) 

• 枚举

可利用 enumerate(列表名)函数枚举出每一个元素，并在元素前配上对应的索引号，常在 for 循环中使用。举例如下：

seq = ['one', 'two', 'three']
for i, element in enumerate(seq):
print(i, element)

输出结果：
0 one
1 two
2 three

• 独热码

可用 tf.one_hot(待转换数据，depth=几分类)函数实现用独热码表示标签，在分类问题中很常见。标记类别为为 1 和 0，其中 1 表示是，0 表示非。如在鸢尾花分类任务中，如果标签是 1，表示分类结果是 1 杂色鸢尾，其用把它用独热码表示就是 0,1,0，这样可以表示出每个分类的概率：也就是百分之 0 的可能是 0狗尾草鸢尾，百分百的可能是 1 杂色鸢尾，百分之 0 的可能是弗吉尼亚鸢尾。举例如下：

classes = 3
labels = tf.constant([1,0,2]) 
output = tf.one_hot( labels, depth=classes )
print(output)

输出结果：tf.Tensor([[0. 1. 0.] [1. 0. 0.] [0. 0. 1.]], shape=(3, 3), dtype=float32)

在正常的情况下索引从 0 开始，待转换数据中各元素值应小于 depth，若带转换元素值大于等于depth，则该元素输出编码为 [0, 0 … 0, 0]

即 depth 确定列数，待转换元素的个数确定行数。举例如下

classes = 3
labels = tf.constant([1,4,2]) # 输入的元素值 4 超出 depth-1
output = tf.one_hot(labels,depth=classes)
print(output)

输出结果：tf.Tensor([[0. 1. 0.] [0. 0. 0.] [0. 0. 1.]], shape=(3, 3), dtype=float32)

从上述结果中我们可以看出在元素大于等于depths时的元素 4 对应的输出编码为[0. 0. 0.]

• softmax

可利用 tf.nn.softmax( )函数使前向传播的输出值符合概率分布(使用softmax函数的目的)，进而与独热码形式的标签作比较，其计算公式为
其中 yi 是前向传播的输出。在前一部分，我们得到了前向传播的输出值，分别为 1.01、2.01、-0.66，通过上述计算公式，可计算对应的概率值：

上式中，0.256 表示为 0 类鸢尾的概率是 25.6%，0.695 表示为 1 类鸢尾的概率是 69.5%，0.048 表示为 2 类鸢尾的概率是 4.8%。程序实现如下：

y = tf.constant ( [1.01, 2.01, -0.66] )
y_pro = tf.nn.softmax(y)
print("After softmax, y_pro is:", y_pro)

输出结果：
After softmax, y_pro is: 
tf.Tensor([0.25598174 0.69583046 0.0481878], shape=(3,), dtype=float32)与上述计算结果相同

• 自减1即–1

可利用 assign_sub 对参数实现自更新。使用此函数前需利用 tf.Variable定义变量 w为可训练(可自更新)，举例如下：

w = tf.Variable(4)
w.assign_sub(1)
print(w)

输出结果：<tf.Variable 'Variable:0' shape=() dtype=int32, numpy=3>

即实现了参数w自减 1。
注：直接调用 tf.assign_sub 会报错，要用 w.assign_sub。