深度学习-TensorFlow2.0笔记(一)

一、Tensor

 1.1 什么是Tensor?Tensor的数据类型

    Tensor是张量的意思,在TensorFlow中张量可以是标量(scalar)、向量(vector)、矩阵(matrix)、高维度张量(rank>2),像Numpy里的数组就不属于Tensor。TensorFlow里的常用的数据类型有tf.int32、tf.float32、tf.double、tf.bool、tf.Variable。下面展示了用tf.constant创建的一些Tensor:

    深度学习-TensorFlow2.0笔记(一)_第1张图片

    需要特别注意代码IN[18]-IN[21]行,由于TensorFlow有自动求导功能,而被求导参数类型必须为Variable类型,这样才可以被记录下梯度信息。但是Variable类型在于int、float运算过程中,假如被更新了,其类型会自动转为int、float类型,导致求导出错。第二个需要注意的是代码第34-36行,Tensor不同类型数据间不能混合运算(除了Variable),否则会出错,而在深度学习中,运算通常采用浮点形式,这种错误较少出现。为了解决Variable更新自动被转成其他类型,可以采用原地更新,即数据类型不变,如下例所示,使用assign方法可以实现任意赋值而不改变类型:

    深度学习-TensorFlow2.0笔记(一)_第2张图片    

 

 1.2  Tensor的shape

    Tensor最常用的属性就是shape,即维度信息,以下代码展示了标量、向量、矩阵、高维度张量的shape信息。对于标量,其维度为0,则Python显示shape为(),对于矩阵,shape第一个元素表示行数,第二个表示列数。:

    深度学习-TensorFlow2.0笔记(一)_第3张图片

    

 1.3  Tensor的验证

    可以用tf.is_tensor()方法判断是否属于Tensor类型,也可以用dtype属性进行判断,这里拿Numpy做对比:

     深度学习-TensorFlow2.0笔记(一)_第4张图片

 

 1.4  Tensor转换

    在实际编写中,由于需要导入数据集,所以经常会用到数据转换方法,将数据集转为Tensor或Tensor转为其他形式,如Numpy:

    深度学习-TensorFlow2.0笔记(一)_第5张图片

     tf.cast可以用来转换Tensor的数据类型。

 

 1.5  Tensor创建

    前面使用过constant以及Variable创建过Tensorm下面介绍更实用的创建方法。

    首先是间接创建,即通过Numpy,List创建然后转化为Tensor:

    深度学习-TensorFlow2.0笔记(一)_第6张图片

     但是需要注意不能转换的情况,一种是数据类型不统一,第二种是结构不统一,如下:

    深度学习-TensorFlow2.0笔记(一)_第7张图片

    另外就是直接通过tf的方法直接创建一些矩阵、特殊分布等数据形式:

    深度学习-TensorFlow2.0笔记(一)_第8张图片

    在构建网络权重的时候,常会用到正态分布或者均匀分布来初始化,其中截断型的正态分布应用更多。

            深度学习-TensorFlow2.0笔记(一)_第9张图片

 

    

二、索引与切片

 2.1  多维度索引

    Tensor索引常采用列表形式,而不是像a[0][1][2]的形式。比如:

    深度学习-TensorFlow2.0笔记(一)_第10张图片

     可以看到多次索引后,结果变为了标量。 这就如同注册账户时选择地址一样。

    索引可以是负值,正索引0表示第一个元素,而负索引-1表示最后一个元素。

 

 2.2  使用索引列表进行切片

    对于索引列表的每个维度索引,都可以用start:end:step获取切片,其切片范围为[start,end),注意end是取不到的,step指定了步长,类似于隔几行采样一次。索引可以有省略形式,start省略默认为最开始的地方,end省略默认为结束的地方,step省略表示1。如:表示范围为全部,step=1。::2表示范围为全部,但step=2。2::表示范围≥2,step=1。其他情况类似。

·    深度学习-TensorFlow2.0笔记(一)_第11张图片

    采用负索引进行切片,范围仍旧是start取得到,end取不到,切片方向仍然是从左向右,因此步长需为正。正索引与负索引可以混合使用:

    深度学习-TensorFlow2.0笔记(一)_第12张图片

     另外,通过切片可以实现逆序功能,即每个维度中的数据都倒过来排列。

    深度学习-TensorFlow2.0笔记(一)_第13张图片

    当维度较多,不想打冒号,可以用...。前提是切片的范围是整个,并且,省略号不能同时出现在两边,这样是无法判断结构的。

    深度学习-TensorFlow2.0笔记(一)_第14张图片

 

 2.3  gather抽样切片

     索引列表进行切片还是有很多限制,只能按一定步长等间距取样,取样是有序的。而gather可以一次对某个维度(给定axis)进行任意位置任意数量任意顺序的取样(给定indices),这里的indices不是索引坐标,而是该维度下数据位置索引的有序集合,不能用冒号形式。

    深度学习-TensorFlow2.0笔记(一)_第15张图片

 

 2.4  gather_nd抽样与自定义结构

    gather_nd参数中给出一个结构,输出结果会将结构中的索引用数据替代,例如下面In[104],用a[0]替代了结构[0],所以结果是一个向量;又比如In[107],用a[0]替代[0],用a[1]替代[1]因为结构包裹了一层方括号,因此,结果是一个矩阵。注意这里的[0,1]可以理解为索引列表,但是不支持冒号。所以有个问题就是gather与gather_nd在截取比较复杂的数据时,会比较麻烦。

    深度学习-TensorFlow2.0笔记(一)_第16张图片

 

 2.5  boolean_mask掩码抽样

    掩码抽样需要给定一个mask,其类型为bool,也就是True,False。除此之外,可以指定一个axis,表示对特定维度进行掩码抽样,也可以不指定axis,此时mask结构决定了掩码结果的结构。若不指定axis,则必须注意mask的维度要匹配被掩码的数据维度。比如数据shape为2*4*3*2,mask的shape为2*4,那么结果shape为(n,3,2),n取决于mask中True的个数。又比如数据shape为2*4*3*2,而mask的shape为4*3*2,那么是不匹配的,因为mask的维度必须从大维度到小维度这样的顺序来匹配,这里2对应于4,4对应于3,3对应于2,就不对了。

    

 

 

 

  

三、维度变换

 3.1  reshape分解与合并维度

    reshape改变维度,并不会影响数据存储的顺序与内容,只是会丢失维度的信息,改变视图结构,进行了数据重新的组合。在改变维度的过程中,应该小心,保证更改后总大小不变,例如:

    深度学习-TensorFlow2.0笔记(一)_第17张图片

 

 3.2  transpose转置与维度交换

    transpose可以对多维Tensor进行转置,注意它并不局限于矩阵,其转置相当于将shape倒过来排列,例如[1,2,3]转置为[3,2,1]。此外,它还可以进行任意的维度交换,实际上转置也可以看做维度的交换,例如[1,2,3]现在可以将第二维和第三维交换,结果是[1,3,2]。详细情况如下,transpose指定perm时,默认功能为倒置。

    深度学习-TensorFlow2.0笔记(一)_第18张图片

 

 3.3  expand_dims扩维与squeeze降维

    在矩阵计算中经常碰到维度不一致的情况,例如一个3*3的矩阵和一个长度为3的向量做加法,需要将向量在横向上复制成3*3的矩阵。这里就可以用expand_dims+tile实现。expand_dims需要制定插入的位置,即制定axis,如果设定的axis非负,则会在axis前面扩展,否则在axis后扩展。例如对shape为(a,b)的Tensor进行扩展,指定axis=0,那么就在维度a前扩展,扩展后shape为(1,a,b);如果指定axis=-1,那么就是在维度b的后面进行扩展,扩展后shape为(a,b,1)。到此为止,expand_dims做的事类似于reshape,实际上也可以用reshape来做扩展,效果是一样的。例如:

    深度学习-TensorFlow2.0笔记(一)_第19张图片

     tile的作用在于将对应的维度值以倍数扩展,数据以复制形式进行填充。上例中,1->1*3;2->2*4;3->3*1。

    squeeze则用于降维,可以删去值等于1的维度,例如[1,2,3,1]降维后为[2,3]。squeeze用法如下图:

    

 

 3.4  broadcast广播

    前面展示了通过expand+tile的方法进行扩展使不同维度的Tensor变为相同维度进行运算,实际中,像加减乘除一些运算支持隐式Broadcast自动扩展,Broadcast性能比expand来得好,占用内存小。正是有这种自动扩展,在Tensorflow里一些不同维度的Tensor可以直接进行运算,如下图:

    深度学习-TensorFlow2.0笔记(一)_第20张图片

 

    可以看到,一个矩阵与向量作四则运算并未出错。原因在于运算前,向量自动扩展为(2,3)。但不是任何情况都不会出错,扩展的过程为,遵循最后一维对齐原则,缺失的维度自动扩展,且值为1,对值为1的维度进行扩展,值不为1的维度不能扩展。对比下列情况:

    深度学习-TensorFlow2.0笔记(一)_第21张图片

    [3,1]可以扩展,根据右对齐原则,[3,1]缺少对应2的维度,自动扩展为(1,3,1)。左1对应于2,可以扩成2。3对应于3,不用扩展。右3对应于4,扩为4。[3,2]根据右对齐原则,2对应于4,两者不相等且不为1,所以不能扩展。

    有些时候可能出现不支持隐式扩展,这时候可以显式扩展:

    

 

 

四、Tensor运算

 4.1  加减乘除余

    加减乘除余都是对应位置元素作运算,符号为:+、-、*、/、//、%,示例如下:

    深度学习-TensorFlow2.0笔记(一)_第22张图片

    

 4.2  幂与平方根

    Tensor的幂和平方根就是各元素的幂与平方根,符号为:**(pow)、sqrt。示例如下:

    深度学习-TensorFlow2.0笔记(一)_第23张图片

 

 

 4.3  指数与对数

    Tensor的指数和对数就是各元素的指数与对数。TensorFlow里只有以e为底的对数,要实现其他对数底,可以利用数学公式转换底到e:

    深度学习-TensorFlow2.0笔记(一)_第24张图片

    另外,需要注意的是指数和对数的参数必须为浮点数,用整数会报错:

    深度学习-TensorFlow2.0笔记(一)_第25张图片

 

     

 4.4  叉乘

    符号为@:

    深度学习-TensorFlow2.0笔记(一)_第26张图片

你可能感兴趣的:(深度学习-TensorFlow2.0笔记(一))