pytorch数据的基本操作

基础使用

引入torch

import torch

表示一个数值组成的数组

x=torch.arange(12)

通过shape属性来访问x的形状和元素总数

#x的形状
x.shape
#元素总数
x.numel()

要改变一个张量的形状而不改变元素的数量和元素值，我们可以调用reshape函数 传入行 列 比如讲x改为3行4列

x.reshape(3,4)

使用全0、全1、其他常量或者从特定分布中随机采样的数字

#使用全0创建 2个 3 行4列 的数组 其实是三维
torch.zeros((2,3,4))

#使用全1创建 2个 3 行4列 的数组 其实是三维
torch.ones((2,3,4))

通过提供包含数值的python列表（或嵌套列表） 来为所需张量中的每个元素赋予确定值

torch.tensor([[[1,2,3],[7,8,9]]])

常见的标准算术运算符 + - / * ** 都被升级为按元素运算

x=torch.tensor([1,2,3])
y=torch.tensor([1,2,3])
x+y,x-y,x/y,x**y
#指数运算
torch.exp(x)

可以把多个向量连接起来

#生成12个 格式为torch.float32 的数组 重新变为3行4列
x=torch.arange(12,dtype=torch.float32).reshape((3,4))
#使用嵌套列表的形式直接生成
y=torch.tensor([[1,2,3,5],[5,6,7,9],[8,9,10,11]])

#x y 按行合并 #x y 按列合并
torch.cat((x,y),dim=0),torch.cat((x,y),dim=1)

通过逻辑运算符构建二元张量

x==y

即使形状不同，我们仍然可以通过调用广播机制 来执行元素操作

a=torch.arange(3).reshape((3,1))
b=torch.arange(2).reshape((1,2))
a,b
a+b

访问元素

#取出x的最后一个元素 和x的第二 三个元素
x[-1],x[1:3]
#讲某个元素写入矩阵 讲x第一个元素里面的第二个元素 变为9
x[1,2]=9
x
# 多个元素操作 x的第0到第2个元素的所有元素变为12 不包含第二个元素的所有
x[0:2,:]=12
x

运行一些操作可能会导致新结果分配内存

#取出y的id
before=id(y)
y=x+y
#相加后很冥想 其重新分配了内存原来的被析构了
id(y)==before
#如果不想让其分配内存 就进行原地操作
#zeros_like 创建一个与其参数 类型和形状一样的矩阵
z=torch.zeros_like(y)
print(id(z))
#原地操作 其实是对z的元素进行改写
z[:]=x+y
print(id(z))
#也可以直接写
x+=y

numpy与torch互相转换

A=x.numpy()
B=torch.tensor(A)
type(A),type(B)

将大小为1的张量转换为标量

a=torch.tensor([1])
a,a.item(),float(a),int(a)

数据预处理

创建一个人工数据集，并存储在csv文件中

import os
os.makedirs(os.path.join('..','data'),exist_ok=True)
data_file=os.path.join('..','data','house_tiny.csv')
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n')
    f.write('NA,Pave,127500\n')
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

利用pandas从创建的csv文件中加载原始的数据集

import pandas as pd
data =pd.read_csv(data_file)
data

为了处理缺失的数据，典型的方法包括插值和删除进行处理

inputs,outputs=data.iloc[:,0:2],data.iloc[:,2]
#把inputs的均值进行填充
inputs=inputs.fillna(inputs.mean())
inputs

对于inputs中的类别值或离散值，我们将NAN视为一个类别

#通过pandas 加类别，参数dummy_na 表示NAN是不是一个类别
inputs=pd.get_dummies(inputs,dummy_na=True)
inputs

现在inputs outputs中所有的条目都是数值，把他们转换成张量¶

x,y=torch.tensor(inputs.values),torch.tensor(outputs.values)
x,y

作者声明

如有问题，欢迎指正！