PyTorch初学者指南：数据预处理

PyTorch初学者指南：数据预处理

一、前言

这是我创建的编程算法竞赛学习小组频道，欢迎大家加入，共同进步！！！

我们为了运用深度学习来解决一些实际问题，经常要从预处理原始数据开始，而不是那些处理好的张量格式数据开始，原始数据一般都很大，所以人为的去检查效率很低，在Python中常用的数据分析工具就有pandas库，可以为我们提供高效的处理方式，而且pandas可以与张量兼容，所以我们就可以使用它来预处理我们的原始数据，并将原始数据转换为我们需要的张量格式数据，接下来我们将简要介绍其中的一些基础方法，更加复杂的方法我们将在后面的博客中学习。

二、读取数据集

我们可以首先人为的创建一个数据集，并将其存储在CSV文件中：

import os

os.makedirs(os.path.join('.', 'data'), exist_ok=True)
data_file = os.path.join('.', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
  f.write('NumRooms,Alley,Price\n') # 列名
  f.write('NA,Pave,127500\n') # 每一行表示一个数据样本
  f.write('2,NA,106000\n')
  f.write('4,NA,178100\n')
  f.write('NA,NA,140000\n')

然后我们从我们创建的CSV文件中加载原始数据集，导入pandas库并调用read_csv函数，读取它：

import pandas as pd

data = pd.read_csv(data_file)
print(data)

   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

三、处理缺失值

对于上面的返回值我们发现里面有NaN值，也就是缺失值，为了处理缺失值，我们一般采用插值法和删除法来解决，其中插值法就是用一个替代值替换缺失值，而删除法就是直接忽略缺失值，不同的情境选择不同的方法，在这里我们需要使用插值法。

我们可以通过位置索引iloc方法，将data分成inputs和outputs，其中前者为data的前两列，后者是data的最后一列，对于inputs中缺少的数值，我们用同一列的均值替换NaN：

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)

   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN

我们对于inputs中的类别值，我们可以将NaN视为一个类别，因为Alley列只接受两种类型的类别值Pave和NaN，pandas可以自动将此列转换为两列Alley_Pave和Alley_nan，Alley 类型为Pave 的行将 Alley_Pave的值设置为1，Alley_nan的值设置为0，缺少Alley类型的行会将Alley_Pave和Alley_nan的值分别设置为0和1。

inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)

   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1

四、转换为张量格式

我接着上述操作，现在的inputs和outputs中所有条目都是数值类型了，我们现在可以将其转换为张量格式了，目前我们仅介绍如何转换为张量格式，后面还会介绍很多张量函数的进一步操作。

import torch

X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y

(tensor([[3., 1., 0.],
         [2., 0., 1.],
         [4., 0., 1.],
         [3., 0., 1.]], dtype=torch.float64),
 tensor([127500, 106000, 178100, 140000]))

在以上例子中，我们使用 pandas 包读取 CSV 数据集，对数据进行缺失值处理，并将数据转换为 PyTorch 的张量，后续我们还会学习更多复杂的操作。