作者 github链接: github链接
创建包含更多行和列的原始数据集。
删除缺失值最多的列。
将预处理后的数据集转换为张量格式。
为了能用深度学习来解决现实世界的问题,我们经常从预处理原始数据开始, 而不是从那些准备好的张量格式数据开始。 在Python中常用的数据分析工具中,我们通常使用pandas软件包。 像庞大的Python生态系统中的许多其他扩展包一样,pandas可以与张量兼容。 本节我们将简要介绍使用pandas预处理原始数据,并将原始数据转换为张量格式的步骤。 我们将在后面的章节中介绍更多的数据预处理技术。
举一个例子,我们首先(创建一个人工数据集,并存储在CSV
(逗号分隔值)文件) ../data/house_tiny.csv
中。 以其他格式存储的数据也可以通过类似的方式进行处理。 下面我们将数据集按行写入CSV
文件中。
import os
os.makedirs(os.path.join('..', 'data'), exist_ok=True)#创建一个文件夹
data_file = os.path.join('..', 'data', 'house_tiny.csv')#写了一个csv文件,csv(逗号分隔值文件格式):每一行是一组个数据,每一列是是用逗号分开的。
with open(data_file, 'w') as f:
f.write('NumRooms,Alley,Price,area\n') # 列名(自己造了一列面积的内容)
f.write('NA,Pave,127500,120\n') # 每行表示一个数据样本
f.write('2,NA,106000,100\n')
f.write('4,NA,178100,170\n')
f.write('NA,NA,140000,140\n')
f.write('NA,NA,140000,130\n')
要[从创建的CSV文件中加载原始数据集],我们导入pandas包并调用read_csv函数。该数据集有四行三列。其中每行描述了房间数量(“NumRooms”)、巷子类型(“Alley”)、房屋价格(“Price”)和房屋面积(area)。
# 如果没有安装pandas,只需取消对以下行的注释来安装pandas
# !pip install pandas
import pandas as pd
data = pd.read_csv(data_file)
data
注意,“NaN”项代表缺失值。 [为了处理缺失的数据,典型的方法包括插值法和删除法,] 其中插值法用一个替代值弥补缺失值,而删除法则直接忽略缺失值。删除缺失值最多的列。
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())#我们用同一列的均值替换“NaN”项
print(inputs)
输出:
NumRooms Price
0 3.0 127500
1 2.0 106000
2 4.0 178100
3 3.0 140000
4 3.0 140000
[现在inputs
和outputs
中的所有条目都是数值类型,它们可以转换为张量格式。] 当数据采用张量格式后,可以通过在 :numref:sec_ndarray
中引入的那些张量函数来进一步操作。
import torch
X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y
输出:
(tensor([[3.0000e+00, 1.2750e+05],
[2.0000e+00, 1.0600e+05],
[4.0000e+00, 1.7810e+05],
[3.0000e+00, 1.4000e+05],
[3.0000e+00, 1.4000e+05]], dtype=torch.float64),
tensor([120, 100, 170, 140, 130]))