pytorch--数据预处理基础操作(2)

目录

常用的函数

数据预处理

创建数据集

读取数据集

缺失值处理

数据格式转换

---

        由于深度学习应用于解决现实世界的问题十分广泛，pandas与张量兼容，我们常常使用python数据分析工具包pandas来进行原始数据预处理。

没有pandas包的可以通过下面代码进行安装

!pip install pandas

常用的函数

os.path.join(path, *paths)---拼接路径返回所有成员的拼接可以传入多个参数

print(os.path.join('..','data0'))
print(os.path.join('..','data0','gagaga'))

..\data0
..\data0\gagaga

os.makedirs()---创建文件夹

参数

path ：需要递归创建的目录，可以是相对或者绝对路径

mode ：权限模式（在windows系统没有用，在linux，unix等系统使用这里不做赘述）

path = os.path.join('..','data0')

os.makedirs(path)

（jupyter目录在jupyter data）我们看到在路径中生成了data0的文件夹

pandas.get_dummies()---基于one-hot编码的特征提取

将离散型特征每一种取值看作一种状态，将不同值的变量转换为0/1

常用参数

data   ：输入的数据(dataframe,series,array-like)

columns  ：指定所需要实现类别转换的列名

x = pd.DataFrame([['banana','monkey'],['bone','dog'],['bamboo','panda']],columns=['fruit','animal'])

print(x)

     fruit animal
0  banana  monkey
1    bone     dog
2  bamboo   panda

pd.get_dummies(x)

 

数据预处理

创建数据集

首先我们来创建一个人工数据集并存储到指定目录下的CSV文件。

（CSV文件即为每一行为一个数据每一个列为一个特征:逗号分隔值，具体请看下面demo）

os.makedirs(os.path.join('..','data'),exist_ok=True)
data_file = os.path.join('..','data','house_tiny.csv')
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 三个特征(列)由逗号隔开:房屋数量，巷子类型，房屋价格
    f.write('NA,Pave,127500\n')        # 写入，每行表示一个数据样本
    f.write('2,NA,106000\n')           
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')          # 创建的人工数据集有四行三列

读取数据集

我们使用pandas从创建的人工数据集目录中读取文件

import pandas as pd

data = pd.read_csv(data_file)

print(data)

   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000

缺失值处理

        NAN，（Not a Number），NAN项代表缺失值.

        一般来说处理缺失值有两种方式:插值法和删除法。删除法即为删除行直接忽略缺失值，我们这里简单介绍下插值法。

          

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2] #索引上篇有详细内容，这里把人工数据集分为两组数据，前两列和所有行分为inputs，最后一列分为outputs

inputs = inputs.fillna(inputs.mean())                #我们使用平均函数mean()返回值来填充缺失项

print(inputs)
   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN

        为了将数据集转换成张量方便训练，我们使用one-hot类型来赋值.

        我们首先将缺失值NAN视作一个类别， 由于“巷子类型”（“Alley”）列只接受两种类型的类别值“Pave”和“NaN”，pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。 巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。 缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。        

inputs = pd.get_dummies(inputs, dummy_na=True)

print(inputs)

   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1

数据格式转换

        我们将该数据集正式转换为张量

X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)

X, y

(tensor([[3., 1., 0.],
         [2., 0., 1.],
         [4., 0., 1.],
         [3., 0., 1.]], dtype=torch.float64),
 tensor([127500, 106000, 178100, 140000]))