深度学习与神经网络pytorch版 2.2 数据预处理

深度学习与神经网络pytorch版 2.2 数据预处理

目录

深度学习与神经网络pytorch版 2.2 数据预处理

2.2.1 读取数据集

2.2.2 处理缺失值

2.2.3 转换为张量格式

小结

---

2.2.1 读取数据集

# 2.2.1 读取数据集
import os
print('2.2.1 读取数据集')
os.makedirs(os.path.join('D:\\桌面备份\\学习\\深度学习','data'),exist_ok=True)
data_file = os.path.join('D:\\桌面备份\\学习\\深度学习','data','house_tiny.csv')
with open(data_file,'w') as f:
    f.write('NumRooms,Alley,Price\n') # 列名
    f.write('NA,Pave,127500\n') # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')
# 打印文件的绝对路径
print(os.path.abspath(data_file))
import pandas as pd
data = pd.read_csv(data_file)
print(data)

2.2.2 处理缺失值

# 2.2.2 处理缺失值
import os
import pandas as pd
print('2.2.2 处理缺失值')
data_file = os.path.join('D:\\桌面备份\\学习\\深度学习','data','house_tiny.csv')
data = pd.read_csv(data_file)
# 通过位置索引iloc，我们将data分成inputs和outputs
inputs,outputs = data.iloc[0:4,0:2],data.iloc[0:4, 2]
# 对于inputs中缺少的数值，我们用同一列的均值替换“NaN”项
inputs = inputs.fillna(inputs.mean())
print(inputs)
# print(outputs)
# pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。
# 巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。
# 缺少巷子类型的行会将“Alley_Pave”和“Alley_nan”分别设置为0和1。
inputs = pd.get_dummies(inputs,dummy_na=True)
print(inputs)

2.2.3 转换为张量格式

# 2.2.3 转换为张量格式
import os
import torch
import pandas as pd
print('2.2.3 转换为张量格式')
data_file = os.path.join('D:\\桌面备份\\学习\\深度学习','data','house_tiny.csv')
data = pd.read_csv(data_file)
inputs,outputs = data.iloc[0:4,0:2],data.iloc[0:4, 2]
inputs = inputs.fillna(inputs.mean())
inputs = pd.get_dummies(inputs,dummy_na=True)
# inputs和outputs中的所有条目都是数值类型，将他们转换为张量格式
x1 = torch.tensor(inputs.to_numpy(dtype=float))
y1 = torch.tensor(outputs.to_numpy(dtype=float))
print(x1)
print(y1)

小结

pandas软件包是Python中常用的数据分析工具中，pandas可以与张量兼容。

用pandas处理缺失的数据时，我们可根据情况选择用插值法和删除法。

我正在学习深度学习神经网络Pytorch版，分享我的一些学习笔记，希望大家可以给我一些建议，谢谢大家。评论，私信都可以，我以后也会不断的更新我的学习进度，谢谢大家。