dataframe数据标准化处理_python对数据进行标准化或者归一化的特征预处理

通过一些转换函数将特征数据转换成更加适合算法模型的特征数据。

包含内容：
数值型数据的无量钢化：

• 归一化

• 标准化

对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变。
对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

特征预处理API：

• sklearn.preprocessing

为什么我们要进行归一化/标准化？

• ·特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响(支配)目标结果，使得一些算法无法学习到其它的特征。

• 

1、归一化：

归一化缺点：异常值(缺失等)，如果最大值和最小值异常时不能处理

# 归一化处理import pandas as pdimport numpy as npfrom sklearn.preprocessing import MinMaxScaler  #归一化库 # 1.获取数据df = pd.read_csv(r"E:\Normalization.txt",sep=" ",encoding="utf-8")display(df.sample(3))x = df.iloc[:,:3]display(x.head(3)) #2.实例化一个转换器类transfer = MinMaxScaler(feature_range=(10,20)) #实例化一个转换器类# feature_range=(10,20),设置归一化后的数据取值范围 #3.#调用fit_transform()xi = transfer.fit_transform(x) #调用fit_transform()print(xi) #4、转化为二维表data = pd.DataFrame(xi,columns=x.columns)data["y"] = df['y']display(data)

2、标准化：

标准化有效地避免了归一化的缺点(最大值和最小值带来的影响)

# 标准化处理(转化为均值为0，标准差为1 附近的值)import pandas as pdimport numpy as npfrom sklearn.preprocessing import StandardScaler  #归一化库 # 1.获取数据df = pd.read_csv(r"E:\Normalization.txt",sep=" ",encoding="utf-8")display(df.sample(3))x = df.iloc[:,:3]display(x.head(3)) #2.实例化一个转换器类transfer = StandardScaler() #实例化一个转换器类 #3.#调用fit_transform()xi = transfer.fit_transform(x) #调用fit_transform()print(xi) #4、转化为二维表data = pd.DataFrame(xi,columns=x.columns)data["y"] = df['y']display(data.tail(3))