pandas归一化某一列_十分钟带你了解pandas常用方法

pandas常用知识

一、读取csv文件为dataframe

二、dataframe的数据概况

三、取列数据

四、取行数据

五、取某一单元格数据

六、缺失值处理

七、归一化处理

八、排序

九、索引重新编号

十、求均值

十一、矢量化操作(批量操作)

十二、透视表

一、读取csv文件为dataframe

pandas很好的一点是，可以操作表文件。输出为dataframe格式，这点很nice。

使用pandas.read_csv()读取csv文件，输出为dataframe格式数据。

这里数据tran.csv数据集下载自kaggle网站。

import pandas as pd

filepath = r'/Users/suosuo/Desktop/titanic/train.csv'

df = pd.read_csv(filepath)

#为了方便，我只显示三行，其实结果并不是这样子

print(df)

输出结果

PassengerId Survived Pclass \

0 1 0 3

1 2 1 1

2 3 1 3

Name Sex Age SibSp \

0 Braund, Mr. Owen Harris male 22.0 1

1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1

2 Heikkinen, Miss. Laina female 26.0 0

Parch Ticket Fare Cabin Embarked

0 0 A/5 21171 7.2500 NaN S

1 0 PC 17599 71.2833 C85 C

2 0 STON/O2. 3101282 7.9250 NaN S

检查数据类型

检测下数据格式是否为DataFrame

print(type(df))

运行结果

二、 DataFrame数据概况

我们想知道数据如下知识： 1. 展示dataframe前后几条记录 2. 显示dataframe的列名字 3. 查看dataframe的维度情况(几行几列)

2.1展示dataframe前后几行

#展示前两条记录(根据需要显示条数)

df.head(2)

运行结果

PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked

0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S

1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C

#展示后三条记录

df.tail(3)

运行结果

PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked

888 889 0 3 Johnston, Miss. Catherine Helen "Carrie" female NaN 1 2 W./C. 6607 23.45 NaN S

889 890 1 1 Behr, Mr. Karl Howell male 26.0 0 0 111369 30.00 C148 C

890 891 0 3 Dooley, Mr. Patrick male 32.0 0 0 370376 7.75 NaN Q

2.2展示dataframe列名

#展示列名

col_names = df.columns

col_names

运行结果

Index(['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex', 'Age', 'SibSp',

'Parch', 'Ticket', 'Fare', 'Cabin', 'Embarked'],

dtype='object')

#查看下col_namesgeshi

type(col_names)

运行结果

pandas.indexes.base.Index

#将col_names转化为list

col_list = col_names.tolist()

col_list

运行结果

['PassengerId',

'Survived',

'Pclass',

'Name',

'Sex',

'Age',

'SibSp',

'Parch',

'Ticket',

'Fare',

'Cabin',

'Embarked']

三、从dataframe中取列数据

使用dataframe[column_name]，返回series格式数据。

series序列数据类似于list，你可以近似等同于list。

只不过返回数据中会多一列index索引。如下面的左侧数字序号

2.1 取一列数据

#这里我们一列，如取Name列数据

df['Name'][:5]

运行结果

0 Braund, Mr. Owen Harris

1 Cumings, Mrs. John Bradley (Florence Briggs Th...

2 Heikkinen, Miss. Laina

3 Futrelle, Mrs. Jacques Heath (Lily May Peel)

4 Allen, Mr. William Henry

Name: Name, dtype: object

2.2取多列数据

#这里返回的数据还是dataframe格式，为了方便也只显示前几条记录

cols = ['PassengerId', 'Survived', 'Pclass', 'Name', 'Sex']

df[cols]

运行结果

PassengerId Survived Pclass Name Sex

0 1 0 3 Braund, Mr. Owen Harris male

1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female

2 3 1 3 Heikkinen, Miss. Laina female

3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female

4 5 0 3 Allen, Mr. William Henry male

四、从dataframe中取行数据(记录)

这里方法很多，有loc、iloc、ix。我就只写ix，

总之没必要学那么多，搞糊涂了，够用就好。

ix[row,col] 中括号中第一个参数row是行参数，你想选择的数据行数。

第二个参数col是列参数，选择你想要的列数据项。

4.1取一行数据

#第一行所有数据

df.ix[0,:

运行结果

PassengerId 1

Survived 0

Pclass 3

Name Braund, Mr. Owen Harris

Sex male

Age 22

SibSp 1

Parch 0

Ticket A/5 21171

Fare 7.25

Cabin NaN

Embarked S

Name: 0, dtype: object

第一行的某几列数据

col = ['Survived', 'Pclass', 'Sex']

df.ix[0,col]

运行结果

Survived 0

Pclass 3

Sex male

Name: 0, dtype: object

4.2取多行数据

#取多行数据，所有列。这里我选择前5行，所有列.

#这里是不是很像切片操作。python基础很重要

df.ix[:5,:]

运行结果

PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked

0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S

1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C

2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S

3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S

4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S

5 6 0 3 Moran, Mr. James male NaN 0 0 330877 8.4583 NaN Q

取多行，某几列

df.ix[:5,col]

运行结果

Survived Pclass Sex

0 0 3 male

1 1 1 female

2 1 3 female

3 1 1 female

4 0 3 male

5 0 3 male

五、取某一单元格数据

会了三四节，这部分其实你已经会了。

比如我想获取

第一行第一列。df.ix[0,0]

第三行第七列。df.ix[2,6]

df.ix[0,0]

运行结果

1

df.ix[2,6]

运行结果

0

六、缺失值处理

缺失值一般标记为NaN,处理办法如下

df.dropna(axis)

默认直接使用df.dropna()

axis=1,按照行进行缺失值处理

axis=0，按照列进行缺失值处理

df.dropna(axis=0,subset)

axis=0,按照列方向处理subset中的列缺失值

subset=[column] subset含有一个或多个列名的的list

6.1按照行进行缺失值处理

df.dropna(axis=1)

#为了显示方便，只显示前五行。

df.dropna(axis=1)

运行结果

PassengerId Survived Pclass Name Sex SibSp Parch Ticket Fare

0 1 0 3 Braund, Mr. Owen Harris male 1 0 A/5 21171 7.2500

1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 1 0 PC 17599 71.2833

2 3 1 3 Heikkinen, Miss. Laina female 0 0 STON/O2. 3101282 7.9250

3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 1 0 113803 53.1000

4 5 0 3 Allen, Mr. William Henry male 0 0 373450 8.0500

6.2按照列进行缺失值处理

#按照列处理缺失值(为显示方便，只显示前5行)

df.dropna(axis=0)

运行结果

PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked

1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C

3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S

6 7 0 1 McCarthy, Mr. Timothy J male 54.0 0 0 17463 51.8625 E46 S

10 11 1 3 Sandstrom, Miss. Marguerite Rut female 4.0 1 1 PP 9549 16.7000 G6 S

11 12 1 1 Bonnell, Miss. Elizabeth female 58.0 0 0 113783 26.5500 C103 S

对指定列进行缺失值处理

df.dropna(axis=0,subset=['Sex','Age'])

运行结果

PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked

0 1 0 3 Braund, Mr. Owen Harris male 22.0 1 0 A/5 21171 7.2500 NaN S

1 2 1 1 Cumings, Mrs. John Bradley (Florence Briggs Th... female 38.0 1 0 PC 17599 71.2833 C85 C

2 3 1 3 Heikkinen, Miss. Laina female 26.0 0 0 STON/O2. 3101282 7.9250 NaN S

3 4 1 1 Futrelle, Mrs. Jacques Heath (Lily May Peel) female 35.0 1 0 113803 53.1000 C123 S

4 5 0 3 Allen, Mr. William Henry male 35.0 0 0 373450 8.0500 NaN S

七、归一化处理

数据集中，不同的列的数据可能在不同量级，如果直接进行分析。模型会认为数字大的影响力大，数字小的影响力小。

最终结果可能导致量级小的变量被剔除出模型。因此需要将数据归一化，变成同一量级的数据，这就是归一化操作。

在这里我们只对一列操作下，其余列也需要操作，但为了方便，这里只写一列的归一化处理。

处理步骤：

选取该列的最大值

max_value = df[col].max()

2.该列所有值均除以max_value

这里要注意，我们会用到pandas特性，矢量化操作，

也就是可以对一个列表进行批量同样的操作。

#这里我们选Fare列进行归一化，先看下Fare的数据

#为了方便显示，只显示了前10个

df['Fare']

运行结果

0 7.2500

1 71.2833

2 7.9250

3 53.1000

4 8.0500

5 8.4583

6 51.8625

7 21.0750

8 11.1333

9 30.0708

Name: Fare, dtype: float64

这里我们选Fare列进行归一化

max_value = df['Fare'].max()

max_value

运行结果

512.32920000000001

归一化，并将数据传入新列new_Fare

df['new_Fare']=df['Fare']/max_value

df['new_Fare']

运行结果

0 0.014151

1 0.139136

2 0.015469

3 0.103644

4 0.015713

5 0.016510

6 0.101229

7 0.041136

8 0.021731

9 0.058694

Name: new_Fare, dtype: float64

八、排序

df.sort_values(col,inplace,ascending)

col 对col列进行排序

inplace 布尔型值，是否原地操作。True时，操作结果覆盖掉原始数据，原始数据被修改.False时，新建一个新的数据，原始数据没有被修改

ascending 布尔型值。升序降序。 False降序，True升序

#对Age列进行降序操作，不修改原始数据

df.sort_values('Age',inplace=False,ascending=False)

运行结果

PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked new_Fare

630 631 1 1 Barkworth, Mr. Algernon Henry Wilson male 80.0 0 0 27042 30.0000 A23 S 0.058556

851 852 0 3 Svensson, Mr. Johan male 74.0 0 0 347060 7.7750 NaN S 0.015176

493 494 0 1 Artagaveytia, Mr. Ramon male 71.0 0 0 PC 17609 49.5042 NaN C 0.096626

96 97 0 1 Goldschmidt, Mr. George B male 71.0 0 0 PC 17754 34.6542 A5 C 0.067640

116 117 0 3 Connors, Mr. Patrick male 70.5 0 0 370369 7.7500 NaN Q 0.015127

九、索引重新

将排序后的索引重新排序

df.reset_index(drop)

drop 为布尔型值，True表示修改原始数据的索引。False保留原始数据索引序列。

df.reset_index(drop=False)

运行结果

index PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin Embarked new_Fare

0 630 631 1 1 Barkworth, Mr. Algernon Henry Wilson male 80.0 0 0 27042 30.0000 A23 S 0.058556

1 851 852 0 3 Svensson, Mr. Johan male 74.0 0 0 347060 7.7750 NaN S 0.015176

2 493 494 0 1 Artagaveytia, Mr. Ramon male 71.0 0 0 PC 17609 49.5042 NaN C 0.096626

3 96 97 0 1 Goldschmidt, Mr. George B male 71.0 0 0 PC 17754 34.6542 A5 C 0.067640

4 116 117 0 3 Connors, Mr. Patrick male 70.5 0 0 370369 7.7500 NaN Q 0.015127

十、求平均值

10.1所有列的平均值信息

df.mean()

运行结果

PassengerId 446.000000

Survived 0.383838

Pclass 2.308642

Age 29.699118

SibSp 0.523008

Parch 0.381594

Fare 32.204208

new_Fare 0.062858

dtype: float64

10.2 单个列的平均值

df['Age'].mean()

运行结果

29.69911764705882

十一、矢量化操作(批量操作)

一般对如list样式的数据批量操作，需要写循环，但是这样费时费力。

pandas基于numpy，可进行矢量化操作，一行就能完成复杂的循环语句，而且运行效率还很高。

11.1对Age列批量加10

df['Age']+10).head

运行结果

630 90.0

851 84.0

493 81.0

96 81.0

116 80.5

672 80.0

745 80.0

33 76.0

54 75.0

280 75.0

Name: Age, dtype: float64

11.2对Age列批量减20

df['Age']-10

运行结果

630 70.0

851 64.0

493 61.0

96 61.0

116 60.5

672 60.0

745 60.0

33 56.0

54 55.0

280 55.0

Name: Age, dtype: float64

十二、透视表

类似groupby,这个透视表不好说是什么意思。大家直接看结果，好不？

df.pivot_table(index=col1,values=col2,aggfunc='numpy函数')

围绕index参数列，分析各个col2，aggfunc是np函数，当然这里的aggfunc也可以是自定义函数。

#分析平均年龄对对生存率的影响。

#0为死亡，1为生存。

#这里我们发现年龄对生存率有影响。

import numpy as np

df.pivot_table(index='Survived',values='Age',aggfunc=np.mean)

运行结果

Survived

0 30.626179

1 28.343690

Name: Age, dtype: float64

#分析仓位等级对生存率影响。0为死亡，1为生存。

#仓位为一等二等三等分别取值1，2，3

#一等舱最高级。我们发现仓位等级对生存也有影响。

df.pivot_table(index='Survived',values='Pclass',aggfunc=np.mean)

Survived

0 2.531876

1 1.950292

Name: Pclass, dtype: float64