Series
Series是一个一维的向量，每个值都会有对应标签，该标签我们称之为Index
Obj = Series([4, 5, -7, 8])
Obj
Out[5]:
0 4
1 5
2 -7
3 8
dtype: int64
Obj2 = Series([4, 5, -7, 8], index = ['a', 'b', 'c', 'd'])
Obj2
Out[7]:
a 4
b 5
c -7
d 8
dtype: int64
通过Index可以对Series进行查询以及修改
Obj2['a']
Out[12]: 4
Obj2['a'] = 0
Obj2
Out[14]:
a 0
b 5
c -7
d 8
dtype: int64
Numpy函数，以及其他类Numpy的向量计算函数，可以应用在Series中，与Numpy的ndarrays基本相同
Obj * 2
Out[16]:
0 8
1 10
2 -14
3 16
dtype: int64
python的dict数据可以直接转换为Series
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
obj3 = pd.Series(sdata)
obj3
Out[17]:
Ohio 35000
Texas 71000
Oregon 16000
Utah 5000
dtype: int64
DataFrame
DataFrame是我作为数据分析师，最为常用的一个数据类型。DataFrame代表了一个长方形的表，包含了任意的长度及宽度（可以理解为在Excel中的一个表）。DataFrame拥有Column Index和Row Index（行标与列标）。
最常见的创建DataFrame的方法为从一个包含了Numpy arrays的dict数据转换
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002, 2003],
'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
frame = pd.DataFrame(data)
frame
Out[19]:
state year pop
0 Ohio 2000 1.5
1 Ohio 2001 1.7
2 Ohio 2002 3.6
3 Nevada 2001 2.4
4 Nevada 2002 2.9
5 Nevada 2003 3.2
在创建通过表头的名字，我们可以更换列的顺序
frame = pd.DataFrame(data, columns = ['year', 'state', 'pop'])
frame
Out[21]:
year state pop
0 2000 Ohio 1.5
1 2001 Ohio 1.7
2 2002 Ohio 3.6
3 2001 Nevada 2.4
4 2002 Nevada 2.9
5 2003 Nevada 3.2
创建完成后，可以选择使用列名查询某列
frame['pop']
Out[22]:
0 1.5
1 1.7
2 3.6
3 2.4
4 2.9
5 3.2
loc方法可以查询某行
frame.loc[1]
Out[23]:
year 2001
state Ohio
pop 1.7
Name: 1, dtype: object
直接指定好列名以及对应的行，便可以很便利的向pandas添加数据，空的数据会在pandas中展示为NaN
frame['city'] = Series(['Kent', 'Las Vegas'], index = [0, 3])
frame
Out[25]:
year state pop city
0 2000 Ohio 1.5 Kent
1 2001 Ohio 1.7 NaN
2 2002 Ohio 3.6 NaN
3 2001 Nevada 2.4 Las Vegas
4 2002 Nevada 2.9 NaN
5 2003 Nevada 3.2 NaN
Pandas方法
使用loc和iloc可以对一个dataframe执行分页操作
loc为选取该名字的行与列，iloc为选取第x行和第y列
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002, 2003],
'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
frame = pd.DataFrame(data, index = ['one', 'two', 'three', 'four', 'five', 'six'])
frame
Out[34]:
state year pop
one Ohio 2000 1.5
two Ohio 2001 1.7
three Ohio 2002 3.6
four Nevada 2001 2.4
five Nevada 2002 2.9
six Nevada 2003 3.2
frame.loc[['two', 'three'], ['state', 'year']]
Out[37]:
state year
two Ohio 2001
three Ohio 2002
frame.iloc[[2, 3], [0, 1]]
Out[38]:
state year
three Ohio 2002
four Nevada 2001
DataFrame 计算与缺失值
DataFrame基础计算方法包括了加、减、乘、除、次方、整除等
计算方法
在计算方法中，fill_value值可以控制缺失值的替换
df1 = DataFrame(np.arange(12.).reshape(3, 4), columns = list('abcd'))
df2 = DataFrame(np.arange(15.).reshape(3, 5), columns = list('abecd'))
df1
Out[59]:
a b c d
0 0.0 1.0 2.0 3.0
1 4.0 5.0 6.0 7.0
2 8.0 9.0 10.0 11.0
df2
Out[60]:
a b e c d
0 0.0 1.0 2.0 3.0 4.0
1 5.0 6.0 7.0 8.0 9.0
2 10.0 11.0 12.0 13.0 14.0
df1 + df2
Out[61]:
a b c d e
0 0.0 2.0 5.0 7.0 NaN
1 9.0 11.0 14.0 16.0 NaN
2 18.0 20.0 23.0 25.0 NaN
df1.add(df2, fill_value = 0)
Out[62]:
a b c d e
0 0.0 2.0 5.0 7.0 2.0
1 9.0 11.0 14.0 16.0 7.0
2 18.0 20.0 23.0 25.0 12.0
除此之外reindex可以调整一个dataframe的shape，例如df1可以添加一行与df2保持一致
df1.reindex(columns = df2.columns, fill_value = 0)
Out[63]:
a b e c d
0 0.0 1.0 0 2.0 3.0
1 4.0 5.0 0 6.0 7.0
2 8.0 9.0 0 10.0 11.0
函数应用以及mapping
NumPy的ufuncs（向量化函数）是可以在DataFrame中应用的
例如我们定义一个函数，求该行的范围（最大值与最小值的绝对差）
frame
Out[152]:
b d e
Utah 0.0 1.0 2.0
Ohio 3.0 4.0 5.0
Texas 6.0 7.0 8.0
Oregon 9.0 10.0 11.0
get_range = lambda x: x.max() - x.min()
frame.apply(get_range)
Out[154]:
b 9.0
d 9.0
e 9.0
dtype: float64
frame.apply(get_range, axis = 'columns')
Out[158]:
Utah 2.0
Ohio 2.0
Texas 2.0
Oregon 2.0
dtype: float64
创建描述性统计函数
data = pd.DataFrame(np.random.randn(1000, 4))
data
Out[296]:
a b c d
0 0.660991 1.166362 -0.282237 -0.061292
1 -0.815670 0.220678 -0.072469 -0.343580
2 -1.431911 0.824215 -0.915729 -0.659971
3 0.696466 -0.556472 0.129206 0.739566
4 -1.475857 -0.043149 -1.839006 0.099850
.. ... ... ... ...
995 0.135430 0.923296 -0.819932 -0.876656
996 1.767997 1.747973 -0.609283 -0.608092
997 -0.239235 0.376930 0.154019 0.660505
998 0.202736 -0.214131 0.926638 -0.810888
999 -0.144855 -0.463251 0.984850 1.368218
[1000 rows x 4 columns]
def statistical_describe(DataFrame_input) -> DataFrame:
return DataFrame_input.apply(lambda x: pd.Series([len(x), sum(x)/len(x),
(sum((x - sum(x)/len(x))**2)/len(x))**.5,
x.min(), x.quantile(.25), x.quantile(.5), x.quantile(.75), x.max()],
index = ['count', 'mean', 'std', 'min', '.25', '.50', '.75', 'max']))
statistical_describe(data)
Out[297]:
a b c d
count 1000.000000 1000.000000 1000.000000 1000.000000
mean 0.035889 0.031281 -0.005168 -0.063525
std 1.035586 0.978126 0.975315 0.994380
min -3.068035 -3.513137 -3.373269 -3.251473
.25 -0.643046 -0.594430 -0.664430 -0.749127
.50 0.006002 0.051688 -0.010682 -0.087670
.75 0.714898 0.715789 0.663933 0.605968
max 3.790818 3.867886 2.673977 3.488003