yingyujianmo
yingyujianmo

10分钟入门pandas

本文是对pandas的一个入门介绍，仅仅针对初学者。如果需要更详细的内容，请移步Cookbook.

首先，导入所需要的python包：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

创建对象

pandas中的数据结构包括Series、DataFrame、Panel、Pannel4D等，详细介绍移步数据结构介绍.
常用的数据结构是前两个：Series和DataFrame。
通过传入一个已有的python列表（list）对象来创建一个Series对象。

s = pd.Series([1,3,4,np.nan,6,8])
s
0    1.0
1    3.0
2    4.0
3    NaN
4    6.0
5    8.0
dtype: float64

通过传入一个numpy数组来构建一个DataFrame对象。使用时间序列作为每行的索引，并为每列数据分配一个列名。

dates = pd.date_range('20130101', periods=6)
dates
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
               '2013-01-05', '2013-01-06'],
              dtype='datetime64[ns]', freq='D')

# 创建DataFrame对象，并指定索引index和列名columns
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
df
A B C D
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-05 0.520409 -1.402740 -0.356049 0.460950
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197

通过传入一个python字典对象来创建一个DataFrame对象。

df2 = pd.DataFrame({'A': 1.,
                    'B': pd.Timestamp('20160102'),
                    'C': pd.Series(1,index=list(range(4)),dtype='float32'),
                    'D': np.array([3]*4, dtype='int32'),
                    'E': pd.Categorical(['test','train','test','train']),
                    'F': 'foo'})
df2
A B C D E F
0 1.0 2016-01-02 1.0 3 test foo
1 1.0 2016-01-02 1.0 3 train foo
2 1.0 2016-01-02 1.0 3 test foo
3 1.0 2016-01-02 1.0 3 train foo 
# DataFrame 中每列的数据类型可以不同
df2.dtypes
A float64 B datetime64[ns] C float32 D int32 E category F object dtype: object 在ipython中可以使用“Tab”键对DataFrame的列名和公共属性进行自动补全。

查看对象中的数据

查看DataFrame的前几行或最后几行

df.head()
A B C D
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-05 0.520409 -1.402740 -0.356049 0.460950 
df.tail()
A B C D
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-05 0.520409 -1.402740 -0.356049 0.460950
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197 
df.head(3)
A B C D
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457

获取DataFrame的索引、列名、数据（值）。

df.index
DatetimeIndex([‘2013-01-01’, ‘2013-01-02’, ‘2013-01-03’, ‘2013-01-04’, ‘2013-01-05’, ‘2013-01-06’], dtype=’datetime64[ns]’, freq=’D’) 
df.columns
Index([u’A’, u’B’, u’C’, u’D’], dtype=’object’) 
df.values
array([[-0.28589413, 0.49001051, 0.17112101, -1.54980655], [-0.06837701, -0.45280422, -0.39189213, -0.85252018], [ 1.30438846, -1.80848416, -0.28648908, -0.43745725], [ 1.44781215, -1.86212061, 0.11594994, -0.66413402], [ 0.5204089 , -1.4027399 , -0.35604882, 0.4609499 ], [-0.40489995, 0.58541997, -0.07392295, -0.5011969 ]]) 使用“describe”获取数据的统计信息。 
df.describe()
A B C D
count 6.000000 6.000000 6.000000 6.000000
mean 0.418906 -0.741786 -0.136880 -0.590694
std 0.808192 1.112849 0.244213 0.652884
min -0.404900 -1.862121 -0.391892 -1.549807
25% -0.231515 -1.707048 -0.338659 -0.805424
50% 0.226016 -0.927772 -0.180206 -0.582665
75% 1.108394 0.254307 0.068482 -0.453392
max 1.447812 0.585420 0.171121 0.460950

将DataFrame进行转置。

df.T
2013-01-01 00:00:00 2013-01-02 00:00:00 2013-01-03 00:00:00 2013-01-04 00:00:00 2013-01-05 00:00:00 2013-01-06 00:00:00
A -0.285894 -0.068377 1.304388 1.447812 0.520409 -0.404900
B 0.490011 -0.452804 -1.808484 -1.862121 -1.402740 0.585420
C 0.171121 -0.391892 -0.286489 0.115950 -0.356049 -0.073923
D -1.549807 -0.852520 -0.437457 -0.664134 0.460950 -0.501197 
df
A B C D
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-05 0.520409 -1.402740 -0.356049 0.460950
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197

对坐标轴进行排序。

df.sort_index(axis=1, ascending=False)
D C B A
2013-01-01 -1.549807 0.171121 0.490011 -0.285894
2013-01-02 -0.852520 -0.391892 -0.452804 -0.068377
2013-01-03 -0.437457 -0.286489 -1.808484 1.304388
2013-01-04 -0.664134 0.115950 -1.862121 1.447812
2013-01-05 0.460950 -0.356049 -1.402740 0.520409
2013-01-06 -0.501197 -0.073923 0.585420 -0.404900 
df.sort_index(axis=0, ascending=False)
A B C D
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197
2013-01-05 0.520409 -1.402740 -0.356049 0.460950
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-01 -0.285894 0.490011 0.171121 -1.549807

对值进行排序。

df.sort_values(by='B')
A B C D
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-05 0.520409 -1.402740 -0.356049 0.460950
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197 
df.sort_values(by='B',ascending=False)
A B C D
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-05 0.520409 -1.402740 -0.356049 0.460950
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134

选择数据

pandas中对数据的选择可以使用标准的python/numpy方式。

df['A']
2013-01-01 -0.285894 2013-01-02 -0.068377 2013-01-03 1.304388 2013-01-04 1.447812 2013-01-05 0.520409 2013-01-06 -0.404900 Freq: D, Name: A, dtype: float64 
# 选择一个单独的列，将产生一个Series，此时df['A']等价于df.A
df.A
2013-01-01 -0.285894 2013-01-02 -0.068377 2013-01-03 1.304388 2013-01-04 1.447812 2013-01-05 0.520409 2013-01-06 -0.404900 Freq: D, Name: A, dtype: float64 对行进行切片操作。 
df[0:3]
A B C D
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457 
df['20130103':'20130105']
A B C D
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-05 0.520409 -1.402740 -0.356049 0.460950

使用标准的python/numpy方法获取数据的方式很直观，但是对于工业级的代码，建议使用优化的pandas数据获取方法，包括：.at,.iat,.iloc和.ix

df
A B C D
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-05 0.520409 -1.402740 -0.356049 0.460950
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197 
dates
DatetimeIndex([‘2013-01-01’, ‘2013-01-02’, ‘2013-01-03’, ‘2013-01-04’, ‘2013-01-05’, ‘2013-01-06’], dtype=’datetime64[ns]’, freq=’D’) 
df.loc[dates[0]]
A -0.285894 B 0.490011 C 0.171121 D -1.549807 Name: 2013-01-01 00:00:00, dtype: float64 按类标选择多坐标轴的数据。 
df.loc[:,['A','B']]
A B
2013-01-01 -0.285894 0.490011
2013-01-02 -0.068377 -0.452804
2013-01-03 1.304388 -1.808484
2013-01-04 1.447812 -1.862121
2013-01-05 0.520409 -1.402740
2013-01-06 -0.404900 0.585420 
# 在对数据进行切片操作时，两端都会包含，不像python中只含前端不含后端
df.loc['20130102':'20130104',['A','B']]
A B
2013-01-02 -0.068377 -0.452804
2013-01-03 1.304388 -1.808484
2013-01-04 1.447812 -1.862121 
# 当只有一维的时候，返回的数据维数会自动缩减
df.loc['20130105',['A','B']]
A 0.520409 B -1.402740 Name: 2013-01-05 00:00:00, dtype: float64 
df.loc['20130105','A']
0.52040890430486719 
# 相对于.loc,.at是一种更快地获取一个标量数据的方法
df.at[dates[0],'A']
-0.28589413005579967 按位置进行选择，传入整数，返回数据。 
df
A B C D
2013-01-01 -0.285894 0.490011 0.171121 -1.549807
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-05 0.520409 -1.402740 -0.356049 0.460950
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197 
df.iloc[3]
A 1.447812 B -1.862121 C 0.115950 D -0.664134 Name: 2013-01-04 00:00:00, dtype: float64 
df.iloc[3:5,0:2]
A B
2013-01-04 1.447812 -1.862121
2013-01-05 0.520409 -1.402740

按整数位置进行数据选取或切片时，方法同python/numpy，从0开始索引，包含前端不含后端。

df.iloc[[1,2,4],[0,2]]
A C
2013-01-02 -0.068377 -0.391892
2013-01-03 1.304388 -0.286489
2013-01-05 0.520409 -0.356049 
# 对行进行切片
df.iloc[1:3,:]
A B C D
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457 
# 对列进行切片
df.iloc[:,1:3]
B C
2013-01-01 0.490011 0.171121
2013-01-02 -0.452804 -0.391892
2013-01-03 -1.808484 -0.286489
2013-01-04 -1.862121 0.115950
2013-01-05 -1.402740 -0.356049
2013-01-06 0.585420 -0.073923 
df.iloc[1,1]
-0.45280421688689004 
# .iat 比 .iloc 具有更快的速度
df.iat[1,1]
-0.45280421688689004 使用布尔值进行索引。 
df[df.A > 0]
A B C D
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457
2013-01-04 1.447812 -1.862121 0.115950 -0.664134
2013-01-05 0.520409 -1.402740 -0.356049 0.460950 
df[df > 0]
A B C D
2013-01-01 NaN 0.490011 0.171121 NaN
2013-01-02 NaN NaN NaN NaN
2013-01-03 1.304388 NaN NaN NaN
2013-01-04 1.447812 NaN 0.115950 NaN
2013-01-05 0.520409 NaN NaN 0.46095
2013-01-06 NaN 0.585420 NaN NaN

使用isin()方法进行过滤。

df2 = df.copy()
df2['E'] = ['one','one','two','three','four','three']
df2
A B C D E
2013-01-01 -0.285894 0.490011 0.171121 -1.549807 one
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520 one
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457 two
2013-01-04 1.447812 -1.862121 0.115950 -0.664134 three
2013-01-05 0.520409 -1.402740 -0.356049 0.460950 four
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197 three 
df2[df2['E'].isin(['one','four'])]
A B C D E
2013-01-01 -0.285894 0.490011 0.171121 -1.549807 one
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520 one
2013-01-05 0.520409 -1.402740 -0.356049 0.460950 four

设置数据

设置一个新列，自动按索引分配数据。

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102',periods=6))
s1
2013-01-02 1 2013-01-03 2 2013-01-04 3 2013-01-05 4 2013-01-06 5 2013-01-07 6 Freq: D, dtype: int64 
df['F'] = s1
df
A B C D F
2013-01-01 -0.285894 0.490011 0.171121 -1.549807 NaN
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520 1.0
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457 2.0
2013-01-04 1.447812 -1.862121 0.115950 -0.664134 3.0
2013-01-05 0.520409 -1.402740 -0.356049 0.460950 4.0
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197 5.0

因为s1是从‘20130102’开始的，所以‘20130101’对应的F列值为‘NaN’

df.at[dates[0],'A'] = 0
df
A B C D F
2013-01-01 0.000000 0.490011 0.171121 -1.549807 NaN
2013-01-02 -0.068377 -0.452804 -0.391892 -0.852520 1.0
2013-01-03 1.304388 -1.808484 -0.286489 -0.437457 2.0
2013-01-04 1.447812 -1.862121 0.115950 -0.664134 3.0
2013-01-05 0.520409 -1.402740 -0.356049 0.460950 4.0
2013-01-06 -0.404900 0.585420 -0.073923 -0.501197 5.0 
df.iat[0,1] = 0
df.loc[:,'D'] = np.array([5] * len(df))
df
A B C D F
2013-01-01 0.000000 0.000000 0.171121 5 NaN
2013-01-02 -0.068377 -0.452804 -0.391892 5 1.0
2013-01-03 1.304388 -1.808484 -0.286489 5 2.0
2013-01-04 1.447812 -1.862121 0.115950 5 3.0
2013-01-05 0.520409 -1.402740 -0.356049 5 4.0
2013-01-06 -0.404900 0.585420 -0.073923 5 5.0 
df2 = df.copy()
df2[df2 > 0] = -df2
df2
A B C D F
2013-01-01 0.000000 0.000000 -0.171121 -5 NaN
2013-01-02 -0.068377 -0.452804 -0.391892 -5 -1.0
2013-01-03 -1.304388 -1.808484 -0.286489 -5 -2.0
2013-01-04 -1.447812 -1.862121 -0.115950 -5 -3.0
2013-01-05 -0.520409 -1.402740 -0.356049 -5 -4.0
2013-01-06 -0.404900 -0.585420 -0.073923 -5 -5.0

缺失数据

pandas主要使用”np.nan“表示缺失数据，默认是不参与计算的。
“reindex”使我们可以对某个轴上的索引进行增删改操作。这种操作返回的是数据的一个备份。

df1 = df.reindex(index=dates[0:4], columns=list(df.columns)+['E'])
df1.loc[dates[0]:dates[1],'E'] = 1
df1
A B C D F E
2013-01-01 0.000000 0.000000 0.171121 5 NaN 1.0
2013-01-02 -0.068377 -0.452804 -0.391892 5 1.0 1.0
2013-01-03 1.304388 -1.808484 -0.286489 5 2.0 NaN
2013-01-04 1.447812 -1.862121 0.115950 5 3.0 NaN 
# 将含有缺失数据的行全部去掉
df1.dropna(how='any')
A B C D F E
2013-01-02 -0.068377 -0.452804 -0.391892 5 1.0 1.0 
# 对缺失数据进行填补
df1.fillna(value=5)
A B C D F E
2013-01-01 0.000000 0.000000 0.171121 5 5.0 1.0
2013-01-02 -0.068377 -0.452804 -0.391892 5 1.0 1.0
2013-01-03 1.304388 -1.808484 -0.286489 5 2.0 5.0
2013-01-04 1.447812 -1.862121 0.115950 5 3.0 5.0 
# 获得缺失值的布尔mask
pd.isnull(df1)
A B C D F E
2013-01-01 False False False False True False
2013-01-02 False False False False False False
2013-01-03 False False False False False True
2013-01-04 False False False False False True 
df1
A B C D F E
2013-01-01 0.000000 0.000000 0.171121 5 NaN 1.0
2013-01-02 -0.068377 -0.452804 -0.391892 5 1.0 1.0
2013-01-03 1.304388 -1.808484 -0.286489 5 2.0 NaN
2013-01-04 1.447812 -1.862121 0.115950 5 3.0 NaN

运算

运算通常不含缺失值。

# 统计运算
df
A B C D F
2013-01-01 0.000000 0.000000 0.171121 5 NaN
2013-01-02 -0.068377 -0.452804 -0.391892 5 1.0
2013-01-03 1.304388 -1.808484 -0.286489 5 2.0
2013-01-04 1.447812 -1.862121 0.115950 5 3.0
2013-01-05 0.520409 -1.402740 -0.356049 5 4.0
2013-01-06 -0.404900 0.585420 -0.073923 5 5.0 
df.mean()
A 0.466555 B -0.823455 C -0.136880 D 5.000000 F 3.000000 dtype: float64 
df.mean(1)
2013-01-01 1.292780 2013-01-02 1.017385 2013-01-03 1.241883 2013-01-04 1.540328 2013-01-05 1.552324 2013-01-06 2.021319 Freq: D, dtype: float64 在具有不同维度的对象之间进行运算时，需要进行对其。pandas会自动沿着特定维度进行扩展操作。 
s = pd.Series([1,3,5,np.nan,6,8], index=dates)
s
2013-01-01 1.0 2013-01-02 3.0 2013-01-03 5.0 2013-01-04 NaN 2013-01-05 6.0 2013-01-06 8.0 Freq: D, dtype: float64 
s = s.shift(2)
s
2013-01-01 NaN 2013-01-02 NaN 2013-01-03 1.0 2013-01-04 3.0 2013-01-05 5.0 2013-01-06 NaN Freq: D, dtype: float64 
df
A B C D F
2013-01-01 0.000000 0.000000 0.171121 5 NaN
2013-01-02 -0.068377 -0.452804 -0.391892 5 1.0
2013-01-03 1.304388 -1.808484 -0.286489 5 2.0
2013-01-04 1.447812 -1.862121 0.115950 5 3.0
2013-01-05 0.520409 -1.402740 -0.356049 5 4.0
2013-01-06 -0.404900 0.585420 -0.073923 5 5.0 
df.sub(s,axis='index')
A B C D F
2013-01-01 NaN NaN NaN NaN NaN
2013-01-02 NaN NaN NaN NaN NaN
2013-01-03 0.304388 -2.808484 -1.286489 4.0 1.0
2013-01-04 -1.552188 -4.862121 -2.884050 2.0 0.0
2013-01-05 -4.479591 -6.402740 -5.356049 0.0 -1.0
2013-01-06 NaN NaN NaN NaN NaN

sub()是减运算，df减去s时s的维度会自动进行扩展。

apply运算
apply运算将函数作用于数据。

df.apply(np.cumsum)
A B C D F
2013-01-01 0.000000 0.000000 0.171121 5 NaN
2013-01-02 -0.068377 -0.452804 -0.220771 10 1.0
2013-01-03 1.236011 -2.261288 -0.507260 15 3.0
2013-01-04 2.683824 -4.123409 -0.391310 20 6.0
2013-01-05 3.204233 -5.526149 -0.747359 25 10.0
2013-01-06 2.799333 -4.940729 -0.821282 30 15.0 
df
A B C D F
2013-01-01 0.000000 0.000000 0.171121 5 NaN
2013-01-02 -0.068377 -0.452804 -0.391892 5 1.0
2013-01-03 1.304388 -1.808484 -0.286489 5 2.0
2013-01-04 1.447812 -1.862121 0.115950 5 3.0
2013-01-05 0.520409 -1.402740 -0.356049 5 4.0
2013-01-06 -0.404900 0.585420 -0.073923 5 5.0

np.cumsum是求元素累加和，上述操作将每行数据依次累加到下一行上。

df.apply(lambda x: x.max()-x.min())
A 1.852712 B 2.447541 C 0.563013 D 0.000000 F 4.000000 dtype: float64 柱状图 统计每个数据出现的次数。 
# 随机生成0~7之间的10个整数
s = pd.Series(np.random.randint(0,7,size=10))
s
0 1 1 5 2 0 3 4 4 3 5 5 6 6 7 6 8 5 9 1 dtype: int64 
s.value_counts()
5 3 6 2 1 2 4 1 3 1 0 1 dtype: int64 字符串方法 
s = pd.Series(['A','B','C','Aaba','Baca',np.nan, 'CABA', 'dog', 'cat'])
s.str.lower()
0 a 1 b 2 c 3 aaba 4 baca 5 NaN 6 caba 7 dog 8 cat dtype: object

数据融合

pandas提供了多种工具可以将Series、DataFrame和Panel对象按照多种逻辑结合起来。

使用concat()连接pandas对象

df = pd.DataFrame(np.random.randn(10,4))
df
0 1 2 3
0 0.526889 2.038465 -0.564220 0.263579
1 -0.987904 -0.306195 1.805246 0.030639
2 1.288416 -0.514634 0.450702 0.671194
3 0.209680 -0.868604 0.553508 0.173013
4 -0.443213 -0.998113 -0.237519 -0.401295
5 0.595207 0.845315 -0.914725 1.471180
6 -0.539326 -0.681776 0.491664 2.022497
7 1.083012 0.518738 0.707878 -0.337114
8 -1.322083 0.495178 -0.223462 -1.511751
9 -0.105515 -0.256568 1.591926 0.755486 
# 将df切成片
pieces = [df[:3], df[3:7], df[7:]]
pieces
[ 0 1 2 3 0 0.526889 2.038465 -0.564220 0.263579 1 -0.987904 -0.306195 1.805246 0.030639 2 1.288416 -0.514634 0.450702 0.671194, 0 1 2 3 3 0.209680 -0.868604 0.553508 0.173013 4 -0.443213 -0.998113 -0.237519 -0.401295 5 0.595207 0.845315 -0.914725 1.471180 6 -0.539326 -0.681776 0.491664 2.022497, 0 1 2 3 7 1.083012 0.518738 0.707878 -0.337114 8 -1.322083 0.495178 -0.223462 -1.511751 9 -0.105515 -0.256568 1.591926 0.755486] 
pd.concat(pieces)
0 1 2 3
0 0.526889 2.038465 -0.564220 0.263579
1 -0.987904 -0.306195 1.805246 0.030639
2 1.288416 -0.514634 0.450702 0.671194
3 0.209680 -0.868604 0.553508 0.173013
4 -0.443213 -0.998113 -0.237519 -0.401295
5 0.595207 0.845315 -0.914725 1.471180
6 -0.539326 -0.681776 0.491664 2.022497
7 1.083012 0.518738 0.707878 -0.337114
8 -1.322083 0.495178 -0.223462 -1.511751
9 -0.105515 -0.256568 1.591926 0.755486

join
SQL风格的数据融合。

left = pd.DataFrame({'key':['foo','foo'],'lval':[1,2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
left
key lval
0 foo 1
1 foo 2 
right
key rval
0 foo 4
1 foo 5 
pd.merge(left, right, on='key')
key lval rval
0 foo 1 4
1 foo 1 5
2 foo 2 4
3 foo 2 5

append
为dataframe增加行。

df = pd.DataFrame(np.random.randn(8,4), columns=['A','B','C','D'])
df
A B C D
0 -0.346194 -1.878628 0.257169 0.445530
1 1.098394 -1.127943 -1.251522 -0.653498
2 1.296878 -0.757345 -2.423548 -2.233024
3 0.857649 -0.320409 0.267631 -1.337814
4 0.090567 1.460739 0.212409 -0.308281
5 0.951721 1.305034 0.721996 0.669566
6 0.104395 1.904366 -0.132059 0.436476
7 0.552328 -1.344539 0.459006 1.713434 
s = df.iloc[3]
df.append(s, ignore_index=True)
A B C D
0 -0.346194 -1.878628 0.257169 0.445530
1 1.098394 -1.127943 -1.251522 -0.653498
2 1.296878 -0.757345 -2.423548 -2.233024
3 0.857649 -0.320409 0.267631 -1.337814
4 0.090567 1.460739 0.212409 -0.308281
5 0.951721 1.305034 0.721996 0.669566
6 0.104395 1.904366 -0.132059 0.436476
7 0.552328 -1.344539 0.459006 1.713434
8 0.857649 -0.320409 0.267631 -1.337814

分组

“group by” 表示以下步骤中的一步或多步操作。
- 将数据按照某些标准分为多组
- 对每个组进行一个函数运算
- 将结果结合成一个数据结构

df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
                          'foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three',
                          'two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})
df
A B C D
0 foo one 0.460761 -0.001011
1 bar one 2.001010 0.282712
2 foo two -1.171306 -0.085701
3 bar three 0.723922 1.013934
4 foo two 0.566774 -0.654899
5 bar two 0.653483 1.013699
6 foo one 0.072918 -0.590657
7 foo three -0.161579 -0.485670 
df.groupby('A').sum()
C D
A
bar 3.378415 2.310345
foo -0.232432 -1.817937 
df.groupby(['A','B']).sum()
C D
A B
bar one 2.001010 0.282712
three 0.723922 1.013934
two 0.653483 1.013699
foo one 0.533679 -0.591667
three -0.161579 -0.485670
two -0.604532 -0.740600

Reshaping

stack

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz',
                     'foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two',
                     'one', 'two', 'one', 'two']]))
tuples
[(‘bar’, ‘one’), (‘bar’, ‘two’), (‘baz’, ‘one’), (‘baz’, ‘two’), (‘foo’, ‘one’), (‘foo’, ‘two’), (‘qux’, ‘one’), (‘qux’, ‘two’)] 
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
index
MultiIndex(levels=[[u’bar’, u’baz’, u’foo’, u’qux’], [u’one’, u’two’]], labels=[[0, 0, 1, 1, 2, 2, 3, 3], [0, 1, 0, 1, 0, 1, 0, 1]], names=[u’first’, u’second’]) 
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df
A B
first second
bar one 0.055334 0.953745
two 1.719361 0.419879
baz one 0.180238 0.844578
two 0.233350 -1.366278
foo one -0.285023 -0.353144
two -1.531769 -0.146243
qux one -0.419270 0.308597
two 0.763019 0.631118 
df2 = df[:4]
df2
A B
first second
bar one 0.055334 0.953745
two 1.719361 0.419879
baz one 0.180238 0.844578
two 0.233350 -1.366278 
stacked = df2.stack()
stacked
first second bar one A 0.055334 B 0.953745 two A 1.719361 B 0.419879 baz one A 0.180238 B 0.844578 two A 0.233350 B -1.366278 dtype: float64 stack()方法将DataFrame的列压缩了一个级别 对于一个以MultiIndex为索引的stacked DataFrame或Series,stack()的逆操作是unstack(). 
stacked.unstack()
A B
first second
bar one 0.055334 0.953745
two 1.719361 0.419879
baz one 0.180238 0.844578
two 0.233350 -1.366278 
stacked.unstack(0)
first bar baz
second
one A 0.055334 0.180238
B 0.953745 0.844578
two A 1.719361 0.233350
B 0.419879 -1.366278 
stacked.unstack(1)
second one two
first
bar A 0.055334 1.719361
B 0.953745 0.419879
baz A 0.180238 0.233350
B 0.844578 -1.366278

数据透视表Pivot Tables

df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,
                   'B' : ['A', 'B', 'C'] * 4,
                   'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                   'D' : np.random.randn(12),
                   'E' : np.random.randn(12)})
df
A B C D E
0 one A foo 0.353420 -0.570327
1 one B foo 1.090713 -0.046794
2 two C foo -0.160874 0.595251
3 three A bar 0.884684 -0.027981
4 one B bar 0.379335 -0.387736
5 one C bar 0.045674 1.210791
6 two A foo 0.264520 -1.120149
7 three B foo 1.149012 0.213768
8 one C foo -0.965242 -0.232711
9 one A bar -0.464023 0.799239
10 two B bar 0.186186 -0.889300
11 three C bar 0.177992 1.352036 
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])
C bar foo
A B
one A -0.464023 0.353420
B 0.379335 1.090713
C 0.045674 -0.965242
three A 0.884684 NaN
B NaN 1.149012
C 0.177992 NaN
two A NaN 0.264520
B 0.186186 NaN
C NaN -0.160874

时间序列

pandas具有简单、强大、高效的用于频率变换的重采样操作（例如将季节性数据变为以5分钟为间隔的数据）。

rng = pd.date_range('1/1/2012', periods=100, freq='S')
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
rng
DatetimeIndex([‘2012-01-01 00:00:00’, ‘2012-01-01 00:00:01’, ‘2012-01-01 00:00:02’, ‘2012-01-01 00:00:03’, ‘2012-01-01 00:00:04’, ‘2012-01-01 00:00:05’, ‘2012-01-01 00:00:06’, ‘2012-01-01 00:00:07’, ‘2012-01-01 00:00:08’, ‘2012-01-01 00:00:09’, ‘2012-01-01 00:00:10’, ‘2012-01-01 00:00:11’, ‘2012-01-01 00:00:12’, ‘2012-01-01 00:00:13’, ‘2012-01-01 00:00:14’, ‘2012-01-01 00:00:15’, ‘2012-01-01 00:00:16’, ‘2012-01-01 00:00:17’, ‘2012-01-01 00:00:18’, ‘2012-01-01 00:00:19’, ‘2012-01-01 00:00:20’, ‘2012-01-01 00:00:21’, ‘2012-01-01 00:00:22’, ‘2012-01-01 00:00:23’, ‘2012-01-01 00:00:24’, ‘2012-01-01 00:00:25’, ‘2012-01-01 00:00:26’, ‘2012-01-01 00:00:27’, ‘2012-01-01 00:00:28’, ‘2012-01-01 00:00:29’, ‘2012-01-01 00:00:30’, ‘2012-01-01 00:00:31’, ‘2012-01-01 00:00:32’, ‘2012-01-01 00:00:33’, ‘2012-01-01 00:00:34’, ‘2012-01-01 00:00:35’, ‘2012-01-01 00:00:36’, ‘2012-01-01 00:00:37’, ‘2012-01-01 00:00:38’, ‘2012-01-01 00:00:39’, ‘2012-01-01 00:00:40’, ‘2012-01-01 00:00:41’, ‘2012-01-01 00:00:42’, ‘2012-01-01 00:00:43’, ‘2012-01-01 00:00:44’, ‘2012-01-01 00:00:45’, ‘2012-01-01 00:00:46’, ‘2012-01-01 00:00:47’, ‘2012-01-01 00:00:48’, ‘2012-01-01 00:00:49’, ‘2012-01-01 00:00:50’, ‘2012-01-01 00:00:51’, ‘2012-01-01 00:00:52’, ‘2012-01-01 00:00:53’, ‘2012-01-01 00:00:54’, ‘2012-01-01 00:00:55’, ‘2012-01-01 00:00:56’, ‘2012-01-01 00:00:57’, ‘2012-01-01 00:00:58’, ‘2012-01-01 00:00:59’, ‘2012-01-01 00:01:00’, ‘2012-01-01 00:01:01’, ‘2012-01-01 00:01:02’, ‘2012-01-01 00:01:03’, ‘2012-01-01 00:01:04’, ‘2012-01-01 00:01:05’, ‘2012-01-01 00:01:06’, ‘2012-01-01 00:01:07’, ‘2012-01-01 00:01:08’, ‘2012-01-01 00:01:09’, ‘2012-01-01 00:01:10’, ‘2012-01-01 00:01:11’, ‘2012-01-01 00:01:12’, ‘2012-01-01 00:01:13’, ‘2012-01-01 00:01:14’, ‘2012-01-01 00:01:15’, ‘2012-01-01 00:01:16’, ‘2012-01-01 00:01:17’, ‘2012-01-01 00:01:18’, ‘2012-01-01 00:01:19’, ‘2012-01-01 00:01:20’, ‘2012-01-01 00:01:21’, ‘2012-01-01 00:01:22’, ‘2012-01-01 00:01:23’, ‘2012-01-01 00:01:24’, ‘2012-01-01 00:01:25’, ‘2012-01-01 00:01:26’, ‘2012-01-01 00:01:27’, ‘2012-01-01 00:01:28’, ‘2012-01-01 00:01:29’, ‘2012-01-01 00:01:30’, ‘2012-01-01 00:01:31’, ‘2012-01-01 00:01:32’, ‘2012-01-01 00:01:33’, ‘2012-01-01 00:01:34’, ‘2012-01-01 00:01:35’, ‘2012-01-01 00:01:36’, ‘2012-01-01 00:01:37’, ‘2012-01-01 00:01:38’, ‘2012-01-01 00:01:39’], dtype=’datetime64[ns]’, freq=’S’) 
ts
2012-01-01 00:00:00 244 2012-01-01 00:00:01 57 2012-01-01 00:00:02 2 2012-01-01 00:00:03 175 2012-01-01 00:00:04 486 2012-01-01 00:00:05 71 2012-01-01 00:00:06 71 2012-01-01 00:00:07 430 2012-01-01 00:00:08 276 2012-01-01 00:00:09 283 2012-01-01 00:00:10 358 2012-01-01 00:00:11 465 2012-01-01 00:00:12 358 2012-01-01 00:00:13 20 2012-01-01 00:00:14 296 2012-01-01 00:00:15 397 2012-01-01 00:00:16 485 2012-01-01 00:00:17 358 2012-01-01 00:00:18 429 2012-01-01 00:00:19 148 2012-01-01 00:00:20 166 2012-01-01 00:00:21 333 2012-01-01 00:00:22 43 2012-01-01 00:00:23 352 2012-01-01 00:00:24 180 2012-01-01 00:00:25 79 2012-01-01 00:00:26 97 2012-01-01 00:00:27 344 2012-01-01 00:00:28 271 2012-01-01 00:00:29 434 … 2012-01-01 00:01:10 294 2012-01-01 00:01:11 22 2012-01-01 00:01:12 352 2012-01-01 00:01:13 383 2012-01-01 00:01:14 175 2012-01-01 00:01:15 62 2012-01-01 00:01:16 62 2012-01-01 00:01:17 32 2012-01-01 00:01:18 16 2012-01-01 00:01:19 110 2012-01-01 00:01:20 110 2012-01-01 00:01:21 302 2012-01-01 00:01:22 268 2012-01-01 00:01:23 342 2012-01-01 00:01:24 39 2012-01-01 00:01:25 346 2012-01-01 00:01:26 461 2012-01-01 00:01:27 305 2012-01-01 00:01:28 435 2012-01-01 00:01:29 370 2012-01-01 00:01:30 319 2012-01-01 00:01:31 376 2012-01-01 00:01:32 97 2012-01-01 00:01:33 437 2012-01-01 00:01:34 287 2012-01-01 00:01:35 335 2012-01-01 00:01:36 334 2012-01-01 00:01:37 106 2012-01-01 00:01:38 295 2012-01-01 00:01:39 122 Freq: S, dtype: int64 
ts.resample('5Min').sum()
2012-01-01 24806 Freq: 5T, dtype: int64 
rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
ts = pd.Series(np.random.randn(len(rng)), rng)
ts
2012-03-06 0.954522 2012-03-07 0.944713 2012-03-08 1.299799 2012-03-09 1.766374 2012-03-10 -0.703189 Freq: D, dtype: float64 
ts_utc = ts.tz_localize('UTC')
ts_utc
2012-03-06 00:00:00+00:00 0.954522 2012-03-07 00:00:00+00:00 0.944713 2012-03-08 00:00:00+00:00 1.299799 2012-03-09 00:00:00+00:00 1.766374 2012-03-10 00:00:00+00:00 -0.703189 Freq: D, dtype: float64 
# 转为另一个时区
ts_utc.tz_convert('US/Eastern')
2012-03-05 19:00:00-05:00 0.954522 2012-03-06 19:00:00-05:00 0.944713 2012-03-07 19:00:00-05:00 1.299799 2012-03-08 19:00:00-05:00 1.766374 2012-03-09 19:00:00-05:00 -0.703189 Freq: D, dtype: float64

类别（Categoricals）

从0.15版本起，pandas可以在DataFrame中包含类别数据。

df = pd.DataFrame({"id":[1,2,3,4,5,6], 
                   "raw_grade":['a', 'b', 'b', 'a', 'a', 'e']})
df["grade"] = df["raw_grade"].astype("category")
df["grade"]
0 a 1 b 2 b 3 a 4 a 5 e Name: grade, dtype: category Categories (3, object): [a, b, e] 
# Series.cat.categories 可以将类别重命名为更有意义的名字
df["grade"].cat.categories = ["very good", "good", "very bad"]
df
id raw_grade grade
0 1 a very good
1 2 b good
2 3 b good
3 4 a very good
4 5 a very good
5 6 e very bad 
df["grade"] = df["grade"].cat.set_categories(
    ["very bad", "bad", "medium", "good", "very good"])
df
id raw_grade grade
0 1 a very good
1 2 b good
2 3 b good
3 4 a very good
4 5 a very good
5 6 e very bad 
df.sort_values(by="grade")
id raw_grade grade
5 6 e very bad
1 2 b good
2 3 b good
0 1 a very good
3 4 a very good
4 5 a very good

按类别对数据进行排序

# 统计每个类别出现的次数
df.groupby("grade").size()
grade
very bad     1
bad          0
medium       0
good         2
very good    3
dtype: int64

画图

# Series
ts = pd.Series(np.random.randn(1000), 
               index=pd.date_range('1/1/2000', periods=1000))
ts = ts.cumsum()
%matplotlib inline
ts.plot()
<matplotlib.axes._subplots.AxesSubplot at 0x7f7584dafc90>


# DataFrame
df = pd.DataFrame(np.random.randn(1000, 4), index=ts.index, 
                  columns=['A', 'B', 'C', 'D'])
df = df.cumsum()
plt.figure(); df.plot(); 
plt.legend(loc='best') #自动调整在最佳位置放置legend图标
<matplotlib.legend.Legend at 0x7f7574834e50>




<matplotlib.figure.Figure at 0x7f7584daf310>

10分钟入门pandas_第1张图片

读取和保存数据

CSV:
df.to_csv(‘foo.csv’)
pd.read_csv(‘foo.csv’)

HDF5:
df.to_hdf(‘foo.h5’,’df’)
pd.read_hdf(‘foo.h5’,’df’)

Excel:
df.to_excel(‘foo.xlsx’, sheet_name=’Sheet1’)
pd.read_excel(‘foo.xlsx’, ‘Sheet1’, index_col=None, na_values=[‘NA’])

附录

本文是对pandas 0.18.1 documentation进行学习的一次学习记录。
原文见10 Minutes to pandas。虽然号称10分钟入门，但也只限于水过地皮湿的理解程度或作为手头的应急查阅文件。我在jupyter-notebook中一步一步按照代码敲下来，边学边理解大概需要四个小时。

你可能感兴趣的:(pandas,series,dataFrame)

  • 消息中间件有哪些常见类型 xmh-sxh-1314 java
    消息中间件根据其设计理念和用途，可以大致分为以下几种常见类型：点对点消息队列（Point-to-PointMessagingQueues）：在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。队列中的消息只能被一个消费者消费，消费后即被删除。常见的实现包括IBM的MQSeries、RabbitMQ的部分使用场景等。适用于任务分发、负载均衡等场景。发布/订阅消息模型（Pub/Sub
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • 自然语言处理_tf-idf _feivirus_ 算法机器学习和数学自然语言处理tf-idf逆文档频率词频
    importpandasaspdimportmath1.数据预处理docA="Thecatsatonmyface"docB="Thedogsatonmybed"wordsA=docA.split("")wordsB=docB.split("")wordsSet=set(wordsA).union(set(wordsB))print(wordsSet){'on','my','face','sat',
  • K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习K近邻
    importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
  • python编写直方图和饼图 2301_80421078 python开发语言
    1.直方图#直方图的绘制#语法格式：plt.hist(x,bins),其中x:数据集；bins:统计数据的分布区间importmatplotlib.pyplotaspltimportpandasaspd#导入文件excel=pd.read_excel('成绩.xlsx')#print(excel)#避免乱码plt.rcParams['font.sans-serif']=['SimHei']x=ex
  • pythonpandas函数详解_Python pandas常用函数详解 Senvn
    本文研究的主要是pandas常用函数，具体介绍如下。1import语句importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportdatetimeimportre2文件读取df=pd.read_csv(path='file.csv')参数：header=None用默认列名，0，1，2，3...names=['A','B','C'
  • python画出分子化学空间分布（UMAP） Sakaiay python
    利用umap画出分子化学空间分布图安装pipinstallumap-learn下面是用一个数据集举的例子importtorchimportumapimportpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsfromsklearn.manifoldimportTSNEfromrdkit.Chemimport
  • python读写CSV文件 bcbobo21cn .Netpython开发语言机器学习CSV
    做数据分析，有时候要分析的数据在CSV文件里；先看一下python读写CSV文件；importpandasaspddf=pd.read_csv('test1.csv')print(df)print('')print(df.head(2))companyname=["A1","B2","E3","F4"]legperson=["lier","yanqi","wangwu","zhangsan"]le
  • python如何更方便的处理日期和时间 openwin_top python编程示例系列python编程示例系列二pythonjava前端
    Arrow是一个第三方Python库，提供了更加易用和方便的日期和时间处理接口。它的设计目标是提供一种简单、一致且易于使用的API，以替代Python内置的datetime模块。Arrow支持各种日期和时间的操作，包括时区转换、日期和时间格式化、日期和时间差计算等功能。它还支持与其他日期和时间库的互操作，例如datetime、dateutil和pandas等库。以下是一个使用Arrow库的简单示例
  • python下载pandas库镜像_下载pandas库 weixin_39791152
    背景交代：在下载matplotlib库时，我已经将pip的下载源手动更改为清华的镜像，所以，如果有小伙伴在下载库遇到问题，如timeout，请先将下载源改为国内镜像，具体操作见我的另一篇文章：今天的主题是安装pandas库~首先，按田字格+R，打开cmd，输入：pipinstallpandas嗯，不出所料地报错了……主要原因：pip._vendor.urllib3.exceptions.ReadT
  • python数据分析知识点大全 编程零零七 python数据分析python开发语言python数据分析数据分析知识点大全python数据分析知识点python教程python基础
    Python数据分析知识点大全可以归纳为以下几个主要方面：一、基础概念与目的数据分析定义：数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论，对数据加以详细研究和概括总结的过程。其目的在于从数据中挖掘规律、验证猜想、进行预测。Python在数据分析中的优势：Python因其易学性、快速开发、丰富的扩展库（如NumPy、Pandas等）和成熟的框架，成为数据分析领域的
  • 如何“选择不同的“?跨越 pandas 中的多个数据框列? 潮易 pandas
    在pandas中，如果你想要选择不同的列，你可以使用DataFrame的loc属性和iloc属性的组合。loc属性是基于标签的，iloc属性则是基于索引的。如果你想要选择多个列，你只需要将它们放入一个列表即可。以下是一个代码示例：```pythonimportpandasaspd#创建一个数据框df=pd.DataFrame({'A':[1,2,3],'B':[4,5,6],'C':[7,8,9]
  • 详解 Pandas 的 query 函数 文刀小桂 Pandaspandaspython开发语言
    Pandas的query()方法能够使用字符串表达式来筛选DataFrame数据的行，类似于SQL的where子句importpandasaspddf=pd.DataFrame({"A":[1,3,5,6,7],"B":[11,10,9,8,12],"C":["hello","pandas","python","java","shell"],"D":["2024-02-01","2023-12-1
  • 详解 Pandas 的 isin 用法 文刀小桂 Pandaspandaspython
    Pandas的isin()方法可以判断数据值是否在某个数据集合中，若与集合中的某个值相等则返回True，反之返回False。importpandasaspddf=pd.DataFrame({"title":["one","two","three","four"],"type":["small","common","middle","large"],"num":[10,20,30,40]})#1.判
  • Rust: duckdb和polars读csv文件比较 songroom rust开发语言后端
    duckdb在数据分析上，有非常多不错的特质。1、快；2、客户体验好，特别是可以同时批量读csv（在一个目录下的csv等文件）。polars的性能比pandas有非常多的超越。但背后的一些基于arrow的技术栈有很多相同之类。今天想比较一下两者在csv数据读写的情况。一、文件准备csv样本内容，是N行9列的csv标准格式，有字符串，有浮点数，有整型。具体如下：本次准备了两个csv文件，一个大约是2
  • groupby 中如何显示 tqdm 的进度条？ domodo2020
    在循环时调用tqdm显示进度已经是一个常规操作，常见的方式是foriiintqdm(...):...while循环的情况类似，whileicntintqdm(range(n)):...icnt+=1这里记录没有显式循环时，在groupby中的用法：importpandasaspdimportnumpyasnpfromtqdmimporttqdmdf=pd.DataFrame(np.random.r
  • SQLServer2022新特性 GENERATE_SERIES函数 zxrhhm sqlserver数据库
    SQLServer2022新特性GENERATE_SERIES函数，在给定间隔内生成一系列数字。序列值之间的间隔和步骤由用户定义。参考官方地址https://learn.microsoft.com/en-us/sql/t-sql/functions/generate-series-transact-sql?view=sql-server-ver161、本文内容语法参数返回类型权限示例相关内容适用于
  • 四、webpack4.0 - tapable Razas WEBPACK4webpack4.0
    一、tapable介绍webpack中插件的时候，需要用到tapable。新建一个项目WEBPACK-Tapable。初始化package.json:npminit-y安装：npminstalltapable--savetapable是一个包。二、tapable三、AsyncParralleHook四、AsyncSeriesHook五、AsyncSeriesWaterfall
  • tapable详解 风火一回 webpacktapablewebpack插件制作
    tapable详解tapable是webpack内部使用的一个流程管理工具，主要用来串联插件，完善事件流执行。1.安装tapableyarnaddtapable2.常用hooksimport{SyncHook,SyncBailHook,SyncWaterfallHook,SyncLoopHook,AsyncParallelHook,AsyncParallelBailHook,AsyncSeries
  • pandas读取xlsx文件使用sqlachemy写到数据库 hzw0510 pandaspandas数据库
    pandas读取xlsx文件使用sqlachemy写到数据库要使用pandas和SQLAlchemy将Excel文件中的数据读取到数据库中，你可以按照以下步骤进行操作：安装必要的库：确保你已经安装了pandas、SQLAlchemy和openpyxl（用于读取Excel文件）。可以使用以下命令安装：pipinstallpandassqlalchemyopenpyxl如果你使用的是特定的数据库（如S
  • python 问题 ‘list‘ object cannot be interpreted as an integer 和‘int‘ object is not iterable annekqiu python
    访问同一个excel表格（含有多个sheet）importnumpyasnpimportpandasaspdimportxlrd#读取excel的库importxlwt#写excel的库data=xlrd.open_workbook('./161005.xlsx')#打开excel文件读取数据table=data.sheets()[0]#读取sheet1h=table.ncols#获得列表数目a1
  • 【Python】 写入Pandas DataFrame到CSV文件 civilpy pythonpandas开发语言
    基本原理Pandas是一个强大的Python数据分析库，它提供了许多用于数据处理和分析的功能。在处理数据时，我们经常需要将数据保存到文件中，以便后续使用或分享。CSV（Comma-SeparatedValues，逗号分隔值）文件是一种常见的数据交换格式，它以纯文本形式存储表格数据，每行表示一个数据记录，列之间用逗号分隔。DataFrame是Pandas中用于存储表格数据的主要数据结构。它类似于Ex
  • Python酷库之旅-第三方库Pandas(115) 神奇夜光杯 pythonpandas开发语言人工智能标准库及第三方库excel学习与成长
    目录一、用法精讲506、pandas.DataFrame.rank方法506-1、语法506-2、参数506-3、功能506-4、返回值506-5、说明506-6、用法506-6-1、数据准备506-6-2、代码示例506-6-3、结果输出507、pandas.DataFrame.round方法507-1、语法507-2、参数507-3、功能507-4、返回值507-5、说明507-6、用法507
  • Python数据分析之股票信息可视化实现matplotlib Blogfish Python3大数据python可视化数据分析
    今天学习爬虫技术数据分析对于股票信息的分析及结果呈现，目标是实现对股票信息的爬取并对数据整理后，生成近期成交量折线图。首先，做这个案例一定要有一个明确的思路。知道要干啥，知道用哪些知识，有些方法我也记不住百度下知识库很强大，肯定有答案。有思路以后准备对数据处理，就是几个方法使用了。接口地址参考：Tushare数据涉及知识库：tushare-一个财经数据开放接口；pandas-实现将数据整理为表格，
  • pandas中的loc和iloc 白日与明月 python数据挖掘pandas
    loc和iloc的比较.loc和.iloc是pandas提供的两种不同的索引方法，它们的主要区别在于索引数据的依据：.loc：基于标签的索引，使用DataFrame或Series的索引标签（即行名和列名）来获取数据。可以使用单个标签、标签列表、标签切片、布尔数组或者callable函数作为索引器。如果使用标签索引并且标签不存在，.loc会抛出一个KeyError。对于切片，包括两端的标签。.ilo
  • pandas loc与iloc的区别 authorized_keys 数据处理pythonpandaslociloc
    目录一、二者的特点二、官网原文三、例子——总有一款适合你一、二者的特点loc可用“字符”、“整数”、“布尔值”作为索引，也就是标签索引注意：此处的“整数”将被解释为index的一个label而不是index的位置iloc只允许“整数”作为索引，也就是位置索引，和列表索引类似，里面只能是数字注意：此处的“整数”将被解释为index的位置，前闭后开其中，loc是指location的意思，iloc中的i
  • pandas中loc和iloc的区别 林光虚霁晓 数据分析pandas
    在Pandas中，loc和iloc是用于选择和过滤数据的两种主要方法，它们的区别在于使用的索引类型。1.loc：基于标签索引loc是基于行或列的标签（label）来选择数据。它可以按行或列的名称来访问数据，也可以通过布尔索引选择。支持的索引类型：行标签、列标签、布尔索引。语法：DataFrame.loc[row_indexer,column_indexer]示例importpandasaspd#创
  • seurat自学笔记1.0 单细胞数据导入 Sanye2022 pythonpandas
    Python读取.h5ad文件importanndataimportpandasaspdadata=anndata.read("/home/R/R_data/Seurat/PBMC10/output/adata.h5ad")#adata.X.todense()#将稀疏矩阵转成普通矩阵#X=pd.DataFrame(adata.X.todense())#cell_name=adata.obs.ind
  • 关于旗正规则引擎下载页面需要弹窗保存到本地目录的问题 何必如此 jsp超链接文件下载窗口
    生成下载页面是需要选择“录入提交页面”，生成之后默认的下载页面<a>标签超链接为：<a href="<%=root_stimage%>stimage/image.jsp?filename=<%=strfile234%>&attachname=<%=java.net.URLEncoder.encode(file234filesourc
  • 【Spark九十八】Standalone Cluster Mode下的资源调度源代码分析 bit1129 cluster
    在分析源代码之前，首先对Standalone Cluster Mode的资源调度有一个基本的认识： 首先，运行一个Application需要Driver进程和一组Executor进程。在Standalone Cluster Mode下，Driver和Executor都是在Master的监护下给Worker发消息创建(Driver进程和Executor进程都需要分配内存和CPU，这就需要Maste
  • linux上独立安装部署spark daizj linux安装spark1.4部署
    下面讲一下linux上安装spark，以 Standalone Mode 安装   1）首先安装JDK   下载JDK：jdk-7u79-linux-x64.tar.gz  ，版本是1.7以上都行，解压 tar -zxvf jdk-7u79-linux-x64.tar.gz     然后配置 ~/.bashrc&nb
  • Java 字节码之解析一 周凡杨 java字节码javap
        一： Java 字节代码的组织形式   类文件 {     OxCAFEBABE ，小版本号，大版本号，常量池大小，常量池数组，访问控制标记，当前类信息，父类信息，实现的接口个数，实现的接口信息数组，域个数，域信息数组，方法个数，方法信息数组，属性个数，属性信息数组 } &nbs
  • java各种小工具代码 g21121 java
    1.数组转换成List import java.util.Arrays; Arrays.asList(Object[] obj); 2.判断一个String型是否有值 import org.springframework.util.StringUtils; if (StringUtils.hasText(str)) 3.判断一个List是否有值 import org.spring
  • 加快FineReport报表设计的几个心得体会 老A不折腾 finereport
    一、从远程服务器大批量取数进行表样设计时，最好按“列顺序”取一个“空的SQL语句”，这样可提高设计速度。否则每次设计时模板均要从远程读取数据，速度相当慢！！ 二、找一个富文本编辑软件（如NOTEPAD+）编辑SQL语句，这样会很好地检查语法。有时候带参数较多检查语法复杂时，结合FineReport中生成的日志，再找一个第三方数据库访问软件（如PL/SQL）进行数据检索，可以很快定位语法错误。
  • mysql linux启动与停止 墙头上一根草
    如何启动/停止/重启MySQL一、启动方式1、使用 service 启动：service mysqld start2、使用 mysqld 脚本启动：/etc/inint.d/mysqld start3、使用 safe_mysqld 启动：safe_mysqld&二、停止1、使用 service 启动：service mysqld stop2、使用 mysqld 脚本启动：/etc/inin
  • Spring中事务管理浅谈 aijuans spring事务管理
    Spring中事务管理浅谈 By Tony Jiang@2012-1-20 Spring中对事务的声明式管理 拿一个XML举例 [html]  view plain copy print ? <?xml version="1.0" encoding="UTF-8"?>&nb
  • php中隐形字符65279（utf-8的BOM头）问题 alxw4616
    php中隐形字符65279（utf-8的BOM头）问题 今天遇到一个问题. php输出JSON 前端在解析时发生问题:parsererror.   调试: 1.仔细对比字符串发现字符串拼写正确.怀疑是 非打印字符的问题. 2.逐一将字符串还原为unicode编码. 发现在字符串头的位置出现了一个 65279的非打印字符.        
  • 调用对象是否需要传递对象(初学者一定要注意这个问题) 百合不是茶 对象的传递与调用技巧
        类和对象的简单的复习,在做项目的过程中有时候不知道怎样来调用类创建的对象,简单的几个类可以看清楚,一般在项目中创建十几个类往往就不知道怎么来看   为了以后能够看清楚,现在来回顾一下类和对象的创建,对象的调用和传递(前面写过一篇)   类和对象的基础概念:   JAVA中万事万物都是类 类有字段(属性),方法,嵌套类和嵌套接
  • JDK1.5 AtomicLong实例 bijian1013 javathreadjava多线程AtomicLong
    JDK1.5 AtomicLong实例 类 AtomicLong 可以用原子方式更新的 long 值。有关原子变量属性的描述，请参阅 java.util.concurrent.atomic 包规范。AtomicLong 可用在应用程序中（如以原子方式增加的序列号），并且不能用于替换 Long。但是，此类确实扩展了 Number，允许那些处理基于数字类的工具和实用工具进行统一访问。  
  • 自定义的RPC的Java实现 bijian1013 javarpc
            网上看到纯java实现的RPC，很不错。         RPC的全名Remote Process Call，即远程过程调用。使用RPC，可以像使用本地的程序一样使用远程服务器上的程序。下面是一个简单的RPC 调用实例，从中可以看到RPC如何
  • 【RPC框架Hessian一】Hessian RPC Hello World bit1129 Hello world
    什么是Hessian The Hessian binary web service protocol makes web services usable without requiring a large framework, and without learning yet another alphabet soup of protocols. Because it is a binary p
  • 【Spark九十五】Spark Shell操作Spark SQL bit1129 shell
    在Spark Shell上，通过创建HiveContext可以直接进行Hive操作   1. 操作Hive中已存在的表   [hadoop@hadoop bin]$ ./spark-shell Spark assembly has been built with Hive, including Datanucleus jars on classpath Welcom
  • F5　往header加入客户端的ip ronin47
    when HTTP_RESPONSE {if {[HTTP::is_redirect]}{         HTTP::header replace Location [string map {:port/ /} [HTTP::header value Location]]HTTP::header replace Lo
  • java-61-在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差. 求所有数对之差的最大值。例如在数组{2, 4, 1, 16, 7, 5, bylijinnan java
    思路来自： http://zhedahht.blog.163.com/blog/static/2541117420116135376632/ 写了个java版的 public class GreatestLeftRightDiff { /** * Q61.在数组中，数字减去它右边(注意是右边)的数字得到一个数对之差。 * 求所有数对之差的最大值。例如在数组
  • mongoDB 索引 开窍的石头 mongoDB索引
    在这一节中我们讲讲在mongo中如何创建索引       得到当前查询的索引信息      db.user.find(_id:12).explain();        cursor: basicCoursor 指的是没有索引  &
  • [硬件和系统]迎峰度夏 comsci 系统
      从这几天的气温来看，今年夏天的高温天气可能会维持在一个比较长的时间内    所以，从现在开始准备渡过炎热的夏天。。。。    每间房屋要有一个落地电风扇，一个空调(空调的功率和房间的面积有密切的关系)    坐的，躺的地方要有凉垫，床上要有凉席       电脑的机箱
  • 基于ThinkPHP开发的公司官网 cuiyadll 行业系统
    后端基于ThinkPHP，前端基于jQuery和BootstrapCo.MZ 企业系统 轻量级企业网站管理系统 运行环境:PHP5.3+, MySQL5.0 系统预览 系统下载：http://www.tecmz.com 预览地址：http://co.tecmz.com 各种设备自适应 响应式的网站设计能够对用户产生友好度，并且对于
  • Transaction and redelivery in JMS (JMS的事务和失败消息重发机制) darrenzhu jms事务承认MQacknowledge
    JMS Message Delivery Reliability and Acknowledgement Patterns http://wso2.com/library/articles/2013/01/jms-message-delivery-reliability-acknowledgement-patterns/ Transaction and redelivery in
  • Centos添加硬盘完全教程 dcj3sjt126com linuxcentoshardware
    Linux的硬盘识别: sda        表示第1块SCSI硬盘 hda       表示第1块IDE硬盘 scd0      表示第1个USB光驱 一般使用“fdisk -l”命
  • yii2 restful web服务路由 dcj3sjt126com PHPyii2
    路由 随着资源和控制器类准备，您可以使用URL如 http://localhost/index.php?r=user/create访问资源，类似于你可以用正常的Web应用程序做法。 在实践中，你通常要用美观的URL并采取有优势的HTTP动词。 例如，请求POST /users意味着访问user/create动作。 这可以很容易地通过配置urlManager应用程序组件来完成 如下所示
  • MongoDB查询(4)——游标和分页[八] eksliang mongodbMongoDB游标MongoDB深分页
    转载请出自出处：http://eksliang.iteye.com/blog/2177567 一、游标         数据库使用游标返回find的执行结果。客户端对游标的实现通常能够对最终结果进行有效控制，从shell中定义一个游标非常简单，就是将查询结果分配给一个变量（用var声明的变量就是局部变量），便创建了一个游标，如下所示： > var
  • Activity的四种启动模式和onNewIntent() gundumw100 android
    Android中Activity启动模式详解 　　在Android中每个界面都是一个Activity，切换界面操作其实是多个不同Activity之间的实例化操作。在Android中Activity的启动模式决定了Activity的启动运行方式。 　　Android总Activity的启动模式分为四种： Activity启动模式设置： <acti
  • 攻城狮送女友的CSS3生日蛋糕 ini htmlWebhtml5csscss3
    在线预览：http://keleyi.com/keleyi/phtml/html5/29.htm   代码如下：   <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>攻城狮送女友的CSS3生日蛋糕-柯乐义<
  • 读源码学Servlet（1）GenericServlet 源码分析 jzinfo tomcatWebservlet网络应用网络协议
    Servlet API的核心就是javax.servlet.Servlet接口，所有的Servlet 类（抽象的或者自己写的）都必须实现这个接口。在Servlet接口中定义了5个方法，其中有3个方法是由Servlet 容器在Servlet的生命周期的不同阶段来调用的特定方法。     先看javax.servlet.servlet接口源码：  package
  • JAVA进阶：VO(DTO)与PO(DAO)之间的转换 snoopy7713 javaVOHibernatepo
      PO即 Persistence Object　　VO即 Value Object 　VO和PO的主要区别在于：　　VO是独立的Java Object。　　PO是由Hibernate纳入其实体容器（Entity Map）的对象，它代表了与数据库中某条记录对应的Hibernate实体，PO的变化在事务提交时将反应到实际数据库中。 　实际上，这个VO被用作Data Transfer
  • mongodb group by date 聚合查询日期 统计每天数据（信息量） qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    /* 1 */ { "_id" : ObjectId("557ac1e2153c43c320393d9d"), "msgType" : "text", "sendTime" : ISODate("2015-06-12T11:26:26.000Z")
  • java之18天 常用的类(一) Luob. MathDateSystemRuntimeRundom
    System类 import java.util.Properties; /** * System: * out:标准输出,默认是控制台 * in:标准输入,默认是键盘 * * 描述系统的一些信息 * 获取系统的属性信息:Properties getProperties(); * * * */ public class Sy
  • maven wuai maven
    1、安装maven：解压缩、添加M2_HOME、添加环境变量path 2、创建maven_home文件夹，创建项目mvn_ch01,在其下面建立src、pom.xml，在src下面简历main、test、main下面建立java文件夹 3、编写类，在java文件夹下面依照类的包逐层创建文件夹，将此类放入最后一级文件夹 4、进入mvn_ch01 4.1、mvn compile ,执行后会在
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他