利用Python进行数据分析--数据聚合与分组运算1

转载自:http://blog.csdn.net/ssw_1990/article/details/22286583

pandas提供了一个灵活高效的groupby功能,它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。

  • 根据一个或多个键(可以是函数、数组或DataFrame列名)拆分pandas对象。
  • 计算分组摘要统计,如计数、平均值、标准差,或用户自定义函数。
  • 对DataFrame的列应用各种各样的函数。
  • 应用组内转换或其他运算,如规格化、线性回归、排名或选取子集等。
  • 计算透视表或交叉表。
  • 执行分位数分析以及其他分组分析。


1、分组键可以有多种形式,且类型不必相同

  • 列表或数组,其长度与待分组的轴一样。
  • 表示DataFrame某个列名的值。
  • 字典或Series,给出待分组轴上的值与分组名之间的对应关系。
  • 函数,用于处理轴索引或索引中的各个标签。

注意:

后三种都只是快捷方式而已,其最终目的仍然是产生一组用于拆分对象的值。


2、首先来看看下面这个非常简单的表格型数据集(以DataFrame的形式):

[python]  view plain copy
  1. >>> import pandas as pd  
  2. >>> df = pd.DataFrame({'key1':['a''a''b''b''a'],  
  3. ...     'key2':['one''two''one''two''one'],  
  4. ...     'data1':np.random.randn(5),  
  5. ...     'data2':np.random.randn(5)})  
  6. >>> df  
  7.       data1     data2 key1 key2  
  8. 0 -0.410673  0.519378    a  one  
  9. 1 -2.120793  0.199074    a  two  
  10. 2  0.642216 -0.143671    b  one  
  11. 3  0.975133 -0.592994    b  two  
  12. 4 -1.017495 -0.530459    a  one  
假设你想要按key1进行分组,并计算data1列的平均值,我们可以访问data1,并根据key1调用groupby:

[python]  view plain copy
  1. >>> grouped = df['data1'].groupby(df['key1'])  
  2. >>> grouped  
  3. 0x04120D70>  
变量grouped是一个GroupBy对象,它实际上还没有进行任何计算,只是含有一些有关分组键df['key1']的中间数据而已,然后我们可以调用GroupBy的mean方法来计算分组平均值:

[python]  view plain copy
  1. >>> grouped.mean()  
  2. key1  
  3. a      -1.182987  
  4. b       0.808674  
  5. dtype: float64  
说明:

数据(Series)根据分组键进行了聚合,产生了一个新的Series,其索引为key1列中的唯一值。之所以结果中索引的名称为key1,是因为原始DataFrame的列df['key1']就叫这个名字。


3、如果我们一次传入多个数组,就会得到不同的结果:

[python]  view plain copy
  1. >>> means = df['data1'].groupby([df['key1'], df['key2']]).mean()  
  2. >>> means  
  3. key1  key2  
  4. a     one    -0.714084  
  5.       two    -2.120793  
  6. b     one     0.642216  
  7.       two     0.975133  
  8. dtype: float64  

通过两个键对数据进行了分组,得到的Series具有一个层次化索引(由唯一的键对组成):

[python]  view plain copy
  1. >>> means.unstack()  
  2. key2       one       two  
  3. key1                      
  4. a    -0.714084 -2.120793  
  5. b     0.642216  0.975133  
在上面这些示例中,分组键均为Series。实际上,分组键可以是任何长度适当的数组:

[python]  view plain copy
  1. >>> states = np.array(['Ohio''California''California''Ohio''Ohio'])  
  2. >>> years = np.array([20052005200620052006])  
  3. >>> df['data1'].groupby([states, years]).mean()  
  4. California  2005   -2.120793  
  5.             2006    0.642216  
  6. Ohio        2005    0.282230  
  7.             2006   -1.017495  
  8. dtype: float64  


4、此外,你还可以将列名(可以是字符串、数字或其他Python对象)用作分组将:

[python]  view plain copy
  1. >>> df.groupby('key1').mean()  
  2.          data1     data2  
  3. key1                      
  4. a    -1.182987  0.062665  
  5. b     0.808674 -0.368333  
  6. >>> df.groupby(['key1''key2']).mean()  
  7.               data1     data2  
  8. key1 key2                      
  9. a    one  -0.714084 -0.005540  
  10.      two  -2.120793  0.199074  
  11. b    one   0.642216 -0.143671  
  12.      two   0.975133 -0.592994  
说明:

在执行df.groupby('key1').mean()时,结果中没有key2列。这是因为df['key2']不是数值数据,所以被从结果中排除了。默认情况下,所有数值列都会被聚合,虽然有时可能会被过滤为一个子集。

无论你准备拿groupby做什么,都有可能会用到GroupBy的size方法,它可以返回一个含有分组大小的Series:

[python]  view plain copy
  1. >>> df.groupby(['key1''key2']).size()  
  2. key1  key2  
  3. a     one     2  
  4.       two     1  
  5. b     one     1  
  6.       two     1  
  7. dtype: int64  
注意:

分组键中的任何缺失值都会被排除在结果之外。


5、对分组进行迭代

GroupBy对象支持迭代,可以产生一组二元元组(由分组名和数据块组成)。看看下面这个简单的数据集:

[python]  view plain copy
  1. >>> for name, group in df.groupby('key1'):  
  2. ...     print(name)  
  3. ...     print(group)  
  4. ...   
  5. a  
  6.       data1     data2 key1 key2  
  7. 0 -0.410673  0.519378    a  one  
  8. 1 -2.120793  0.199074    a  two  
  9. 4 -1.017495 -0.530459    a  one  
  10. b  
  11.       data1     data2 key1 key2  
  12. 2  0.642216 -0.143671    b  one  
  13. 3  0.975133 -0.592994    b  two  
对于多重键的情况,元组的第一个元素将会是由键值组成的元组:

[python]  view plain copy
  1. >>> for (k1, k2), group in df.groupby(['key1''key2']):  
  2. ...     print k1, k2  
  3. ...     print group  
  4. ...   
  5. a one  
  6.       data1     data2 key1 key2  
  7. 0 -0.410673  0.519378    a  one  
  8. 4 -1.017495 -0.530459    a  one  
  9. a two  
  10.       data1     data2 key1 key2  
  11. 1 -2.120793  0.199074    a  two  
  12. b one  
  13.       data1     data2 key1 key2  
  14. 2  0.642216 -0.143671    b  one  
  15. b two  
  16.       data1     data2 key1 key2  
  17. 3  0.975133 -0.592994    b  two  
当然,你可以对这些数据片段做任何操作。有一个你可能会觉得有用的运算:将这些数据片段做成一个字典:

[python]  view plain copy
  1. >>> pieces = dict(list(df.groupby('key1')))  
  2. >>> pieces['b']  
  3.       data1     data2 key1 key2  
  4. 2  0.642216 -0.143671    b  one  
  5. 3  0.975133 -0.592994    b  two  
  6. >>> df.groupby('key1')  
  7. 0x0413AE30>  
  8. >>> list(df.groupby('key1'))  
  9. [('a',       data1     data2 key1 key2  
  10. 0 -0.410673  0.519378    a  one  
  11. 1 -2.120793  0.199074    a  two  
  12. 4 -1.017495 -0.530459    a  one), ('b',       data1     data2 key1 key2  
  13. 2  0.642216 -0.143671    b  one  
  14. 3  0.975133 -0.592994    b  two)]  
groupby默认是在axis=0上进行分组的,通过设置也可以在其他任何轴上进行分组。那上面例子中的df来说,我们可以根据dtype对列进行分组:

[python]  view plain copy
  1. >>> df.dtypes  
  2. data1    float64  
  3. data2    float64  
  4. key1      object  
  5. key2      object  
  6. dtype: object  
  7. >>> grouped = df.groupby(df.dtypes, axis=1)  
  8. >>> dict(list(grouped))  
  9. {dtype('O'):   key1 key2  
  10. 0    a  one  
  11. 1    a  two  
  12. 2    b  one  
  13. 3    b  two  
  14. 4    a  one, dtype('float64'):       data1     data2  
  15. 0 -0.410673  0.519378  
  16. 1 -2.120793  0.199074  
  17. 2  0.642216 -0.143671  
  18. 3  0.975133 -0.592994  
  19. 4 -1.017495 -0.530459}  
[python]  view plain copy
  1. >>> grouped  
  2. 0x041288F0>  
  3. >>> list(grouped)  
  4. [(dtype('float64'),       data1     data2  
  5. 0 -0.410673  0.519378  
  6. 1 -2.120793  0.199074  
  7. 2  0.642216 -0.143671  
  8. 3  0.975133 -0.592994  
  9. 4 -1.017495 -0.530459), (dtype('O'),   key1 key2  
  10. 0    a  one  
  11. 1    a  two  
  12. 2    b  one  
  13. 3    b  two  
  14. 4    a  one)]  


6、选取一个或一组列

对于由DataFrame产生的GroupBy对象,如果用一个(单个字符串)或一组(字符串数组)列名对其进行索引,就能实现选取部分列进行聚合的目的,即:

[python]  view plain copy
  1. >>> df.groupby('key1')['data1']  
  2. 0x06615FD0>  
  3. >>> df.groupby('key1')['data2']  
  4. 0x06615CB0>  
  5. >>> df.groupby('key1')[['data2']]  
  6. 0x06615F10>  
和以下代码是等效的:

[python]  view plain copy
  1. >>> df['data1'].groupby([df['key1']])  
  2. 0x06615FD0>  
  3. >>> df[['data2']].groupby([df['key1']])  
  4. 0x06615F10>  
  5. >>> df['data2'].groupby([df['key1']])  
  6. 0x06615E30>  
尤其对于大数据集,很可能只需要对部分列进行聚合。例如,在前面那个数据集中,如果只需计算data2列的平均值并以DataFrame形式得到结果,代码如下:

[python]  view plain copy
  1. >>> df.groupby(['key1''key2'])[['data2']].mean()  
  2.               data2  
  3. key1 key2            
  4. a    one  -0.005540  
  5.      two   0.199074  
  6. b    one  -0.143671  
  7.      two  -0.592994  
  8. >>> df.groupby(['key1''key2'])['data2'].mean()  
  9. key1  key2  
  10. a     one    -0.005540  
  11.       two     0.199074  
  12. b     one    -0.143671  
  13.       two    -0.592994  
  14. Name: data2, dtype: float64  
这种索引操作所返回的对象是一个已分组的DataFrame(如果传入的是列表或数组)或已分组的Series(如果传入的是标量形式的单个列明):

[python]  view plain copy
  1. >>> s_grouped = df.groupby(['key1''key2'])['data2']  
  2. >>> s_grouped  
  3. 0x06615B10>  
  4. >>> s_grouped.mean()  
  5. key1  key2  
  6. a     one    -0.005540  
  7.       two     0.199074  
  8. b     one    -0.143671  
  9.       two    -0.592994  
  10. Name: data2, dtype: float64  


7、通过字典或Series进行分组

除数组以外,分组信息还可以其他形式存在,来看一个DataFrame示例:

[python]  view plain copy
  1. >>> people = pd.DataFrame(np.random.randn(55),  
  2. ...     columns=['a''b''c''d''e'],  
  3. ...     index=['Joe''Steve''Wes''Jim''Travis']  
  4. ... )  
  5. >>> people  
  6.                a         b         c         d         e  
  7. Joe     0.306336 -0.139431  0.210028 -1.489001 -0.172998  
  8. Steve   0.998335  0.494229  0.337624 -1.222726 -0.402655  
  9. Wes     1.415329  0.450839 -1.052199  0.731721  0.317225  
  10. Jim     0.550551  3.201369  0.669713  0.725751  0.577687  
  11. Travis -2.013278 -2.010304  0.117713 -0.545000 -1.228323  
  12. >>> people.ix[2:3, ['b''c']] = np.nan   
假设已知列的分组关系,并希望根据分组计算列的总计:

[python]  view plain copy
  1. >>> mapping = {'a':'red''b':'red''c':'blue',  
  2. ...     'd':'blue''e':'red''f':'orange'}  
  3. >>> mapping  
  4. {'a''red''c''blue''b''red''e''red''d''blue''f''orange'}  
  5. >>> type(mapping)  
  6. 'dict'>  
现在,只需将这个字典传给groupby即可:

[python]  view plain copy
  1. >>> by_column = people.groupby(mapping, axis=1)  
  2. >>> by_column  
  3. 0x066150F0>  
  4. >>> by_column.sum()  
  5.             blue       red  
  6. Joe    -1.278973 -0.006092  
  7. Steve  -0.885102  1.089908  
  8. Wes     0.731721  1.732554  
  9. Jim     1.395465  4.329606  
  10. Travis -0.427287 -5.251905  
Series也有同样的功能,它可以被看做一个固定大小的映射。对于上面那个例子,如果用Series作为分组键,则pandas会检查Series以确保其索引跟分组轴是对齐的

[python]  view plain copy
  1. >>> map_series = pd.Series(mapping)  
  2. >>> map_series  
  3. a       red  
  4. b       red  
  5. c      blue  
  6. d      blue  
  7. e       red  
  8. f    orange  
  9. dtype: object  
  10. >>> people.groupby(map_series, axis=1).count()  
  11.         blue  red  
  12. Joe        2    3  
  13. Steve      2    3  
  14. Wes        1    2  
  15. Jim        2    3  
  16. Travis     2    3  


8、通过函数进行分组

        相较于字典或Series,Python函数在定义分组映射关系时可以更有创意且更为抽象。任何被当做分组键的函数都会在各个索引值上被调用一次,其返回值就会被用作分组名称。

        具体点说,以DataFrame为例,其索引值为人的名字。假设你希望根据人名的长度进行分组,虽然可以求取一个字符串长度数组,但其实仅仅传入len函数即可:

[python]  view plain copy
  1. >> people.groupby(len).sum()  
  2.           a         b         c         d         e  
  3. 3  2.272216  3.061938  0.879741 -0.031529  0.721914  
  4. 5  0.998335  0.494229  0.337624 -1.222726 -0.402655  
  5. 6 -2.013278 -2.010304  0.117713 -0.545000 -1.228323  
将函数跟数组、列表、字典、Series混合使用也不是问题,因为任何东西最终都会被转换为数组:

[python]  view plain copy
  1. >>> key_list = ['one''one''one''two''two']  
  2. >>> people.groupby([len, key_list]).min()  
  3.               a         b         c         d         e  
  4. 3 one  0.306336 -0.139431  0.210028 -1.489001 -0.172998  
  5.   two  0.550551  3.201369  0.669713  0.725751  0.577687  
  6. 5 one  0.998335  0.494229  0.337624 -1.222726 -0.402655  
  7. 6 two -2.013278 -2.010304  0.117713 -0.545000 -1.228323  


9、根据索引级别分组

层次化索引数据集最方便的地方在于它能够根据索引级别进行聚合。要实现该目的,通过level关键字传入级别编号或名称即可:

[python]  view plain copy
  1. >>> columns = pd.MultiIndex.from_arrays([['US''US''US''JP''JP'],  
  2. ...     [13513]], names=['cty''tenor'])  
  3. >>> columns  
  4. MultiIndex  
  5. [US  1,     3,     5, JP  1,     3]  
  6. >>> hier_df = pd.DataFrame(np.random.randn(45), columns=columns)  
  7. >>> hier_df  
  8. cty          US                            JP            
  9. tenor         1         3         5         1         3  
  10. 0     -0.166600  0.248159 -0.082408 -0.710841 -0.097131  
  11. 1     -1.762270  0.687458  1.235950 -1.407513  1.304055  
  12. 2      1.089944  0.258175 -0.749688 -0.851948  1.687768  
  13. 3     -0.378311 -0.078268  0.247147 -0.018829  0.744540  
  14. >>> hier_df.groupby(level='cty', axis=1).count()  
  15. cty  JP  US  
  16. 0     2   3  
  17. 1     2   3  
  18. 2     2   3  
  19. 3     2   3  

你可能感兴趣的:(Python系列)