pd.DataFrame()函数解析

文章目录

DataFrame是Python中Pandas库中的一种数据结构，它类似excel，是一种二维表

0 简介

DataFrame的单元格可以存放数值、字符串等，这和excel表很像，同时DataFrame可以设置列名columns与行名index。

1 创建DataFrame

pandas常与numpy一起配合使用，所以通常会一起引用，也就是：

1. import pandas as pd
2. import numpy as np

1.1 使用numpy函数创建

可以直接通过pandas的DataFrame函数进行创建。

1. import pandas as pd
2. import numpy as np
3. df1 = pd.DataFrame(np.random.randn(3, 3), index=list('abc'), columns=list('ABC'))
4. print(df1)
5. #           A         B         C
6. # a -0.612978  0.237191  0.312969
7. # b -1.281485  1.135944  0.162456
8. # c  2.232905  0.200209  0.028671

其中第一个参数是存放在DataFrame里的数据，第二个参数index就是之前说的行名，第三个参数columns是之前说的列名。

其中后两个参数可以使用list输入，但是注意，这个list的长度要和DataFrame的大小匹配，不然会报错。

1. df2 = pd.DataFrame(np.random.randn(3, 3), index=list('abcd'), columns=list('ABCD'))
    
2. # ValueError: Shape of passed values is (3, 3), indices imply (4, 4)

当然，这两个参数是可选的，你可以选择不设置，而且这两个list是可以一样的

1. df3 = pd.DataFrame(np.random.randn(3, 3), index=list('ABC'), columns=list('ABC'))
2. #           A         B         C
3. # A  1.106838  0.309086  0.748472
4. # B  0.439228 -0.213154 -1.438647
5. # C  0.292450  0.841237 -0.069207

1.2 直接创建

1. import pandas as pd
2. import numpy as np
3. df4 = pd.DataFrame([[1, 2, 3], 
4.                     [2, 3, 4],
5.                     [3, 4, 5]],
6.                    index=list('abc'), columns=list('ABC'))
7. print(df4)
8. #    A  B  C
9. # a  1  2  3
10. # b  2  3  4
11. # c  3  4  5

1.3 使用字典创建

1. import pandas as pd
2. import numpy as np
3. dic1 = {
4.     'name': [
5.         '张三', '李四', '王二麻子', '小淘气'], 'age': [
6.             37, 30, 50, 16], 'gender': [
7.                 '男', '男', '男', '女']}
8. df5 = pd.DataFrame(dic1)
9. print(df5)
10. #    age gender  name
11. # 0   37      男    张三
12. # 1   30      男    李四
13. # 2   50      男  王二麻子
14. # 3   16      女   小淘气

2 DataFrame属性

2.1 查看列的数据类型

1. print(df5.dtypes)
2. # age        int64
3. # gender    object
4. # name      object
5. # dtype: object

2.2 查看DataFrame的头尾

1. import pandas as pd
2. import numpy as np
3. df6 = pd.DataFrame(np.arange(36).reshape(6, 6), index=list('abcdef'), columns=list('ABCDEF'))
4. print(df6)
5. #     A   B   C   D   E   F
6. # a   0   1   2   3   4   5
7. # b   6   7   8   9  10  11
8. # c  12  13  14  15  16  17
9. # d  18  19  20  21  22  23
10. # e  24  25  26  27  28  29
11. # f  30  31  32  33  34  35
12. print(df6.head())
13. #     A   B   C   D   E   F
14. # a   0   1   2   3   4   5
15. # b   6   7   8   9  10  11
16. # c  12  13  14  15  16  17
17. # d  18  19  20  21  22  23
18. # e  24  25  26  27  28  29

比如只看前2行

1. print(df6.head(2))
2. #    A  B  C  D   E   F
3. # a  0  1  2  3   4   5
4. # b  6  7  8  9  10  11

比如看后5行。

1. print(df6.tail())
2. #     A   B   C   D   E   F
3. # b   6   7   8   9  10  11
4. # c  12  13  14  15  16  17
5. # d  18  19  20  21  22  23
6. # e  24  25  26  27  28  29
7. # f  30  31  32  33  34  35

比如只看后2行。

1. print(df6.tail(2))
2. #     A   B   C   D   E   F
3. # e  24  25  26  27  28  29
4. # f  30  31  32  33  34  35

2.3 查看行名与列名

使用index查看行名，columns查看列名

1. print(df6.index)
2. print(df6.columns)
3. # Index(['a', 'b', 'c', 'd', 'e', 'f'], dtype='object')
4. # Index(['A', 'B', 'C', 'D', 'E', 'F'], dtype='object')

2.4 查看数据值

使用values可以查看DataFrame里的数据值，返回的是一个数组。

1. print(df6.values)
2. # [[ 0  1  2  3  4  5]
3. #  [ 6  7  8  9 10 11]
4. #  [12 13 14 15 16 17]
5. #  [18 19 20 21 22 23]
6. #  [24 25 26 27 28 29]
7. #  [30 31 32 33 34 35]]

比如说查看某一列所有的数据值。

1. print(df6['B'].values)
2. [ 1  7 13 19 25 31]

查看某一行所有的数据值

1. print(df6.iloc[0])
2. # A    0
3. # B    1
4. # C    2
5. # D    3
6. # E    4
7. # F    5
8. # Name: a, dtype: int32

2.5 查看行列数

1. print(df6.shape[0])
2. print(df6.shape[1])
3. # 6
4. # 6

2.6 切片

1. print(df6['a':'b'])
2. #    A  B  C  D   E   F
3. # a  0  1  2  3   4   5
4. # b  6  7  8  9  10  11

2.7 索引

1. print(df6.loc[:,'A':'B'])
2. #     A   B
3. # a   0   1
4. # b   6   7
5. # c  12  13
6. # d  18  19
7. # e  24  25
8. # f  30  31

• 切片表示的是行切片
• 索引表示的是列索引

3.DataFrame操作

3.1 转置

直接字母T，线性代数上线。

1. print(df6.T)
2. #    a   b   c   d   e   f
3. # A  0   6  12  18  24  30
4. # B  1   7  13  19  25  31
5. # C  2   8  14  20  26  32
6. # D  3   9  15  21  27  33
7. # E  4  10  16  22  28  34
8. # F  5  11  17  23  29  35

3.2 描述性统计

使用describe可以对数据根据列进行描述性统计。

1. print(df6.describe())
2. #                A          B          C          D          E          F
3. # count   6.000000   6.000000   6.000000   6.000000   6.000000   6.000000
4. # mean   15.000000  16.000000  17.000000  18.000000  19.000000  20.000000
5. # std    11.224972  11.224972  11.224972  11.224972  11.224972  11.224972
6. # min     0.000000   1.000000   2.000000   3.000000   4.000000   5.000000
7. # 25%     7.500000   8.500000   9.500000  10.500000  11.500000  12.500000
8. # 50%    15.000000  16.000000  17.000000  18.000000  19.000000  20.000000
9. # 75%    22.500000  23.500000  24.500000  25.500000  26.500000  27.500000
10. # max    30.000000  31.000000  32.000000  33.000000  34.000000  35.000000

3.3 计算

   使用sum默认对每列求和，sum(1)为对每行求和。

1. print(df6.sum())
2. # A     90
3. # B     96
4. # C    102
5. # D    108
6. # E    114
7. # F    120
8. # dtype: int64
9. print(df6.sum(1))
10. # a     15
11. # b     51
12. # c     87
13. # d    123
14. # e    159
15. # f    195
16. # dtype: int64

数乘运算使用apply。

1. print(df6.apply(lambda x: x * 2))
2. #     A   B   C   D   E   F
3. # a   0   2   4   6   8  10
4. # b  12  14  16  18  20  22
5. # c  24  26  28  30  32  34
6. # d  36  38  40  42  44  46
7. # e  48  50  52  54  56  58
8. # f  60  62  64  66  68  70

乘方运算跟matlab类似，直接使用两个*。

1. print(df6**2)
2. #      A    B     C     D     E     F
3. # a    0    1     4     9    16    25
4. # b   36   49    64    81   100   121
5. # c  144  169   196   225   256   289
6. # d  324  361   400   441   484   529
7. # e  576  625   676   729   784   841
8. # f  900  961  1024  1089  1156  1225

3.4 新增

扩充列可以直接像字典一样，列名对应一个list，但是注意list的长度要跟index的长度一致。

1. df6['G']=['999','999','999','999','999','999']
2. print(df6)
3. #     A   B   C   D   E   F    G
4. # a   0   1   2   3   4   5  999
5. # b   6   7   8   9  10  11  999
6. # c  12  13  14  15  16  17  999
7. # d  18  19  20  21  22  23  999
8. # e  24  25  26  27  28  29  999
9. # f  30  31  32  33  34  35  999

还可以使用insert，使用这个方法可以指定把列插入到第几列，其他的列顺延。

1. df6.insert(0, 'QQ', ['999','999','999','999','999','999'])
2. print(df6)
3. #     QQ   A   B   C   D   E   F
4. # a  999   0   1   2   3   4   5
5. # b  999   6   7   8   9  10  11
6. # c  999  12  13  14  15  16  17
7. # d  999  18  19  20  21  22  23
8. # e  999  24  25  26  27  28  29
9. # f  999  30  31  32  33  34  35

3.5 合并

使用join可以将两个DataFrame合并，但只根据行列名合并，并且以作用的那个DataFrame的为基准。

1. # 也就是以df6为基准。
2. df7 = pd.DataFrame(['my', 'name', 'is', 'a', 'b', 'c'], index=list('abcdef'), columns=list('G'))
3. df8 = df6.join(df7)
4. print(df8)
5. #     A   B   C   D   E   F     G
6. # a   0   1   2   3   4   5    my
7. # b   6   7   8   9  10  11  name
8. # c  12  13  14  15  16  17    is
9. # d  18  19  20  21  22  23     a
10. # e  24  25  26  27  28  29     b
11. # f  30  31  32  33  34  35     c

但是，join这个方法还有how这个参数可以设置，合并两个DataFrame的交集或并集。参数为’inner’表示交集，'outer’表示并集。

1. df7 = pd.DataFrame(['2', '6', '7', '19', '44', '77'], index=list('abekld'), columns=list('G'))
2. df8=df6.join(df7,how='inner')
3. df9=df6.join(df7,how='outer')
4. print(df8)
5. #     A   B   C   D   E   F   G
6. # a   0   1   2   3   4   5   2
7. # b   6   7   8   9  10  11   6
8. # d  18  19  20  21  22  23  77
9. # e  24  25  26  27  28  29   7
10. print(df9)
11. #       A     B     C     D     E     F    G
12. # a   0.0   1.0   2.0   3.0   4.0   5.0    2
13. # b   6.0   7.0   8.0   9.0  10.0  11.0    6
14. # c  12.0  13.0  14.0  15.0  16.0  17.0  NaN
15. # d  18.0  19.0  20.0  21.0  22.0  23.0   77
16. # e  24.0  25.0  26.0  27.0  28.0  29.0    7
17. # f  30.0  31.0  32.0  33.0  34.0  35.0  NaN
18. # k   NaN   NaN   NaN   NaN   NaN   NaN   19
19. # l   NaN   NaN   NaN   NaN   NaN   NaN   44

如果要合并多个Dataframe，可以用list把几个Dataframe装起来，然后使用concat转化为一个新的Dataframe。

1. df10 = pd.DataFrame([1, 2, 3, 4, 5, 6], 
2.                     index=list('ABCDEF'), columns=['a'])
3. df11 = pd.DataFrame([10, 20, 30, 40, 50, 60],
4.                     index=list('ABCDEF'), columns=['b'])
5. df12 = pd.DataFrame([100, 200, 300, 400, 500, 600],
6.                     index=list('ABCDEF'), columns=['c'])
7. list1 = [df10.T, df11.T, df12.T]
8. df13 = pd.concat(list1)
9. print(df13)
10. #      A    B    C    D    E    F
11. # a    1    2    3    4    5    6
12. # b   10   20   30   40   50   60
13. # c  100  200  300  400  500  600

3.6 去重

1.    df.drop_duplicates(subset=None,
2.                    keep='first',
3.                    inplace=False
4.                    )

参数：

• subset：指定是哪些列重复。
• keep：去重后留下第几行，{‘first’, ‘last’, False}, default ‘first’｝，如果是False，则去除全部重复的行。
• inplace：是否作用于原来的df。

1. df14 = pd.DataFrame(data=[[1, 2, 3],
2.                           [1, 2, 4],
3.                           [1, 2, 4],
4.                           [1, 2, 3],
5.                           [1, 2, 5],
6.                           [1, 2, 5]],
7.                     index=list('ABCDEF'),
8.                     columns=['a', 'b', 'c'])
9. print(df14)
10. #    a  b  c
11. # A  1  2  3
12. # B  1  2  4
13. # C  1  2  4
14. # D  1  2  3
15. # E  1  2  5
16. # F  1  2  5

去除重复行,保留重复行中最后一行

1. df14.drop_duplicates(keep='last')
2. #    a  b  c
3. # C  1  2  4
4. # D  1  2  3
5. # F  1  2  5

去除’c’列中有重复的值所在的行

1. print(df14.drop_duplicates(subset=('c',)))
2. #    a  b  c
3. # A  1  2  3
4. # B  1  2  4
5. # E  1  2  5