pandazdy

Pandas个人最强笔记

导入库

import numpy as np
import pandas as pd  # pandas基于Numpy，升级版
# pandas牛逼，pandas就是神！！
import time
# 如果有警告，想要忽略可以操作
import warnings
warnings.filterwarnings('ignore')

pandas基础

pandas数据结构

Series 一维数据

# Series 是一维的数组，和numpy的数组还不一样，在于series多了索引，默认从0开始
l = np.array([1,2,3,6,9])
s1 = pd.Series(data=l)
display(l,s1)

array([1, 2, 3, 6, 9])



0    1
1    2
2    3
3    6
4    9
dtype: int32

s2 = pd.Series(data = l,index = list('ABCDE'))
s2  # 可以通过index添加行名

A    1
B    2
C    3
D    6
E    9
dtype: int32

s3 = pd.Series(data = {'A':149,'B':130,'C':118,'D':99,'E':66})
s3  # 可以通过字典创建添加列名

A    149
B    130
C    118
D     99
E     66
dtype: int64

DataFrame 多维数据

# Series是一维的，功能比较少
# DataFrame是二维的，多个Series公用索引，组成了DataFrame
df1 = pd.DataFrame(data = np.random.randint(0,151,size=(10,3)),
                  index = list('ABCDEFHIJK'),  # 行索引
                  columns=['python','math','english'], # 列索引
                  dtype = np.float16) 
df1

	python	math	english
A	120.0	76.0	39.0
B	10.0	139.0	85.0
C	69.0	14.0	33.0
D	85.0	97.0	144.0
E	132.0	11.0	35.0
F	129.0	25.0	148.0
H	45.0	66.0	95.0
I	148.0	54.0	61.0
J	56.0	14.0	81.0
K	55.0	137.0	104.0

df2 = pd.DataFrame(data={'python':[66,99,128],'math':[88,65,137],'english':[100,121,45]})
df2  # 字典，key作为列索引，不指定index默认从0开始索引，自动索引一样

	python	math	english
0	66	88	100
1	99	65	121
2	128	137	45

数据查看

df = pd.DataFrame(data = np.random.randint(0,151,size=(100,3)),
                 columns=['python','math','english'])
df

	python	math	english
0	150	111	83
1	31	137	41
2	126	129	130
3	91	23	118
4	96	68	22
...	...	...	...
95	21	29	78
96	34	7	60
97	134	21	111
98	108	130	137
99	127	105	59

100 rows × 3 columns

df.shape  # 查看形状

(100, 3)

df.head(n=3)  # 显示前n个记录

	python	math	english
0	150	111	83
1	31	137	41
2	126	129	130

df.tail(n=5)  # 显示后5个记录

	python	math	english
95	21	29	78
96	34	7	60
97	134	21	111
98	108	130	137
99	127	105	59

df.dtypes  # 查看数据类型

python     int32
math       int32
english    int32
dtype: object

df.info()  # 查看信息：内存、类型、行列数据的详细信息


RangeIndex: 100 entries, 0 to 99
Data columns (total 3 columns):
 #   Column   Non-Null Count  Dtype
---  ------   --------------  -----
 0   python   100 non-null    int32
 1   math     100 non-null    int32
 2   english  100 non-null    int32
dtypes: int32(3)
memory usage: 1.3 KB

df.describe()  # 查看描述数据的属性和信息，个数、平均值，标准差，最小值
# 四分位差、中位数、四分之三位差、最大值

	python	math	english
count	100.00000	100.000000	100.000000
mean	75.48000	72.330000	78.180000
std	41.94645	40.506404	42.564836
min	1.00000	1.000000	3.000000
25%	47.50000	40.500000	42.500000
50%	75.00000	70.000000	81.500000
75%	109.00000	101.250000	113.500000
max	150.00000	146.000000	150.000000

df.values  # 返回的是NumPy数据

array([[150, 111,  83],
       [ 31, 137,  41],
       [126, 129, 130],
       [ 91,  23, 118],
       [ 96,  68,  22],
       [ 46,  12, 108],
       [141, 100,  16],
       [ 87,   6,  20],
       [104, 133, 101],
       [ 73, 108, 134],
       [ 57, 146,  18],
       [ 57, 133,  49],
       [ 33,  70,  28],
       [ 69,  37,  80],
       [118,  30,  44],
       [  7,  43,  37],
       [104,  42,  39],
       [145,  58, 107],
       [121,  17,  92],
       [120,  80,  89],
       [ 66,  69,  18],
       [ 21, 107, 140],
       [ 17,   1, 129],
       [ 83,  65,  95],
       [ 95,  61,  89],
       [ 79, 129,  90],
       [ 97,  54,  91],
       [123,  14,  50],
       [128,  76,  33],
       [  7,  41, 138],
       [ 61, 141, 134],
       [138, 145,  20],
       [ 60,  27, 115],
       [ 77, 139,  66],
       [112,  83, 119],
       [138, 142,  48],
       [ 16,  99,  85],
       [ 55,  21,  90],
       [ 51,  75,  63],
       [123,  34,  39],
       [ 18,  39, 103],
       [129,  73,  57],
       [139,  10, 130],
       [ 22,  79,   6],
       [ 61, 127,  85],
       [ 99,  78, 138],
       [ 59,  60,  12],
       [ 63,  41,  64],
       [ 17,  69, 112],
       [ 86,  42,  80],
       [ 94,  18,  41],
       [ 15,  42,   3],
       [ 90,  57, 139],
       [ 48,  91, 107],
       [ 66,  92,  54],
       [ 70,  81,  31],
       [ 11,   8,  66],
       [ 10,  96,  94],
       [144,  92, 120],
       [ 84,  69,  16],
       [  5,  52,  76],
       [ 41,  74, 140],
       [ 26,  75,  26],
       [ 49, 118,  67],
       [ 59,  72,  61],
       [ 77,  26,  72],
       [122,  52,   7],
       [ 70,  34,  20],
       [117,  16, 131],
       [  1,  89, 144],
       [ 89,  24,  93],
       [  6,  83, 125],
       [119, 117,   9],
       [138,  89, 104],
       [ 65, 110,  29],
       [ 87, 126,  70],
       [ 51, 118,  75],
       [ 29,  82,  43],
       [104, 136, 129],
       [ 22,  65, 150],
       [107, 139, 120],
       [ 68,  95, 122],
       [ 58,  53, 133],
       [117,  70,  87],
       [ 28, 131,   6],
       [104,  68,  95],
       [128,  32, 148],
       [ 96, 138,   7],
       [ 60,  65, 103],
       [ 53,  11, 150],
       [  5,  86,  83],
       [145,  53,  60],
       [ 88,  70, 113],
       [ 88,  32,  59],
       [ 54,  70,  50],
       [ 21,  29,  78],
       [ 34,   7,  60],
       [134,  21, 111],
       [108, 130, 137],
       [127, 105,  59]])

df.columns  # 查看列索引

Index(['python', 'math', 'english'], dtype='object')

df.index  # 查看行索引

RangeIndex(start=0, stop=100, step=1)

数据输入与输出

Csv

df = pd.DataFrame(data = np.random.randint(0,151,size = (100,3)),
                 columns=['Python','Math','English'])
df  # 行索引、列索引

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

100 rows × 3 columns

df.to_csv('./data.csv',
          sep=',',  # 指定分隔符
         index = True,  # 保存行索引
         header = True)  # 保存列头（列索引）

pd.read_csv('./data.csv', # 加载文件
           index_col = 0   # 指定第一列为行索引
           # ,header = None  # 如果想要指定列头的时候用
           )

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

100 rows × 3 columns

Excel

df
# pip install xlrd -i https://pypi.tuna.tsinghua.edu.cn/simple
# pip install xlwt -i https://pypi.tuna.tsinghua.edu.cn/simple

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

100 rows × 3 columns

df.to_excel('./data.xlsx')  # 存入excel

pd.read_excel('./data.xlsx',
             index_col = 0)  # 设定第一列作为行索引

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

100 rows × 3 columns

HDF5

df  # HDF5可以管理非常大而复杂的数据集，而且读取速度非常的快
# pip install tables -i https://pypi.tuna.tsinghua.edu.cn/simple

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

100 rows × 3 columns

df.to_hdf('./data.h5',
         key = 'score')

df2 = pd.DataFrame(data = np.random.randint(6,100,size=(1000,5)),
                  columns = ['计算机','化工','生物','工程','教师'])
df2

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
...	...	...	...	...	...
995	96	8	77	34	8
996	40	42	23	13	76
997	35	33	41	23	71
998	80	72	21	18	29
999	19	77	44	30	18

1000 rows × 5 columns

df2.to_hdf('./data.h5',
          key = 'salary')

pd.read_hdf('./data.h5',
           key = 'salary')

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
...	...	...	...	...	...
995	96	8	77	34	8
996	40	42	23	13	76
997	35	33	41	23	71
998	80	72	21	18	29
999	19	77	44	30	18

1000 rows × 5 columns

SQL

# pip install sqlalchemy -i https://pypi.tuna.tsinghua.edu.cn/simple
# pip install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple
# https://docs.sqlalchemy.org/en/13/core/engines.html 数据库引擎配置

from sqlalchemy import create_engine  # 数据库引擎，构建和数据库的连接

# PyMySQL
# 类似网页地址
engine = create_engine(
    'mysql+pymysql://root:123456@localhost/cda?charset=utf8'
)
# 'mysql+pymysql://用户名:密码@端口/数据库名称?charset=编码'

df2.to_sql('salary',  # 表名
          con = engine,  # con数据库引擎
          index = False  
          )  # 存入数据

pd.read_sql('select * from salary limit 10',
           con=engine)

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
5	54	26	43	93	15
6	54	13	42	62	38
7	68	10	26	65	25
8	6	9	51	48	7
9	29	98	21	36	85

数据获取

获取数据

df = pd.DataFrame(np.random.randint(0,151,size=(10,3)),
                 index=list('ABCDEFGHIJ'),
                 columns=['python','math','en'])
df

	python	math	en
A	17	4	109
B	78	51	91
C	52	29	121
D	118	125	65
E	72	104	144
F	113	69	18
G	86	114	97
H	64	21	142
I	102	72	118
J	114	34	93

df['python']  # 获取数据series

A     27
B    126
C     91
D     66
E    103
F     53
G     45
H     34
I      2
J     26
Name: python, dtype: int32

df.python  # 在DataFrame中列表示属性，行表示具体的索引

A     27
B    126
C     91
D     66
E    103
F     53
G     45
H     34
I      2
J     26
Name: python, dtype: int32

df[['python','en']]  # 获取多列的数据

	python	en
A	27	38
B	126	48
C	91	37
D	66	7
E	103	72
F	53	47
G	45	4
H	34	116
I	2	1
J	26	18

标签选择

# 标签，就是行索引 location = loc位置
df.loc['A']  # 通过行索引获取信息

python     27
math      148
en         38
Name: A, dtype: int32

df.loc[['A','B','D']]  # 获取多个行的信息

	python	math	en
A	27	148	38
B	126	141	48
D	66	16	7

df.loc['A','python']  # 行列索引，A行python列

df.loc[['A','C','F'],'python']  # 获取多个行的python的数据

A    27
C    91
F    53
Name: python, dtype: int32

df.loc['A'::2,['math','en']]

	math	en
A	148	38
C	0	37
E	141	72
G	28	4
I	23	1

df.loc['A':'D',:]

	python	math	en
A	27	148	38
B	126	141	48
C	91	0	37
D	66	16	7

位置选择

df.iloc[0]  # 是用数字表示的，其实和loc使用方法完全一样

python     27
math      148
en         38
Name: A, dtype: int32

df.iloc[:4,:2]

	python	math
A	27	148
B	126	141
C	91	0
D	66	16

布尔索引

cond = df.python > 80 # 将python中大于80的显示出来
df[cond]

	python	math	en
B	126	141	48
C	91	0	37
E	103	141	72

df.mean()  # 每个科目的平均值

python    57.3
math      71.7
en        38.8
dtype: float64

df.mean(axis=1) # 每个人的平均值

A     71.000000
B    105.000000
C     42.666667
D     29.666667
E    105.333333
F     55.666667
G     25.666667
H     73.666667
I      8.666667
J     42.000000
dtype: float64

df[df.mean(axis=1) > 75]  # 获取大于75分的人的数据，筛选出来

	python	math	en
B	126	141	48
E	103	141	72

# 筛选python和math都大于70的人
df[(df.python > 70) & (df.math > 70 )]

	python	math	en
B	126	141	48
E	103	141	72

df.index  # 获取所有的学生

Index(['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'], dtype='object')

cond = df.index.isin(['C','E','H','K'])  # 判断数据是否在数组中，返回01
df[cond]

	python	math	en
C	91	0	37
E	103	141	72
H	34	71	116

赋值操作

df['python']['A'] = 150  
df  # 修改某个位置的值

	python	math	en
A	150	148	38
B	126	141	48
C	91	0	37
D	66	16	7
E	103	141	72
F	53	67	47
G	45	28	4
H	34	71	116
I	2	23	1
J	26	82	18

df['java'] = np.random.randint(1,151,size=10)
df  # 新增加一列，赋值

	python	math	en	java
A	17	4	109	88
B	78	51	91	99
C	52	29	121	54
D	218	125	165	135
E	72	104	144	73
F	113	69	18	53
G	186	114	197	22
H	64	21	142	37
I	102	72	118	39
J	214	34	193	125

df.loc[['C','D','E'],'math'] = 147
df  # 修改多个人的成绩

	python	math	en	java
A	150	148	38	107
B	126	141	48	6
C	91	147	37	133
D	66	147	7	145
E	103	147	72	46
F	53	67	47	89
G	45	28	4	95
H	34	71	116	27
I	2	23	1	104
J	26	82	18	117

df[df < 60] = 60
df  # 把小于60的全部更改为60，相当于where条件操作，符合这个条件的值将会修改

	python	math	en	java
A	150	148	60	107
B	126	141	60	60
C	91	147	60	133
D	66	147	60	145
E	103	147	72	60
F	60	67	60	89
G	60	60	60	95
H	60	71	116	60
I	60	60	60	104
J	60	82	60	117

df.iloc[3::3,[0,2]] += 100
df

	python	math	en	java
A	17	4	109	88
B	78	51	91	99
C	52	29	121	54
D	318	125	265	135
E	72	104	144	73
F	113	69	18	53
G	286	114	297	22
H	64	21	142	37
I	102	72	118	39
J	314	34	293	125

数据集成

concat行列合并

df1 = pd.DataFrame(np.random.randint(0,151,size=(10,3)),
                 index=list('ABCDEFGHIJ'),
                 columns=['python','math','en'])
df2 = pd.DataFrame(np.random.randint(0,151,size=(10,3)),
                 index=list('HILKLMNOPQ'),
                 columns=['python','math','en'])
df3 = pd.DataFrame(np.random.randint(0,151,size=(10,2)),
                 index=list('ABCDEFGHIJ'),
                 columns=['java','chinese'])

pd.concat([df1,df2],
         axis=0)  # axis = 0表示行合并，行增加

	python	math	en
A	107	52	125
B	46	43	64
C	141	147	118
D	51	110	21
E	135	62	46
F	75	3	25
G	43	29	120
H	22	34	39
I	82	92	0
J	32	17	77
H	58	141	110
I	12	137	62
L	29	140	131
K	74	59	33
L	30	29	7
M	3	6	77
N	50	135	12
O	139	134	134
P	140	115	119
Q	141	141	21

pd.concat([df1,df3],
         axis = 1)  # axis = 1表示列合并

	python	math	en	java	chinese
A	107	52	125	12	26
B	46	43	64	70	13
C	141	147	118	143	130
D	51	110	21	73	115
E	135	62	46	145	2
F	75	3	25	54	49
G	43	29	120	61	119
H	22	34	39	105	137
I	82	92	0	114	114
J	32	17	77	85	49

数据插入

df1.insert(loc = 1,  # 插入的位置
          column='c++',  # 插入的列名
          value = np.random.randint(0,151,size=10))  # 插入的数据

---------------------------------------------------------

ValueError              Traceback (most recent call last)

Input In [106], in ()
----> 1 df1.insert(loc = 1,
      2           column='c++',
      3           value = np.random.randint(0,151,size=10))  # 插入一列
      4 df1


File ~\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\frame.py:4434, in DataFrame.insert(self, loc, column, value, allow_duplicates)
   4428     raise ValueError(
   4429         "Cannot specify 'allow_duplicates=True' when "
   4430         "'self.flags.allows_duplicate_labels' is False."
   4431     )
   4432 if not allow_duplicates and column in self.columns:
   4433     # Should this be a different kind of error??
-> 4434     raise ValueError(f"cannot insert {column}, already exists")
   4435 if not isinstance(loc, int):
   4436     raise TypeError("loc must be int")


ValueError: cannot insert c++, already exists

df1

	python	c++	math	en
A	107	94	52	125
B	46	92	43	64
C	141	72	147	118
D	51	7	110	21
E	135	73	62	46
F	75	15	3	25
G	43	60	29	120
H	22	142	34	39
I	82	43	92	0
J	32	94	17	77

pd.concat([df1,df3],
         axis=0)  # 数据合并

	python	c++	math	en	java	chinese
A	107.0	94.0	52.0	125.0	NaN	NaN
B	46.0	92.0	43.0	64.0	NaN	NaN
C	141.0	72.0	147.0	118.0	NaN	NaN
D	51.0	7.0	110.0	21.0	NaN	NaN
E	135.0	73.0	62.0	46.0	NaN	NaN
F	75.0	15.0	3.0	25.0	NaN	NaN
G	43.0	60.0	29.0	120.0	NaN	NaN
H	22.0	142.0	34.0	39.0	NaN	NaN
I	82.0	43.0	92.0	0.0	NaN	NaN
J	32.0	94.0	17.0	77.0	NaN	NaN
A	NaN	NaN	NaN	NaN	12.0	26.0
B	NaN	NaN	NaN	NaN	70.0	13.0
C	NaN	NaN	NaN	NaN	143.0	130.0
D	NaN	NaN	NaN	NaN	73.0	115.0
E	NaN	NaN	NaN	NaN	145.0	2.0
F	NaN	NaN	NaN	NaN	54.0	49.0
G	NaN	NaN	NaN	NaN	61.0	119.0
H	NaN	NaN	NaN	NaN	105.0	137.0
I	NaN	NaN	NaN	NaN	114.0	114.0
J	NaN	NaN	NaN	NaN	85.0	49.0

Join SQL风格合并

df1 = pd.DataFrame(data={'name':['softpo','brandon','ella','daniel','张三'],
                        'height':[175,180,169,177,168]})  # 身高
df2 = pd.DataFrame(data={'name':['softpo','brandon','ella','daniel','张三'],
                        'weigth':[70,65,704,653,88]})  # 体重
df3 = pd.DataFrame(data={'名字':['softpo','brandon','ella','daniel','张三'],
                        'salary':np.random.randint(20,100,size=5)})  # 薪水
display(df1,df2,df3)

	name	height
0	softpo	175
1	brandon	180
2	ella	169
3	daniel	177
4	张三	168

	name	weigth
0	softpo	70
1	brandon	65
2	ella	704
3	daniel	653
4	张三	88

	名字	salary
0	softpo	74
1	brandon	79
2	ella	39
3	daniel	97
4	张三	62

pd.concat([df1,df2],axis = 1)

	name	height	name	weigth
0	softpo	175	softpo	70
1	brandon	180	brandon	65
2	ella	169	ella	704
3	daniel	177	daniel	653
4	张三	168	张三	88

# 根据共同的属性，合并数据
# df1 和df2 共同属性：name
# 数据库，合并join共同可以相似
pd.merge(df1,df2,how='inner')  # 融合，根据共同的name进行合并，两表合并，外键，默认不填为inner，内合并

	name	height	weigth
0	softpo	175	70
1	brandon	180	65
2	ella	169	704
3	daniel	177	653
4	张三	168	88

pd.merge(df1,df2,how='outer')  # 外合并，所有数据都保留，不对应的位置填充空数据

	name	height	weigth
0	softpo	175	70
1	brandon	180	65
2	ella	169	704
3	daniel	177	653
4	张三	168	88

pd.merge(df1,df2,how='left')  # 左合并

	name	height	weigth
0	softpo	175	70
1	brandon	180	65
2	ella	169	704
3	daniel	177	653
4	张三	168	88

pd.merge(df1,df3,left_on='name',right_on='名字')  # 如果两列头不一样，可以这样

	name	height	名字	salary
0	softpo	175	softpo	74
1	brandon	180	brandon	79
2	ella	169	ella	39
3	daniel	177	daniel	97
4	张三	168	张三	62

df4 = pd.DataFrame(data=np.random.randint(0,151,size=(10,3)),
                  columns=['python','math','en'],
                  index=list('ABCDEFGHIJ'))
df4

	python	math	en
A	83	7	108
B	34	48	128
C	92	99	132
D	112	126	98
E	107	5	83
F	77	33	136
G	58	39	12
H	67	109	69
I	115	29	48
J	19	55	92

score_mean = df4.mean(axis=1).round(1)  # 平均分保留一位小数
score_mean

A     66.0
B     70.0
C    107.7
D    112.0
E     65.0
F     82.0
G     36.3
H     81.7
I     64.0
J     55.3
dtype: float64

df4.insert(loc=3,column='平均分',value=score_mean)

---------------------------------------------------------------------------

ValueError                                Traceback (most recent call last)

Input In [32], in ()
----> 1 df4.insert(loc=3,column='平均分',value=score_mean)
      2 df4


File ~\AppData\Local\Programs\Python\Python310\lib\site-packages\pandas\core\frame.py:4434, in DataFrame.insert(self, loc, column, value, allow_duplicates)
   4428     raise ValueError(
   4429         "Cannot specify 'allow_duplicates=True' when "
   4430         "'self.flags.allows_duplicate_labels' is False."
   4431     )
   4432 if not allow_duplicates and column in self.columns:
   4433     # Should this be a different kind of error??
-> 4434     raise ValueError(f"cannot insert {column}, already exists")
   4435 if not isinstance(loc, int):
   4436     raise TypeError("loc must be int")


ValueError: cannot insert 平均分, already exists

df4

	python	math	平均分	en
A	83	7	66.0	108
B	34	48	70.0	128
C	92	99	107.7	132
D	112	126	112.0	98
E	107	5	65.0	83
F	77	33	82.0	136
G	58	39	36.3	12
H	67	109	81.7	69
I	115	29	64.0	48
J	19	55	55.3	92

df5 = df4.iloc[:,[0,1,3]]

df5

	python	math	en
A	83	7	108
B	34	48	128
C	92	99	132
D	112	126	98
E	107	5	83
F	77	33	136
G	58	39	12
H	67	109	69
I	115	29	48
J	19	55	92

score_mean.name='平均分'
score_mean

A     66.0
B     70.0
C    107.7
D    112.0
E     65.0
F     82.0
G     36.3
H     81.7
I     64.0
J     55.3
Name: 平均分, dtype: float64

df5

	python	math	en
A	83	7	108
B	34	48	128
C	92	99	132
D	112	126	98
E	107	5	83
F	77	33	136
G	58	39	12
H	67	109	69
I	115	29	48
J	19	55	92

pd.merge(df5,
        score_mean,
        left_index = True,  # 数据合并根据行索引，对应
        right_index = True)  # 右边数据根据行索引，对应

	python	math	en	平均分
A	83	7	108	66.0
B	34	48	128	70.0
C	92	99	132	107.7
D	112	126	98	112.0
E	107	5	83	65.0
F	77	33	136	82.0
G	58	39	12	36.3
H	67	109	69	81.7
I	115	29	48	64.0
J	19	55	92	55.3

数据清洗

df = pd.DataFrame(data = {'color':['red','blue','red','green','green','blue',None,np.NaN,'green'],
                         'price':[20,15,20,18,18,22,30,30,22]})
df

	color	price
0	red	20
1	blue	15
2	red	20
3	green	18
4	green	18
5	blue	22
6	None	30
7	NaN	30
8	green	22

# 重复数据删除
df.drop_duplicates()  # 非重复数据，索引7和索引6是重复数据，None == NaN

	color	price
0	red	20
1	blue	15
3	green	18
5	blue	22
6	None	30
8	green	22

df.dropna()  # 空数据过滤

	color	price
0	red	20
1	blue	15
2	red	20
3	green	18
4	green	18
5	blue	22
8	green	22

df.drop(labels=[2,4,6,8])  # 删除指定的行，默认axis = 0

	color	price
0	red	20
1	blue	15
3	green	18
5	blue	22
7	NaN	30

df.drop(labels=['color'],axis = 1)  # 删除指定的列,axis=1表示列

	price
0	20
1	15
2	20
3	18
4	18
5	22
6	30
7	30
8	22

df.filter(items=['price'])  # 保留数据 price

	price
0	20
1	15
2	20
3	18
4	18
5	22
6	30
7	30
8	22

df

	color	price
0	red	20
1	blue	15
2	red	20
3	green	18
4	green	18
5	blue	22
6	None	30
7	NaN	30
8	green	22

df['size'] = 1024  # 广播
df

	color	price	size
0	red	20	1024
1	blue	15	1024
2	red	20	1024
3	green	18	1024
4	green	18	1024
5	blue	22	1024
6	None	30	1024
7	NaN	30	1024
8	green	22	1024

df.filter(like = 'i')  # 模糊匹配，保留带有i字母的索引

	price	size
0	20	1024
1	15	1024
2	20	1024
3	18	1024
4	18	1024
5	22	1024
6	30	1024
7	30	1024
8	22	1024

df.filter(regex = 'e$')  # 保留，用正则表达式

	price	size
0	20	1024
1	15	1024
2	20	1024
3	18	1024
4	18	1024
5	22	1024
6	30	1024
7	30	1024
8	22	1024

# 异常值过滤
a = np.random.randint(1,200,size = 1000)
a

array([ 95,  17, 106,  14,  77,  43,  35,  82, 169,  84, 135,  61, 107,
        10,  57,  88, 181, 147, 160, 141,  99, 190, 148, 101,  33, 150,
        37,  16,  90, 104,  56, 179,   7, 120, 172, 180, 161,  76, 175,
       137,  33,  52, 157,  62,  49,  46,  49,  78, 110,  97, 188,  87,
       185,  45, 106,  29, 173, 188,  71, 195,  84,  47,  13,  68,  35,
        39,  79,  86,  67, 132,  58,  27,  48, 118, 190,  60,  66, 118,
        36,  76, 109, 130,  75,  38, 190, 158,  45, 153, 136,  20,  30,
       106, 136,  83, 182, 170,  51, 118,  95,  50,  77, 135,  65, 196,
       129, 183, 115,  77,  27, 106,  24,  67,  56, 150, 139, 100,   6,
       160,  36, 184, 191,  19, 189,  15, 163, 140, 123, 151,  86,  39,
        39, 197, 193, 122,  62,  21,  25, 182,  29, 101, 154,  23, 195,
        68, 174, 148, 154, 199,  33, 168,  45, 162,  90, 152, 182,  65,
       199,  51,  83,  75, 197,  72, 159, 123, 152,   4, 175, 187,  77,
        53, 136,  35, 106,  98, 135,  57, 189,  84,   4, 108,  20,  41,
         7,  16,  45, 168, 156, 114,  32, 147,  24, 105, 198,  57,  16,
       192, 128,  37, 156,  53,  44, 142, 160, 198, 154,  75, 109,  22,
        16,  12,  80, 146, 153, 144, 192,  99,  97, 199, 111,  27,  59,
       127, 112, 160, 166, 198,  41, 196, 170,  38, 147,  64, 199,  93,
         1, 152, 150, 132, 181,  57,  56,  58, 196, 171, 163, 150,   8,
       197,  38, 135, 176, 196,  19, 185,  29,   9,  15, 101, 177, 126,
         7, 197,  58,  56, 149, 182, 172,  60, 106, 130, 174, 198, 185,
         6, 124,  53,  95,  92,  57,  78,  18, 192,  93, 190,  38, 111,
        14,  94,  47, 180,  79,  86,  37,  44,  15, 166,  42, 124, 137,
       152, 173, 180, 142,  19, 110,  21,   7,  83,   3, 158,  21, 112,
       183,  65, 193,  84, 171, 106, 100, 118,  43, 183, 142, 143, 188,
       109, 136,  59,  84,  28,  72,   1,  73, 166, 104,  73,  16,  28,
        55,  29,  76,  13, 110,  83, 134,  23, 160, 195, 175,  47,  27,
       148, 100,  96, 169,  64,  45, 162, 113,  52,  45, 170, 127,  91,
       141,  13, 128, 121, 167, 103,  66, 134,  80,  46, 171,  91,  53,
        75,   7, 190,  35,  48, 164, 130, 104,  16,  31, 181,  68, 162,
         1,  95, 174, 163, 183,  78,   1, 103,  12,  41,  50, 125,  49,
         4,  61,  81, 142, 157, 119,  11,  70, 121, 191,  28, 140,  63,
       144, 190,  51, 184, 111,  16,   3, 150,   1,  69,  79, 143,  16,
       136,  90,  27, 107,  78, 123,   4,  18,  36,  80,  32, 103,  19,
        79, 181,  83, 167,  20,  29, 150,  92,  26, 123,  57,  39, 115,
        69,  75,  44,  60,  88,  99, 191, 191,  82, 122, 156, 164,  41,
       150,   3, 184,  15, 104, 144,  77,  49, 157, 129,  29,  56, 188,
       113, 171, 118,  63, 132, 177,  27,   8, 164,  43,  22,  78,  89,
       188, 168, 148, 140, 125, 140,  97,  21, 185,   4,  91, 176,  93,
       165,  81, 124, 144, 137,  86, 133,  45, 193,  86, 158,  91, 137,
       100,  55,  95,  33,  30, 179,   3,  77,  26, 113, 197,  49, 105,
         3, 160, 139, 106,  94,   5,  16, 104, 145,  77,  16,  14,  98,
       137, 196,  53, 105,  54, 157,  66,  23,  11, 197, 140, 138,  61,
       155, 138, 187, 138, 175, 143,  66,  79,  25,  26, 165,  49,  53,
       128,   2,   4, 194,  49,  17,   4,  89, 107,  75,  99, 162, 166,
       173, 122,  87, 159,  75, 107, 143,  85,  41, 108, 180, 120,   3,
        29,  16,   3, 186,  86, 135,  89,  61, 172,  74, 178,  38,  49,
        61,  93,  96, 114, 170, 110, 136,  40,  72, 102, 186, 120, 147,
       158, 128,  71, 110,  59,  87,  99, 171,   3,  55, 163, 181, 188,
        80, 194,  75,  38, 173, 137,  97, 171, 113, 132, 165,  20,  37,
       141, 124,  40,  98,  38,  61, 136,   3,  47,   1, 117, 143, 190,
       162, 181, 115, 181, 100,  92, 180, 165,  26, 183,  65,  43,  64,
       102, 120, 102, 100,  38,   9,  49,  95, 126, 185,  18, 146,  64,
        47, 151, 191, 113,  64, 119,  49,  51,  25,   6,  49, 171,  98,
       112, 134,  15, 135, 144,   7,  69, 113,  89, 190, 179, 129, 182,
         9, 157,  55,  95, 181,  44, 144, 193, 109,   3, 183,  48, 194,
        80,  39, 173, 194, 195,  55, 156, 158,  29,  21, 119,  77, 142,
        97,  41,  50,  14,  70, 197,  43,  93,  51, 190, 105, 130, 162,
        33, 153, 190,  90, 123, 144,  71,  80, 138, 167, 128, 176,  95,
        37, 148, 193, 169, 175, 131, 198, 188,  39,  26, 178,  79,  50,
       190, 148, 156,  56,   3,  10, 112, 136, 135,  16,  54,  16, 105,
       102, 197,  96,  30,  80,  47, 144, 150,   3,  96,  39,  72, 128,
       146,  96, 156,  37,  33, 123, 180, 103,  82,  26, 144,   9,  81,
       144, 163,  53, 128, 133, 160, 104, 135,   6,  92, 188, 112,  57,
       120, 182, 151,  95,  73,  19, 137,  25, 179, 150,  44, 162,  30,
       165, 108,  43,  16,  84, 195,   3,  61,  59,  15,   5, 185, 143,
       131,  28,  61, 133,  51,  93,  83,  51,  39, 132, 195,  93, 152,
        90,  68, 166,  44,  38,  50, 129,  74, 111, 139,  79,  97, 135,
        57, 139, 103,  75,  33, 176,  27, 147, 114,  76,   2,  21,   1,
       187,  58, 191, 139, 171, 146, 189, 184,  28,  74, 173,  57,  78,
       166,  82, 115,  78, 140, 171,  45,  86,  20, 101,  19, 169,   7,
       130, 182, 164,  54, 175, 188,  44,   2,  31, 171, 135, 110, 113,
       152,  45,  98,  82,  48, 158,   4,  31, 193, 123,  69,  48,  49,
       169,   3, 105, 178,  45,  59,  34, 120, 179, 163, 154, 163,  62,
         2,   4,  34,  71, 144,  55,  93, 100, 168, 144,  19, 161, 156,
       115,  76, 126,  48,  92, 137, 129, 142,  83,  90, 192,  76, 162,
        54,  92,  31,  62,  32, 126,  72,  41,  38, 172,  93,  99])

# 异常值，大于800，小于100算作异常
cond = (a <= 800) & (a >= 100)
a[cond]

array([106, 169, 135, 107, 181, 147, 160, 141, 190, 148, 101, 150, 104,
       179, 120, 172, 180, 161, 175, 137, 157, 110, 188, 185, 106, 173,
       188, 195, 132, 118, 190, 118, 109, 130, 190, 158, 153, 136, 106,
       136, 182, 170, 118, 135, 196, 129, 183, 115, 106, 150, 139, 100,
       160, 184, 191, 189, 163, 140, 123, 151, 197, 193, 122, 182, 101,
       154, 195, 174, 148, 154, 199, 168, 162, 152, 182, 199, 197, 159,
       123, 152, 175, 187, 136, 106, 135, 189, 108, 168, 156, 114, 147,
       105, 198, 192, 128, 156, 142, 160, 198, 154, 109, 146, 153, 144,
       192, 199, 111, 127, 112, 160, 166, 198, 196, 170, 147, 199, 152,
       150, 132, 181, 196, 171, 163, 150, 197, 135, 176, 196, 185, 101,
       177, 126, 197, 149, 182, 172, 106, 130, 174, 198, 185, 124, 192,
       190, 111, 180, 166, 124, 137, 152, 173, 180, 142, 110, 158, 112,
       183, 193, 171, 106, 100, 118, 183, 142, 143, 188, 109, 136, 166,
       104, 110, 134, 160, 195, 175, 148, 100, 169, 162, 113, 170, 127,
       141, 128, 121, 167, 103, 134, 171, 190, 164, 130, 104, 181, 162,
       174, 163, 183, 103, 125, 142, 157, 119, 121, 191, 140, 144, 190,
       184, 111, 150, 143, 136, 107, 123, 103, 181, 167, 150, 123, 115,
       191, 191, 122, 156, 164, 150, 184, 104, 144, 157, 129, 188, 113,
       171, 118, 132, 177, 164, 188, 168, 148, 140, 125, 140, 185, 176,
       165, 124, 144, 137, 133, 193, 158, 137, 100, 179, 113, 197, 105,
       160, 139, 106, 104, 145, 137, 196, 105, 157, 197, 140, 138, 155,
       138, 187, 138, 175, 143, 165, 128, 194, 107, 162, 166, 173, 122,
       159, 107, 143, 108, 180, 120, 186, 135, 172, 178, 114, 170, 110,
       136, 102, 186, 120, 147, 158, 128, 110, 171, 163, 181, 188, 194,
       173, 137, 171, 113, 132, 165, 141, 124, 136, 117, 143, 190, 162,
       181, 115, 181, 100, 180, 165, 183, 102, 120, 102, 100, 126, 185,
       146, 151, 191, 113, 119, 171, 112, 134, 135, 144, 113, 190, 179,
       129, 182, 157, 181, 144, 193, 109, 183, 194, 173, 194, 195, 156,
       158, 119, 142, 197, 190, 105, 130, 162, 153, 190, 123, 144, 138,
       167, 128, 176, 148, 193, 169, 175, 131, 198, 188, 178, 190, 148,
       156, 112, 136, 135, 105, 102, 197, 144, 150, 128, 146, 156, 123,
       180, 103, 144, 144, 163, 128, 133, 160, 104, 135, 188, 112, 120,
       182, 151, 137, 179, 150, 162, 165, 108, 195, 185, 143, 131, 133,
       132, 195, 152, 166, 129, 111, 139, 135, 139, 103, 176, 147, 114,
       187, 191, 139, 171, 146, 189, 184, 173, 166, 115, 140, 171, 101,
       169, 130, 182, 164, 175, 188, 171, 135, 110, 113, 152, 158, 193,
       123, 169, 105, 178, 120, 179, 163, 154, 163, 144, 100, 168, 144,
       161, 156, 115, 126, 137, 129, 142, 192, 162, 126, 172])

# 正态分布,平均值为0，标准差为1
b = np.random.randn(100000)
b

array([ 9.30519601e-01, -3.44360662e-01,  6.65514977e-05, ...,
       -2.30123357e+00,  2.17474374e-01,  2.86950376e-01])

cond = np.abs(b) > 3*1  # 这些异常值，找到了
b[cond]

array([-3.113988  , -3.43316674, -3.28413448, -4.18671551,  3.01815086,
       -3.28350433,  3.39229337, -3.8349722 ,  3.16620524, -3.01368522,
       -3.15619888, -3.02706183, -3.20469248, -3.05930093, -3.25541995,
       -3.16289873,  3.16185476, -3.04808409,  3.54344272, -3.2585841 ,
        3.08115957, -3.17921412,  3.30126439, -3.18372694, -3.06651084,
        3.58377405, -3.07022682,  3.16360384, -3.34376458, -3.81579603,
       -3.99645404,  3.58753363,  3.35206183, -3.74457891, -3.33198327,
       -3.33993979, -3.17078523,  3.02754635, -3.17691131, -3.12715306,
       -3.38487724,  3.3550324 ,  3.5759783 ,  3.48937298,  3.36398366,
       -3.53495624, -3.5156431 ,  3.32001882, -3.12741237,  3.02816144,
       -3.13263251,  3.76773434, -3.3346886 ,  3.40044899,  3.29585109,
        3.01097665, -3.06049384,  3.14896826,  3.11488174,  3.15971499,
       -3.63196786,  3.21199513,  3.06839176,  3.06794524,  3.06776471,
        3.24618032,  3.67058793,  3.00866597,  3.66160146, -3.19700386,
       -3.09563525, -3.2564589 ,  3.34902208,  3.33267903,  3.46037542,
        3.3830624 , -3.10813257, -3.27485335, -3.09740389,  3.0953684 ,
        3.53897655, -3.21084279,  3.54120948,  3.15640238, -3.14993374,
        3.03442456, -3.10751423,  3.28260234,  3.19101812,  3.15943105,
        3.25920238, -3.03706885, -3.30509468, -3.6464602 ,  3.26733257,
        3.01876074,  3.01606638,  3.21088046,  3.65200452, -3.08139884,
       -3.07168219, -3.18855195, -3.06266893,  3.01535252, -3.03137453,
        3.12828081,  3.03530021,  3.60066559, -3.10464509,  3.30509352,
        3.37102098,  3.75526796,  3.09714856,  3.08665134, -3.4107222 ,
       -3.26908219, -3.18781645,  3.63833634, -3.008857  ,  3.72641975,
       -3.01805091, -3.11050402, -3.31183682, -3.29071569, -3.19408484,
        3.1183616 ,  3.02554176,  3.21680547, -3.12981011, -3.73713851,
        3.24781689, -3.25066575,  3.13496805,  3.17233319, -3.2934357 ,
        3.10123582, -3.15880969, -3.74877105,  3.09063324,  3.63149354,
       -3.19359058, -3.00209698,  3.15207181, -3.03289971,  3.10833683,
        3.72043919,  3.19074043,  3.25338012, -3.02472805,  3.06074732,
        3.07540501, -3.73763831,  3.45588068, -3.14578358, -3.24339571,
       -3.59522797, -3.53748643, -3.06930718, -3.83786393,  3.23984478,
       -3.17985666, -3.16852988, -3.31971537, -3.2654107 , -3.12220388,
        3.88867571,  3.08592098, -3.53951333, -3.27504561,  3.30145401,
        3.00455928, -3.00767388,  3.00140698,  3.1611202 , -3.28482905,
       -4.00614279, -3.32878319, -3.01924921, -4.09578766,  3.09062415,
        3.02481019, -3.47085658,  3.13053125, -3.12608597, -3.29770516,
       -3.1034331 ,  3.03759591,  3.10319671, -3.23967661, -3.08915652,
       -3.10352916,  3.06012689,  3.40541064, -3.20405873,  3.46436661,
        3.09252034,  3.76867128,  3.08367434, -3.05931862,  3.46965336,
        3.22184177,  3.28171723, -3.21577232,  3.20512585, -3.2546693 ,
        3.18373904, -3.22062146, -3.01107575, -3.33173298, -3.74574667,
       -3.76695662,  3.21289624,  3.46063306, -3.09351324,  3.69547389,
        3.07973201,  3.00144524, -3.97588352,  3.15801451, -3.91660008,
       -3.00728368, -3.31921622, -3.07473275, -3.18439241,  3.04325623,
       -3.11538206,  3.22550755,  3.08726614,  3.1049817 ,  3.04386415,
        3.17139888, -3.33516451,  3.26625014,  3.25838664, -3.13951313,
        3.04181862, -3.01509484, -3.10914859,  3.12164542, -3.44755551,
        3.18598457,  3.96503764, -3.09481686,  3.11598421,  3.05800474,
        3.04178915, -3.0661321 , -3.13813002, -3.23868465, -3.27279316,
       -3.19480029, -3.17663568,  3.06456787, -3.60160737,  3.4677848 ,
        3.21025512, -3.11477108,  3.43266798,  3.21094261, -3.0864423 ,
        3.09832142, -3.00932592,  3.02609391,  3.28907182,  3.93589522,
       -3.25151322,  3.19567292,  3.36226978,  3.57918895,  3.01461819,
        3.3557285 ,  3.33894176, -3.11794324, -3.66518483,  3.06824796,
        3.29518237, -3.28611762, -3.28105128,  3.1483141 ,  3.1262014 ,
        3.27454636, -3.13272194,  3.12399007, -3.52308132,  3.63540754,
        3.29869533,  3.00378091,  3.08858567,  3.6191856 ])

数据转换

轴和元素转换

df = pd.DataFrame(np.random.randint(0,10,size=(10,3)),
                 columns = ['python','tensorflow','keras'],
                 index = list('ABCDEFGHIJ'))
df.T  # 转置

	A	B	C	D	E	F	G	H	I	J
python	4	4	7	4	8	0	5	8	4	2
tensorflow	9	5	8	7	6	1	5	1	7	0
keras	3	1	5	1	7	7	7	6	9	9

# 更改行名或者列名
df.rename(index={'A':'X','K':'Y'},  # 修改行索引
         columns = {'python':'人工智能'},  # 修改列索引
         inplace = False)  # 如果是True则表示替换原数据

	人工智能	tensorflow	keras
X	4	9	3
B	4	5	1
C	7	8	5
D	4	7	1
E	8	6	7
F	0	1	7
G	5	5	7
H	8	1	6
I	4	7	9
J	2	0	9

df.replace(5,
           50,  # 把所有的5都替换为50
          inplace = False)  # 如果是True则表示替换元数据

	python	tensorflow	keras
A	4	9	3
B	4	50	1
C	7	8	50
D	4	7	1
E	8	6	7
F	0	1	7
G	50	50	7
H	8	1	6
I	4	7	9
J	2	0	9

df.replace([2,7],
           1024,
          inplace=False)

	python	tensorflow	keras
A	4	9	3
B	4	5	1
C	1024	8	5
D	4	1024	1
E	8	6	1024
F	0	1	1024
G	5	5	1024
H	8	1	6
I	4	1024	9
J	1024	0	9

df.iloc[4,2] = np.NaN  # 这种替换会直接改变原来的数据
df

	python	tensorflow	keras
A	4	9	3.0
B	4	5	1.0
C	7	8	5.0
D	4	7	1.0
E	8	6	NaN
F	0	1	7.0
G	5	5	7.0
H	8	1	6.0
I	4	7	9.0
J	2	0	9.0

df.replace({0:2048,np.NaN:-100},  # 也可以这么个替换
          inplace = True)
df

	python	tensorflow	keras
A	4	9	3.0
B	4	5	1.0
C	7	8	5.0
D	4	7	1.0
E	8	6	-100.0
F	2048	1	7.0
G	5	5	7.0
H	8	1	6.0
I	4	7	9.0
J	2	2048	9.0

df.replace({'tensorflow':1024},  # 指定某一列进行数据的替换
           2048)

	python	tensorflow	keras
A	4	9	3.0
B	4	5	1.0
C	7	8	5.0
D	4	7	1.0
E	8	6	-100.0
F	2048	1	7.0
G	5	5	7.0
H	8	1	6.0
I	4	7	9.0
J	2	2048	9.0

map映射元素转变

# 选择的概率随机
df['人工智能'] = np.random.choice([1024,2048,6],
                              10,
                              p=[1/3,1/3,1/3])  # 概率，和必须为1

df

	python	tensorflow	keras	人工智能
A	4	9	3.0	6
B	4	5	1.0	2048
C	7	8	5.0	2048
D	4	7	1.0	1024
E	8	6	-100.0	2048
F	2048	1	7.0	1024
G	5	5	7.0	2048
H	8	1	6.0	1024
I	4	7	9.0	6
J	2	2048	9.0	2048

# map只能针对一列，就是Series
# 有一些没有对应，那么返回就是空数据
df['人工智能'].map({1024:3.14,2048:2.718,6:1108})  # 根据字典对数据进行改变

A    1108.000
B       2.718
C       2.718
D       3.140
E       2.718
F       3.140
G       2.718
H       3.140
I    1108.000
J       2.718
Name: 人工智能, dtype: float64

df['keras'].map(lambda x:True if x > 0 else False)  # 匿名函数，如果大于0，返回true，否则返回false

A     True
B     True
C     True
D     True
E    False
F     True
G     True
H     True
I     True
J     True
Name: keras, dtype: bool

def convert(x):
    if x >= 5:
        return True
    else:
        return False
df['level'] = df['tensorflow'].map(convert)  # map映射，映射tensorflow中这一列中每一个数据，传递到方法中
df

	python	tensorflow	keras	人工智能	level
A	4	9	3.0	6	True
B	4	5	1.0	2048	True
C	7	8	5.0	2048	True
D	4	7	1.0	1024	True
E	8	6	-100.0	2048	True
F	2048	1	7.0	1024	False
G	5	5	7.0	2048	True
H	8	1	6.0	1024	False
I	4	7	9.0	6	True
J	2	2048	9.0	2048	True

apply映射元素转变

# 即可以操作Series，又可以操作DataFrame
df['人工智能'].apply(lambda x:x+100)  # 针对一列每个数值增加100

A     106
B    2148
C    2148
D    1124
E    2148
F    1124
G    2148
H    1124
I     106
J    2148
Name: 人工智能, dtype: int64

df['level'].apply(lambda x:1 if x else 0)

A    1
B    1
C    1
D    1
E    1
F    0
G    1
H    0
I    1
J    1
Name: level, dtype: int64

df.apply(lambda x:x+1000) # 如果没有索引，那么所有数据都会映射，map就不可以这么映射

	python	tensorflow	keras	人工智能	level
A	1004	1009	1003.0	1006	1001
B	1004	1005	1001.0	3048	1001
C	1007	1008	1005.0	3048	1001
D	1004	1007	1001.0	2024	1001
E	1008	1006	900.0	3048	1001
F	3048	1001	1007.0	2024	1000
G	1005	1005	1007.0	3048	1001
H	1008	1001	1006.0	2024	1000
I	1004	1007	1009.0	1006	1001
J	1002	3048	1009.0	3048	1001

def convert(x):
    return (x.median(),  # 返回中位数
           x.count(), # 返回计数
           x.min(),
           x.max(),
           x.std()  # 标准差
           ) 
            
df.apply(convert).round(1)  # 默认操作列数据

	python	tensorflow	keras	人工智能	level
0	4.5	6.5	5.5	1536.0	1.0
1	10.0	10.0	10.0	10.0	10
2	2.0	1.0	-100.0	6.0	False
3	2048.0	2048.0	9.0	2048.0	True
4	646.0	645.9	33.4	840.9	0.421637

df.apply(convert,axis = 1)  # 操作行数据

A        (4.0, 5, True, 9, 3.0495901363953815)
B       (4.0, 5, 1.0, 2048, 914.6653486385062)
C      (7.0, 5, True, 2048, 913.5495060477018)
D       (4.0, 5, 1.0, 1024, 456.5000547645093)
E    (6.0, 5, -100.0, 2048, 926.5164866315116)
F      (7.0, 5, False, 2048, 914.555903157374)
G      (5.0, 5, True, 2048, 913.8835812071469)
H     (6.0, 5, False, 1024, 456.2819303895345)
I      (6.0, 5, True, 9.0, 3.0495901363953815)
J     (9.0, 5, True, 2048, 1119.5491503279345)
dtype: object

transform元素转变

# transform 有变形金刚之意
df = pd.DataFrame(np.random.randint(0,10,size=(10,3)),
                 columns=['python','tensorflow','keras'],
                 index=list('ABCDEFGHIJ'))
df

	python	tensorflow	keras
A	4	9	4
B	9	4	9
C	4	4	6
D	3	1	9
E	1	3	5
F	5	6	7
G	4	2	3
H	1	1	2
I	7	6	3
J	4	2	9

# 此功能和map、apply类似的
df['python'].transform(lambda x:1024 if x > 5 else -1024)

A   -1024
B    1024
C   -1024
D   -1024
E   -1024
F   -1024
G   -1024
H   -1024
I    1024
J   -1024
Name: python, dtype: int64

df['tensorflow'].transform([np.sqrt,  # 平方
                          np.square,  # 开平方
                          np.cumsum]  # 累和
                          )  # 针对一列进行了不同的参数，其实apply也可以实现相同的功能

	sqrt	square	cumsum
A	3.000000	81	9
B	2.000000	16	13
C	2.000000	16	17
D	1.000000	1	18
E	1.732051	9	21
F	2.449490	36	27
G	1.414214	4	29
H	1.000000	1	30
I	2.449490	36	36
J	1.414214	4	38

def convert(x):
    if x>5 :
        return True
    else:
        return False
    # 可以针对DataFrame进行计算
df.transform({'python':np.cumsum,
             'tensorflow':np.square,
             'keras':convert})  # 针对多列列进行了不同的操作，其实apply也可以实现相同的功能

	python	tensorflow	keras
A	4	81	False
B	13	16	True
C	17	16	True
D	20	1	True
E	21	9	False
F	26	36	True
G	30	4	False
H	31	1	False
I	38	36	False
J	42	4	True

重排随机抽样哑变量

df

	python	tensorflow	keras
A	4	9	4
B	9	4	9
C	4	4	6
D	3	1	9
E	1	3	5
F	5	6	7
G	4	2	3
H	1	1	2
I	7	6	3
J	4	2	9

index = np.random.permutation(10)  # 从0-9打乱顺序，就是打乱顺序的索引
index

array([0, 4, 6, 2, 7, 8, 5, 3, 1, 9])

# 重排，索引打乱
df.take(index)

	python	tensorflow	keras
A	4	9	4
E	1	3	5
G	4	2	3
C	4	4	6
H	1	1	2
I	7	6	3
F	5	6	7
D	3	1	9
B	9	4	9
J	4	2	9

# 从大量的数据中随机抽取数据
df.take(np.random.randint(0,10,size=20))  # 随机抽样20个数据

	python	tensorflow	keras
B	9	4	9
I	7	6	3
F	5	6	7
H	1	1	2
F	5	6	7
E	1	3	5
J	4	2	9
B	9	4	9
E	1	3	5
A	4	9	4
C	4	4	6
H	1	1	2
B	9	4	9
J	4	2	9
F	5	6	7
B	9	4	9
C	4	4	6
G	4	2	3
F	5	6	7
H	1	1	2

# 哑变量
df2 = pd.DataFrame(data={'key':['a','a','b','b','c','b','c']})
df2

	key
0	a
1	a
2	b
3	b
4	c
5	b
6	c

# 哑变量，又叫one-hot
# str类型数据，经过哑变量变换就可以使用数字来表示
pd.get_dummies(df2,
              prefix='',
              prefix_sep='')
# 1表示有，0表示没有

	a	b	c
0	1	0	0
1	1	0	0
2	0	1	0
3	0	1	0
4	0	0	1
5	0	1	0
6	0	0	1

数据重塑

df.T  # 行列转置

	A	B	C	D	E	F	G	H	I	J
python	4	9	4	3	1	5	4	1	7	4
tensorflow	9	4	4	1	3	6	2	1	6	2
keras	4	9	6	9	5	7	3	2	3	9

# 多层索引
df2 = pd.DataFrame(np.random.randint(0,10,size=(20,3)),
                  columns=['python','math','en'],
                  index= pd.MultiIndex.from_product([list('ABCDEFGHIJ'),
                                                    ['期中','期末']]))  # 多层索引
df2

		python	math	en
A	期中	9	7	8
A	期末	9	2	2
B	期中	1	1	5
B	期末	5	6	4
C	期中	5	8	5
C	期末	5	6	9
D	期中	4	1	2
D	期末	0	1	7
E	期中	4	3	2
E	期末	4	6	6
F	期中	0	1	0
F	期末	9	7	3
G	期中	9	9	5
G	期末	6	9	5
H	期中	4	5	2
H	期末	8	1	1
I	期中	3	5	4
I	期末	5	4	8
J	期中	8	4	3
J	期末	9	7	8

df2.unstack(level = 1)  # 将行索引变成列索引,-1表示最后一层，最后一层就是期中期末

	python		math		en
	期中	期末	期中	期末	期中	期末
A	9	9	7	2	8	2
B	1	5	1	6	5	4
C	5	5	8	6	5	9
D	4	0	1	1	2	7
E	4	4	3	6	2	6
F	0	9	1	7	0	3
G	9	6	9	9	5	5
H	4	8	5	1	2	1
I	3	5	5	4	4	8
J	8	9	4	7	3	8

df2.unstack(level = 0)

	python										...	en
	A	B	C	D	E	F	G	H	I	J	...	A	B	C	D	E	F	G	H	I	J
期中	9	1	5	4	4	0	9	4	3	8	...	8	5	5	2	2	0	5	2	4	3
期末	9	5	5	0	4	9	6	8	5	9	...	2	4	9	7	6	3	5	1	8	8

2 rows × 30 columns

df2.unstack(level = -1)

	python		math		en
	期中	期末	期中	期末	期中	期末
A	9	9	7	2	8	2
B	1	5	1	6	5	4
C	5	5	8	6	5	9
D	4	0	1	1	2	7
E	4	4	3	6	2	6
F	0	9	1	7	0	3
G	9	6	9	9	5	5
H	4	8	5	1	2	1
I	3	5	5	4	4	8
J	8	9	4	7	3	8

df2.stack()  # 列变成了行

A  期中  python    9
       math      7
       en        8
   期末  python    9
       math      2
       en        2
B  期中  python    1
       math      1
       en        5
   期末  python    5
       math      6
       en        4
C  期中  python    5
       math      8
       en        5
   期末  python    5
       math      6
       en        9
D  期中  python    4
       math      1
       en        2
   期末  python    0
       math      1
       en        7
E  期中  python    4
       math      3
       en        2
   期末  python    4
       math      6
       en        6
F  期中  python    0
       math      1
       en        0
   期末  python    9
       math      7
       en        3
G  期中  python    9
       math      9
       en        5
   期末  python    6
       math      9
       en        5
H  期中  python    4
       math      5
       en        2
   期末  python    8
       math      1
       en        1
I  期中  python    3
       math      5
       en        4
   期末  python    5
       math      4
       en        8
J  期中  python    8
       math      4
       en        3
   期末  python    9
       math      7
       en        8
dtype: int32

df2.unstack().stack(level = 0)

		期中	期末
A	en	8	2
	math	7	2
	python	9	9
B	en	5	4
	math	1	6
	python	1	5
C	en	5	9
	math	8	6
	python	5	5
D	en	2	7
	math	1	1
	python	4	0
E	en	2	6
	math	3	6
	python	4	4
F	en	0	3
	math	1	7
	python	0	9
G	en	5	5
	math	9	9
	python	9	6
H	en	2	1
	math	5	1
	python	4	8
I	en	4	8
	math	5	4
	python	3	5
J	en	3	8
	math	4	7
	python	8	9

df2.mean(axis = 0)  # 默认计算的是 列

python    5.35
math      4.65
en        4.45
dtype: float64

df2.mean(axis = 1)  # 计算的是行

A  期中    8.000000
   期末    4.333333
B  期中    2.333333
   期末    5.000000
C  期中    6.000000
   期末    6.666667
D  期中    2.333333
   期末    2.666667
E  期中    3.000000
   期末    5.333333
F  期中    0.333333
   期末    6.333333
G  期中    7.666667
   期末    6.666667
H  期中    3.666667
   期末    3.333333
I  期中    4.000000
   期末    5.666667
J  期中    5.000000
   期末    8.000000
dtype: float64

df2.groupby(level=1).mean()  # 计算每个其中期末的平均分

	python	math	en
期中	4.7	4.4	3.6
期末	6.0	4.9	5.3

df2.groupby(level=0).mean()  # 每个学生的其中期末的平均分

	python	math	en
A	9.0	4.5	5.0
B	3.0	3.5	4.5
C	5.0	7.0	7.0
D	2.0	1.0	4.5
E	4.0	4.5	4.0
F	4.5	4.0	1.5
G	7.5	9.0	5.0
H	6.0	3.0	1.5
I	4.0	4.5	6.0
J	8.5	5.5	5.5

pandas高级应用

数学和统计方法

简单统计指标

df =pd.DataFrame(np.random.randint(0,10,size=(20,3)),
               columns=['python','math','en'],
               index=list('QWERTYUIOPLKJHGFDSAZ'))
df

	python	math	en
Q	6	1	5
W	3	1	1
E	2	7	3
R	0	2	0
T	6	2	6
Y	5	0	5
U	9	7	5
I	7	7	8
O	5	3	3
P	0	8	2
L	7	0	3
K	4	8	5
J	2	0	7
H	4	6	3
G	5	9	8
F	7	6	1
D	9	1	6
S	8	2	3
A	8	7	4
Z	3	7	1

df.iloc[6,2] = np.NaN
df

	python	math	en
Q	6	1	5.0
W	3	1	1.0
E	2	7	3.0
R	0	2	0.0
T	6	2	6.0
Y	5	0	5.0
U	9	7	NaN
I	7	7	8.0
O	5	3	3.0
P	0	8	2.0
L	7	0	3.0
K	4	8	5.0
J	2	0	7.0
H	4	6	3.0
G	5	9	8.0
F	7	6	1.0
D	9	1	6.0
S	8	2	3.0
A	8	7	4.0
Z	3	7	1.0

df.count()  # 统计非空数据的数量，刚刚给en设置了一个空数据，所以en是19

python    20
math      20
en        19
dtype: int64

df.mean()  # 平均值

python    5.000000
math      4.200000
en        3.894737
dtype: float64

df.median()  # 中位数

python    5.0
math      4.5
en        3.0
dtype: float64

df.max()

python    9.0
math      9.0
en        8.0
dtype: float64

df.min()

python    0.0
math      0.0
en        0.0
dtype: float64

df['python'].unique()  # 去除重复数据

array([6, 3, 2, 0, 5, 9, 7, 4, 8])

df['math'].value_counts()  # 统计出现的频次

7    5
1    3
2    3
0    3
8    2
6    2
3    1
9    1
Name: math, dtype: int64

df.quantile(q=[0,0.25,0.5,0.75,1])  # 获取百分位数

	python	math	en
0.00	0.0	0.0	0.0
0.25	3.0	1.0	2.5
0.50	5.0	4.5	3.0
0.75	7.0	7.0	5.5
1.00	9.0	9.0	8.0

df.describe().round()  # 获取描述

	python	math	en
count	20.0	20.0	19.0
mean	5.0	4.0	4.0
std	3.0	3.0	2.0
min	0.0	0.0	0.0
25%	3.0	1.0	2.0
50%	5.0	4.0	3.0
75%	7.0	7.0	6.0
max	9.0	9.0	8.0

索引标签、位置获取

df['python'].argmax()   # 获取python中最大值的索引位置，最小值是一样的方式，max改成min即可

df.idxmax()  # 返回最大值的标签，最小值是一样的方式，max改成min即可

python    U
math      G
en        I
dtype: object

高级统计指标

df.cov()  # 协方差，自己和别人计算

	python	math	en
python	7.473684	-0.684211	2.421053
math	-0.684211	10.378947	0.172515
en	2.421053	0.172515	5.766082

df.var()  # 方差，自己和自己计算

python     7.473684
math      10.378947
en         5.766082
dtype: float64

df['python'].cov(df['math'])  # python和math的协方差

-0.6842105263157894

df.corr()  # 相关性系数，pandas牛逼！！！

	python	math	en
python	1.000000	-0.077687	0.382359
math	-0.077687	1.000000	0.022174
en	0.382359	0.022174	1.000000

df.corrwith(df['en'])  # 计算某一列的相关系数

python    0.382359
math      0.022174
en        1.000000
dtype: float64

排序

df = pd.DataFrame(np.random.randint(0,20,size=(20,3)),
                 columns=['python','math','en'],
                 index=list('QWERTYUIOPLKJHGDSAZM'))
df

	python	math	en
Q	9	16	17
W	5	3	5
E	1	0	4
R	0	12	14
T	6	8	3
Y	16	14	0
U	17	17	8
I	5	4	8
O	13	5	12
P	4	5	10
L	15	3	7
K	17	4	10
J	8	14	12
H	10	3	13
G	7	16	16
D	0	3	8
S	15	16	14
A	3	11	11
Z	18	15	4
M	10	14	14

# 根据行索引进行排序
df.sort_index(axis = 0,  # 0行；1列
             ascending = False)  # 这个参数如果是False，则表示降序

	python	math	en
Z	18	15	4
Y	16	14	0
W	5	3	5
U	17	17	8
T	6	8	3
S	15	16	14
R	0	12	14
Q	9	16	17
P	4	5	10
O	13	5	12
M	10	14	14
L	15	3	7
K	17	4	10
J	8	14	12
I	5	4	8
H	10	3	13
G	7	16	16
E	1	0	4
D	0	3	8
A	3	11	11

# 根据目标列的值进行排序
df.sort_values(by='python',
              ascending=True)

	python	math	en
R	0	12	14
D	0	3	8
E	1	0	4
A	3	11	11
P	4	5	10
W	5	3	5
I	5	4	8
T	6	8	3
G	7	16	16
J	8	14	12
Q	9	16	17
H	10	3	13
M	10	14	14
O	13	5	12
S	15	16	14
L	15	3	7
Y	16	14	0
K	17	4	10
U	17	17	8
Z	18	15	4

df.sort_values(by=['python','math'],  # 可以进行多个的排序，分先后排
              ascending=True)

	python	math	en
D	0	3	8
R	0	12	14
E	1	0	4
A	3	11	11
P	4	5	10
W	5	3	5
I	5	4	8
T	6	8	3
G	7	16	16
J	8	14	12
Q	9	16	17
H	10	3	13
M	10	14	14
O	13	5	12
L	15	3	7
S	15	16	14
Y	16	14	0
K	17	4	10
U	17	17	8
Z	18	15	4

# 根据python排序，获取最大的n个数值
df.nlargest(n=5,
           columns='python')

	python	math	en
Z	18	15	4
U	17	17	8
K	17	4	10
Y	16	14	0
L	15	3	7

# 根据python排序，获取最小的n个数值
df.nsmallest(n=5,
           columns='python')

	python	math	en
R	0	12	14
D	0	3	8
E	1	0	4
A	3	11	11
P	4	5	10

分箱操作

# 将连续数据转换为分类对应的数据
df = pd.DataFrame(np.random.randint(0,151,size=(100,3)),
                 columns=['python','math','en'])
df

	python	math	en
0	127	124	50
1	150	91	130
2	24	113	69
3	90	2	123
4	133	113	60
...	...	...	...
95	45	134	58
96	74	21	75
97	100	36	93
98	130	21	10
99	20	66	87

100 rows × 3 columns

# 等宽分箱
pd.cut(df.python,  # 确定列
      bins = 4,  # 划分为四等份
      labels=['不及格','及格','中等','优秀'],  # 每等份的命名
      right=True  # 区间，闭区间
      )

0      优秀
1      优秀
2     不及格
3      中等
4      优秀
     ... 
95     及格
96     及格
97     中等
98     优秀
99    不及格
Name: python, Length: 100, dtype: category
Categories (4, object): ['不及格' < '及格' < '中等' < '优秀']

# 自定义宽度
df['等级'] = pd.cut(df.python,
                      bins = [0,30,60,90,120,150],
                      labels=['极差','不及格','及格','中等','优秀'])
df

	python	math	en	等级
0	127	124	50	优秀
1	150	91	130	优秀
2	24	113	69	极差
3	90	2	123	及格
4	133	113	60	优秀
...	...	...	...	...
95	45	134	58	不及格
96	74	21	75	及格
97	100	36	93	中等
98	130	21	10	优秀
99	20	66	87	极差

100 rows × 4 columns

# 等频
pd.qcut(df.python,
       q = 4,
       labels=['不及格','及格','中等','优秀'],
       )

0      优秀
1      优秀
2     不及格
3      中等
4      优秀
     ... 
95     及格
96     中等
97     优秀
98     优秀
99    不及格
Name: python, Length: 100, dtype: category
Categories (4, object): ['不及格' < '及格' < '中等' < '优秀']

# 等频
pd.qcut(df.python,
       q = 4,
       labels=['不及格','及格','中等','优秀'],
       ).value_counts()

不及格    25
及格     25
中等     25
优秀     25
Name: python, dtype: int64

分组聚合

分组

df = pd.DataFrame(data={'sex':np.random.randint(0,2,size = 300),
                       'class':np.random.randint(1,9,size = 300),
                       'python':np.random.randint(0,151,size = 300),
                       'math':np.random.randint(0,151,size = 300),
                       'en':np.random.randint(0,151,size = 300)})
df['sex'] = df['sex'].map({0:'男',1:'女'})  # 把0替换为男，1替换为女
df

	sex	class	python	math	en
0	男	8	16	70	85
1	男	1	37	8	106
2	男	4	25	106	63
3	男	3	60	55	101
4	男	2	121	114	14
...	...	...	...	...	...
295	男	4	33	84	66
296	男	8	142	134	89
297	女	2	150	88	130
298	男	8	62	127	1
299	男	1	98	101	80

300 rows × 5 columns

for name,group in df.groupby(by = 'sex'):  # 单分组
    print(name)
    print(group)

女
    sex  class  python  math   en
6     女      8     102    26   26
11    女      2      94   140   71
12    女      5     109    27  127
18    女      6      65    86   52
21    女      7     147    58   55
..   ..    ...     ...   ...  ...
289   女      3     139    62   26
290   女      2      11    52    1
291   女      4      37    14   42
293   女      4      30    21   47
297   女      2     150    88  130

[136 rows x 5 columns]
男
    sex  class  python  math   en
0     男      8      16    70   85
1     男      1      37     8  106
2     男      4      25   106   63
3     男      3      60    55  101
4     男      2     121   114   14
..   ..    ...     ...   ...  ...
294   男      6     124    90  107
295   男      4      33    84   66
296   男      8     142   134   89
298   男      8      62   127    1
299   男      1      98   101   80

[164 rows x 5 columns]

for name,group in df.groupby(by = ['sex','class']):  # 多分组
    print(name)
    print(group)

('女', 1)
    sex  class  python  math   en
27    女      1     128    67   30
34    女      1      10   116   91
35    女      1       3    22  144
73    女      1     102   143  120
84    女      1      29    23  120
99    女      1      53    77  144
143   女      1     104    84  103
157   女      1     145    77   92
173   女      1      61   118  143
174   女      1     114    26  130
178   女      1      85    21    0
186   女      1      26    46    7
192   女      1      76   115   79
198   女      1      61   132  128
217   女      1      58    53   89
230   女      1      61   104  144
234   女      1      50   150  128
238   女      1     115   103   13
277   女      1      83    17   82
('女', 2)
    sex  class  python  math   en
11    女      2      94   140   71
37    女      2       9    71  129
47    女      2      31     5   14
79    女      2      49   142  113
82    女      2     105    67   17
122   女      2      23   143   96
142   女      2     142   144   29
147   女      2      53   107    0
163   女      2      66    87    1
171   女      2     104    80  118
206   女      2      16   100  140
222   女      2      38    12  112
226   女      2     118    85   20
242   女      2       1     3  136
260   女      2      50   115  146
268   女      2      70    93   22
272   女      2      71    74   47
290   女      2      11    52    1
297   女      2     150    88  130
('女', 3)
    sex  class  python  math   en
30    女      3      24    90   78
40    女      3      89   134   99
65    女      3      48    81   73
69    女      3       0     0   66
72    女      3     147    65   95
104   女      3     143   122   54
140   女      3     140   119   97
144   女      3     125    96   14
145   女      3      84   112   42
249   女      3      85    59  122
283   女      3      69    34   27
286   女      3     129    10   73
289   女      3     139    62   26
('女', 4)
    sex  class  python  math   en
32    女      4     116     5  119
43    女      4      60    96  103
48    女      4      13   147  133
64    女      4     126   140   10
92    女      4     122    49   71
118   女      4     125    34   23
139   女      4      84    58   66
164   女      4      59    64   80
167   女      4      47   109   94
183   女      4      96    14   97
187   女      4     123    26   21
203   女      4       6    74  105
274   女      4     148    10  109
291   女      4      37    14   42
293   女      4      30    21   47
('女', 5)
    sex  class  python  math   en
12    女      5     109    27  127
25    女      5       6   124   98
55    女      5      78    63   10
70    女      5      30    71   29
90    女      5      20    52   78
152   女      5      60   116   35
240   女      5      49    27   33
264   女      5     137    95  142
275   女      5     101    69   80
276   女      5      49    88    5
('女', 6)
    sex  class  python  math   en
18    女      6      65    86   52
26    女      6     112    25   89
31    女      6      86    88   92
42    女      6     134    37  111
66    女      6      25   119  113
85    女      6      29   123   36
91    女      6     109    46   87
98    女      6     100   132   10
102   女      6      27   113  107
141   女      6      35    22  144
159   女      6     108    13  136
185   女      6      77   116  103
218   女      6     120   137   45
219   女      6     132    95   42
232   女      6     110    51   47
241   女      6      77    57   40
259   女      6      61   104   58
('女', 7)
    sex  class  python  math   en
21    女      7     147    58   55
28    女      7     141    69   22
33    女      7      53    70  146
51    女      7     120    64   42
59    女      7      89    30  107
74    女      7      64   145   40
89    女      7      36   100   61
96    女      7      66    82   49
106   女      7      77    65   28
127   女      7     103     9  115
133   女      7      31   138  106
138   女      7     130    33  120
151   女      7      83    82   43
161   女      7      22   127   52
165   女      7      47    51    3
170   女      7     100    23   56
194   女      7     118   146  142
199   女      7     125   132   87
213   女      7      64    46   41
216   女      7      43    99  114
228   女      7     140    91   70
243   女      7      76   103   44
245   女      7       9    89   12
250   女      7     139    81   40
288   女      7     115   148   79
('女', 8)
    sex  class  python  math   en
6     女      8     102    26   26
88    女      8      19    44  134
114   女      8     133    19   74
124   女      8      91    77  120
130   女      8     141   135   21
166   女      8       3   114   91
168   女      8     136    69  119
172   女      8      69   147   32
177   女      8      37    81   49
195   女      8      66    69    4
224   女      8      18    29  141
233   女      8     117    63   23
239   女      8      68    71   71
248   女      8      31    71    9
252   女      8     141   113  147
267   女      8     125   136   17
271   女      8     102   137   97
279   女      8     137   110   51
('男', 1)
    sex  class  python  math   en
1     男      1      37     8  106
8     男      1       8    48  113
23    男      1     116    43   13
24    男      1      79   115  123
29    男      1      24   112  126
39    男      1     112   115  133
68    男      1     131   138   80
95    男      1      86   125    5
101   男      1      49     0   67
137   男      1      59     5   62
176   男      1      91    75   68
191   男      1      90    91   15
196   男      1     129    59    9
211   男      1      78    97   13
215   男      1      31    27   66
229   男      1      62    21   28
237   男      1     140    66  126
282   男      1       5    67   12
299   男      1      98   101   80
('男', 2)
    sex  class  python  math   en
4     男      2     121   114   14
7     男      2      55   125   62
14    男      2      36   142   77
16    男      2      80   143   49
36    男      2     105   101   88
38    男      2      51    55   18
45    男      2      80    17   13
62    男      2      23    35   20
105   男      2     115   106   59
128   男      2      86    18   78
149   男      2      81    34   12
158   男      2      80    24  133
169   男      2      55   100   47
175   男      2     138    87   43
182   男      2     111    62   54
210   男      2      69   128   67
227   男      2      16    34   79
246   男      2      29    29   86
253   男      2     130   117  119
265   男      2       8    21   18
284   男      2      22    66   16
('男', 3)
    sex  class  python  math   en
3     男      3      60    55  101
5     男      3      85    69   89
9     男      3      69    42   34
13    男      3      91   142   86
17    男      3      36    50   15
50    男      3     116    60   68
54    男      3      34   144   96
58    男      3     102   126   95
61    男      3     127    97   78
77    男      3      16    74    7
81    男      3     130    54  112
86    男      3      92     3   92
93    男      3      51    83   25
103   男      3     118   122   64
108   男      3      41   109  124
109   男      3      84   123   71
111   男      3      15    32   94
117   男      3      18    62   86
126   男      3       8    76   64
129   男      3     145     9    5
204   男      3     134     5   54
207   男      3      61    22  143
212   男      3      66   146   49
251   男      3     132   109  147
254   男      3      10   146  117
280   男      3      89   109  101
287   男      3      24    24  128
('男', 4)
    sex  class  python  math   en
2     男      4      25   106   63
46    男      4      24   149  108
49    男      4     133   134   64
52    男      4      46    37  134
60    男      4     137    40   45
87    男      4      64     6   19
112   男      4     136    73  114
120   男      4     133    18   63
190   男      4      45    25  111
200   男      4      38    41   92
202   男      4      19   121   72
221   男      4      29   132   83
236   男      4      54   100   53
263   男      4      40    14   48
270   男      4     125   103  132
295   男      4      33    84   66
('男', 5)
    sex  class  python  math   en
53    男      5     114    92  128
63    男      5      91   105  125
76    男      5      14    18   56
97    男      5      42    43   95
110   男      5      83    20   49
113   男      5     139    46  146
115   男      5      93    49  142
125   男      5      31    85   95
131   男      5      51    18   12
150   男      5      46    90   33
162   男      5      78   123  127
208   男      5       3   130   94
209   男      5     106    92   92
214   男      5      39    67  119
223   男      5       7   102  137
257   男      5      79    44   88
262   男      5     109    34   96
266   男      5     107    72  149
273   男      5     145     2   58
('男', 6)
    sex  class  python  math   en
15    男      6     147    53   58
20    男      6      18    24   53
116   男      6     124    92   52
119   男      6     117    60   33
134   男      6      36    17  136
135   男      6      66    19   48
148   男      6     102    26   42
154   男      6      12    18   31
155   男      6      36    19  136
181   男      6      48    51  142
184   男      6      72   114   74
188   男      6     136    82   26
189   男      6     120   116   36
193   男      6      42    21   69
201   男      6     144   124   24
225   男      6     107   140   18
235   男      6      83   117   99
294   男      6     124    90  107
('男', 7)
    sex  class  python  math   en
10    男      7      35   134   96
19    男      7     112   127   64
22    男      7     106    60    8
44    男      7     132    15  124
67    男      7     103    40   93
71    男      7      57    64  150
78    男      7     131   122  136
83    男      7      12   149   83
94    男      7      76    54  118
123   男      7      53   109   50
136   男      7      15    64   51
146   男      7      12   101   65
153   男      7      58   110  107
156   男      7     109    49  138
180   男      7      50    73   86
197   男      7      25    71   74
205   男      7     136    80   50
220   男      7     103    48   80
244   男      7      58    55   99
261   男      7      75   136   83
269   男      7      69    86  149
278   男      7      66    70   81
292   男      7     144   149   11
('男', 8)
    sex  class  python  math   en
0     男      8      16    70   85
41    男      8      91   118   70
56    男      8      32    30  146
57    男      8      85   129   98
75    男      8     145    99  135
80    男      8      56    94   57
100   男      8      85   100   53
107   男      8     146   133   64
121   男      8      69    21    9
132   男      8      66    41   43
160   男      8      24   125  136
179   男      8      16    44   92
231   男      8      96     6    1
247   男      8      81   139  133
255   男      8      12    13  113
256   男      8      64   101   20
258   男      8     138    27  103
281   男      8      66    23   17
285   男      8      20   118   54
296   男      8     142   134   89
298   男      8      62   127    1

for name,group in df[['python','math']].groupby(df['sex']):
    print(name)
    print(group)

女
     python  math
6       102    26
11       94   140
12      109    27
18       65    86
21      147    58
..      ...   ...
289     139    62
290      11    52
291      37    14
293      30    21
297     150    88

[136 rows x 2 columns]
男
     python  math
0        16    70
1        37     8
2        25   106
3        60    55
4       121   114
..      ...   ...
294     124    90
295      33    84
296     142   134
298      62   127
299      98   101

[164 rows x 2 columns]

for name,group in df[['python','math']].groupby([df['sex'],df['class']]):
    print(name)
    print(group)

('女', 1)
     python  math
27      128    67
34       10   116
35        3    22
73      102   143
84       29    23
99       53    77
143     104    84
157     145    77
173      61   118
174     114    26
178      85    21
186      26    46
192      76   115
198      61   132
217      58    53
230      61   104
234      50   150
238     115   103
277      83    17
('女', 2)
     python  math
11       94   140
37        9    71
47       31     5
79       49   142
82      105    67
122      23   143
142     142   144
147      53   107
163      66    87
171     104    80
206      16   100
222      38    12
226     118    85
242       1     3
260      50   115
268      70    93
272      71    74
290      11    52
297     150    88
('女', 3)
     python  math
30       24    90
40       89   134
65       48    81
69        0     0
72      147    65
104     143   122
140     140   119
144     125    96
145      84   112
249      85    59
283      69    34
286     129    10
289     139    62
('女', 4)
     python  math
32      116     5
43       60    96
48       13   147
64      126   140
92      122    49
118     125    34
139      84    58
164      59    64
167      47   109
183      96    14
187     123    26
203       6    74
274     148    10
291      37    14
293      30    21
('女', 5)
     python  math
12      109    27
25        6   124
55       78    63
70       30    71
90       20    52
152      60   116
240      49    27
264     137    95
275     101    69
276      49    88
('女', 6)
     python  math
18       65    86
26      112    25
31       86    88
42      134    37
66       25   119
85       29   123
91      109    46
98      100   132
102      27   113
141      35    22
159     108    13
185      77   116
218     120   137
219     132    95
232     110    51
241      77    57
259      61   104
('女', 7)
     python  math
21      147    58
28      141    69
33       53    70
51      120    64
59       89    30
74       64   145
89       36   100
96       66    82
106      77    65
127     103     9
133      31   138
138     130    33
151      83    82
161      22   127
165      47    51
170     100    23
194     118   146
199     125   132
213      64    46
216      43    99
228     140    91
243      76   103
245       9    89
250     139    81
288     115   148
('女', 8)
     python  math
6       102    26
88       19    44
114     133    19
124      91    77
130     141   135
166       3   114
168     136    69
172      69   147
177      37    81
195      66    69
224      18    29
233     117    63
239      68    71
248      31    71
252     141   113
267     125   136
271     102   137
279     137   110
('男', 1)
     python  math
1        37     8
8         8    48
23      116    43
24       79   115
29       24   112
39      112   115
68      131   138
95       86   125
101      49     0
137      59     5
176      91    75
191      90    91
196     129    59
211      78    97
215      31    27
229      62    21
237     140    66
282       5    67
299      98   101
('男', 2)
     python  math
4       121   114
7        55   125
14       36   142
16       80   143
36      105   101
38       51    55
45       80    17
62       23    35
105     115   106
128      86    18
149      81    34
158      80    24
169      55   100
175     138    87
182     111    62
210      69   128
227      16    34
246      29    29
253     130   117
265       8    21
284      22    66
('男', 3)
     python  math
3        60    55
5        85    69
9        69    42
13       91   142
17       36    50
50      116    60
54       34   144
58      102   126
61      127    97
77       16    74
81      130    54
86       92     3
93       51    83
103     118   122
108      41   109
109      84   123
111      15    32
117      18    62
126       8    76
129     145     9
204     134     5
207      61    22
212      66   146
251     132   109
254      10   146
280      89   109
287      24    24
('男', 4)
     python  math
2        25   106
46       24   149
49      133   134
52       46    37
60      137    40
87       64     6
112     136    73
120     133    18
190      45    25
200      38    41
202      19   121
221      29   132
236      54   100
263      40    14
270     125   103
295      33    84
('男', 5)
     python  math
53      114    92
63       91   105
76       14    18
97       42    43
110      83    20
113     139    46
115      93    49
125      31    85
131      51    18
150      46    90
162      78   123
208       3   130
209     106    92
214      39    67
223       7   102
257      79    44
262     109    34
266     107    72
273     145     2
('男', 6)
     python  math
15      147    53
20       18    24
116     124    92
119     117    60
134      36    17
135      66    19
148     102    26
154      12    18
155      36    19
181      48    51
184      72   114
188     136    82
189     120   116
193      42    21
201     144   124
225     107   140
235      83   117
294     124    90
('男', 7)
     python  math
10       35   134
19      112   127
22      106    60
44      132    15
67      103    40
71       57    64
78      131   122
83       12   149
94       76    54
123      53   109
136      15    64
146      12   101
153      58   110
156     109    49
180      50    73
197      25    71
205     136    80
220     103    48
244      58    55
261      75   136
269      69    86
278      66    70
292     144   149
('男', 8)
     python  math
0        16    70
41       91   118
56       32    30
57       85   129
75      145    99
80       56    94
100      85   100
107     146   133
121      69    21
132      66    41
160      24   125
179      16    44
231      96     6
247      81   139
255      12    13
256      64   101
258     138    27
281      66    23
285      20   118
296     142   134
298      62   127

df.dtypes # 获取字段类型

sex       object
class      int32
python     int32
math       int32
en         int32
dtype: object

for name,group in df.groupby(df.dtypes,axis = 1):
    print(name,group)

int32      class  python  math   en
0        8      16    70   85
1        1      37     8  106
2        4      25   106   63
3        3      60    55  101
4        2     121   114   14
..     ...     ...   ...  ...
295      4      33    84   66
296      8     142   134   89
297      2     150    88  130
298      8      62   127    1
299      1      98   101   80

[300 rows x 4 columns]
object     sex
0     男
1     男
2     男
3     男
4     男
..   ..
295   男
296   男
297   女
298   男
299   男

[300 rows x 1 columns]

m = {'sex':'category','class':'category','python':'科目','math':'科目','en':'科目'}
for name,group in df.groupby(by = m,axis = 1):
    print(name,group)

category     sex  class
0     男      8
1     男      1
2     男      4
3     男      3
4     男      2
..   ..    ...
295   男      4
296   男      8
297   女      2
298   男      8
299   男      1

[300 rows x 2 columns]
科目      python  math   en
0        16    70   85
1        37     8  106
2        25   106   63
3        60    55  101
4       121   114   14
..      ...   ...  ...
295      33    84   66
296     142   134   89
297     150    88  130
298      62   127    1
299      98   101   80

[300 rows x 3 columns]

分组聚合

df.groupby(by='sex')[['python','math']].max()  3 数学和python根据性别分组，quit解的最大值

	python	math
sex
女	150	150
男	147	149

df.groupby(by=['sex','class']).mean().round(1)  # 多组划分求数学统计，mean平均值

		python	math	en
sex	class
女	1	71.8	78.6	94.1
	2	63.2	84.6	70.6
	3	94.0	75.7	66.6
	4	79.5	57.4	74.7
	5	63.9	73.2	63.7
	6	82.8	80.2	77.2
	7	85.5	83.2	67.0
	8	85.3	83.9	68.1
男	1	75.0	69.1	65.5
	2	71.0	74.2	54.9
	3	72.4	77.5	79.4
	4	67.6	73.9	79.2
	5	72.5	64.8	96.9
	6	85.2	65.7	65.8
	7	75.5	85.5	86.8
	8	72.0	80.6	72.3

df.groupby(by=['sex','class']).size()  # 根据性别和班级统计人数

sex  class
女    1        19
     2        19
     3        13
     4        15
     5        10
     6        17
     7        25
     8        18
男    1        19
     2        21
     3        27
     4        16
     5        19
     6        18
     7        23
     8        21
dtype: int64

df.groupby(by=['sex','class']).describe().round(1)  # 分组描述

		python								math					en
		count	mean	std	min	25%	50%	75%	max	count	mean	...	75%	max	count	mean	std	min	25%	50%	75%	max
sex	class
女	1	19.0	71.8	39.6	3.0	51.5	61.0	103.0	145.0	19.0	78.6	...	115.5	150.0	19.0	94.1	48.5	0.0	80.5	103.0	129.0	144.0
	2	19.0	63.2	45.2	1.0	27.0	53.0	99.0	150.0	19.0	84.6	...	111.0	144.0	19.0	70.6	55.8	0.0	18.5	71.0	123.5	146.0
	3	13.0	94.0	48.5	0.0	69.0	89.0	139.0	147.0	13.0	75.7	...	112.0	134.0	13.0	66.6	32.7	14.0	42.0	73.0	95.0	122.0
	4	15.0	79.5	46.4	6.0	42.0	84.0	122.5	148.0	15.0	57.4	...	85.0	147.0	15.0	74.7	38.6	10.0	44.5	80.0	104.0	133.0
	5	10.0	63.9	42.0	6.0	34.8	54.5	95.2	137.0	10.0	73.2	...	93.2	124.0	10.0	63.7	48.4	5.0	30.0	56.5	93.5	142.0
	6	17.0	82.8	37.2	25.0	61.0	86.0	110.0	134.0	17.0	80.2	...	116.0	137.0	17.0	77.2	38.8	10.0	45.0	87.0	107.0	144.0
	7	25.0	85.5	41.3	9.0	53.0	83.0	120.0	147.0	25.0	83.2	...	103.0	148.0	25.0	67.0	39.9	3.0	41.0	55.0	106.0	146.0
	8	18.0	85.3	47.8	3.0	44.2	96.5	131.0	141.0	18.0	83.9	...	113.8	147.0	18.0	68.1	49.0	4.0	23.8	61.0	113.5	147.0
男	1	19.0	75.0	41.5	5.0	43.0	79.0	105.0	140.0	19.0	69.1	...	106.5	138.0	19.0	65.5	46.4	5.0	14.0	67.0	109.5	133.0
	2	21.0	71.0	39.6	8.0	36.0	80.0	105.0	138.0	21.0	74.2	...	114.0	143.0	21.0	54.9	35.4	12.0	18.0	54.0	78.0	133.0
	3	27.0	72.4	43.6	8.0	35.0	69.0	109.0	145.0	27.0	77.5	...	115.5	146.0	27.0	79.4	39.0	5.0	59.0	86.0	101.0	147.0
	4	16.0	67.6	46.8	19.0	32.0	45.5	127.0	137.0	16.0	73.9	...	109.8	149.0	16.0	79.2	33.1	19.0	60.5	69.0	108.8	134.0
	5	19.0	72.5	43.1	3.0	40.5	79.0	106.5	145.0	19.0	64.8	...	92.0	130.0	19.0	96.9	40.0	12.0	73.0	95.0	127.5	149.0
	6	18.0	85.2	45.0	12.0	43.5	92.5	123.0	147.0	18.0	65.7	...	108.5	140.0	18.0	65.8	41.0	18.0	33.8	52.5	92.8	142.0
	7	23.0	75.5	41.4	12.0	51.5	69.0	107.5	144.0	23.0	85.5	...	116.0	149.0	23.0	86.8	38.8	8.0	64.5	83.0	112.5	150.0
	8	21.0	72.0	43.8	12.0	32.0	66.0	91.0	146.0	21.0	80.6	...	125.0	139.0	21.0	72.3	46.4	1.0	43.0	70.0	103.0	146.0

16 rows × 24 columns

分组聚合apply、transform

df

	sex	class	python	math	en
0	男	8	16	70	85
1	男	1	37	8	106
2	男	4	25	106	63
3	男	3	60	55	101
4	男	2	121	114	14
...	...	...	...	...	...
295	男	4	33	84	66
296	男	8	142	134	89
297	女	2	150	88	130
298	男	8	62	127	1
299	男	1	98	101	80

300 rows × 5 columns

# apply是聚合的结果
df.groupby(by=['sex','class'])[['python','en']].apply(np.mean).round(1)

C:\Users\Panda\AppData\Local\Programs\Python\Python310\lib\site-packages\numpy\core\fromnumeric.py:3472: FutureWarning: In a future version, DataFrame.mean(axis=None) will return a scalar mean over the entire DataFrame. To retain the old behavior, use 'frame.mean(axis=0)' or just 'frame.mean()'
  return mean(axis=axis, dtype=dtype, out=out, **kwargs)

		python	en
sex	class
女	1	71.8	94.1
	2	63.2	70.6
	3	94.0	66.6
	4	79.5	74.7
	5	63.9	63.7
	6	82.8	77.2
	7	85.5	67.0
	8	85.3	68.1
男	1	75.0	65.5
	2	71.0	54.9
	3	72.4	79.4
	4	67.6	79.2
	5	72.5	96.9
	6	85.2	65.8
	7	75.5	86.8
	8	72.0	72.3

# transform 计算，返回的结果还是DataFrame长度
df.groupby(by=['sex','class'])[['python','en']].transform(np.mean).round(1)

	python	en
0	72.0	72.3
1	75.0	65.5
2	67.6	79.2
3	72.4	79.4
4	71.0	54.9
...	...	...
295	67.6	79.2
296	72.0	72.3
297	63.2	70.6
298	72.0	72.3
299	75.0	65.5

300 rows × 2 columns

def _mean(x):  # 自己定义求平均值方法，方法的重写
    return np.round(x.mean(),1)
df.groupby(by=['sex','class'])[['python','en']].transform(_mean)

	python	en
0	72.0	72.3
1	75.0	65.5
2	67.6	79.2
3	72.4	79.4
4	71.0	54.9
...	...	...
295	67.6	79.2
296	72.0	72.3
297	63.2	70.6
298	72.0	72.3
299	75.0	65.5

300 rows × 2 columns

分组聚合agg

# 可以同时统计汇总多种计算方法
df.groupby(by = ['sex','class']).agg([np.mean,np.max,np.min])

		python			math			en
		mean	amax	amin	mean	amax	amin	mean	amax	amin
sex	class
女	1	71.789474	145	3	78.631579	150	17	94.052632	144	0
	2	63.210526	150	1	84.631579	144	3	70.631579	146	0
	3	94.000000	147	0	75.692308	134	0	66.615385	122	14
	4	79.466667	148	6	57.400000	147	5	74.666667	133	10
	5	63.900000	137	6	73.200000	124	27	63.700000	142	5
	6	82.764706	134	25	80.235294	137	13	77.176471	144	10
	7	85.520000	147	9	83.240000	148	9	66.960000	146	3
	8	85.333333	141	3	83.944444	147	19	68.111111	147	4
男	1	75.000000	140	5	69.105263	138	0	65.526316	133	5
	2	71.000000	138	8	74.190476	143	17	54.857143	133	12
	3	72.370370	145	8	77.518519	146	3	79.444444	147	5
	4	67.562500	137	19	73.937500	149	6	79.187500	134	19
	5	72.473684	145	3	64.842105	130	2	96.894737	149	12
	6	85.222222	147	12	65.722222	140	17	65.777778	142	18
	7	75.521739	144	12	85.478261	149	15	86.782609	150	8
	8	72.000000	146	12	80.571429	139	6	72.333333	146	1

# 三列执行相同模式的运算
df.groupby(by = ['sex','class']).agg([('平均值',np.mean),
                                      ('最大值',np.max),
                                     ('最小值',np.min)]).round(1)

		python			math			en
		平均值	最大值	最小值	平均值	最大值	最小值	平均值	最大值	最小值
sex	class
女	1	71.8	145	3	78.6	150	17	94.1	144	0
	2	63.2	150	1	84.6	144	3	70.6	146	0
	3	94.0	147	0	75.7	134	0	66.6	122	14
	4	79.5	148	6	57.4	147	5	74.7	133	10
	5	63.9	137	6	73.2	124	27	63.7	142	5
	6	82.8	134	25	80.2	137	13	77.2	144	10
	7	85.5	147	9	83.2	148	9	67.0	146	3
	8	85.3	141	3	83.9	147	19	68.1	147	4
男	1	75.0	140	5	69.1	138	0	65.5	133	5
	2	71.0	138	8	74.2	143	17	54.9	133	12
	3	72.4	145	8	77.5	146	3	79.4	147	5
	4	67.6	137	19	73.9	149	6	79.2	134	19
	5	72.5	145	3	64.8	130	2	96.9	149	12
	6	85.2	147	12	65.7	140	17	65.8	142	18
	7	75.5	144	12	85.5	149	15	86.8	150	8
	8	72.0	146	12	80.6	139	6	72.3	146	1

# 三类执行不同的计算方式
df.groupby(by=['sex','class']).agg({'python':np.max,
                                   'math':np.min,
                                   'en':np.mean}).round(1)

		python	math	en
sex	class
女	1	145	17	94.1
	2	150	3	70.6
	3	147	0	66.6
	4	148	5	74.7
	5	137	27	63.7
	6	134	13	77.2
	7	147	9	67.0
	8	141	19	68.1
男	1	140	0	65.5
	2	138	17	54.9
	3	145	3	79.4
	4	137	6	79.2
	5	145	2	96.9
	6	147	17	65.8
	7	144	15	86.8
	8	146	6	72.3

透视表pivot_table

# 透视表也是一种分组聚合运算
df

	sex	class	python	math	en
0	男	8	16	70	85
1	男	1	37	8	106
2	男	4	25	106	63
3	男	3	60	55	101
4	男	2	121	114	14
...	...	...	...	...	...
295	男	4	33	84	66
296	男	8	142	134	89
297	女	2	150	88	130
298	男	8	62	127	1
299	男	1	98	101	80

300 rows × 5 columns

df.pivot_table(values = ['python','en'],
              index=['sex','class'],
              aggfunc='mean').round(1)  # 和分组聚合apply是一样的，但是透视表的功能更加丰富

		en	python
sex	class
女	1	94.1	71.8
	2	70.6	63.2
	3	66.6	94.0
	4	74.7	79.5
	5	63.7	63.9
	6	77.2	82.8
	7	67.0	85.5
	8	68.1	85.3
男	1	65.5	75.0
	2	54.9	71.0
	3	79.4	72.4
	4	79.2	67.6
	5	96.9	72.5
	6	65.8	85.2
	7	86.8	75.5
	8	72.3	72.0

# 牛逼牛逼牛逼牛逼
df1 = df.pivot_table(values = ['python','math','en'],  # 要透视的值
              index=['sex','class'],  # 索引，根据什么进行透视（分组）
              aggfunc={'python':[('平均值',np.mean)],
                       'math':[('最大值',np.max),
                              ('最小值',np.min)],
                       'en':[('标准差',np.std),
                            ('方差',np.var),
                            ('计数',np.size)]}).round(1)  # 透视的方式是什么（）方法
df1

		en			math		python
		方差	标准差	计数	最大值	最小值	平均值
sex	class
女	1	2356.2	48.5	19	150	17	71.8
	2	3115.6	55.8	19	144	3	63.2
	3	1067.4	32.7	13	134	0	94.0
	4	1487.4	38.6	15	147	5	79.5
	5	2342.7	48.4	10	124	27	63.9
	6	1508.8	38.8	17	137	13	82.8
	7	1593.5	39.9	25	148	9	85.5
	8	2398.1	49.0	18	147	19	85.3
男	1	2150.3	46.4	19	138	0	75.0
	2	1252.5	35.4	21	143	17	71.0
	3	1524.5	39.0	27	146	3	72.4
	4	1097.1	33.1	16	149	6	67.6
	5	1600.5	40.0	19	130	2	72.5
	6	1684.1	41.0	18	140	17	85.2
	7	1507.1	38.8	23	149	15	75.5
	8	2151.7	46.4	21	139	6	72.0

时间序列

时间戳操作

pd.Timestamp('2020.09.15 20')  # 时刻数据，具体的时间点

Timestamp('2020-09-15 20:00:00')

pd.Period('2020.09.15',freq='M')  # 时期数据，表示一段时间，频率

Period('2020-09', 'M')

index = pd.date_range('2020.09.15',
             freq='D',
             period

你可能感兴趣的:(python,python,数据挖掘,数据分析)

理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
Python编译器鹿鹿~ Python编译器 Python python 开发语言后端
嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
一文掌握python面向对象魔术方法（二）程序员neil python python 开发语言
接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
一文掌握python常用的list（列表）操作程序员neil python python 开发语言
目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
python中的深拷贝与浅拷贝 anshejd70787 python
深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
用Python实现简单的猜数字游戏程序媛了了 python 游戏 java
猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
安装数据库首次应用 Array_06 java oracle sql
可是为什么再一次失败之后就变成直接跳过那个要求 enter full pathname of java.exe的界面这个java.exe是你的Oracle 11g安装目录中例如：【F:\app\chen\product\11.2.0\dbhome_1\jdk\jre\bin】下的java.exe 。不是你的电脑安装的java jdk下的java.exe！注意第一次，使用SQL D
Weblogic Server Console密码修改和遗忘解决方法 bijian1013 Welogic
在工作中一同事将Weblogic的console的密码忘记了，通过网上查询资料解决，实践整理了一下。一.修改Console密码打开weblogic控制台，安全领域 --> myrealm -->&n
IllegalStateException: Cannot forward a response that is already committed Cwind java Servlets
对于初学者来说，一个常见的误解是：当调用 forward() 或者 sendRedirect() 时控制流将会自动跳出原函数。标题所示错误通常是基于此误解而引起的。示例代码： protected void doPost() { if (someCondition) { sendRedirect(); } forward(); // Thi
基于流的装饰设计模式木zi_鸣设计模式
当想要对已有类的对象进行功能增强时，可以定义一个类，将已有对象传入，基于已有的功能，并提供加强功能。自定义的类成为装饰类模仿BufferedReader，对Reader进行包装，体现装饰设计模式装饰类通常会通过构造方法接受被装饰的对象，并基于被装饰的对象功能，提供更强的功能。装饰模式比继承灵活，避免继承臃肿，降低了类与类之间的关系装饰类因为增强已有对象，具备的功能该
Linux中的uniq命令被触发 linux
Linux命令uniq的作用是过滤重复部分显示文件内容，这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。 AD： uniq [选项] 文件说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个
正则表达式Pattern 肆无忌惮_ Pattern
正则表达式是符合一定规则的表达式，用来专门操作字符串，对字符创进行匹配，切割，替换，获取。例如，我们需要对QQ号码格式进行检验规则是长度6~12位不能0开头只能是数字，我们可以一位一位进行比较，利用parseLong进行判断，或者是用正则表达式来匹配[1-9][0-9]{4,14} 或者 [1-9]\d{4,14} &nbs
Oracle高级查询之OVER (PARTITION BY ..) 知了ing oracle sql
一、rank()/dense_rank() over(partition by ...order by ...) 现在客户有这样一个需求，查询每个部门工资最高的雇员的信息，相信有一定oracle应用知识的同学都能写出下面的SQL语句： select e.ename, e.job, e.sal, e.deptno from scott.emp e, (se
Python调试矮蛋蛋 python pdb
原文地址： http://blog.csdn.net/xuyuefei1988/article/details/19399137 1、下面网上收罗的资料初学者应该够用了，但对比IBM的Python 代码调试技巧： IBM：包括 pdb 模块、利用 PyDev 和 Eclipse 集成进行调试、PyCharm 以及 Debug 日志进行调试： http://www.ibm.com/d
webservice传递自定义对象时函数为空，以及boolean不对应的问题 alleni123 webservice
今天在客户端调用方法 NodeStatus status=iservice.getNodeStatus(). 结果NodeStatus的属性都是null。进行debug之后，发现服务器端返回的确实是有值的对象。后来发现原来是因为在客户端，NodeStatus的setter全部被我删除了。本来是因为逻辑上不需要在客户端使用setter，结果改了之后竟然不能获取带属性值的
java如何干掉指针，又如何巧妙的通过引用来操作指针————>说的就是java指针百合不是茶
C语言的强大在于可以直接操作指针的地址，通过改变指针的地址指向来达到更改地址的目的,又是由于c语言的指针过于强大，初学者很难掌握， java的出现解决了c，c++中指针的问题 java将指针封装在底层，开发人员是不能够去操作指针的地址，但是可以通过引用来间接的操作：定义一个指针p来指向a的地址（&是地址符号）：
Eclipse打不开，提示“An error has occurred.See the log file ***/.log” bijian1013 eclipse
打开eclipse工作目录的\.metadata\.log文件，发现如下错误： !ENTRY org.eclipse.osgi 4 0 2012-09-10 09:28:57.139 !MESSAGE Application error !STACK 1 java.lang.NoClassDefFoundError: org/eclipse/core/resources/IContai
spring aop实例annotation方法实现 bijian1013 java spring AOP annotation
在spring aop实例中我们通过配置xml文件来实现AOP，这里学习使用annotation来实现，使用annotation其实就是指明具体的aspect,pointcut和advice。1.申明一个切面(用一个类来实现)在这个切面里,包括了advice和pointcut AdviceMethods.jav
[Velocity一]Velocity语法基础入门 bit1129 velocity
用户和开发人员参考文档 http://velocity.apache.org/engine/releases/velocity-1.7/developer-guide.html 注释 1.行级注释## 2.多行注释#* *# 变量定义使用$开头的字符串是变量定义，例如$var1, $var2, 赋值使用#set为变量赋值，例
【Kafka十一】关于Kafka的副本管理 bit1129 kafka
1. 关于request.required.acks request.required.acks控制者Producer写请求的什么时候可以确认写成功，默认是0， 0表示即不进行确认即返回。 1表示Leader写成功即返回，此时还没有进行写数据同步到其它Follower Partition中 -1表示根据指定的最少Partition确认后才返回，这个在 Th
lua统计nginx内部变量数据 ronin47 lua nginx　统计
server { listen 80; server_name photo.domain.com; location /{set $str $uri; content_by_lua ' local url = ngx.var.uri local res = ngx.location.capture(
java-11.二叉树中节点的最大距离 bylijinnan java
import java.util.ArrayList; import java.util.List; public class MaxLenInBinTree { /* a. 1 / \ 2 3 / \ / \ 4 5 6 7 max=4 pass "root"
Netty源码学习-ReadTimeoutHandler bylijinnan java netty
ReadTimeoutHandler的实现思路：开启一个定时任务，如果在指定时间内没有接收到消息，则抛出ReadTimeoutException 这个异常的捕获，在开发中，交给跟在ReadTimeoutHandler后面的ChannelHandler，例如 private final ChannelHandler timeoutHandler = new ReadTim
jquery验证上传文件样式及大小(好用) cngolon 文件上传 jquery验证
<!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <script src="jquery1.8/jquery-1.8.0.
浏览器兼容【转】 cuishikuan css 浏览器 IE
浏览器兼容问题一：不同浏览器的标签默认的外补丁和内补丁不同问题症状：随便写几个标签，不加样式控制的情况下，各自的margin 和padding差异较大。碰到频率:100% 解决方案：CSS里 *{margin:0;padding:0;} 备注：这个是最常见的也是最易解决的一个浏览器兼容性问题，几乎所有的CSS文件开头都会用通配符*来设
Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数 daizj shell $#$?特殊变量
前面已经讲到，变量名只能包含数字、字母和下划线，因为某些包含其他字符的变量有特殊含义，这样的变量被称为特殊变量。例如，$ 表示当前Shell进程的ID，即pid，看下面的代码： $echo $$ 运行结果 29949 特殊变量列表变量含义 $0 当前脚本的文件名 $n 传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个
程序设计KISS 原则-------KEEP IT SIMPLE, STUPID! dcj3sjt126com unix
翻到一本书，讲到编程一般原则是kiss：Keep It Simple, Stupid.对这个原则深有体会，其实不仅编程如此，而且系统架构也是如此。 KEEP IT SIMPLE, STUPID! 编写只做一件事情，并且要做好的程序；编写可以在一起工作的程序，编写处理文本流的程序，因为这是通用的接口。这就是UNIX哲学.所有的哲学真正的浓缩为一个铁一样的定律，高明的工程师的神圣的“KISS 原
android Activity间List传值 dcj3sjt126com Activity
第一个Activity： import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import android.app.Activity;import android.content.Intent;import android.os.Bundle;import a
tomcat 设置java虚拟机内存 eksliang tomcat 内存设置
转载请出自出处：http://eksliang.iteye.com/blog/2117772 http://eksliang.iteye.com/ 常见的内存溢出有以下两种: java.lang.OutOfMemoryError: PermGen space java.lang.OutOfMemoryError: Java heap space ------------
Android 数据库事务处理 gqdy365 android
使用SQLiteDatabase的beginTransaction()方法可以开启一个事务，程序执行到endTransaction() 方法时会检查事务的标志是否为成功，如果程序执行到endTransaction()之前调用了setTransactionSuccessful() 方法设置事务的标志为成功则提交事务，如果没有调用setTransactionSuccessful() 方法则回滚事务。事
Java 打开浏览器 hw1287789687 打开网址 open浏览器 open browser 打开url 打开浏览器
使用java 语言如何打开浏览器呢? 我们先研究下在cmd窗口中,如何打开网址使用IE 打开 D:\software\bin>cmd /c start iexplore http://hw1287789687.iteye.com/blog/2153709 使用火狐打开 D:\software\bin>cmd /c start firefox http://hw1287789
ReplaceGoogleCDN：将 Google CDN 替换为国内的 Chrome 插件 justjavac chrome Google google api chrome插件
Chrome Web Store 安装地址： https://chrome.google.com/webstore/detail/replace-google-cdn/kpampjmfiopfpkkepbllemkibefkiice 由于众所周知的原因，只需替换一个域名就可以继续使用Google提供的前端公共库了。同样，通过script标记引用这些资源，让网站访问速度瞬间提速吧
进程VS.线程 m635674608 线程
资料来源： http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001397567993007df355a3394da48f0bf14960f0c78753f000 1、Apache最早就是采用多进程模式 2、IIS服务器默认采用多线程模式 3、多进程优缺点优点：多进程模式最大
Linux下安装MemCached 字符串 memcached
前提准备：1. MemCached目前最新版本为：1.4.22，可以从官网下载到。2. MemCached依赖libevent，因此在安装MemCached之前需要先安装libevent。2.1 运行下面命令，查看系统是否已安装libevent。[root@SecurityCheck ~]# rpm -qa|grep libevent libevent-headers-1.4.13-4.el6.n
java设计模式之--jdk动态代理（实现aop编程） Supanccy2013 java DAO 设计模式 AOP
与静态代理类对照的是动态代理类，动态代理类的字节码在程序运行时由Java反射机制动态生成，无需程序员手工编写它的源代码。动态代理类不仅简化了编程工作，而且提高了软件系统的可扩展性，因为Java 反射机制可以生成任意类型的动态代理类。java.lang.reflect 包中的Proxy类和InvocationHandler 接口提供了生成动态代理类的能力。 &
Spring 4.2新特性-对java8默认方法(default method)定义Bean的支持 wiselyman spring 4
2.1 默认方法(default method) java8引入了一个default medthod; 用来扩展已有的接口,在对已有接口的使用不产生任何影响的情况下,添加扩展使用default关键字 Spring 4.2支持加载在默认方法里声明的bean 2.2 将要被声明成bean的类 public class DemoService {

	python	math	english
0	150	111	83
1	31	137	41
2	126	129	130
3	91	23	118
4	96	68	22
...	...	...	...
95	21	29	78
96	34	7	60
97	134	21	111
98	108	130	137
99	127	105	59

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
...	...	...	...	...	...
995	96	8	77	34	8
996	40	42	23	13	76
997	35	33	41	23	71
998	80	72	21	18	29
999	19	77	44	30	18

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
...	...	...	...	...	...
995	96	8	77	34	8
996	40	42	23	13	76
997	35	33	41	23	71
998	80	72	21	18	29
999	19	77	44	30	18

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
5	54	26	43	93	15
6	54	13	42	62	38
7	68	10	26	65	25
8	6	9	51	48	7
9	29	98	21	36	85

	python	math	en
A	17	4	109
B	78	51	91
C	52	29	121
D	118	125	65
E	72	104	144
F	113	69	18
G	86	114	97
H	64	21	142
I	102	72	118
J	114	34	93

	python	math	english
0	150	111	83
1	31	137	41
2	126	129	130
3	91	23	118
4	96	68	22
...	...	...	...
95	21	29	78
96	34	7	60
97	134	21	111
98	108	130	137
99	127	105	59

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
...	...	...	...	...	...
995	96	8	77	34	8
996	40	42	23	13	76
997	35	33	41	23	71
998	80	72	21	18	29
999	19	77	44	30	18

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
...	...	...	...	...	...
995	96	8	77	34	8
996	40	42	23	13	76
997	35	33	41	23	71
998	80	72	21	18	29
999	19	77	44	30	18

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
5	54	26	43	93	15
6	54	13	42	62	38
7	68	10	26	65	25
8	6	9	51	48	7
9	29	98	21	36	85

	python	math	en
A	17	4	109
B	78	51	91
C	52	29	121
D	118	125	65
E	72	104	144
F	113	69	18
G	86	114	97
H	64	21	142
I	102	72	118
J	114	34	93

Pandas个人最强笔记

导入库

pandas基础

pandas数据结构

Series 一维数据

DataFrame 多维数据

数据查看

数据输入与输出

Csv

Excel

HDF5

SQL

数据获取

获取数据

标签选择

位置选择

布尔索引

赋值操作

数据集成

concat行列合并

数据插入

Join SQL风格合并

数据清洗

数据转换

轴和元素转换

map映射元素转变

apply映射元素转变

transform元素转变

重排随机抽样哑变量

数据重塑

pandas高级应用

数学和统计方法

简单统计指标

索引标签、位置获取

更多统计指标

高级统计指标

排序

分箱操作

分组聚合

分组

分组聚合

分组聚合apply、transform

分组聚合agg

透视表pivot_table

时间序列

时间戳操作

你可能感兴趣的:(python,python,数据挖掘,数据分析)

	python	math	english
0	150	111	83
1	31	137	41
2	126	129	130
3	91	23	118
4	96	68	22
...	...	...	...
95	21	29	78
96	34	7	60
97	134	21	111
98	108	130	137
99	127	105	59

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	Python	Math	English
0	62	40	150
1	95	61	27
2	18	110	56
3	8	91	59
4	45	40	2
...	...	...	...
95	40	100	55
96	14	133	135
97	97	95	91
98	45	70	72
99	131	54	49

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
...	...	...	...	...	...
995	96	8	77	34	8
996	40	42	23	13	76
997	35	33	41	23	71
998	80	72	21	18	29
999	19	77	44	30	18

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
...	...	...	...	...	...
995	96	8	77	34	8
996	40	42	23	13	76
997	35	33	41	23	71
998	80	72	21	18	29
999	19	77	44	30	18

	计算机	化工	生物	工程	教师
0	58	60	64	34	15
1	25	36	94	25	55
2	33	15	68	58	85
3	30	81	98	55	66
4	83	15	35	37	33
5	54	26	43	93	15
6	54	13	42	62	38
7	68	10	26	65	25
8	6	9	51	48	7
9	29	98	21	36	85

	python	math	en
A	17	4	109
B	78	51	91
C	52	29	121
D	118	125	65
E	72	104	144
F	113	69	18
G	86	114	97
H	64	21	142
I	102	72	118
J	114	34	93