pandas学习笔记（四）：数据的清洗、绘图以及时间数据的处理

注：学习笔记基于文彤老师的pandas的系列课程

课程链接：https://study.163.com/course/courseMain.htm?courseId=1005124008&share=1&shareId=1146477588

# 设定系统环境
import pandas as pd
pd.options.display.max_rows = 10 # 设定自由列表输出最多为10行
pd.__version__ # 显示当前Pandas版本号，默认输出最后一行内容（即使没有打印输出）

'1.1.0'

1.数据清洗

1.1 处理缺失值

系统默认的缺失值设定

系统默认的缺失值

None和np.nan #尽量要使用np.nan

确定相应数值是否为缺失值

df.isna() # 别名为isnull，反函数为notna

df2 = pd.read_csv("univ.csv", encoding ="GBK")#使用英文名称，否则可能会报错
#把文件放到了该目录下，因此不需要再写路径，注意编码要写
df2

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门
0	1	北京大学	100.00	综合	北京	北京市	中国研究型	教育部
1	2	清华大学	98.50	理工	北京	北京市	中国研究型	教育部
2	3	复旦大学	82.79	综合	上海	上海市	中国研究型	教育部
3	4	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部
4	5	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部
...	...	...	...	...	...	...	...	...
95	96	浙江师范大学	63.37	师范	浙江	金华市	区域特色研究型	浙江省
96	97	安徽大学	63.34	综合	安徽	合肥市	区域研究型	安徽省
97	98	首都医科大学	63.32	医药	北京	北京市	区域特色研究型	北京市
98	99	江南大学	63.31	综合	江苏	无锡市	区域特色研究型	教育部
99	100	山西大学	63.29	综合	山西	太原市	区域研究型	山西省

100 rows × 8 columns

import numpy as np

df2.名次.iloc[:3]=None
df2

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门
0	NaN	北京大学	100.00	综合	北京	北京市	中国研究型	教育部
1	NaN	清华大学	98.50	理工	北京	北京市	中国研究型	教育部
2	NaN	复旦大学	82.79	综合	上海	上海市	中国研究型	教育部
3	4.0	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部
4	5.0	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部
...	...	...	...	...	...	...	...	...
95	96.0	浙江师范大学	63.37	师范	浙江	金华市	区域特色研究型	浙江省
96	97.0	安徽大学	63.34	综合	安徽	合肥市	区域研究型	安徽省
97	98.0	首都医科大学	63.32	医药	北京	北京市	区域特色研究型	北京市
98	99.0	江南大学	63.31	综合	江苏	无锡市	区域特色研究型	教育部
99	100.0	山西大学	63.29	综合	山西	太原市	区域研究型	山西省

100 rows × 8 columns

df2.名次.isna()

0      True
1      True
2      True
3     False
4     False
      ...  
95    False
96    False
97    False
98    False
99    False
Name: 名次, Length: 100, dtype: bool

df2.名次.iloc[:5] = np.nan
df2.名次.isna()

0      True
1      True
2      True
3      True
4      True
      ...  
95    False
96    False
97    False
98    False
99    False
Name: 名次, Length: 100, dtype: bool

None和np.nan的核心区别：能否进行比较

None == None

True

np.nan == np.nan

False

设定inf和-inf是否被认定为缺失值(正无穷大和负无穷大)

pd.options.mode.use_inf_as_na#默认不认定

False

处理自定义缺失值

目前Pandas不支持设定自定义缺失值，因此只能考虑将其替换为系统缺失值

df.replace(‘自定义缺失值’, np.nan)

df2.所在省份.replace("北京", np.nan)

0     NaN
1     NaN
2      上海
3      湖北
4      浙江
     ... 
95     浙江
96     安徽
97    NaN
98     江苏
99     山西
Name: 所在省份, Length: 100, dtype: object

# 设定为None后的效果完全不同
df2.所在省份.replace("北京", None)#None若无新的替换值，可能保留原来，或采用上面的
                                  #因此None尽量少用

0     北京
1     北京
2     上海
3     湖北
4     浙江
      ..
95    浙江
96    安徽
97    安徽
98    江苏
99    山西
Name: 所在省份, Length: 100, dtype: object

df2na = df2.replace(["北京", 100], [np.nan, np.nan])# 后面的中括号可以简写
                                                   #简写为一个np.nan
df2na

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门
0	NaN	北京大学	NaN	综合	NaN	北京市	中国研究型	教育部
1	NaN	清华大学	98.50	理工	NaN	北京市	中国研究型	教育部
2	NaN	复旦大学	82.79	综合	上海	上海市	中国研究型	教育部
3	NaN	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部
4	NaN	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部
...	...	...	...	...	...	...	...	...
95	96.0	浙江师范大学	63.37	师范	浙江	金华市	区域特色研究型	浙江省
96	97.0	安徽大学	63.34	综合	安徽	合肥市	区域研究型	安徽省
97	98.0	首都医科大学	63.32	医药	NaN	北京市	区域特色研究型	北京市
98	99.0	江南大学	63.31	综合	江苏	无锡市	区域特色研究型	教育部
99	NaN	山西大学	63.29	综合	山西	太原市	区域研究型	山西省

100 rows × 8 columns

标识缺失值案例

标识缺失值

df.isna()

检查相应的数据是否为缺失值

df.isnull()

df2na.replace(["北京", 100],[np.nan, np.nan]).isna()

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门
0	True	False	True	False	True	False	False	False
1	True	False	False	False	True	False	False	False
2	True	False	False	False	False	False	False	False
3	True	False	False	False	False	False	False	False
4	True	False	False	False	False	False	False	False
...	...	...	...	...	...	...	...	...
95	False	False	False	False	False	False	False	False
96	False	False	False	False	False	False	False	False
97	False	False	False	False	True	False	False	False
98	False	False	False	False	False	False	False	False
99	True	False	False	False	False	False	False	False

100 rows × 8 columns

检查多个单元格的取值是否为指定数值

df.any(

axis : {index (0), columns (1)}
skipna = True : 检查时是否忽略缺失值
level = None : 多重索引时指定具体的级别
)

df.all(

axis : {index (0), columns (1)}
skipna = True : 检查时是否忽略缺失值
level = None : 多重索引时指定具体的级别
)

df2na.isna().any(1)

0      True
1      True
2      True
3      True
4      True
      ...  
95    False
96    False
97     True
98    False
99     True
Length: 100, dtype: bool

df2na[df2na.isna().any(1)]

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门
0	NaN	北京大学	NaN	综合	NaN	北京市	中国研究型	教育部
1	NaN	清华大学	98.50	理工	NaN	北京市	中国研究型	教育部
2	NaN	复旦大学	82.79	综合	上海	上海市	中国研究型	教育部
3	NaN	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部
4	NaN	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部
...	...	...	...	...	...	...	...	...
89	90.0	对外经济贸易大学	63.77	财经	NaN	北京市	区域特色研究型	教育部
91	92.0	首都师范大学	63.73	师范	NaN	北京市	区域特色研究型	北京市
92	93.0	华北电力大学	63.66	理工	NaN	北京市	区域特色研究型	教育部
97	98.0	首都医科大学	63.32	医药	NaN	北京市	区域特色研究型	北京市
99	NaN	山西大学	63.29	综合	山西	太原市	区域研究型	山西省

26 rows × 8 columns

填充缺失值

df.fillna(

value : 用于填充缺失值的数值(也可以提供dict/Series/DataFrame以进一步指明哪些索引/列会被替换,不能使用 list)
method = None : 有索引时具体的填充方法，向前填充，向后填充等
limit = None : 指定了method后设定具体的最大填充步长，大于此步长不能填充
axis : {0 or ‘index’, 1 or ‘columns’}
inplace = False
)

在构建新索引的同时完成缺失值的填充任务

df.reindex(labels = None, fill_value = np.NaN)

df2.replace(["北京", 100],[np.nan, np.nan]).fillna('未知')

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门
0	未知	北京大学	未知	综合	未知	北京市	中国研究型	教育部
1	未知	清华大学	98.5	理工	未知	北京市	中国研究型	教育部
2	未知	复旦大学	82.79	综合	上海	上海市	中国研究型	教育部
3	未知	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部
4	未知	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部
...	...	...	...	...	...	...	...	...
95	96	浙江师范大学	63.37	师范	浙江	金华市	区域特色研究型	浙江省
96	97	安徽大学	63.34	综合	安徽	合肥市	区域研究型	安徽省
97	98	首都医科大学	63.32	医药	未知	北京市	区域特色研究型	北京市
98	99	江南大学	63.31	综合	江苏	无锡市	区域特色研究型	教育部
99	未知	山西大学	63.29	综合	山西	太原市	区域研究型	山西省

100 rows × 8 columns

df2.replace(["北京", 100, 1, 2, 3], np.nan).fillna(df2.mean())

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门
0	52.905263	北京大学	68.5061	综合	NaN	北京市	中国研究型	教育部
1	52.905263	清华大学	98.5000	理工	NaN	北京市	中国研究型	教育部
2	52.905263	复旦大学	82.7900	综合	上海	上海市	中国研究型	教育部
3	52.905263	武汉大学	82.4300	综合	湖北	武汉市	中国研究型	教育部
4	52.905263	浙江大学	82.3800	综合	浙江	杭州市	中国研究型	教育部
...	...	...	...	...	...	...	...	...
95	96.000000	浙江师范大学	63.3700	师范	浙江	金华市	区域特色研究型	浙江省
96	97.000000	安徽大学	63.3400	综合	安徽	合肥市	区域研究型	安徽省
97	98.000000	首都医科大学	63.3200	医药	NaN	北京市	区域特色研究型	北京市
98	99.000000	江南大学	63.3100	综合	江苏	无锡市	区域特色研究型	教育部
99	52.905263	山西大学	63.2900	综合	山西	太原市	区域研究型	山西省

100 rows × 8 columns

df2.mean()

名次    52.905263
总分    68.506100
dtype: float64

删除缺失值

df.dropna(

axis = 0 : {0 or ‘index’, 1 or ‘columns’}
how = any : {‘any’, ‘all’}
any : 任何一个为NA就删除
all : 所有的都是NA才删除
thresh = None : 删除的数量阈值，int
subset : 希望在处理中包括的行/列子集
inplace = False :
)

df = pd.DataFrame([[np.nan, 2, np.nan, 0], [3, 4, np.nan, 1],
        [np.nan, np.nan, np.nan, 5]],
        columns=list('ABCD'))
df

	A	B	C	D
0	NaN	2.0	NaN	0
1	3.0	4.0	NaN	1
2	NaN	NaN	NaN	5

df.dropna(axis=1, how='all')

	A	B	D
0	NaN	2.0	0
1	3.0	4.0	1
2	NaN	NaN	5

1.2数据查重

标识出重复的行，所谓的重复第一个是保留，从第二个算起是重复

标识出重复行的意义在于进一步检查重复原因，以便将可能的错误数据加以修改

duplicated

df2['dup'] = df2.duplicated(['类型', '所在省份'])
df2

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门	dup
0	NaN	北京大学	100.00	综合	北京	北京市	中国研究型	教育部	False
1	NaN	清华大学	98.50	理工	北京	北京市	中国研究型	教育部	False
2	NaN	复旦大学	82.79	综合	上海	上海市	中国研究型	教育部	False
3	NaN	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部	False
4	NaN	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部	False
...	...	...	...	...	...	...	...	...	...
95	96.0	浙江师范大学	63.37	师范	浙江	金华市	区域特色研究型	浙江省	False
96	97.0	安徽大学	63.34	综合	安徽	合肥市	区域研究型	安徽省	False
97	98.0	首都医科大学	63.32	医药	北京	北京市	区域特色研究型	北京市	True
98	99.0	江南大学	63.31	综合	江苏	无锡市	区域特色研究型	教育部	True
99	100.0	山西大学	63.29	综合	山西	太原市	区域研究型	山西省	False

100 rows × 9 columns

利用索引进行重复行标识

df.index.duplicated()

df2[df2.set_index(['类型', '所在省份']).index.duplicated()]

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门	dup
5	6.0	中国人民大学	81.98	综合	北京	北京市	中国研究型	教育部	True
6	7.0	上海交通大学	81.76	综合	上海	上海市	中国研究型	教育部	True
23	24.0	东南大学	71.35	综合	江苏	南京市	中国研究型	教育部	True
24	25.0	北京航空航天大学	70.58	理工	北京	北京市	中国研究型	工业和信息化部	True
28	29.0	大连理工大学	68.84	理工	辽宁	大连市	中国研究型	教育部	True
...	...	...	...	...	...	...	...	...	...
89	90.0	对外经济贸易大学	63.77	财经	北京	北京市	区域特色研究型	教育部	True
91	92.0	首都师范大学	63.73	师范	北京	北京市	区域特色研究型	北京市	True
92	93.0	华北电力大学	63.66	理工	北京	北京市	区域特色研究型	教育部	True
97	98.0	首都医科大学	63.32	医药	北京	北京市	区域特色研究型	北京市	True
98	99.0	江南大学	63.31	综合	江苏	无锡市	区域特色研究型	教育部	True

38 rows × 9 columns

直接删除重复的行

若里面不写参数，则默认所有的内容一样的时候算重复
df.drop_duplicates(

subset : 按照指定列进行去重，默认为使用所有列
keep = ‘first’ : 是否直接删除有重复的所有记录
first : 保留第一条重复记录
last : 保留最后一条重复记录
False : 删除全部的重复记录，包括第一次出现的
inplace = False
)

df2.drop_duplicates(['类型', '所在省份'])

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门	dup
0	NaN	北京大学	100.00	综合	北京	北京市	中国研究型	教育部	False
1	NaN	清华大学	98.50	理工	北京	北京市	中国研究型	教育部	False
2	NaN	复旦大学	82.79	综合	上海	上海市	中国研究型	教育部	False
3	NaN	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部	False
4	NaN	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部	False
...	...	...	...	...	...	...	...	...	...
93	93.0	浙江工业大学	63.66	理工	浙江	杭州市	区域特色研究型	浙江省	False
94	95.0	华南农业大学	63.64	农林	广东	广州市	区域特色研究型	广东省	False
95	96.0	浙江师范大学	63.37	师范	浙江	金华市	区域特色研究型	浙江省	False
96	97.0	安徽大学	63.34	综合	安徽	合肥市	区域研究型	安徽省	False
99	100.0	山西大学	63.29	综合	山西	太原市	区域研究型	山西省	False

62 rows × 9 columns

df2.drop_duplicates(['类型', '所在省份'], keep = False)

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门	dup
3	NaN	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部	False
4	NaN	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部	False
8	9.0	国防科学技术大学	80.31	理工	湖南	长沙市	中国研究型	中央军委	False
10	11.0	吉林大学	76.01	综合	吉林	长春市	中国研究型	教育部	False
13	14.0	四川大学	74.99	综合	四川	成都市	中国研究型	教育部	False
...	...	...	...	...	...	...	...	...	...
93	93.0	浙江工业大学	63.66	理工	浙江	杭州市	区域特色研究型	浙江省	False
94	95.0	华南农业大学	63.64	农林	广东	广州市	区域特色研究型	广东省	False
95	96.0	浙江师范大学	63.37	师范	浙江	金华市	区域特色研究型	浙江省	False
96	97.0	安徽大学	63.34	综合	安徽	合肥市	区域研究型	安徽省	False
99	100.0	山西大学	63.29	综合	山西	太原市	区域研究型	山西省	False

42 rows × 9 columns

利用查重标识结果直接删除
df[~df.duplicated()]

df2[~df2.duplicated(['类型', '所在省份'])]

	类型	所在省份	名次	学校名称	总分	所在城市	办学方向	主管部门	dup
0	综合	北京	NaN	北京大学	100.00	北京市	中国研究型	教育部	False
1	理工	北京	NaN	清华大学	98.50	北京市	中国研究型	教育部	False
2	综合	上海	NaN	复旦大学	82.79	上海市	中国研究型	教育部	False
3	综合	湖北	NaN	武汉大学	82.43	武汉市	中国研究型	教育部	False
4	综合	浙江	NaN	浙江大学	82.38	杭州市	中国研究型	教育部	False
...	...	...	...	...	...	...	...	...	...
93	理工	浙江	93.0	浙江工业大学	63.66	杭州市	区域特色研究型	浙江省	False
94	农林	广东	95.0	华南农业大学	63.64	广州市	区域特色研究型	广东省	False
95	师范	浙江	96.0	浙江师范大学	63.37	金华市	区域特色研究型	浙江省	False
96	综合	安徽	97.0	安徽大学	63.34	合肥市	区域研究型	安徽省	False
99	综合	山西	100.0	山西大学	63.29	太原市	区域研究型	山西省	False

62 rows × 9 columns

1.3直接比较数据框/变量列

df.compare( # pandas 1.1版新增

df : 希望进行比较的另一个df名称
align_axis = 1 : 按行还是列方向进行对比结果的汇总输出，{0 or ‘index’, 1 or ‘columns’}
keep_shape = False : 是否在结果中保留全部行列，而不是只输出有差异的行列
keep_equal = False : 是否在结果中保留无差异的行/列，不保留则均替换为nan
) # 返回：展示所对比的两个数据框差异的结果数据框

df2 = pd.read_csv("univ.csv", encoding ="GBK")#使用英文名称，否则可能会报错
#把文件放到了该目录下，因此不需要再写路径，注意编码要写
df2

	名次	学校名称	总分	类型	所在省份	所在城市	办学方向	主管部门
0	1	北京大学	100.00	综合	北京	北京市	中国研究型	教育部
1	2	清华大学	98.50	理工	北京	北京市	中国研究型	教育部
2	3	复旦大学	82.79	综合	上海	上海市	中国研究型	教育部
3	4	武汉大学	82.43	综合	湖北	武汉市	中国研究型	教育部
4	5	浙江大学	82.38	综合	浙江	杭州市	中国研究型	教育部
...	...	...	...	...	...	...	...	...
95	96	浙江师范大学	63.37	师范	浙江	金华市	区域特色研究型	浙江省
96	97	安徽大学	63.34	综合	安徽	合肥市	区域研究型	安徽省
97	98	首都医科大学	63.32	医药	北京	北京市	区域特色研究型	北京市
98	99	江南大学	63.31	综合	江苏	无锡市	区域特色研究型	教育部
99	100	山西大学	63.29	综合	山西	太原市	区域研究型	山西省

100 rows × 8 columns

df2=df2.set_index(["类型","学校名称"])
df2

		名次	总分	所在省份	所在城市	办学方向	主管部门
类型	学校名称
综合	北京大学	1	100.00	北京	北京市	中国研究型	教育部
理工	清华大学	2	98.50	北京	北京市	中国研究型	教育部
综合	复旦大学	3	82.79	上海	上海市	中国研究型	教育部
	武汉大学	4	82.43	湖北	武汉市	中国研究型	教育部
	浙江大学	5	82.38	浙江	杭州市	中国研究型	教育部
...	...	...	...	...	...	...	...
师范	浙江师范大学	96	63.37	浙江	金华市	区域特色研究型	浙江省
综合	安徽大学	97	63.34	安徽	合肥市	区域研究型	安徽省
医药	首都医科大学	98	63.32	北京	北京市	区域特色研究型	北京市
综合	江南大学	99	63.31	江苏	无锡市	区域特色研究型	教育部
综合	山西大学	100	63.29	山西	太原市	区域研究型	山西省

100 rows × 6 columns

dftmp = df2.copy()
dftmp.loc[('综合', '北京大学'), '办学方向'] = np.nan
dftmp.head()

		名次	总分	所在省份	所在城市	办学方向	主管部门
类型	学校名称
综合	北京大学	1	100.00	北京	北京市	NaN	教育部
理工	清华大学	2	98.50	北京	北京市	中国研究型	教育部
综合	复旦大学	3	82.79	上海	上海市	中国研究型	教育部
	武汉大学	4	82.43	湖北	武汉市	中国研究型	教育部
	浙江大学	5	82.38	浙江	杭州市	中国研究型	教育部

df2.compare(dftmp)

		办学方向
		self	other
类型	学校名称
综合	北京大学	中国研究型	NaN

df2.compare(dftmp, align_axis = 0)#按行输出

			办学方向
类型	学校名称
综合	北京大学	self	中国研究型
综合	北京大学	other	NaN

df2.compare(dftmp)[('办学方向', 'self')]#列，行

类型  学校名称
综合  北京大学    中国研究型
Name: (办学方向, self), dtype: object

Series.compare( #列和df大多数情况下可以通用

other
align_axis = 1
keep_shape = False
keep_equal = False
)

df2.办学方向.compare(dftmp.办学方向)

		self	other
类型	学校名称
综合	北京大学	中国研究型	NaN

df2.办学方向.compare(dftmp.办学方向, align_axis = 0)

类型  学校名称       
综合  北京大学  self     中国研究型
          other      NaN
Name: 办学方向, dtype: object

实战：进一步整理PM2.5数据

要求：

PM2.5数据中数值-999表示缺失，请将这些数据替换为np.nan
基于上述处理结果，删除缺失值记录
在数据中查找到PM2.5数值完全相同的记录
在数据中查找到同一年中PM2.5数值完全相同的记录

bj

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
0	Beijing	2008-04-08 15:00	2008	4	8	15	207	1 Hr	Valid
1	Beijing	2008-04-08 16:00	2008	4	8	16	180	1 Hr	Valid
2	Beijing	2008-04-08 17:00	2008	4	8	17	152	1 Hr	Valid
3	Beijing	2008-04-08 18:00	2008	4	8	18	162	1 Hr	Valid
4	Beijing	2008-04-08 19:00	2008	4	8	19	171	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
4339	Beijing	6/30/2017 19:00	2017	6	30	19	51	1 Hr	Valid
4340	Beijing	6/30/2017 20:00	2017	6	30	20	68	1 Hr	Valid
4341	Beijing	6/30/2017 21:00	2017	6	30	21	61	1 Hr	Valid
4342	Beijing	6/30/2017 22:00	2017	6	30	22	49	1 Hr	Valid
4343	Beijing	6/30/2017 23:00	2017	6	30	23	55	1 Hr	Valid

79559 rows × 9 columns

bj=bj.replace(-999, np.nan)#-999不要加引号

bj[bj.isna().any(1)]

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
694	Beijing	2008-05-07 13:00	2008	5	7	13	NaN	1 Hr	Missing
695	Beijing	2008-05-07 14:00	2008	5	7	14	NaN	1 Hr	Missing
863	Beijing	2008-05-14 14:00	2008	5	14	14	NaN	1 Hr	Missing
864	Beijing	2008-05-14 15:00	2008	5	14	15	NaN	1 Hr	Missing
1027	Beijing	2008-05-21 10:00	2008	5	21	10	NaN	1 Hr	Missing
...	...	...	...	...	...	...	...	...	...
4079	Beijing	6/19/2017 23:00	2017	6	19	23	NaN	1 Hr	Missing
4080	Beijing	6/20/2017 0:00	2017	6	20	0	NaN	1 Hr	Missing
4081	Beijing	6/20/2017 1:00	2017	6	20	1	NaN	1 Hr	Missing
4184	Beijing	6/24/2017 8:00	2017	6	24	8	NaN	1 Hr	Missing
4218	Beijing	6/25/2017 18:00	2017	6	25	18	NaN	1 Hr	Missing

4459 rows × 9 columns

bj=bj.dropna(axis=0, how='any')
bj

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
0	Beijing	2008-04-08 15:00	2008	4	8	15	207.0	1 Hr	Valid
1	Beijing	2008-04-08 16:00	2008	4	8	16	180.0	1 Hr	Valid
2	Beijing	2008-04-08 17:00	2008	4	8	17	152.0	1 Hr	Valid
3	Beijing	2008-04-08 18:00	2008	4	8	18	162.0	1 Hr	Valid
4	Beijing	2008-04-08 19:00	2008	4	8	19	171.0	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
4339	Beijing	6/30/2017 19:00	2017	6	30	19	51.0	1 Hr	Valid
4340	Beijing	6/30/2017 20:00	2017	6	30	20	68.0	1 Hr	Valid
4341	Beijing	6/30/2017 21:00	2017	6	30	21	61.0	1 Hr	Valid
4342	Beijing	6/30/2017 22:00	2017	6	30	22	49.0	1 Hr	Valid
4343	Beijing	6/30/2017 23:00	2017	6	30	23	55.0	1 Hr	Valid

75100 rows × 9 columns

bj[bj.duplicated('Value')]

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
10	Beijing	2008-04-09 01:00	2008	4	9	1	64.0	1 Hr	Valid
15	Beijing	2008-04-09 06:00	2008	4	9	6	69.0	1 Hr	Valid
16	Beijing	2008-04-09 07:00	2008	4	9	7	69.0	1 Hr	Valid
17	Beijing	2008-04-09 08:00	2008	4	9	8	64.0	1 Hr	Valid
18	Beijing	2008-04-09 09:00	2008	4	9	9	69.0	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
4339	Beijing	6/30/2017 19:00	2017	6	30	19	51.0	1 Hr	Valid
4340	Beijing	6/30/2017 20:00	2017	6	30	20	68.0	1 Hr	Valid
4341	Beijing	6/30/2017 21:00	2017	6	30	21	61.0	1 Hr	Valid
4342	Beijing	6/30/2017 22:00	2017	6	30	22	49.0	1 Hr	Valid
4343	Beijing	6/30/2017 23:00	2017	6	30	23	55.0	1 Hr	Valid

74465 rows × 9 columns

bj[bj.duplicated(['Year','Value'])]

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
10	Beijing	2008-04-09 01:00	2008	4	9	1	64.0	1 Hr	Valid
15	Beijing	2008-04-09 06:00	2008	4	9	6	69.0	1 Hr	Valid
16	Beijing	2008-04-09 07:00	2008	4	9	7	69.0	1 Hr	Valid
17	Beijing	2008-04-09 08:00	2008	4	9	8	64.0	1 Hr	Valid
18	Beijing	2008-04-09 09:00	2008	4	9	9	69.0	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
4339	Beijing	6/30/2017 19:00	2017	6	30	19	51.0	1 Hr	Valid
4340	Beijing	6/30/2017 20:00	2017	6	30	20	68.0	1 Hr	Valid
4341	Beijing	6/30/2017 21:00	2017	6	30	21	61.0	1 Hr	Valid
4342	Beijing	6/30/2017 22:00	2017	6	30	22	49.0	1 Hr	Valid
4343	Beijing	6/30/2017 23:00	2017	6	30	23	55.0	1 Hr	Valid

70794 rows × 9 columns

2.处理日期时间变量

2.1建立Timestamp类和Period类

Timestamp对象多种格式都可以转化

from datetime import datetime # 从datetime包中引入datetime
datetime(2012, 5, 1)

datetime.datetime(2012, 5, 1, 0, 0)

pd.Timestamp(datetime(2012, 5, 1))

Timestamp('2012-05-01 00:00:00')

pd.Timestamp(datetime(2012, 5, 1, 1, 2, 3))

Timestamp('2012-05-01 01:02:03')

pd.Timestamp('2012-05-01 1:2:3')

Timestamp('2012-05-01 01:02:03')

pd.Timestamp(2012, 5, 1)

Timestamp('2012-05-01 00:00:00')

Peroid对象

可以被看作是简化之后的Timestamp对象

由于详细数据的不完整，而表示的是一段时间，而不是一个时点

但是实际使用中很可能是按照时点在使用

很多使用方法和Timestamp相同，因此不再详细介绍

freq是指数值的频率

pd.Period('2011-01')

Period('2011-01', 'M')

pd.Period('2012-05', freq='D')

Period('2012-05-01', 'D')

2.2将数据转换为Timestamp类

使用pd.Timestamp()直接转换

Timestamp只能针对某个数据转换，若想整列需要使用apply

pd.Timestamp(bj08['Date (LST)'][0])

Timestamp('2008-04-08 15:00:00')

bj08['Date (LST)'].apply(pd.Timestamp)

0      2008-04-08 15:00:00
1      2008-04-08 16:00:00
2      2008-04-08 17:00:00
3      2008-04-08 18:00:00
4      2008-04-08 19:00:00
               ...        
5082   2008-11-06 09:00:00
5083   2008-11-06 10:00:00
5084   2008-11-06 11:00:00
5085   2008-11-06 12:00:00
5086   2008-11-06 13:00:00
Name: Date (LST), Length: 5087, dtype: datetime64[ns]

用to_datetime进行批量转换，注意特点“批量”

pd.to_datetime(

arg : 需要转换为Timestamp类的数值(integer, float, string, datetime, list, tuple, 1-d array,Series)
errors = ‘raise’ : {‘ignore’, ‘raise’, ‘coerce’}
(‘raise’, 抛出错误
‘coerce’, 设定为 NaT
‘ignore’, 返回原值)

短日期的解释方式：类似"10/11/12"这样的数据如何解释
dayfirst = ‘False’ : 数值是否day在前
yearfirst = ‘False’ : 数值是否year在前，该设定优先
box = True : 是否返回为DatetimeIndex，False时返回ndarray数组
format = None : 需要转换的字符串格式设定
)

pd.to_datetime(datetime(2012, 5, 1, 1, 2, 3))

Timestamp('2012-05-01 01:02:03')

pd.to_datetime('2012-05-01 1:2:3')

Timestamp('2012-05-01 01:02:03')

pd.to_datetime(['2005/11/23', '2010.12.31'])

DatetimeIndex(['2005-11-23', '2010-12-31'], dtype='datetime64[ns]', freq=None)

pd.to_datetime(bj08['Date (LST)'], format = "%Y-%m-%d %H:%M")
#如果格式恰当，format可以不写

0      2008-04-08 15:00:00
1      2008-04-08 16:00:00
2      2008-04-08 17:00:00
3      2008-04-08 18:00:00
4      2008-04-08 19:00:00
               ...        
5082   2008-11-06 09:00:00
5083   2008-11-06 10:00:00
5084   2008-11-06 11:00:00
5085   2008-11-06 12:00:00
5086   2008-11-06 13:00:00
Name: Date (LST), Length: 5087, dtype: datetime64[ns]

基于所需的变量列合成Timestamp类

pd.to_datetime(bj08[['Year', 'Month', 'Day', 'Hour']])

0      2008-04-08 15:00:00
1      2008-04-08 16:00:00
2      2008-04-08 17:00:00
3      2008-04-08 18:00:00
4      2008-04-08 19:00:00
               ...        
5082   2008-11-06 09:00:00
5083   2008-11-06 10:00:00
5084   2008-11-06 11:00:00
5085   2008-11-06 12:00:00
5086   2008-11-06 13:00:00
Length: 5087, dtype: datetime64[ns]

2.3使用DatetimeIndex类

DatetimeIndex类对象除了拥有Index类对象的所有功能外，还针对日期时间的特点有如下增强：

1.基于日期时间的各个层级做快速索引操作
2. 快速提取所需的时间层级
3. 按照所指定的时间范围做快速切片

建立DatetimeIndex对象

建立索引时自动转换,set_index 默认原来索引的列是删除的，对于时间这个原来的会保留

使用Timestamp对象建立索引，将会自动转换为DatetimeIndex对象

bj08idx = bj08.set_index(pd.to_datetime(bj08['Date (LST)']))
print(type(bj08idx.index))
bj08idx

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2008-04-08 15:00:00	Beijing	2008-04-08 15:00	2008	4	8	15	207	1 Hr	Valid
2008-04-08 16:00:00	Beijing	2008-04-08 16:00	2008	4	8	16	180	1 Hr	Valid
2008-04-08 17:00:00	Beijing	2008-04-08 17:00	2008	4	8	17	152	1 Hr	Valid
2008-04-08 18:00:00	Beijing	2008-04-08 18:00	2008	4	8	18	162	1 Hr	Valid
2008-04-08 19:00:00	Beijing	2008-04-08 19:00	2008	4	8	19	171	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2008-11-06 09:00:00	Beijing	2008-11-06 09:00	2008	11	6	9	42	1 Hr	Valid
2008-11-06 10:00:00	Beijing	2008-11-06 10:00	2008	11	6	10	46	1 Hr	Valid
2008-11-06 11:00:00	Beijing	2008-11-06 11:00	2008	11	6	11	40	1 Hr	Valid
2008-11-06 12:00:00	Beijing	2008-11-06 12:00	2008	11	6	12	35	1 Hr	Valid
2008-11-06 13:00:00	Beijing	2008-11-06 13:00	2008	11	6	13	19	1 Hr	Valid

5087 rows × 9 columns

使用date_range建立DatetimeIndex对象

这种建立方式主要是和reindx命令配合使用，以快速完成对时间序列中缺失值的填充工作

pd.date_range(

start /end = None : 日期时间范围的起点/终点，均为类日期时间格式的字符串/数据
periods = None : 准备生成的总记录数
freq = ‘D’ : 生成记录时的时间周期，可以使用字母和数值倍数的组合，如’5H’
name = None : 生成的DatetimeIndex对象的名称
)

pd.bdate_range(

主要参数和pd.date_range几乎完全相同，但默认freq = ‘B’ (business daily)
另外附加了几个针对工作日/休息日筛选的参数
)

pd.date_range('1/1/2012', periods=5)

DatetimeIndex(['2012-01-01', '2012-01-02', '2012-01-03', '2012-01-04',
               '2012-01-05'],
              dtype='datetime64[ns]', freq='D')

pd.date_range('1/1/2012', periods=5, freq='M')

DatetimeIndex(['2012-01-31', '2012-02-29', '2012-03-31', '2012-04-30',
               '2012-05-31'],
              dtype='datetime64[ns]', freq='M')

基于索引的快速切片操作

bj08idx["2008-11-1":"2008-11-5"]

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2008-11-01 00:00:00	Beijing	2008-11-01 00:00	2008	11	1	0	97	1 Hr	Valid
2008-11-01 01:00:00	Beijing	2008-11-01 01:00	2008	11	1	1	107	1 Hr	Valid
2008-11-01 02:00:00	Beijing	2008-11-01 02:00	2008	11	1	2	118	1 Hr	Valid
2008-11-01 03:00:00	Beijing	2008-11-01 03:00	2008	11	1	3	120	1 Hr	Valid
2008-11-01 04:00:00	Beijing	2008-11-01 04:00	2008	11	1	4	116	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2008-11-05 19:00:00	Beijing	2008-11-05 19:00	2008	11	5	19	174	1 Hr	Valid
2008-11-05 20:00:00	Beijing	2008-11-05 20:00	2008	11	5	20	195	1 Hr	Valid
2008-11-05 21:00:00	Beijing	2008-11-05 21:00	2008	11	5	21	203	1 Hr	Valid
2008-11-05 22:00:00	Beijing	2008-11-05 22:00	2008	11	5	22	214	1 Hr	Valid
2008-11-05 23:00:00	Beijing	2008-11-05 23:00	2008	11	5	23	214	1 Hr	Valid

120 rows × 9 columns

bj08idx["2008-11"]

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2008-11-01 00:00:00	Beijing	2008-11-01 00:00	2008	11	1	0	97	1 Hr	Valid
2008-11-01 01:00:00	Beijing	2008-11-01 01:00	2008	11	1	1	107	1 Hr	Valid
2008-11-01 02:00:00	Beijing	2008-11-01 02:00	2008	11	1	2	118	1 Hr	Valid
2008-11-01 03:00:00	Beijing	2008-11-01 03:00	2008	11	1	3	120	1 Hr	Valid
2008-11-01 04:00:00	Beijing	2008-11-01 04:00	2008	11	1	4	116	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2008-11-06 09:00:00	Beijing	2008-11-06 09:00	2008	11	6	9	42	1 Hr	Valid
2008-11-06 10:00:00	Beijing	2008-11-06 10:00	2008	11	6	10	46	1 Hr	Valid
2008-11-06 11:00:00	Beijing	2008-11-06 11:00	2008	11	6	11	40	1 Hr	Valid
2008-11-06 12:00:00	Beijing	2008-11-06 12:00	2008	11	6	12	35	1 Hr	Valid
2008-11-06 13:00:00	Beijing	2008-11-06 13:00	2008	11	6	13	19	1 Hr	Valid

134 rows × 9 columns

bj08idx["2008-11-1":"2008-11-5 9:00:00"]

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2008-11-01 00:00:00	Beijing	2008-11-01 00:00	2008	11	1	0	97	1 Hr	Valid
2008-11-01 01:00:00	Beijing	2008-11-01 01:00	2008	11	1	1	107	1 Hr	Valid
2008-11-01 02:00:00	Beijing	2008-11-01 02:00	2008	11	1	2	118	1 Hr	Valid
2008-11-01 03:00:00	Beijing	2008-11-01 03:00	2008	11	1	3	120	1 Hr	Valid
2008-11-01 04:00:00	Beijing	2008-11-01 04:00	2008	11	1	4	116	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2008-11-05 05:00:00	Beijing	2008-11-05 05:00	2008	11	5	5	131	1 Hr	Valid
2008-11-05 06:00:00	Beijing	2008-11-05 06:00	2008	11	5	6	129	1 Hr	Valid
2008-11-05 07:00:00	Beijing	2008-11-05 07:00	2008	11	5	7	136	1 Hr	Valid
2008-11-05 08:00:00	Beijing	2008-11-05 08:00	2008	11	5	8	144	1 Hr	Valid
2008-11-05 09:00:00	Beijing	2008-11-05 09:00	2008	11	5	9	143	1 Hr	Valid

106 rows × 9 columns

2.4 对时间序列做基本处理

2.4.1 序列的分组汇总

直接取出索引的相应层级

DatetimeIndex对象可直接引用的Attributes:

date : Returns numpy array of python datetime.date objects
time : Returns numpy array of datetime.time

year : The year of the datetime
quarter : The quarter of the date
month : The month as January=1, December=12
week : The week ordinal of the year
weekday : The day of the week with Monday=0, Sunday=6
weekday_name : The name of day in a week (ex: Friday)
weekofyear : The week ordinal of the year
day : The days of the datetime
dayofweek : The day of the week with Monday=0, Sunday=6
dayofyear : The ordinal day of the year
days_in_month : The number of days in the month
daysinmonth : The number of days in the month
hour : The hours of the datetime
minute : The minutes of the datetime
second : The seconds of the datetime
microsecond : The microseconds of the datetime
nanosecond : The nanoseconds of the datetime

is_leap_year : if the date belongs to a leap year
is_month_end : if last day of month (defined by frequency)
is_month_start : if first day of month (defined by frequency)
is_quarter_end : if last day of quarter (defined by frequency)
is_quarter_start : if first day of quarter (defined by frequency)
is_year_end : if last day of year (defined by frequency)
is_year_start : if first day of year (defined by frequency)

bj08idx.index.hour

Int64Index([15, 16, 17, 18, 19, 20, 21, 22, 23,  0,
            ...
             4,  5,  6,  7,  8,  9, 10, 11, 12, 13],
           dtype='int64', name='Date (LST)', length=5087)

直接使用groupby方法进行汇总

bj08idx.groupby(bj08idx.index.month).max()#意义不大，最好指定某一列的最大值

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
4	Beijing	2008-04-30 23:00	2008	4	30	23	610	1 Hr	Valid
5	Beijing	2008-05-31 23:00	2008	5	31	23	405	1 Hr	Valid
6	Beijing	2008-06-30 23:00	2008	6	30	23	270	1 Hr	Valid
7	Beijing	2008-07-31 23:00	2008	7	31	23	272	1 Hr	Valid
8	Beijing	2008-08-31 23:00	2008	8	31	23	195	1 Hr	Valid
9	Beijing	2008-09-30 23:00	2008	9	30	23	226	1 Hr	Valid
10	Beijing	2008-10-31 23:00	2008	10	31	23	415	1 Hr	Valid
11	Beijing	2008-11-06 13:00	2008	11	6	23	214	1 Hr	Valid

使用功能更强的resample函数

df.resample()

使用上比groupby更简单(输入更简洁)
可以将数值和汇总单位进行组合，实现更复杂的汇总计算

bj08idx.resample('3D').mean()

	Year	Month	Day	Hour	Value
Date (LST)
2008-04-08	2008.0	4.0	9.263158	12.684211	93.754386
2008-04-11	2008.0	4.0	12.000000	11.500000	67.791667
2008-04-14	2008.0	4.0	15.000000	11.500000	164.527778
2008-04-17	2008.0	4.0	18.000000	11.500000	163.166667
2008-04-20	2008.0	4.0	21.000000	11.500000	38.597222
...	...	...	...	...	...
2008-10-23	2008.0	10.0	24.000000	11.500000	17.902778
2008-10-26	2008.0	10.0	27.000000	11.500000	27.694444
2008-10-29	2008.0	10.0	30.000000	11.500000	56.861111
2008-11-01	2008.0	11.0	2.000000	11.500000	38.583333
2008-11-04	2008.0	11.0	4.838710	10.370968	113.225806

71 rows × 5 columns

2.4.2 序列的缺失值处理

时间序列要求记录的时间点连贯无缺失，因此需要：

首先建立针对整个时间范围的完整序列框架
随后针对无数据的时间点进行缺失值处理

df.reindex()是完成该任务的强有力工具

bj09idx = bj09.set_index(pd.to_datetime(bj09['Date (LST)']))
bj09idx = bj09idx[bj09idx.Value > 0]
bj09idx#从17号开始，说明之前是缺失值

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2009-02-17 17:00:00	Beijing	2009-02-17 17:00	2009	2	17	17	70	1 Hr	Valid
2009-02-17 18:00:00	Beijing	2009-02-17 18:00	2009	2	17	18	57	1 Hr	Valid
2009-02-17 19:00:00	Beijing	2009-02-17 19:00	2009	2	17	19	58	1 Hr	Valid
2009-02-17 20:00:00	Beijing	2009-02-17 20:00	2009	2	17	20	63	1 Hr	Valid
2009-02-17 21:00:00	Beijing	2009-02-17 21:00	2009	2	17	21	61	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2009-12-31 18:00:00	Beijing	2009-12-31 18:00	2009	12	31	18	64	1 Hr	Valid
2009-12-31 19:00:00	Beijing	2009-12-31 19:00	2009	12	31	19	77	1 Hr	Valid
2009-12-31 20:00:00	Beijing	2009-12-31 20:00	2009	12	31	20	120	1 Hr	Valid
2009-12-31 21:00:00	Beijing	2009-12-31 21:00	2009	12	31	21	163	1 Hr	Valid
2009-12-31 22:00:00	Beijing	2009-12-31 22:00	2009	12	31	22	167	1 Hr	Valid

6779 rows × 9 columns

idx = pd.date_range(start = '2009-02-01 00:00:00',
                    end = '2009-12-31 23:00:00', freq='H')
idx

DatetimeIndex(['2009-02-01 00:00:00', '2009-02-01 01:00:00',
               '2009-02-01 02:00:00', '2009-02-01 03:00:00',
               '2009-02-01 04:00:00', '2009-02-01 05:00:00',
               '2009-02-01 06:00:00', '2009-02-01 07:00:00',
               '2009-02-01 08:00:00', '2009-02-01 09:00:00',
               ...
               '2009-12-31 14:00:00', '2009-12-31 15:00:00',
               '2009-12-31 16:00:00', '2009-12-31 17:00:00',
               '2009-12-31 18:00:00', '2009-12-31 19:00:00',
               '2009-12-31 20:00:00', '2009-12-31 21:00:00',
               '2009-12-31 22:00:00', '2009-12-31 23:00:00'],
              dtype='datetime64[ns]', length=8016, freq='H')

bj09idx.reindex(idx)#会报错，因为源数据中有重复值

bj09idx[bj09idx.index.duplicated()]

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2009-03-08 03:00:00	Beijing	2009-03-08 03:00	2009	3	8	3	179	1 Hr	Valid

bj09idx['2009-03-08']

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2009-03-08 00:00:00	Beijing	2009-03-08 00:00	2009	3	8	0	204	1 Hr	Valid
2009-03-08 01:00:00	Beijing	2009-03-08 01:00	2009	3	8	1	189	1 Hr	Valid
2009-03-08 03:00:00	Beijing	2009-03-08 03:00	2009	3	8	3	195	1 Hr	Valid
2009-03-08 03:00:00	Beijing	2009-03-08 03:00	2009	3	8	3	179	1 Hr	Valid
2009-03-08 04:00:00	Beijing	2009-03-08 04:00	2009	3	8	4	188	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2009-03-08 19:00:00	Beijing	2009-03-08 19:00	2009	3	8	19	77	1 Hr	Valid
2009-03-08 20:00:00	Beijing	2009-03-08 20:00	2009	3	8	20	71	1 Hr	Valid
2009-03-08 21:00:00	Beijing	2009-03-08 21:00	2009	3	8	21	86	1 Hr	Valid
2009-03-08 22:00:00	Beijing	2009-03-08 22:00	2009	3	8	22	41	1 Hr	Valid
2009-03-08 23:00:00	Beijing	2009-03-08 23:00	2009	3	8	23	14	1 Hr	Valid

24 rows × 9 columns

bj09idx[~bj09idx.index.duplicated()].reindex(idx)

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
2009-02-01 00:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2009-02-01 01:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2009-02-01 02:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2009-02-01 03:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2009-02-01 04:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
...	...	...	...	...	...	...	...	...	...
2009-12-31 19:00:00	Beijing	2009-12-31 19:00	2009.0	12.0	31.0	19.0	77.0	1 Hr	Valid
2009-12-31 20:00:00	Beijing	2009-12-31 20:00	2009.0	12.0	31.0	20.0	120.0	1 Hr	Valid
2009-12-31 21:00:00	Beijing	2009-12-31 21:00	2009.0	12.0	31.0	21.0	163.0	1 Hr	Valid
2009-12-31 22:00:00	Beijing	2009-12-31 22:00	2009.0	12.0	31.0	22.0	167.0	1 Hr	Valid
2009-12-31 23:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN

8016 rows × 9 columns

bj09idx[~bj09idx.index.duplicated()].reindex(idx, method = 'bfill')
#用临近数值填充

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
2009-02-01 00:00:00	Beijing	2009-02-17 17:00	2009.0	2.0	17.0	17.0	70.0	1 Hr	Valid
2009-02-01 01:00:00	Beijing	2009-02-17 17:00	2009.0	2.0	17.0	17.0	70.0	1 Hr	Valid
2009-02-01 02:00:00	Beijing	2009-02-17 17:00	2009.0	2.0	17.0	17.0	70.0	1 Hr	Valid
2009-02-01 03:00:00	Beijing	2009-02-17 17:00	2009.0	2.0	17.0	17.0	70.0	1 Hr	Valid
2009-02-01 04:00:00	Beijing	2009-02-17 17:00	2009.0	2.0	17.0	17.0	70.0	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2009-12-31 19:00:00	Beijing	2009-12-31 19:00	2009.0	12.0	31.0	19.0	77.0	1 Hr	Valid
2009-12-31 20:00:00	Beijing	2009-12-31 20:00	2009.0	12.0	31.0	20.0	120.0	1 Hr	Valid
2009-12-31 21:00:00	Beijing	2009-12-31 21:00	2009.0	12.0	31.0	21.0	163.0	1 Hr	Valid
2009-12-31 22:00:00	Beijing	2009-12-31 22:00	2009.0	12.0	31.0	22.0	167.0	1 Hr	Valid
2009-12-31 23:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN

8016 rows × 9 columns

序列数值平移

df.shift(

periods = 1 : 希望移动的周期数
freq : 时间频度字符串
axis = 0
)

bj08idx.shift(3)

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2008-04-08 15:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2008-04-08 16:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2008-04-08 17:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN
2008-04-08 18:00:00	Beijing	2008-04-08 15:00	2008.0	4.0	8.0	15.0	207.0	1 Hr	Valid
2008-04-08 19:00:00	Beijing	2008-04-08 16:00	2008.0	4.0	8.0	16.0	180.0	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2008-11-06 09:00:00	Beijing	2008-11-06 06:00	2008.0	11.0	6.0	6.0	33.0	1 Hr	Valid
2008-11-06 10:00:00	Beijing	2008-11-06 07:00	2008.0	11.0	6.0	7.0	31.0	1 Hr	Valid
2008-11-06 11:00:00	Beijing	2008-11-06 08:00	2008.0	11.0	6.0	8.0	42.0	1 Hr	Valid
2008-11-06 12:00:00	Beijing	2008-11-06 09:00	2008.0	11.0	6.0	9.0	42.0	1 Hr	Valid
2008-11-06 13:00:00	Beijing	2008-11-06 10:00	2008.0	11.0	6.0	10.0	46.0	1 Hr	Valid

5087 rows × 9 columns

实战：建立时间索引

bj08idx = bj08.set_index(pd.to_datetime(bj08['Date (LST)']))
bj08idx

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
Date (LST)
2008-04-08 15:00:00	Beijing	2008-04-08 15:00	2008	4	8	15	207	1 Hr	Valid
2008-04-08 16:00:00	Beijing	2008-04-08 16:00	2008	4	8	16	180	1 Hr	Valid
2008-04-08 17:00:00	Beijing	2008-04-08 17:00	2008	4	8	17	152	1 Hr	Valid
2008-04-08 18:00:00	Beijing	2008-04-08 18:00	2008	4	8	18	162	1 Hr	Valid
2008-04-08 19:00:00	Beijing	2008-04-08 19:00	2008	4	8	19	171	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2008-11-06 09:00:00	Beijing	2008-11-06 09:00	2008	11	6	9	42	1 Hr	Valid
2008-11-06 10:00:00	Beijing	2008-11-06 10:00	2008	11	6	10	46	1 Hr	Valid
2008-11-06 11:00:00	Beijing	2008-11-06 11:00	2008	11	6	11	40	1 Hr	Valid
2008-11-06 12:00:00	Beijing	2008-11-06 12:00	2008	11	6	12	35	1 Hr	Valid
2008-11-06 13:00:00	Beijing	2008-11-06 13:00	2008	11	6	13	19	1 Hr	Valid

5087 rows × 9 columns

bj08idx = bj08.set_index(pd.to_datetime(bj08[['Year','Month','Day','Hour']]))
bj08idx

	Site	Date (LST)	Year	Month	Day	Hour	Value	Duration	QC Name
2008-04-08 15:00:00	Beijing	2008-04-08 15:00	2008	4	8	15	207	1 Hr	Valid
2008-04-08 16:00:00	Beijing	2008-04-08 16:00	2008	4	8	16	180	1 Hr	Valid
2008-04-08 17:00:00	Beijing	2008-04-08 17:00	2008	4	8	17	152	1 Hr	Valid
2008-04-08 18:00:00	Beijing	2008-04-08 18:00	2008	4	8	18	162	1 Hr	Valid
2008-04-08 19:00:00	Beijing	2008-04-08 19:00	2008	4	8	19	171	1 Hr	Valid
...	...	...	...	...	...	...	...	...	...
2008-11-06 09:00:00	Beijing	2008-11-06 09:00	2008	11	6	9	42	1 Hr	Valid
2008-11-06 10:00:00	Beijing	2008-11-06 10:00	2008	11	6	10	46	1 Hr	Valid
2008-11-06 11:00:00	Beijing	2008-11-06 11:00	2008	11	6	11	40	1 Hr	Valid
2008-11-06 12:00:00	Beijing	2008-11-06 12:00	2008	11	6	12	35	1 Hr	Valid
2008-11-06 13:00:00	Beijing	2008-11-06 13:00	2008	11	6	13	19	1 Hr	Valid

5087 rows × 9 columns

from datetime import datetime

bj08idx = bj08idx[bj08idx.Value > 0]#去掉-999缺失值
bj08idx.groupby(bj08idx.index.month).Value.mean()

4     103.897579
5      98.406504
6      99.794444
7      89.735945
8      65.361111
9      59.312224
10     84.249326
11     73.119403
Name: Value, dtype: float64

计算大于200，方法一

bj08idx[bj08idx.Value>200].drop_duplicates(['Day']).Day.count()

计算大于200，方法二

bj08idx[bj08idx.Value>200].Day.nunique()#nuique计算非重复数值的个数

3.数据的图形展示

3.1 配置绘图系统环境

# 图形在Pandas页面同步显示的问题
%matplotlib inline

# 绘图功能的进一步美化和功能增强包，参考http://seaborn.pydata.org/
import seaborn
seaborn.set_style("whitegrid")
# 注意有中文兼容问题，需要重新导入中文设定

# 中文字符兼容问题
import matplotlib
matplotlib.rcParams['font.sans-serif'] = ['SimHei']

# 进一步在一些细节上的美化和优化
import matplotlib.pyplot as plt
plt.figure()

df2['总分'].plot.box(title='总分的箱图分布', ylim=(60, 80))

3.2 绘图命令基本框架

df.plot(

绘图用数据
data : 数据框
x = None: 行变量的名称/顺序号
y = None : 列变量的名称/顺序号

kind = ‘line’ : 需要绘制的图形种类
‘line’ : line plot (default)
‘bar’ : vertical bar plot #条图
‘barh’ : horizontal bar plot #水平的条图
‘hist’ : histogram #折方图
‘box’ : boxplot
‘kde’ : Kernel Density Estimation plot #密度图
‘density’ : same as ‘kde’
‘area’ : area plot
‘pie’ : pie plot #饼图
‘scatter’ : scatter plot #散点图
‘hexbin’ : hexbin plot

各种辅助命令
figsize : a tuple (width, height) in inches
xlim / ylim : X/Y轴的取值范围，2-tuple/list格式
logx / logy / loglog = False : 对X/Y/双轴同时使用对数尺度
title : string or list
Alpha : 图形透明度，0-1

图组命令
subplots = False : 是否分图组绘制图形
sharex : 是否使用相同的X坐标
ax = None时，取值为True，否则取值为False
sharey = False : 是否使用相同的Y坐标
ax = None : 需要叠加的 matplotlib绘图对象
)

图形种类的等价写法

df.plot.kind()

df2['总分'].plot.box(title='总分的箱图分布', ylim=(60, 80))

# 考察过去一段时间的数据分布
bj08[-100:].Value.plot(figsize=(12,8))

bj.groupby(bj.Year).Value.plot() # 有无seaborn修饰时的结果不同

条图

需要先自行完成数据汇总，绘图函数只能完成绘图工作

简单条图

# 条图
pd.value_counts(df2.类型).plot.bar()

pd.value_counts(df2.类型).plot.barh()

复式条图

行索引构成大分组，变量列构成小分组

import numpy as np
dfnew = pd.DataFrame(np.random.rand(10, 4), columns=['a', 'b', 'c', 'd'])
print(dfnew)
dfnew.plot.bar()

分段条图

plot.bar(stacked = True)

dfnew.plot.bar(stacked = True)

直方图

简单直方图

plot.hist(

by : 在df中用于分组的变量列(绘制为图组)
bins = 10 : 需要拆分的组数
)

#直方图
df2.总分.plot.hist(bins=30)

直方图图组

hist(

by : 在df中用于分组的变量列(绘制为图组)
)

df2.总分.hist(by = df2.类型, bins=10)

饼图

注意是每行代表一个饼块的数据结构，因此需要先自行汇总好变量频数

plot.pie(

y : 指定需要绘制的变量列名称
subplots = False : 多个变量列时要求分组绘图
Labels
Colors
)

简单饼图

df2.类型.value_counts().plot.pie()

pd.value_counts(df2.类型).plot.pie()#和上面的是等价的

df2.loc[:9,['名次','总分']].plot.pie(subplots = True, figsize=(8, 4))

Semicircle 半饼图

当数值总和小于1时，绘制的是semicircle

pd.Series([0.1,0.2,0.1,0.3]
          , index=['a', 'b', 'c', 'd']).plot.pie(figsize=(6, 6))

箱图针对连续变量

plot.box(

vert = True : 是否纵向绘图
)

boxplot(

by : 在df中用于分组的变量列(绘制为图组)
)

df2.plot.box(vert = False) #显示出能显示的连续变量

df2.boxplot(by='类型')

散点图

plot.scatter(

默认变量x轴的变量名和y轴的变量名
s : 控制散点大小的变量列，不能使用df中的简写方式指定
c : 控制散点颜色的变量列
)

简单散点图

df2.plot.scatter('总分', '名次')

df2.plot.scatter(x= '总分', y='名次', c='名次')

df2.plot.scatter(x= '总分', y='名次', s=df2.名次)
 #s不能写成加引号的变量名

重叠散点图

使用matplotlib的ax对象进行图形叠加
ax = df.plot.scatter(x=’’, y=’’, color=’’, label=’’);
df.plot.scatter(x=’’, y=’’, color=’’, label=’’, ax=ax);

ax = df2.plot.scatter(x='总分', y='名次'
                      , color='DarkBlue', label='Group 1');
df2.plot.scatter(x='名次', y='总分'
                 , color='DarkGreen', label='Group 2', ax = ax);

实战：图形探索PM2.5数据

基于前面数据整理实战中的成果，要求：

绘制分年度的PM2.5箱图（所有箱体在一张图上）
分图组绘制PM2.5的直方图
绘制一天24小时PM2.5均值变化的线图
各年比较的PM2.5最大值超过100、200、300、500的天数的分段条图

bj.boxplot(by='Year')

bj.Value.hist(by = bj.Year, bins=20)

bjg= bj.groupby('Hour')
bjg['Value'].mean().plot()

bj.plot.scatter('Hour', 'Value')

pd.value_counts(bj[bj.Value>200].Year).plot.bar()

你可能感兴趣的:(python,数据分析,pandas)

Python | Leetcode Python题解之第385题迷你语法分析器 Mopes__ 分享 Python Leetcode 题解
题目：题解：classSolution:defdeserialize(self,s:str)->NestedInteger:index=0defdfs()->NestedInteger:nonlocalindexifs[index]=='[':index+=1ni=NestedInteger()whiles[index]!=']':ni.add(dfs())ifs[index]==',':inde
Python | Leetcode Python题解之第386题字典序排数 Mopes__ 分享 Python Leetcode 题解
题目：题解：classSolution:deflexicalOrder(self,n:int)->List[int]:ans=[0]*nnum=1foriinrange(n):ans[i]=numifnum*10n:num//=10num+=1returnans
基于Python的机器学习系列（16）：扩展 - AdaBoost 会飞的Anthony 信息系统机器学习人工智能 python 机器学习开发语言
简介在本篇中，我们将扩展之前的AdaBoost算法实现，深入探索其细节并进行一些修改。我们将重点修复代码中的潜在问题，并对AdaBoost的实现进行一些调整，以提高其准确性和可用性。1.修复Alpha计算中的问题在AdaBoost中，如果分类器的错误率e为0，则计算出的权重α将是未定义的。为了解决这个问题，我们可以在计算过程中向分母中添加一个非常小的值，以避免除零错误。2.调整学习率sklearn
Python 中特殊函数说明依旧阳光的老码农 Python python
在Python中，函数名前后各加两个下划线（例如__function_name__）通常表示这是一个特殊方法或者魔法方法。这样的函数在Python内部使用，或者作为某些特定操作（如属性访问、类型转换等）的钩子。例如，如果你定义了一个类并在这个类中有一个名为__init__的方法，那么这个方法会在创建类的新实例时自动被调用。特殊方法通常以双下划线开头和结尾，这是因为单下划线开头的名称是留给实现细节的
【Python系列】signal信号处理 Kwan的解忧杂货铺@新空间代码工作室 s2 Python python 信号处理开发语言
欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,
python的图像融合及图像的类型转换学习笔记 yava_free python 学习笔记
一、图像加法运算1.Numpy库加法其运算方法是：目标图像=图像1+图像2，运算结果进行取模运算。当像素值255时，结果为对255取模的结果，例如：(255+64)%255=642.OpenCV加法运算另一种方法是直接调用OpenCV库实现图像加法运算，方法如下：目标图像=cv2.add(图像1,图像2)此时结果是饱和运算，即：当像素值255时，结果为255，例如：(255+64)=255两种方法
Python with语句常见错误AttributeError: __enter__ coco_1998_2 #Python
连接MySQL过程中，withcon:cur=con.cursor()cur.executemany(final_str,symbols)出现如下错误：关乎with语句的用法中上下文管理器。上下文管理器必须同时提供__enter__()和__exit__()方法的定义，缺少任何一个都会导致AttributeError；with语句会先检查是否提供了__exit__()方法，然后检查是否定义了__e
新手python爬虫代码-适合新手的Python爬虫小程序 weixin_37988176
介绍：此程序是使用python做的一个爬虫小程序?爬取了python百度百科中的部分内容，因为这个demo是根据网站中的静态结构爬取的，所以如果百度百科词条的html结构发生变化需要修改部分内容。词条链接?http://baike.baidu.com/item/Python逻辑步骤:1.主程序部分，主要初始化程序中需要用到的各个模块分为(1)链接管理模块。(2)链接下载保存模块?(3)解析网页模块
在Ubuntu 18.04上安装MySQL的方法白如意i linux ubuntu mysql linux
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。介绍MySQL是一个开源的数据库管理系统，通常作为流行的LAMP（Linux、Apache、MySQL、PHP/Python/Perl）堆栈的一部分安装。它使用关系数据库和SQL（结构化查询语言）来管理数据。安装的简短版本很简单：更新软件包索引，安装mysql-server软件包，然后运行附带的安全脚
Python学习日志（1）—— IDE Strawberry96 python 学习 ide python
IDE，集成开发环境，帮助我们进行高效的开发。Python开发——IDE应用场景选择：适合本地开发：VSCode：适合初学者，轻量级PyCharm：适合有经验的程序员，多人合作，重量级适合远程开发：Jupter：适合数学科学家，AI开发VSCode和PyCharm的安装比较简单。Jupter是第一次听说，在进行AI的开发或者是图片处理之类的，可以在远程开发。安装Jupter//3.12是对应的py
Vue + Spring Boot + SQL Server + Python 部署到 Windows 服务器 Desire.. vue.js spring boot python
将Vue+SpringBoot+SQLServer+Python部署到Windows服务器上的具体步骤如下：1.准备服务器远程连接到服务器：使用远程桌面连接（RDP）登录到Windows服务器。确保有管理员权限以便进行安装和配置。网络配置：检查服务器的网络连接，并确保可以访问外网以下载必要的软件。如果服务器暂时无法联网，考虑使用本地文件进行安装。2.安装所需软件安装JDK（JavaDevelopm
Python学习和面试中的常见问题及答案写代码的M教授 Python学习计划 python 学习面试
整理了一些关于Python和机器学习算法的高级问题及其详细答案。这些问题涵盖了多个方面，包括数据处理、模型训练、评估、优化和实际应用。一、Python编程问题解释Python中的装饰器（Decorators）是什么？它们的作用是什么？答案：装饰器是一种高阶函数，能够在不修改函数定义的情况下扩展或修改函数的行为。它们通常用于日志记录、权限验证、缓存等场景。使用@decorator_name语法将装饰
基于python图书馆书目推荐数据分析与可视化-可视化大屏展示 q_1262330535 python 计算机毕业设计 python 数据分析数据库
收藏关注不迷路文章目录前言一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、文章目录前言传统的图书推荐管理，一开始都是手工记录，然后将手工记录的文档进行存档；随着电脑的普及，个性化智能图书推荐管理演变成了手工记录后，输入电脑进行存档。传统的管理方式，对管理者来说工作量大。而且这种图书推荐管理的方式，容易出现遗失或因为失误输入错误的信息等等。在这些基础上，我把python技术的图书馆书目
pip matplotlib 安装成功后却在pycharm中模块不识别 CptainLee pip matplotlib pycharm
pip默认按照的路径是C:\Users\username\AppData\Roaming\Python\Python311\site-packages，而python的环境变量却是C:\Users\username\AppData\Local\Programs\Python\Python311就需要把前面site-packages中的matplotlib相关文件复制到后者的Lib文件夹中，这样就可
pycharm 导入anaconda环境报错：conda executable is not found，error code:1 萧云安 pycharm conda python
打开pycahrm，点击左上角File->settings点击Projectxxx——>pythoninterpreter——>Addinterpreter点击condaEnviroment，显示condaexecutableisnotfound点击condaexecutable文件夹打开，…所在位置\Anaconda\Library\bin\conda.bat点击loadEnvironment选
C语言学习记录4 XSR_yeah 学习
今日学习了注释和对于条件语句和和循环语句的初识：1.注释：用于解释代码。两种方式：1.代码前加//2.在被注释代码上一行加/*，在被注释代码下一行加*/。（C语言的注释不支持嵌套）2.初始条件语句与循环语句：两者与python语句相似，条件语句用if和else，循环语句用for，while,dowhile后面将加快进程，开始着手竞赛准备
基于yolov8的安全帽反光衣护目镜检测系统python源码+onnx模型+评估指标曲线+精美GUI界面 FL1623863129 深度学习 YOLO
【算法介绍】基于YOLOv8的安全帽、反光衣及护目镜检测系统是一款集成了前沿深度学习与计算机视觉技术的智能监控系统。该系统利用YOLOv8这一尖端的目标检测模型，结合云计算与自动化图像处理技术，实现对工地、化工厂、煤矿等高风险作业区域工作人员安全装备穿戴情况的实时监控。该系统能够无死角地检测工作人员是否按规定佩戴安全帽、反光衣及护目镜，有效提高了安全管理的效率和准确性。一旦系统识别到未按规定穿戴安
JavaScript 无柳丶先生 javascript 开发语言
历史原名叫LiveScript，是由美国网景公司开发的是一种脚本语言，在网页中使用，运行在浏览器中。脚本语言：不需要编译的语言sqlpythonhtmlcssjavaScript直接有某种解释器(引擎)解释执行，逐行从上向下解释执行网景公司和sun公司合作，将LiveScript改名为javaScript1.javaScript代码写在哪2.变量如何声明3.数据类型4.运算符5.流程控制，循环语句
使用 ECharts 进行数据可视化小于负无穷 echarts 信息可视化前端 javascript 前端框架
1.概述ECharts是一个由百度开源的强大、灵活的JavaScript图表库，用于在Web页面上创建各种类型的数据可视化图表。它具有丰富的图表类型、强大的配置选项和良好的跨平台兼容性，广泛应用于数据分析、业务报表、仪表盘等场景。2.ECharts的安装ECharts的安装和引入非常简单，可以通过以下几种方式来使用：2.1通过CDN引入最简单的方式是通过CDN引入ECharts的脚本文件。在HTM
机器学习第9章-聚类 Rin__________ 机器学习笔记机器学习聚类支持向量机
机器学习第9章-聚类9.1聚类任务在“无监督学习”(unsupervisedlearning)中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。此类学习任务中研究最多、应用最广的是“聚类”(clustering)。聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”(cluster)。通过这样的划分，每
在neo4j中导入csv文件并构建知识图谱芹菜还是菜知识图谱 neo4j 知识图谱
本文csv文件数据来源于openKG中达观的开源知识图谱数据。从开源社区中下载下来的数据文件还是json，先用python把json文件转为csv文件。import csvimport jsonwith open('entities.json','r',encoding='utf-8')as fp: data=json.load(fp,strict=False)csv_file=open('en
干货 |17个常见的Python运行时错误编程阿布 python 开发语言爬虫数据库
Python运行时错误通常会在代码执行过程中因为各种问题（如语法错误、类型错误、索引错误等）而抛出。这里我将列出17个常见的Python运行时错误，并给出每个错误的简单示例代码：NameError-尝试访问一个未定义的变量。print(x)#x未定义TypeError-尝试将函数应用于不适当类型的对象。print(1+'a')#尝试将整数和字符串相加ZeroDivisionError-尝试除以零。
Python基础—16 个基础操作教程编程阿布 python java 前端开发语言数据分析
介绍本文中将分享一些Python使用技巧，这些技巧非常有用。通过学习和使用这些技巧，可以帮你节省时间和精力，并使你的代码更加优雅和高效。1.三元运算符Python中的三元运算符（也称为条件表达式）是一种简洁的编写条件语句的方式，它允许在一行代码中完成简单的if-else逻辑。三元运算符的基本语法如下：result=value_if_trueifconditionelsevalue_if_false
Python 中的 `and`, `or`, `not` 运算符：介绍与使用编程阿布 python 开发语言 Python学习学Python 数据库
在Python中，and、or、not是三个基本的逻辑运算符，它们用于组合或修改布尔值（True或False）的条件表达式。这些运算符在条件判断、循环控制以及函数的条件执行中扮演着重要角色。下面是对这三个运算符的详细介绍与使用示例。1.and运算符and运算符用于组合两个布尔表达式，当且仅当两个表达式都为True时，结果才为True。如果任一表达式为False，则结果为False。语法：expre
数据分析的罗盘：导航风险评估的艺术 2401_85812026 数据分析数据挖掘
数据分析的罗盘：导航风险评估的艺术在商业决策和项目管理中，风险评估是一个至关重要的环节。数据分析提供了一种强大的工具，可以帮助识别、评估和管理潜在风险。本文将详细介绍如何运用数据分析进行风险评估，并提供实际的代码示例，帮助你在不确定性中找到确定性。风险评估的重要性风险评估是识别、分析和评估项目或企业可能面临的风险的过程。它有助于制定策略，以减少或消除这些风险的影响，从而保护资产和确保业务连续性。数
【采集软件】抖音根据关键词批量采集搜索结果工具 python布道者0516 python 爬虫
这是我用Python开发的抖音关键词搜索采集工具软件。软件界面截图：爬取结果截图：软件演示视频：https://www.bilibili.com/video/BV1Fc41147Be完整讲解文章：https://www.bilibili.com/read/cv33750458
【采集软件】抖音评论区批量采集工具 python布道者0516 爬虫 python
用Python开发的抖音评论采集工具。软件界面截图：爬取结果截图：软件演示视频：https://www.bilibili.com/video/BV1zT4y1H7hs完整讲解文章：https://www.bilibili.com/read/cv33771828好用的工具值得拥有！！
【mysql】mysql之存储引擎学习向往风的男子 DBA mysql 学习数据库
本站以分享各种运维经验和运维所需要的技能为主《python零基础入门》：python零基础入门学习《python运维脚本》：python运维脚本实践《shell》：shell学习《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战《k8》从问题中去学习k8s《docker学习》暂未更新《ceph学习》ceph日常问题解决分享《日志收集》ELK+各种中间件《运维日常》
华为OD-2024年E卷-手机App防沉迷系统[100分]（ Java | Python3 | C++ | C语言 | JsNode | Go）实现100%通过率梅花C 华为OD题库华为od
题目描述智能手机方便了我们生活的同时，也侵占了我们不少的时间。“手机App防沉迷系统”能够让我们每天合理的规划手机App使用时间，在正确的时间做正确的事。它的大概原理是这样的:1、在一天24小时内，可注册每个App的允许使用时段;00:00______App1_________App2________________App3__________24:002、一个时段只能使用一个App，举例说明:不
1-pipeline()函数-transformers-python库 Flora-pi 人工智能人工智能
pipeline()函数pipeline()函数是Transformers库中最基本的工具。Transformer模型用于解决各种NLP任务，Transformers库提供了创建和使用这些模型的功能。我们先来看一看pipeline()是如何解决NLP问题。文章目录`pipeline()`函数情感分析目前可用的一些pipelines有：zero-shot-classification（零样本分类）t
VMware Workstation 11 或者 VMware Player 7安装MAC OS X 10.10 Yosemite iwindyforest vmware mac os 10.10 workstation player
最近尝试了下VMware下安装MacOS 系统，安装过程中发现网上可供参考的文章都是VMware Workstation 10以下， MacOS X 10.9以下的文章，只能提供大概的思路，但是实际安装起来由于版本问题，走了不少弯路，所以我尝试写以下总结，希望能给有兴趣安装OSX的人提供一点帮助。写在前面的话：其实安装好后发现，由于我的th
关于《基于模型驱动的B/S在线开发平台》源代码开源的疑虑？ deathwknight JavaScript java 框架
本人从学习Java开发到现在已有10年整，从一个要自学 java买成javascript的小菜鸟，成长为只会java和javascript语言的老菜鸟（个人邮箱：[email protected]）一路走来，跌跌撞撞。用自己的三年多业余时间，瞎搞一个小东西（基于模型驱动的B/S在线开发平台，非MVC框架、非代码生成）。希望与大家一起分享，同时有许些疑虑，希望有人可以交流下平台
如何把maven项目转成web项目 Kai_Ge maven MyEclipse
创建Web工程，使用eclipse ee创建maven web工程 1.右键项目,选择Project Facets,点击Convert to faceted from 2.更改Dynamic Web Module的Version为2.5.(3.0为Java7的,Tomcat6不支持). 如果提示错误,可能需要在Java Compiler设置Compiler compl
主管？？？ Array_06 工作
转载：http://www.blogjava.net/fastzch/archive/2010/11/25/339054.html 很久以前跟同事参加的培训，同事整理得很详细，必须得转！前段时间，公司有组织中高阶主管及其培养干部进行了为期三天的管理训练培训。三天的课程下来，虽然内容较多，因对老师三天来的课程内容深有感触，故借着整理学习心得的机会，将三天来的培训课程做了一个
python内置函数大全 2002wmj python
最近一直在看python的document，打算在基础方面重点看一下python的keyword、Build-in Function、Build-in Constants、Build-in Types、Build-in Exception这四个方面，其实在看的时候发现整个《The Python Standard Library》章节都是很不错的，其中描述了很多不错的主题。先把Build-in Fu
JSP页面通过JQUERY合并行 357029540 JavaScript jquery
在写程序的过程中我们难免会遇到在页面上合并单元行的情况，如图所示如果对于会的同学可能很简单，但是对没有思路的同学来说还是比较麻烦的，提供一下用JQUERY实现的参考代码 function mergeCell(){ var trs = $("#table tr"); &nb
Java基础冰天百华 java基础
学习函数式编程 package base; import java.text.DecimalFormat; public class Main { public static void main(String[] args) { // Integer a = 4; // Double aa = (double)a / 100000; // Decimal
unix时间戳相互转换 adminjun 转换 unix 时间戳
如何在不同编程语言中获取现在的Unix时间戳(Unix timestamp)？ Java time JavaScript Math.round(new Date().getTime()/1000) getTime()返回数值的单位是毫秒 Microsoft .NET / C# epoch = (DateTime.Now.ToUniversalTime().Ticks - 62135
作为一个合格程序员该做的事 aijuans 程序员
作为一个合格程序员每天该做的事 1、总结自己一天任务的完成情况最好的方式是写工作日志，把自己今天完成了什么事情，遇见了什么问题都记录下来，日后翻看好处多多 2、考虑自己明天应该做的主要工作把明天要做的事情列出来，并按照优先级排列，第二天应该把自己效率最高的时间分配给最重要的工作 3、考虑自己一天工作中失误的地方，并想出避免下一次再犯的方法出错不要紧，最重
由html5视频播放引发的总结 ayaoxinchao html5 视频 video
前言项目中存在视频播放的功能，前期设计是以flash播放器播放视频的。但是现在由于需要兼容苹果的设备，必须采用html5的方式来播放视频。我就出于兴趣对html5播放视频做了简单的了解，不了解不知道，水真是很深。本文所记录的知识一些浅尝辄止的知识，说起来很惭愧。视频结构本该直接介绍html5的<video>的，但鉴于本人对视频
解决httpclient访问自签名https报javax.net.ssl.SSLHandshakeException: sun.security.validat bewithme httpclient
如果你构建了一个https协议的站点，而此站点的安全证书并不是合法的第三方证书颁发机构所签发，那么你用httpclient去访问此站点会报如下错误 javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bu
Jedis连接池的入门级使用 bijian1013 redis redis数据库 jedis
Jedis连接池操作步骤如下： a.获取Jedis实例需要从JedisPool中获取； b.用完Jedis实例需要返还给JedisPool； c.如果Jedis在使用过程中出错，则也需要还给JedisPool； packag
变与不变 bingyingao 不变变亲情永恒
变与不变周末骑车转到了五年前租住的小区，曾经最爱吃的西北面馆、江西水饺、手工拉面早已不在，各种店铺都换了好几茬，这些是变的。三年前还很流行的一款手机在今天看起来已经落后的不像样子。三年前还运行的好好的一家公司，今天也已经不复存在。一座座高楼拔地而起，
【Scala十】Scala核心四：集合框架之List bit1129 scala
Spark的RDD作为一个分布式不可变的数据集合，它提供的转换操作，很多是借鉴于Scala的集合框架提供的一些函数，因此，有必要对Scala的集合进行详细的了解 1. 泛型集合都是协变的，对于List而言，如果B是A的子类，那么List[B]也是List[A]的子类，即可以把List[B]的实例赋值给List[A]变量 2. 给变量赋值(注意val关键字，a，b
Nested Functions in C bookjovi c closure
Nested Functions 又称closure，属于functional language中的概念，一直以为C中是不支持closure的，现在看来我错了，不过C标准中是不支持的，而GCC支持。既然GCC支持了closure，那么 lexical scoping自然也支持了，同时在C中label也是可以在nested functions中自由跳转的
Java-Collections Framework学习与总结-WeakHashMap BrokenDreams Collections
总结这个类之前，首先看一下Java引用的相关知识。Java的引用分为四种：强引用、软引用、弱引用和虚引用。强引用：就是常见的代码中的引用，如Object o = new Object();存在强引用的对象不会被垃圾收集
读《研磨设计模式》-代码笔记-解释器模式-Interpret bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 解释器（Interpreter）模式的意图是可以按照自己定义的组合规则集合来组合可执行对象 * * 代码示例实现XML里面1.读取单个元素的值 2.读取单个属性的值 * 多
After Effects操作&快捷键 cherishLC After Effects
1、快捷键官方文档中文版：https://helpx.adobe.com/cn/after-effects/using/keyboard-shortcuts-reference.html 英文版：https://helpx.adobe.com/after-effects/using/keyboard-shortcuts-reference.html 2、常用快捷键
Maven 常用命令 crabdave maven
Maven 常用命令 mvn archetype:generate mvn install mvn clean mvn clean complie mvn clean test mvn clean install mvn clean package mvn test mvn package mvn site mvn dependency:res
shell bad substitution daizj shell 脚本
#!/bin/sh /data/script/common/run_cmd.exp 192.168.13.168 "impala-shell -islave4 -q 'insert OVERWRITE table imeis.${tableName} select ${selectFields}, ds, fnv_hash(concat(cast(ds as string), im
Java SE 第二讲（原生数据类型 Primitive Data Type） dcj3sjt126com java
Java SE 第二讲： 1. Windows: notepad, editplus, ultraedit, gvim Linux: vi, vim, gedit 2. Java 中的数据类型分为两大类： 1）原生数据类型（Primitive Data Type） 2）引用类型（对象类型）（R
CGridView中实现批量删除 dcj3sjt126com PHP yii
1，CGridView中的columns添加 array( 'selectableRows' => 2, 'footer' => '<button type="button" onclick="GetCheckbox();" style=&
Java中泛型的各种使用 dyy_gusi java 泛型
Java中的泛型的使用：1.普通的泛型使用在使用类的时候后面的<>中的类型就是我们确定的类型。 public class MyClass1<T> {//此处定义的泛型是T private T var; public T getVar() { return var; } public void setVa
Web开发技术十年发展历程 gcq511120594 Web 浏览器数据挖掘
回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
openSession()与getCurrentSession()区别： hetongfei java DAO Hibernate
来自 http://blog.csdn.net/dy511/article/details/6166134 1.getCurrentSession创建的session会和绑定到当前线程,而openSession不会。 2. getCurrentSession创建的线程会在事务回滚或事物提交后自动关闭,而openSession必须手动关闭。这里getCurrentSession本地事务(本地
第一章安装Nginx+Lua开发环境 jinnianshilongnian nginx lua openresty
首先我们选择使用OpenResty，其是由Nginx核心加很多第三方模块组成，其最大的亮点是默认集成了Lua开发环境，使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO，可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等，使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒
HSQLDB In-Process方式访问内存数据库 liyonghui160com
HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。先睹为快！下面是一个In-Process方式访问内存数据库的代码示例：下面代码需要引入hsqldb.jar包（hsqldb-2.2.8） import java.s
Java线程的5个使用技巧 pda158 java 数据结构
Java线程有哪些不太为人所知的技巧与用法？　　萝卜白菜各有所爱。像我就喜欢Java。学无止境，这也是我喜欢它的一个原因。日常工作中你所用到的工具，通常都有些你从来没有了解过的东西，比方说某个方法或者是一些有趣的用法。比如说线程。没错，就是线程。或者确切说是Thread这个类。当我们在构建高可扩展性系统的时候，通常会面临各种各样的并发编程的问题，不过我们现在所要讲的可能会略有不同。
开发资源大整合：编程语言篇——JavaScript（1） shoothao JavaScript
概述：本系列的资源整合来自于github中各个领域的大牛，来收藏你感兴趣的东西吧。程序包管理器管理javascript库并提供对这些库的快速使用与打包的服务。 Bower - 用于web的程序包管理。 component - 用于客户端的程序包管理，构建更好的web应用程序。 spm - 全新的静态的文件包管
避免使用终结函数 vahoa.ma java jvm C++
终结函数（finalizer）通常是不可预测的，常常也是很危险的，一般情况下不是必要的。使用终结函数会导致不稳定的行为、更差的性能，以及带来移植性问题。不要把终结函数当做C++中的析构函数（destructors）的对应物。我自己总结了一下这一条的综合性结论是这样的： 1）在涉及使用资源，使用完毕后要释放资源的情形下，首先要用一个显示的方

pandas学习笔记（四）：数据的清洗、绘图以及时间数据的处理

注：学习笔记基于文彤老师的pandas的系列课程

1.数据清洗

1.1 处理缺失值

系统默认的缺失值设定

处理自定义缺失值

标识缺失值案例

填充缺失值

删除缺失值

1.2数据查重

直接删除重复的行

1.3直接比较数据框/变量列

实战：进一步整理PM2.5数据

2.处理日期时间变量

2.1建立Timestamp类和Period类

Timestamp对象 多种格式都可以转化

Peroid对象

2.2将数据转换为Timestamp类

使用pd.Timestamp()直接转换

用to_datetime进行批量转换，注意特点“批量”

基于所需的变量列合成Timestamp类

2.3使用DatetimeIndex类

建立DatetimeIndex对象

使用date_range建立DatetimeIndex对象

基于索引的快速切片操作

2.4 对时间序列做基本处理

2.4.1 序列的分组汇总

直接使用groupby方法进行汇总

使用功能更强的resample函数

2.4.2 序列的缺失值处理

序列数值平移

实战：建立时间索引

3.数据的图形展示

3.1 配置绘图系统环境

3.2 绘图命令基本框架

条图

简单条图

复式条图

分段条图

直方图

简单直方图

直方图图组

饼图

简单饼图

Semicircle 半饼图

箱图 针对连续变量

散点图

简单散点图

重叠散点图

实战：图形探索PM2.5数据

你可能感兴趣的:(python,数据分析,pandas)

Timestamp对象多种格式都可以转化

箱图针对连续变量