python中pandas进行数据分析与可视化（3）
1.创建数据源
在前几篇博客中，都是手动创建少量数据充当数据源，这次通过随机生成，让数据量多一些
# 导入所有需要的库
import pandas as pd
import numpy.random as np
import openpyxl
import xlrd
import matplotlib.pyplot as plt
#创建一些测试数据用来分析
# 设置种子
np.seed(111)
# 生成测试数据的函数
def CreateDataSet(Number=1):
Output = []
for i in range(Number):
# 创建一个按周计算的日期范围(每周一起始)
rng = pd.date_range(start='1/1/2019', end='12/31/2022',freq='W-MON') #freq表示日期的频率
# 创建一些随机数
data = np.randint(low=25, high=1000, size=len(rng))
# 状态池
status = [1, 2, 3]
# 创建一个随机的状态列表
random_status = [status[np.randint(low=0, high=len(status))] for i in range(len(rng))]
# 城市的列表
states = ['BJ','bj','SH','SHANGHAI','SZ','TJ','CQ','GZ']
# 创建一个城市的随机列表
random_states = [states[np.randint(low=0, high=len(states))] for i in range(len(rng))]
Output.extend(zip(random_states, random_status, data, rng))
return Output
dataset = CreateDataSet(4)
print(dataset)
df = pd.DataFrame(data=dataset, columns=['State','Status','CustomerCount','StatusDate'])
print(df.info)
2.保存至excel
如果不指定保存的文件路径，就会默认保存到当前路径下
# 结果保存到 Excel 中。 需要 openpyxl 包
df.to_excel('Lesson3.xlsx', index=False) #不保存索引，但是保存列名(column header)
3.读取excel
不仅可以将DataFrame对象保存为excel，也可以将excel文件以DataFrame对象形式读取出来
# 文件的位置
Location = r'./Lesson3.xlsx'
# 读取第一个页签(sheet)，并指定索引列是 StatusDate
df = pd.read_excel(Location, sheet_name=0, index_col='StatusDate') # 需要 xlrd 包
print(df.dtypes)
print(df.index)
print(df.head())
4.数据清洗
当我们获取了df这份数据之后，我们可以按指定规则对其进行清洗，随便举几个例子
- 确保 state 列都是大写
- 只选择 Status = 1 的那些记录
- 对 State 列中的 SHANGHAI 和 SH，都合并为 SH
4.1 确保 state 列都是大写
可以先查看一下当前数据里State列是否都是大写
# 快速看一下 State 列中的大小写情况
print(df['State'].unique())
根据返回的结果，可以发现存在部分小写的数据，这时候就可以进行处理
# 清洗 State 列，全部转换为大写
df['State'] = df.State.apply(lambda x: x.upper())
print(df['State'].unique())
这时候就会发现都已经变成了大写的数据
4.2 只选择 Status = 1 的那些记录
观察数据可以发现Status的值有多种，我们可以对其进行筛选，只选择为1的内容
# 只保留 Status == 1
mask = df['Status'] == 1
df = df[mask]
print(df['Status'].unique())
4.3 对 State 列中的 SHANGHAI 和 SH，都合并为 SH
因为在设定中，SHANGHAI和SH为同一座城市，所以可以将二者进行统一
# 将 SHANGHAI 转换为 SH
mask = df.State == 'SHANGHAI' #找出 State 列是 SHANGHAI 的所有记录
df['State'][mask] = 'SH' # 对 State 列是 SHANGHAI 的所有记录，将其替换为 SH
print(df['State'].unique())
5.数据可视化
在经历了数据清洗，现在就可以将数据进行可视化展示
plt.figure(figsize=(15, 5))
plt.plot(df['StatusDate'], df['CustomerCount'])
plt.show()
但因为这份数据涉及多个城市，所以可以单独只展示一座城市的数据
#只展示 BJ 数据
sortdf = df[df['State']=='BJ'].sort_index(axis=0)
plt.plot(sortdf['StatusDate'], sortdf['CustomerCount'])
plt.show()
这份数据不仅包含多个城市，还涉及多个时间段，所以可以先按State和StatusDate求和进行数据展示
# 先 reset_index，然后按照 State 和 StatusDate 来做分组 (groupby)
Daily = df.reset_index().groupby(['State','StatusDate']).sum()
print(Daily.head())
因为index和Status字段在这份数据里并不重要，所以可以对其进行删除
#去掉 Status 和 index
del Daily['index']
del Daily['Status']
print(Daily.head())
此时如果想要展示汇总之后的数据，则需要注意一点，
State和StatusDate现在是索引列，不是常规列，所以没有办法直接当作图表的x轴，不然会报错
#绘制求和后的折线图
Daily.plot(x='StatusDate',y='CustomerCount')
plt.show()
解决方式也很简单，去除索引列就可以了
#绘制求和后的折线图 这里需要先去除索引，不然无法获取 StatusDate 列
Daily.reset_index().plot(x='StatusDate',y='CustomerCount')
plt.show()
与上面类似，这里也可以指定城市进行数据展示
#绘制 指定城市 BJ 的 折线图 这里需要先去除索引，不然无法获取 StatusDate 列
Daily.loc['BJ'].reset_index().plot(x='StatusDate',y='CustomerCount')
plt.show()
python中pandas进行数据分析与可视化（4）
1.创建数据源
在有了前几篇的内容基础之后，本次会简单介绍一些DataFrame里的增删改查操作
# 导入需要的库
import pandas as pd
# 创建数据集
d = [0,1,2,3,4,5,6,7,8,9]
# 创建一个 dataframe
df = pd.DataFrame(d)
print(df)
2.增删改
# 修改列名
df.columns = ['Rev']
print(df)
# 增加一列
df['NewCol'] = 5
print(df)
# 修改一下新增加的这一列的值
df['NewCol'] = df['NewCol'] + 1
print(df)
# 让我们增加几列。 当使用 dataframe 没有的列时，dataframe 自动增加这个新列
df['test'] = 3
df['col'] = df['Rev']
print(df)
# 如果有需要，可以改变索引(index)的名字
i = ['a','b','c','d','e','f','g','h','i','j']
df.index = i
print(df)
3.查
# 使用 *loc，我们可以选择 dataframe 中的部分数据
print(df.loc['a'])
# df.loc[起始索引(包含):终止索引(包含)]
print(df.loc['a':'d'])
# df.iloc[起始索引(包含):终止索引(不包含)]
print(df.iloc[0:3])
# 也可以通过列名选择一列的值
print(df['Rev'])
#选择多列
print(df[['Rev', 'test']])
# df.loc[行范围, 列范围]
print(df.loc['a':'d','Rev'])
# 选择 top-N 个记录 (默认是 5 个)
print(df.head())
# 选择 bottom-N 个记录 (默认是 5 个)
print(df.tail())
python中pandas进行数据分析与可视化（5）
1.创建数据源
本次快速熟悉一下stack和unstack两个函数
# 导入库
import pandas as pd
# 小数聚集
d = {'one':[1,1],'two':[2,2]}
i = ['a','b']
# 创建一个 dataframe
df = pd.DataFrame(data = d, index = i)
print(df)
print(df.index)
2.STACK
# 把列(column)放置到索引位置
stack = df.stack()
print(stack)
print(stack.index)
3.unstack
unstack = df.unstack()
print(unstack)
print(unstack.index)
用 T (转置)，我们可以把列和索引交换位置
transpose = df.T
print(transpose)
print(transpose.index)
python中pandas进行数据分析与可视化（6）
1.创建数据源
和之前一样，需要先创建一个数据集，作为数据源
import pandas as pd
# 小数聚集
d = {'one':[1,1,1,1,1],
'two':[2,2,2,2,2],
'letter':['a','a','b','b','c']}
# 创建一个 dataframe
df = pd.DataFrame(d)
print(df)
2.分组求和
针对上面创建的数据集进行分组求和处理
# 创建一个 groupby 对象
one = df.groupby('letter')
# 在分组上应用 sum() 函数
print(one.sum())
我们会发现用来做聚合的字段会被默认作为索引字段
#聚合的字段会被默认列为索引
letterone = df.groupby(['letter','one']).sum()
print(letterone)
print(letterone.index)
如果要避免这种情况，可以通过下面这种方式进行处理
#不把用来分组的列名字作为索引
letterone = df.groupby(['letter','one'], as_index=False).sum()
print(letterone)
print(letterone.index)
