Numpy、Pandas、Matplotlib学习（更新ing...）
数据科学
-
- 一、Numpy
- 二、Pandas
- 三、Matplotlib
- 参考链接
一、Numpy
在numpy中以np.nan表示缺失值，它是一个浮点数。
二、Pandas
1、如要选出col0在30到80之间的行中col3与col1之差为奇数的行，或者col2大于50中的行col3超过col1均值的行，可以如下写出：
c11 = df["col 0"].between(30, 80)
c12 = (df["col 3"] - df["col 1"]) % 2 ==1
c21 = df["col 2"] > 50
c22 = df["col 3"] > df["col 1"].mean()
df.loc[(c11 & c12) | (c21 & c22)]
2、分别统计每一列的缺失值比例和每一行的缺失值比例
df.isna().mean() # 默认mean的axis参数为0，按照行方向计算列的均值。
df.isna().mean(axis=1)
如果想要统计每列包含的缺失值个数，只需把mean替换为sum即可。
如果想知道缺失的行或列具体实哪一些，可以如下操作：
df[df.isna().sum(1) >= 2]
在pandas中，删除某些包含缺失值的行或列可以通过dropna函数来实现：
df.dropna(axis=1,thresh=90) # axis为1和0分别指删除列和行
# thresh表示非缺失值没有达到这个数量的相应维度会被删除。
3、DataFrame.plot( )函数
使用pandas.DataFrame的plot方法绘制图像会按照数据的每一列绘制一条曲线，默认按照列columns的名称在适当的位置展示图例，比matplotlib绘制节省时间，且DataFrame格式的数据更规范，方便向量化及计算。
DataFrame.plot(x=None, y=None, kind='line', ax=None, subplots=False,
sharex=None, sharey=False, layout=None, figsize=None,
use_index=True, title=None, grid=None, legend=True,
style=None, logx=False, logy=False, loglog=False,
xticks=None, yticks=None, xlim=None, ylim=None, rot=None,
fontsize=None, colormap=None, position=0.5, table=False, yerr=None,
xerr=None, stacked=True/False, sort_columns=False,
secondary_y=False, mark_right=True, **kwds)
4、将数据写入到Excel的多个sheet
有时一个excel内会有多个sheet。但是将两组数据通过to_excel函数先后保存到一个excel内会发现只有后一组保存的数据，因为前一组的数据被后写入的数据覆盖了。
df1.to_excel('xxx.xlsx',sheet_name='df1')
df2.to_excel('xxx.xlsx',sheet_name='df2')
使用pd.ExcelWriter建立一个writer，然后，将df1，df2都使用to_excel（writer, sheet名），最后一次性将这些数据保存，并关闭writer就完成了
writer = pd.ExcelWriter('xxx.xlsx')
df1.to_excel(writer,sheet_name="df1")
df2.to_excel(writer,sheet_name="df2")
writer.save()
writer.close()
这样会覆盖我们原有的excel数据，如果不想覆盖，可以：
writer = pd.ExcelWriter('保存.xlsx') # 如果不存在，会自动创建excel
df = pd.read_excel("xxx.xlsx", sheet_name=xxx)
......
df_res.to_excel(writer, sheet_name=xxx, index=False)
5、找出每行或列的最大值所在的列索引或行索引：
返回一列最大值所在行的行索引df.idxmax()，默认参数为0
若参数设置为1，则为一行最大值所在列的列索引df.idxmax(1)
（取最小值为df.idxmin()）
三、Matplotlib
1、设置x轴为时间刻度
imoort pandas as pd
import matplotlib.pyplot as plt
import matplotlib.dates as mdates
df = pd.read_excel("***.xlsx")
# 绘制图像
fig, ax = plt.subplots()
ax.plot(df['time'], df['*'])
# 配置x轴时间间隔
time_format = mdates.DateFormatter('%H:%M:%S')
ax.xaxis.set_major_formatter(time_format)
ax.xaxis.set_major_locator(mdates.MinuteLocator(interval=240))
# 设置刻度位置
ax.set_xticks(pd.date_range(df['time'][0], df['time'][-1], freq='4h'))
# 还可以使用ax.set_xticklabels()来设置刻度的标签
# 设置开始坐标
ax.set_xlim(df['time'][0], df['time'][-1])
# 旋转x轴标签
fig.autofmt_xdate()
# 展示图形
plt.show()
参考链接
https://github.com/datawhalechina/joyful-pandas
https://github.com/datawhalechina/powerful-numpy
https://github.com/datawhalechina/fantastic-matplotlib