浅析Python数据处理的相关内容及要点

---

前言

Numpy、Pandas是Python数据处理中经常用到的两个框架，都是采用C语言编写，所以运算速度快。Matplotlib是Python的的画图工具，可以把之前处理后的数据通过图像绘制出来。之前只是看过语法，没有系统学习总结过，本博文总结了这三个框架的API。

以下是这三个框架的的简单介绍和区别：

• Numpy：经常用于数据生成和一些运算
• Pandas：基于Numpy构建的，是Numpy的升级版本
• Matplotlib：Python中强大的绘图工具
  

---

一、Numpy

具体可以参考我之前的文章：Python NumPy科学计算库的高级应用

1.Numpy属性

ndarray.ndim：维度
ndarray.shape：行数和列数，例如(3, 5)
ndarray.size：元素的个数
ndarray.dtype：元素类型

2.Numpy创建

array(object, dtype=None)：使用Python的list或者tuple创建数据
zeors(shape, dtype=float)：创建全为0的数据
ones(shape, dtype=None)：创建全为1的数据
empty(shape, dtype=float)：创建没有初始化的数据
arange([start, ]stop, [step, ]dtype=None)：创建固定间隔的数据段
linspace(start, stop, num=50, dtype=None)：在给定的范围，均匀的创建数据

3.Numpy运算

加、减：a + b、a - b
乘：b2、10np.sin(a)
次方：b**2
判断：a<35，输出True或False的数组
矩阵乘：np.dot(A,B) 或 A.dot(B)
其他：+=、-+、sin、cos、exp

4.Numpy索引

数组索引方式：A[1, 1]
切片：A[1, 1:3]
迭代：for item in A.flat

5.Numpy其他

reshape(a, newshape)：改变数据形状，不会对原始数据进行修改，返回一组新数据
resize(a, new_shape)：改变数据形状，会对原始数据进行修改，不返回数据
ravel(a)：将成一维返回

vstack(tup)：上下合并
hstack(tup)：左右合并
hsplit(ary, indices_or_sections)：水平分割n份
vsplit(ary, indices_or_sections)：垂直分割n份

copy(a)：深度拷贝

二、Pandas

1.Pandas数据结构

Pandas的数据结构有两种：Series和DataFrame。

Series：索引在左边，值在右边。创建方式如下：

In [4]: s = pd.Series([1,3,5,np.nan,6,8])
In [5]: s
Out[5]: 
0  1.0
1  3.0
2  5.0
3  NaN
4  6.0
5  8.0
dtype: float64

DataFrame：是一个表格型的数据结构，既有行索引也有列索引， 它可以被看做由Series组成的大字典。创建方式如下：

In [6]: dates = pd.date_range('20130101', periods=6)

In [7]: dates
Out[7]: 
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
        '2013-01-05', '2013-01-06'],
       dtype='datetime64[ns]', freq='D')

In [8]: df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))

2.Pandas查看数据

index：索引
columns：列索引
values：值
head(n=5)：返回前n项数据
tail(n=5)：返回后n项数据
describe()：打印出数据的数量、平均值等各项数据
sort_index(axis=1, ascending=False)：根据索引排序
sort_values(by=‘B’)：根据索引值排序

3.Pandas选择数据

数组选择方式：df[‘A’]
切片选择方式：df[0:3] 或 df[‘20130102’:‘20130104’]
根据标签选择：df.loc[‘20130102’:‘20130104’,[‘A’,‘B’]]
根据位置选择：df.iloc[3:5,0:2]
混合选择：df.ix[:3,[‘A’,‘C’]]
条件判断选择：df[df.A > 0]

4.Pandas处理丢失数据

删除丢失数据的行：df.dropna(how=‘any’)
填充丢失数据：df.fillna(value=5)
数据值是否为NaN：pd.isna(df1)

5.Pandas合并数据

pd.concat([df1, df2, df3], axis=0)：合并df
pd.merge(left, right, on=‘key’)：根据key字段合并
df.append(s, ignore_index=True)：添加数据

6.Pandas导入导出

df.to_csv(‘foo.csv’)：保存到csv文件
pd.read_csv(‘foo.csv’)：从csv文件读取
df.to_excel(‘foo.xlsx’, sheet_name=‘Sheet1’)：保存到excel文件
pd.read_excel(‘foo.xlsx’, ‘Sheet1’, index_col=None, na_values=[‘NA’])：从excel文件读取

三、Matplotlib

这里只介绍最简单的出图方式：

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 随机生成1000个数据
data = pd.Series(np.random.randn(1000),index=np.arange(1000))
# 为了方便观看效果, 我们累加这个数据
data.cumsum()
# pandas 数据可以直接观看其可视化形式
data.plot()
plt.show()

---

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

CSDN大礼包：《Python入门资料&实战源码&安装工具】免费领取（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python基础学习视频

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！

因篇幅有限，仅展示部分资料

三、精品Python学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

六、Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。


这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】