python数据分析学习
python数据分析
- 一、Matplotlib基本使用
-
- 1.1、基础绘图
- 1.2、改进生成的图像
-
- 1.2.1、设置图片大小
- 1.2.2、保存
- 1.2.3、修改轴的刻度
- 1.2.4、设置中文设置
- 1.2.5、给图形添加描述信息
- 1.2.6、添加图例
- 1.3、不同图像
- 二、Numpy基本使用
-
- 2.1、产生数组
- 2.2、数组属性
- 2.3、索引与切片
- 2.4、花式索引
-
- 注：
- 2.5、where语句
- 2.6、astype函数
- 2.7、数组操作
-
- sort函数
- argsort函数
- 求和
- 最大值/最小值
- 均值（平均值）
- 标准差
- 相关系数矩阵
- 改变数组形状
- 转置
- 数组连接
- 对数组内元素求绝对值
- 三、pandas
-
- 3.1、基本数据结构
-
- 3.1.1、Series
- 3.1.2、DataFrame
-
- 查看数据
- 3.2、读取数据及数据操作的
- 3.3、缺失值和异常值的处理
- 3.4、数据保存
- 3.5、数据格式转换
- 3.6、排序
- 3.7、基本统计分析
- 3.8、数据透视表
- 3.9、数据重塑和轴向旋转
-
- 3.9.1、层次化索引
- 3.9.2、数据旋转
- 3.10、数据分组和分组运算
- 3.11、离散化处理（区间化，分组）
- 3.12、合并数据集
-
- append
- merge
- concat
什么是数据分析：从一大堆无规则存入数据库的数据中，画出图，找到规律。别人可以根据这些规律为后续的决策提供数据上的支持。
流程：提出问题->准备数据->分析数据->获得结论->成果可视化
一、Matplotlib基本使用
- 作用：使数据进行可视化，更直观的呈现
- 定义：python底层绘图库，做数据可视化图表。模仿MATLAB构建
1.1、基础绘图
注：以上图形会存在很多问题，如x，y轴表示什么？还可以做的更好。
1.2、改进生成的图像
1.2.1、设置图片大小
plt.figure(figsize=(20, 8),dpi=80) #dpi每英寸的像素点
1.2.2、保存
plt.savefig(“./t1.png”) #保存到当前目录下
1.2.3、修改轴的刻度
- x轴刻度
plt.xticks(x) #设置x轴的刻度，根据x值 - y轴刻度
plt.yticks()
1.2.4、设置中文设置
- matplotlib默认不支持中文字符
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
1.2.5、给图形添加描述信息
# 添加描述信息
plt.xlabel("时间")
plt.ylabel("温度 单位(℃)")
plt.title("10点到12点每分钟的气温变化情况")
1.2.6、添加图例
plt.plot(x, y, label = "自己")
plt.legend()
1.3、不同图像
- 折线图：plt.plot（x，y）
- 散点图：plt.scatter（x，y）
- 条形图（柱状图）：plt.bar（x，y）
x：表示很多电影
y：这些电影的票房 - 多次条形图：plt.bar（x，y）
- 直方图：plt.hist（data，bins）：如250部电影的时长，希望统计出这些电影时长的分布状态（如100-120分钟的电影有几部）。
data：数据
bins：组数
二、Numpy基本使用
一个在python中做科学计算的基础库，用于大型、多维数组上执行数值计算
2.1、产生数组
- 产生数组
a = np.array([0, 1, 2, 3])
a = np.array([0, 1, 2, 3]，[0, 1, 2, 3]) #二维数组
f = np.arange(1, 4)
# 使用前先导入Numpy包
import numpy as np
# 从列表产生数组
a = np.array([0, 1, 2, 3]) # array([0,1,2,3])
# 修改数据类型
a = a.astype('float') # [0. 1. 2. 3.]
# 生成全0数组
b = np.zeros(5) # array([0.,0.,0.,0.,0.]) 默认都是浮点数
# 生成全1数组
c = np.ones(5) # array([1.,1.,1.,1.,1.]) 默认都是浮点数
d = np.ones(5, dtype='int') # array([1,1,1,1,1]) 默认都是整数
e = np.ones(5, dtype='bool') # array([True,True,True,True,True])
# 使用fill方法将数组设为指定值
d.fill(5) # [5,5,5,5,5]
# 生成整数序列
f = np.arange(1, 4) # [1,2,3]
g = np.arange(1, 4, 2) # [1,3] 间隔2
# 生成等差数列
g = np.linspace(1, 5, 2) # [1. 5.] 包含5，生成2个数字的等差数列
# 生成随机数
np.random.rand(2) # 生成2个0-1不包含1的随机数
np.random.randint(1,10,10) # 1-10里面10个随机整数
2.2、数组属性
# 查看类型
a = np.array([0, 1, 2, 3])
type(a) # 2.3、索引与切片
- 索引就和java中取数组中元素，修改数组元素一样
a = np.array([0, 1, 2, 3])
# 切片
print(a[1:3]) # [1 2]，3取不到
-
已知一部电影的累积票房数组a，如何知道每日票房是多少？
b=a[1:]-a[:-1]
后一个元素-前一个元素 -
注：切片中内存中使用的是引用机制。但是列表中并没有使用引用机制。这样做的好处是对于很大的数组，不用大量复制多余的值，节省了空间。缺点在于可能出现改变一个值改变另一个值的情况。如果不想这样，可以copy（）产生一个复制，申请新的内存。
a = np.array([0, 1, 2, 3, 4])
b = a[2:4]
b[0] = 10
print(a) # [ 0 1 10 3 4]
a = [0, 1, 2, 3, 4]
b = a[2:4]
b[0] = 10
print(a) # [0, 1, 2, 3, 4]
2.4、花式索引
切片只支持连续或者等间隔的切片操作，相实现任意位置的操作，需要使用花式索引fancy slicing
- 一维花式索引
a = np.arange(10) # [0 1 2 3 4 5 6 7 8 9]
index = [1, 2, -3] # 花式索引需要指定索引位置
# 花式索引需要指定索引位置
y = a[index] # [1 2 7]
mask = np.array([0, 1, 1, 0, 0, 0, 0, 1, 0, 0], dtype=bool) # 布尔数组必须与数组长度相等
# 使用布尔数组进行花式索引
y = a[mask] # [1 2 7]
- 二维花式索引
# 二维数组
a = np.array([[0, 1, 2, 3, 4, 5], [10, 11, 12, 13, 14, 15], [20, 21, 22, 23, 24, 25], [30, 31, 32, 33, 34, 35], [40, 41, 42, 43, 44, 45]])
"""
[[ 0 1 2 3 4 5]
[10 11 12 13 14 15]
[20 21 22 23 24 25]
[30 31 32 33 34 35]
[40 41 42 43 44 45]]
"""
# 返回主对角线上的5个值
a[(0, 1, 2, 3, 4), (0, 1, 2, 3, 4)] # [ 0 11 22 33 44]
# 返回最后三行的第1,3,5列
print(a[2:, [0, 2, 4]])
"""
[[20 22 24]
[30 32 34]
[40 42 44]]
"""
# 可以使用mask进行索引
mask = np.array([1, 0, 1, 0, 0], dtype=bool)
a[mask, 2] # [2 22],第一行和第三行在第2列上的元素
注：
和切片不同，花式索引返回的是原对象的一个复制，而不是引用
2.5、where语句
where(array)：函数返回所有非零元素的索引组成的元组
2.6、astype函数
作用：数组内部元素进行类型转换
a.astype(float) #把数组a中的元素类型转换为float
注：astype方法返回一个新数组，上述的a数组本身没有发生任何变化。
2.7、数组操作
sort函数
np.sort(数组)：升序排序，返回一个新的数组，数组本身没有发生变化
argsort函数
返回从小到大排列在原数组中的索引位置组成的数组，返回一个新的数组，数组本身没有发生变化
求和
np.sum(数组)
数组.sum()
最大值/最小值
np.max(数组)
数组.max（）
均值（平均值）
np.mean(数组)
数组.mean（）
标准差
np.std(数组)
数组.std（）
相关系数矩阵
np.cov（数组1，数组2）
改变数组形状
数组.shape=行数，列数 #修改原来数组
数组.reshape=行数，列数 #不会修改原来数组
转置
数组.T
数组.transpose()
数组连接
concatenate((数组1，数组2，…，数组N),axis=0)
#axis=0，默认=0，按列进行拼接；axis=1，按行进行拼接
对数组内元素求绝对值
np.abs(数组)
三、pandas
pandas为了解决数据分析任务而创建的，提供了大量能快速处理数据的函数和方法。
3.1、基本数据结构
3.1.1、Series
一维数组，和Numpy中的以为array类似。二者都和python基本数据结构List相近。Series能保存不同种数据类型，如字符串，boolean，数字等。
# 一维Series初始化
s = pd.Series([1, 3, 5, 7])
print(s)
"""
0 1
1 3
2 5
3 7
dtype: int64
"""
# 值
print(s.values) # [1 3 5 7]
3.1.2、DataFrame
可以将DataFrame理解为Series的容器。
# 构造一组时间序列,作为第一维的下标
date = pd.date_range('20180101', periods=6)
print(date)
"""
DatetimeIndex(['2018-01-01', '2018-01-02', '2018-01-03', '2018-01-04',
'2018-01-05', '2018-01-06'],
dtype='datetime64[ns]', freq='D')
"""
# 创建一个DataFrame结构，传入二维数组
df = pd.DataFrame(np.random.randn(6, 4), index=date, columns=list('ABCD'))
print(df)
"""
A B C D
2018-01-01 0.028054 -0.011711 -1.815449 -1.660712
2018-01-02 0.023858 0.029602 0.555685 -0.821091
2018-01-03 0.933844 -1.981967 -0.315082 2.741088
2018-01-04 0.656855 -0.933361 -1.157772 -0.125711
2018-01-05 -1.288328 -0.393373 0.016868 -0.475785
2018-01-06 0.687355 -1.174336 1.352607 0.749655
"""
查看数据
- 头尾数据
head和tail方法分别可以查看最前面几行和最后面几行的数据（默认为5）
pd.head（行数，不写默认5）：查看前面几行
pd.tail（行数，不写默认5）：查看后面几行 - 下标、列标、数据
# 下标用index属性查看
print(df.index)
"""
DatetimeIndex(['2018-01-01', '2018-01-02', '2018-01-03', '2018-01-04',
'2018-01-05', '2018-01-06'],
dtype='datetime64[ns]', freq='D')
"""
# 列标用colums属性查看
print(df.columns)
"""
Index(['A', 'B', 'C', 'D'], dtype='object')
"""
# 数据值用values查看
print(df.values)
"""
[[-0.75791157 0.21739634 -1.74623798 0.75583372]
[-0.55662077 -1.33064347 -0.07855572 -0.67922539]
[-0.29366036 0.67709975 -1.30220829 0.56232418]
[ 1.30443261 -0.34130766 -0.10806951 -0.10036263]
[ 1.47973816 -0.13419599 0.50770077 1.87527065]
[ 1.52196624 0.1338611 1.49359467 -0.68272916]]
"""
3.2、读取数据及数据操作的
读取如excel文件，
- 行操作
可以使用切片查看其中某些行操作，添加一行，删除一行。 - 列操作
查看某几列的内容（可以设置看哪几行数据），添加一列，删除一列。 - 条件选择
进行条件的筛选
3.3、缺失值和异常值的处理
-
缺失值
- 判断缺失值
判断每个空是否有值缺失，根据条件，每个空返回true或false
- 填充缺失值
- 删除缺失值
有缺失值的行进行删除
- 判断缺失值
-
异常值
即在数据集中存在不合理的值，如年龄为-1，笔记本的重量为1吨等。通常的处理方法是在不影响整体数据分布的情况下进行删除。
3.4、数据保存
数据处理之后，重新保存，如重新保存到excel（不存在可以创建）中。
3.5、数据格式转换
很多异常值是经过格式转换之后才会发现，对我们规整数据，清洗数据有重要作用（表面上看数据没有异常，但是可能数据内涵的格式会有不同，在转换过程中就会发生错误）
- 查看格式
dtype - 修改格式
astype
3.6、排序
- 默认排序
按照index进行排序 - 按照某一列的取值进行排序
sort_values
3.7、基本统计分析
- 描述性统计
- describe（）：对dataframe中的数值型数据进行描述性统计（count，mean，std，min等）。
- 通过描述性统计可以发现一些异常值（如年代特别大，时长是负值等），很多异常值是需要逐步去发现的。
- 最值
max，min - 均值和中值
mean（）：平均值
medium（）：中值 - 方差和标准差
方差：var
标准差：std - 求和
sum - 相关系数、协方差
相关系数：corr
协方差：cov - 计数
len
3.8、数据透视表
excel中的数据透视表使用非常广泛，pandas也提供了类似的功能pivot_table（处理数值类型的数据）。数据透视就是按照不同列进行分组，然后获取统计分析。即筛选。
3.9、数据重塑和轴向旋转
3.9.1、层次化索引
使一个轴上拥有多个索引。
- series的层次化索引
- 通过unstack方法可以将series变成一个dataframe，dataframe可以转换为层次化索引series
- dataframe的层次化索引
对于dataframe来说，行和列都能够进行层次化索引。- set_index把列变成索引
- 优点：简化筛选操作（不似筛选操作代码那么复杂）
- 取消层次化索引：reset_index（）
3.9.2、数据旋转
- 行列旋转
3.10、数据分组和分组运算
- GroupBy技术
实现数据的分组和分组运算，作用类似于数据透视表。只会对数值型数据进行分组运算。- 层次化索引series通过unstack方法转化为dataframe可能会产生缺失值（dataframe不是每个值在层次化索引中都是有值得）。
3.11、离散化处理（区间化，分组）
在实际的数据分析项目中，对有的数据属性，往往不关注数据的绝对取值，只关注它所在的区间或等级。如把评分9分以上的电影定义为A，7-9分的电影定义为B。
- cut（）函数处理分组
3.12、合并数据集
append
一般用于有相同列的合并
merge
类似于数据库的合并，可以有左连接右连接。2个数据集进行合并
concat
多个数据集进行批量合并