Python 知识回顾之 Pandas(1)

导入pandas
import pandas as pd

Pandas的数据结构

1.Series

Series是一种类似于一维数组的对象,由两部分组成

  • values: 一组数据(ndarry类型)
  • index: 相关的数据索引标签
1)Series的创建

(1)由列表或numpy数组创建
&emps;默认索引为0到N-1的整数型索引

data1 = [1, 2, 3, 4, 5]
s1 = Series(data=data1) # 索引为0-4

index = ["lucy","mery","tom","jack","tony"]
data = np.random.randint(0,100,size=5)
s3 = Series(data=data, index=index, name="Score",dtype=np.float)


image.png

(2)由字典创建

dic = { "lucy":60, "mery":80, "tom":76, "tony":92 }
Series(data=dic, index=["lucy","mery","nokey"])


image.png

字典的键会被自动设置为索引
如果显示指定index,index的优先级会高于字典的键

2)Series的索引和切片

可以使用中括号取单个索引(此时返回的是元素类型),或者中括号里一个列表取多个索引(此时返回的仍然是一个Series类型)。分为显示索引和隐式索引:

data = np.random.randint(0,100,size=5)
index = list("ABCDE")
s = Series(data=data, index=index)


image.png

(1)显式索引:

1.字典访问
s["A"] ---> 12

2.属性访问
s.A ---> 12

3.Series访问
s.loc["A"] ---> 12

4.多元素访问,使用列表做索引
s.loc[["A", "B"]]
---> A  12
  B  82
  dtype: int32

5.Bool列表访问
s.loc[[True, False,True, False,False]]
---> A  12
  C   6
  dtype: int32

6.使用values属性获取series对象的值
s[s.values > 60]
---> B  82
  E  80
  dtype: int32

s.loc[s.values > s.values.mean()]
---> B  82
  D  49
  E  80
  dtype: int32

(2)隐式索引

1.数组访问
s[0]  ---> 12

2.series隐式访问
s.iloc[0] ---> 12

s.iloc[[0,1,3,1]]
---> A  12
  B  82
  D  49
  B  82
  dtype: int32

切片

显式索引切片
s.loc["A":"C"]
---> A  12
  B  82
  C  6
  dtype: int32

隐式索引切片(左闭右开)
s.iloc[0:2]
---> A  12
  B  82
  dtype: int32

3)Series 的属性
  • s.shape  形状
  • s.size  长度
  • s.index  索引
  • s.values  值
  • s.head(n)  查看前n个值
  • s.tail(n)   查看后n个值

可以使用pd.isnull(),pd.notnull(),或自带isnull(),notnull()函数检测缺失数据

s[s.notnull()] # 检测空值
s.isnull().any() # 检查是否存在空值

  • s.name  显示名称
  • s.sort_values()   根据值排序
  • s.sort_index()   根据索引排序
  • s.value_counts()  统计每个值出现次数

Series的运算:
在运算中自动对齐不同索引的数据,如果索引不对应,补NaN

  • s.add()  加
  • s.sub()  减
  • s.mul()  乘
  • s.div()  除

2.DataFrame

DataFrame是一个【表格型】的数据结构,可以看做是【由Series组成的字典】(共用同一个索引)。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引,也有列索引。

  • 行索引:index
  • 列索引:columns
  • 值:values(numpy的二维数组)

1)DataFrame的创建

最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称,以字典的值(一个数组)作为每一列。

此外,DataFrame会自动加上每一行的索引(和Series一样)。

同Series一样,若传入的列与字典的键不匹配,则相应的值为NaN。

index = ["lucy","mery","tom","jack","rose","tony"]
columns = ["python","java"]
data = np.random.randint(0,100,size=(6,2))
df = DataFrame(data=data, index=index, columns=columns)

image.png

以字典的形式构造dataframe

dic = {
"python":np.random.randint(0,100,size=6),
"java":np.random.random(size=6),
"name":["lucy","mery","tom","jack","rose","tony"]
}
df2 = DataFrame(data=dic)

image.png
从文件中读取DataFrame对象

df = pd.read_excel("文件名.xlsx"sheet_name="partitions",header=1, index_col=None)

  • sheet_names 制定sheet的索引或名字
  • header 指定哪些行作为列标签读取
  • index_col 指定哪些列作为行标签读取
使用Series构造DataFrame

python = Series(data=np.random.randint(0,100,size=5), index=["lucy","mery","tom","jack","rose"], name="Python")
DataFrame(data=python)

image.png

2)DataFrame的索引

dic = {
"python":np.random.randint(0,100,size=6),
"java":np.random.random(size=6),
"name":["lucy","mery","tom","jack","rose","tony"]
}
df = DataFrame(data=dic)


image.png

DataFrame访问
df.loc[2,"name"] = "JAREY123"


image.png

字典访问
df["name"]
属性访问
df.name


image.png

以列表作为索引访问,返回的是一个DataFrame对象
df[["java","python"]]


image.png

隐式访问,是把dataFrame看成普通的二维数组,所以访问逻辑与二维数组相同
df.iloc[:,[0,1]]


image.png

显式索引访问
df.loc[:,"name"]


image.png

(1) 对列进行索引

  • 通过类似字典的方式
  • 通过属性的方式

可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引,且name属性也已经设置好了,就是相应的列名。

(2) 对行进行索引

  • 使用.ix[]来进行行索引
  • 使用.loc[]加index来进行行索引
  • 使用.iloc[]加整数来进行行索引

同样返回一个Series,index为原来的columns。

(3) 对元素索引的方法

  • 使用列索引
  • 使用行索引(iloc[3,1]相当于两个参数;iloc[[3,3]] 里面的[3,3]看做一个参数)
  • 使用values属性(二维numpy数组)

3)DataFrame的运算

(1) DataFrame之间的运算

同Series一样:
在运算中自动对齐相同索引的数据
如果索引不对应,则补NaN

Python 操作符与pandas操作函数的对应表:

Python Operator Pandas Method(s)
+ add()
- sub(), subtract()
* mul(), multiply()
/ truediv(), div(), divide()
// floordiv()
% mod()
** pow()

(2) Series与DataFrame之间的运算

使用Python操作符:以行为单位操作(参数必须是行),对所有行都有效。(类似于numpy中二维数组与一维数组的运算,但可能出现NaN)

使用pandas操作函数:

  • axis=0:以列为单位操作(参数必须是列),对所有列都有效。
  • axis=1:以行为单位操作(参数必须是行),对所有行都有效。

你可能感兴趣的:(Python 知识回顾之 Pandas(1))