DataFrame描述统计、离散化、排序 (2020.04.09)

1.查看基本信息

1.df.info()
user_infor=pd.read_csv("new_infor.csv",index_col="索引名")  #index_col是指定原表列做索引
user_infor.info()

输出：
     Int64Index: 8 entries, 0 to 7              # 描述索引：长度为8，0-7
     Data columns (total 5 columns):            # 数据共5列
      #   Column      Non-Null Count  Dtype     # Non-Null代表非缺失数据个数
     ---  ------      --------------  ----- 
      0   Hero Name   8 non-null      object
      1   Age         8 non-null      int64 
      2   Sex         8 non-null      object
      3   Birthplace  8 non-null      object
      4   weapon      8 non-null      object
     dtypes: int64(1), object(4)                # 不同数据类型数量统计
     memory usage: 384.0+ bytes


2.df.head(num)  #查看头部几行
  df.tail(n)    #尾部几行

3.df.shape    #查看形状

4.df.T    #矩阵转置，注意与tail和head的连用

5.df.values  转为ndarray

2.描述与统计

2.1 常用统计指标

指标	描述
count()	计数项
first()、last()	第一项和最后一项
mean()、median()	均值与中位数
min()、max()	最大值与最小值
mode()	众数
std()、var()	标准差与方差
mad()	均值绝对偏差
prod()	所有项乘积
sum()	所有项求和

语法： df.指标函数()
注意：
1）Numpy没有众数方法，其他Numpy方法用法：np.指标方法(数据)
2）DF中的列可以取出后相加，就像矩阵相加

#生成第二个总分列，计算语文+数学成绩的总分，命名为‘总分2’
grade['总分2'] = grade['语文']+grade['数学']

#计算每个同学的‘数学减去语文’的成绩，取绝对值，命名为‘文理偏科值’。
np.abs(grade['数学']-grade['语文'])

2.2 df.describe() 批量返回数值列统计指标

源数据grade

grade=pd.read_csv('student_grade.txt',sep='\t')
# 只支持数值列,dtypes:数值
grade.describe()

describe()

如果想要查看非数字类型的列的统计指标，可以设置 include=["object"]来获得。

include：top与freq组合出现

2.3 Series.value_counts() 查看频率

1.查看某列数据频率
DF对象['列名'].value_counts()

2.查看多列：先取DF对象的列List，再查看
c=[]
for i in user_infor.columns:
    d=user_infor[i].value_counts()
    c.append(d)

---
输出：
索尔      1
黑寡妇     1
神奇女侠    1
奇异博士    1
钢铁侠     1
灭霸      1
蜘蛛侠     1
蝙蝠侠     1
Name: Hero Name, dtype: int64
---

---

3.离散化

3.1 pd.cut()

将数据按标准分段（分箱），区间默认为左开右闭

3.2 pd.qcut()

除了可以使用 cut 进行离散化之外，qcut 也可以实现离散化。cut 是根据每个值的大小来进行离散化的，qcut 是根据每个值出现的次数来进行离散化，也就是基于分位数的离散化功能。

4.排序

4.1 df.sort_index()

df.sort_index()  #按索引标签默认升序
df.sort_index(ascending=False) #按索引标签降序排

4.2 df.sort_values()

按给定值排，多条件用[]嵌套
user_info.sort_values(by = ['Age',"Power"],ascending = [False,True])

4.3 series.nlargest(n)

取最大的n行数据

5. 函数应用及映射

5.1 Series.map()

1）利用字典去对应(映射)更改列值（区别于直接修改的一一对应）

2）利用自定义函数

5.2 Series.apply()和df.apply()

apply 方法既支持 Series，也支持 DataFrame，在对 Series 操作时会作用到每个值上，在对 DataFrame 操作时会作用到所有行或所有列（通过 axis参数控制）。

# 对 Series 来说，如果使用自定义函数映射的方法，apply 方法 与 map 方法区别不大。
earth_city=['纽约','费城','纽约','哥谭','天堂岛',"斯大林格勒","科罗拉多州"]

def func(x):
    if x in earth_city:
        return "地球人"
    else:
        return "外星人"


heros.Birthplace.apply(func)  #这里只是将上一小节中的Series.map()换成了.apply()，其余代码一样

对 DataFrame 来说，apply 方法的作用对象是一行或一列数据（一个Series）

- axis为0或'index'：将函数应用于每列。
- axis为1或'columns'：将函数应用于每一行。

def max_01(x):
    return x.max()

# heros.Sex.value_counts()[0]
heros.apply(func=max_01,axis=0)

输出：
Hero Name      黑寡妇
Age           3000
Sex              男
Birthplace    阿斯加德
weapon          魔法
Power          140
dtype: object

pandas中map()、apply()、applymap()的区别：

• map()方法适用于Series对象，可以通过字典或函数类对象来构建映射关系对Series对象进行转换；
• apply()方法使用与Series对象、DataFrame对象、Groupby对象，处理的是行或列数据（本质上处理的是单个Series），用函数类对象来构建映射关系对Series对象进行转换；
• applymap()方法用来处理DataFrame对象的单个元素值，也是使用函数类对象映射转换；