python的pandas数据分析处理基础学习

pandas学习

一、 pandas基础

1. 什么是pandas?

一个开源的python类库:用于数据分析、数据处理、数据可视化

  • 高性能
  • 容易使用的数据结构
  • 容易使用的数据分析工具

很方便和其他类库一起使用:

  • numpy:用于数学计算

  • scikit-learn:用于机器学习

2. pandas 的安装

方法一:

pip3 install pandas

方法二:

下载使用Python类库集成安装包:anaconda      link: https://www.anaconda.com
当今最流行的python数据分析发行版
已经安装了数据分析需要的几乎所有的类库0
3. pandas读取数据

pandas 需要先读取表格类型的数据,然后进行分析

数据类型 说明 pandas读取方式
csv ,tsv,txt 用逗号,tab分割的纯文本文件 pd.read_csv
excel 微软xls或者xlsx pd.read_excel
mysql 关系型数据库表 pd.read_sql
  • 读取csv文件

    import os
    import pandas as pd
    
    fpath = "E:\MyProject\DataAnalysis\my_pandas\Datas\cpu_temp.csv"
    # 读取csv文件的所有数据
    datas = pd.read_csv(fpath)
    # 查看前几行的数据  默认前5行
    da = datas.head()
    print(da)
    # 查看数据的形状,返回行和列
    ds = datas.shape
    print(ds)
    # 查看列名列表
    df = datas.columns
    print(df)
    # 查看索引列
    dg = datas.index
    print(dg)
    # 查看每列的数据类型
    dh = datas.dtypes
    print(dh)
    
4. Pandas数据结构
import pandas as pd
import numpy as np
  • DataFrame:二维数据、整个表格、多行多列

    创建DataFrame的方法

    • 根据多个字典序列创建dataframe

      data = {
          'age':[23,45,32,56,32,54,22],
          'id': [1,2,3,4,5,6,7]
          'year': [1991,1992,1993,1994,1995,1996,1997]
      
      }
      d1 = pandas.DataFrame(data)
      
    • df.columns 和df.index

  • Series: 一维数据、一行或一列

    创建Series的三种方法:

    • 仅使用数据列表即可产生最简单的Series

      sl = pd.Series([1,'a',5.2,7])
      
    • 创建一个具有标签索引的Series

      s2 = pd.Series([1,'a',5.2,7], index=['d','e','f','g'])
      
    • 使用python字典创建Series

      sdata = {'a':3500,'b'=4566, 'c'=12556,'d'=12435}
      s3 = pd.Series(sdata)
      
5. Pandas 数据查询

Pandas查询数据的几种方法

  • df.loc 根据行,列的标签值查询

    • 使用单个标签值(label)查询数据

    • 使用值列表批量查询

    • 使用数值区间进行范围查询

    • 使用条件表达式查询

      df.loc[df["age"]<30,:]
      
      df.loc[(df['a']<=30) & (df['d']>=15) & (df[f]=='ssa'& (df['s']==1), :]
      
    • 调用函数查询

      df.loc[lambda df : (df['a']<30)& (df['d']>=15),:]
      
  • df.iloc 根据行,列的数字位置查询

  • df.where

  • df.query

注意:.loc既能查询,又能覆盖写入,强烈推荐

6. Pandas新增数据列
  • 直接赋值 修改列数值

    将第b列的含有@符合的值替换掉
    df.loc[:,"b"] = df["b"].str.replace("@","").astype('int32')
    
    

    计算差值新增一列插值

    df[:,"chazhi"] = df["a"] - df["b"]
    
  • df.apply

    index则axis=0  columns则axis=1
    
    
    def get_temp_type(x):
        if x["CPU0_Temp"]>60:
            return '高温'
        elif x["CPU0_Temp"] < 50:
            return '低温'
        return '常温'
    df.loc[:,'temp_type'] = df.apply(get_temp_type,axis=1)
    df['temp_type'].value_counts()
    
  • df.assign

    可以是lambda函数也可以是自定义函数
    df.assign(
        cpu0_huashi = lambda x :x['CPU0_Temp']*9/5 + 32,
        cpu1_huashi = lambda x: x['CPU1_Temp']*9/5 + 32
    
    )
    
  • 按条件选择分组分别赋值

    先创建空列(这里第一张创建新列的方式
    df["cup_type"] = ''
    df.loc[df['CPU1_Temp']- df['CPU0_Temp']>10,"cpu_type"] = "温差大"
    df.loc[df['CPU1_Temp']- df['CPU0_Temp']<=10,"cpu_type"] = "温差正常"
    
7. Pandas的数据统计函数
  • 汇总类统计

    提取所有数字列统计结果
    df.describe()
    
  • 唯一去重和按值计算

    • 唯一性去重

      一般不用于数值列,而是枚举,分类列

      df['b'].unique()
      
    • 按值计算

      df[‘a’].value_counts()

  • 相关系数和协方差

    用途(超级厉害):

    1. 两只股票,是不是同涨同跌?程度多大?正相关还是负相关?

    2. 产品销量的波动,跟哪些因素正相关、负相关,程度多大?

      对于两个变量X、Y

    • 协方差:衡量同向反向程度,如果协方差为正,说明X、Y同向变化,协方差越大说明同向程度越高;如果协方差为负,说明X、Y反向变化,协方差越小说明反向程度越高

      df.cov()
      
    • 相关系数:衡量相似程度,当他们的相关系数为1时,说明两个变量变化时的正向相似度最大,当相关系数为-1时,说明两个变量变化的反向相似度最大

      df.corr()
      
      df['a'].corr(df['b']) 查看a和b的相关系数
      df['a'].corr(df['b']-df['c'])
      
8. Pandas缺失值处理

pandas使用函数处理缺失值

  • isnull和notnull:检测是否为空值,可用于df和series

  • dropna:丢弃、删除缺失值 【下面是参数介绍】

    • axis:删除还是列,{0 or ‘index’,1 or ‘columns’},default 0
    • how: 如果等于any则任何值为空都删除,如果等于all则所有值都为空才删除
    • inplace:如果为True则修改当前df,否则返回新的df
  • fillna:填充空值 【下面是参数介绍】

    • value:用于填充的值,可以是单个值,或者字典(key为列名,value是值)
    • method:等于ffill使用前一个不为空的值填充for word fill;等于bfill使用后一个不为空的值填充back word fill
    • axis:按行还是列填充,{0 or ‘index’,1 or ‘columns’}
    • inplace:如果为True则修改当前df,否则返回新的df

你可能感兴趣的:(python,pandas,数据分析)