Python Pandas.Dataframe缺失值处理方法

目录

一、缺失值判断、删除、0填充

1.1 创建数据以及常用代码实现

 1.2 常规操作代码汇总

二、使用pandas 向上和向下填充的方法填充缺失值

2.1 创建数据

2.2 向上填充法

2.3 向下填充法

---

一、缺失值判断、删除、0填充

1.1 创建数据以及常用代码实现

#创建一个示例数据
import pandas as pd
import numpy as np

country1 = pd.Series({'Name': '中国',
                    'Language': 'Chinese',
                    'Area': '9.597M km2',
                     'Happiness Rank': 79})

country2 = pd.Series({'Name': '美国',
                    'Language': 'English (US)',
                    'Area': '9.834M km2',
                     'Happiness Rank': 14})

country3 = pd.Series({'Name': '澳大利亚',
                    'Language': 'English (AU)',
                    'Area': '7.692M km2',
                     'Happiness Rank': 9})

df = pd.DataFrame([country1, country2, country3], index=['CH', 'US', 'AU'])

 结果输出：

df['Area']['AU'] = np.nan #将数据中某个值填充成缺失值

df.isnull() #判断数据中是否有缺失值

 输出结果：

使用0填充缺失值

df.fillna(0)

结果输出：
 

 直接删除缺失值

df.dropna()

 结果输出：

直接将数据缺失值所在的行删除。

 1.2 常规操作代码汇总

#缺失值判断
import pandas as pd 
data = pd.read_excel('data.xlsx')
data.isnull() #判断数据中的所有列是否为缺失值
data['某一列'].isnull() #判断数据中的某一列是否为缺失值
data['某一列'].notnull() #判断数据中某一列是否不为缺失值


#缺失值处理
data.fillna(0) #将缺失值填充为0
data.dorpna() #将缺失值删除

二、使用pandas 向上和向下填充的方法填充缺失值

2.1 创建数据

import pandas as pd 
import numpy as  np 
data = np.random.randn(7,4) #生成7行4列的随机数
df = pd.DataFrame(data) 
df.loc[5,3] = np.nan #将数据中的一个值修改为缺失值
df 

结果输出：

2.2 向上填充法

df_1 = df.fillna(method='ffill') #使用向上填充的方式填充,缺失值就填充成缺失值上面的值
df_1

结果输出：

2.3 向下填充法

df_2 = df.fillna(method='bfill') #使用向下填充的方式填充,缺失值就填充成缺失值下面的值
df_2

 结果输出：