头歌机器学习---Pandas数值统计 Pandas数据清洗

第1关 Pandas数值统计 

因为series和dataframe是两个不同的对象，所以它们有自己独特的方法。接下来让我们看一个series方法的例子—Series.value_counts()方法。此方法按顺序显示列中的每个非空值及其计数。

首先，我们将从f500的dataframe中选择一个列：

1. sectors = f500["sector"]
2. print(type(sectors))

输出结果：

1. class 'pandas.core.series.Series'

接下来，我们将把Series.value_counts()中的“Series”替换为sectors，如下所示：

1. sectors_value_counts = sectors.value_counts()
2. print(sectors_value_counts)

输出结果：

1. Financials 118
2. Energy 80
3. Technology 44
4. Motor Vehicles & Parts 34
5. Wholesalers 28
6. Health Care 27
7. Food & Drug Stores 20
8. Transportation 19
9. Telecommunications 18
10. Retailing 17
11. Food, Beverages & Tobacco 16
12. Materials 16
13. Industrials 15
14. Aerospace & Defense 14
15. Engineering & Construction 13
16. Chemicals 7
17. Media 3
18. Hotels, Restaurants & Leisure 3
19. Business Services 3
20. Household Products 3
21. Apparel 2
22. Name: sector, dtype: int64

我们可以看到列中每个非空值及其计数。

让我们看看当我们尝试对dataframe使用Series.value_counts()方法时会发生什么。首先，我们将选择sector和industry列来创建一个名为sectors_industries的dataframe：

  sectors_industries = f500[["sector", "industry"]]

  print(type(sectors_industries))

输出结果：

  < class 'pandas.core.frame.DataFrame' >

然后，我们将尝试使用value_counts()方法：

  si_value_counts = sectors_industries.value_counts()

  print(si_value_counts)

因为value_counts()只是series的方法，所以我们得到以下错误： AttributeError: 'DataFrame' object has no attribute 'value_counts'

最终答案如下：

import pandas as pd
f500 = pd.read_csv('f500.csv',index_col=0)
f500.index.name = None
f500_sel = f500.iloc[[0,1,2,3,4,8]]


# 请在此添加代码
#********** Begin **********#
countries=f500_sel["country"]
country_counts=countries.value_counts()
print(countries)
print(country_counts)
#********** End **********#

第2关 Pandas数据清洗​​​​​

缺失值处理：

1、检查缺失值

Pandas提供了isnull()和notnull()两个函数来检测数据中的NaN值。Series和DataFrame对象都可以使用。

2、处理缺失值

Pandas中可以通过fillna()函数来用非空数据填充NA值，如果想排除缺少的值，可以使用dropna()函数。删除缺失值时，可以传入axis参数，axis=0时则整行被删除，反之则整列被删除。默认值为0。

重复值处理：

检查重复值

Pandas中的duplicated()返回bool的Series序列表示该行是不是重复值。

异常值处理：

检测异常值

发现异常值的方法是对数据进行描述性统计。使用describe函数可以生成描述统计结果，然后观察异常值的存在。超出数据正常范围的值即为异常值。

异常值处理：

检测到了异常值，我们需要对其进行一定的处理。而一般异常值的处理方法可大致分为以下几种：

• 直接将含有异常值的记录删除；
• 将异常值视为缺失值，利用缺失值处理的方法进行处理；
• 可用前后两个观测值的平均值修正该异常值；
• 直接在具有异常值的数据集上进行数据挖掘。

是否要删除异常值可根据实际情况考虑。因为一些模型对异常值不很敏感，即使有异常值也不影响模型效果。

import pandas as pd

def clean():

 #********** Begin *********#
    
    fd1=pd.read_csv('step2/message.csv',header=0)
    fd2=fd1.dropna().drop_duplicates().reset_index()
    return fd2
 #********** End **********#

if __name__ == '__main__':
    print(clean())