Pandas实战——Pandas初探

pandas in action.png

原书地址

本书主要由两大部分组成：pandas主要核心内容和pandas应用。全书共有14个章节，第一部分（core pandas）有5个章节，第二部分（Applied pandas）有9个章节。

第一章 pandas简介

pandas是python里的一个数据分析包（库），提供了数据操作相关工具，如排序，过滤，清洗，去重，聚合和透视（pivoting）等等。
在python的整个活跃的数据科学环境下，pandas扮演着十分重要的角色，即在各个领域都有不错的应用场景，如统计，自然语言处理，机器学习，数据可视化等。

Data in the 21st century

The world’s most valuable resource is no longer oil, but data.
Data is evidence, and evidence is critical to businesses, governments, institutions, and individuals solving increasingly complex problems in our interconnected world.

Introducing pandas

近十年来，在数据处理分析方面的技术发展还是很大的。Pandas作为一款开源免费的数据处理包，也越来越受到大众的喜欢。
Pandas，微软的Excel和Google的基于浏览器的表格应用（sheet application）的使用中都是对表格数据（行列表）进行相关处理，如行表示一行记录，列表示一个属性值，转换则表示将数据进行处理以得到所期望的格式或状态（如下图可能是做去重处理）。

Transformation

Pandas的发展过程中一直在平衡处理性能及效率（user productivity），即其一些基础计算方面都是以C语言进行实现，同时在应用层又提供用户极其简单的命令或api进行调用，实现了少量代码即能实现相关数据处理工作。

Pandas对很多的数据类型都是兼容的，或是说可以在各种数据类型间进行无缝切换调用，如数字型，文本型，日期型，缺失值等等。

Pandas是2008年开发出来的，2009年对外开放使用，在这十几年的发展优化过程中，pandas也是越来越成熟，使用者也是越来越多，应用场景连界也是不断在扩大的。

Pandas简单示例：读取csv文件并相关操作

pd.read_csv()

import pandas as pd

data_path = './data/pandas_in_action/movies.csv'

movies_df = pd.read_csv(data_path)
movies_df.head()

df.head()

• dataframe.head()，默认返回前5条数据，可以指定返回n条数据（df.head(n)）
• dataframe.tail()，默认返回后5条数据

读取时指定索引列（index_col）

movies_df = pd.read_csv(data_path, index_col='Title')
movies_df.head()

read_csv_index

数据信息及读取

# 查看数据
# 782
print(len(movies_df))
# (782, 4)
print(movies_df.shape)
# 所有数据量 3128
print(movies_df.size) 
print(movies_df.dtypes)
"""
Rank       int64
Studio    object
Gross     object
Year       int64
dtype: object
"""

# 指定行数进行数据读取
print(movies_df.iloc[499])
"""
Rank           500
Studio         Fox
Gross     $288.30 
Year          2018
Name: Maze Runner: The Death Cure, dtype: object
"""

# 索引值进行数据读取
print(movies_df.loc['Forrest Gump'])
"""
Rank            119
Studio    Paramount
Gross      $677.90 
Year           1994
Name: Forrest Gump, dtype: object
"""
# 索引值允许重复。实际使用中尽量不要使用重复值作为索引值！！
print(movies_df.loc['101 Dalmatians'])
"""
                Rank       Studio     Gross  Year
Title                                            
101 Dalmatians   425  Buena Vista  $320.70   1996
101 Dalmatians   708  Buena Vista  $215.90   1961
"""

数据一些操作

• 某列值进行排序

movies_df.sort_values(by='Year', ascending=False).head()

sort_values

• 多列进行排序组合

movies_df.sort_values(by=['Studio', 'Year']).head()

multi columns sort

• 索引列进行排序

movies_df.sort_index().head()

sort_index

• 统计计数

movies_df['Studio'].value_counts().head()

value_counts

• 单条件过滤

movies_df[movies_df['Studio'] == 'Universal']

filter conditions

• 多条件联合过滤

released_by_universal = movies_df["Studio"] == "Universal"
released_in_2015 = movies_df["Year"] == 2015
movies_df[released_by_universal & released_in_2015]

multiple criteria

• 多条件或过滤 either condition

released_by_universal = movies_df["Studio"] == "Universal"
released_in_2015 = movies_df["Year"] == 2015
movies_df[released_by_universal | released_in_2015]

either condition

• 大于小于之类逻辑过滤

before_1975 = movies_df['Year'] < 1975
movies_df[before_1975]

less or large than

• 区间过滤 between

mid_80s = movies_df['Year'].between(1983, 1986)
movies_df[mid_80s]

between ops

• 标题文本过滤

title_filter = movies_df.index.str.lower().str.contains('dark')
movies_df[title_filter]

str filter

• 组合操作 Grouping data

#将金额列去掉美元符，并从字符串转为float型
movies_df["Gross"].str.replace("$", "", regex = False).str.replace(",", "", regex = False).astype(float)

image.png

• 数据根据条件分组并进行相关统计计算

movies_df['Gross'] = movies_df["Gross"].str.replace("$", "", regex = False).str.replace(",", "", regex = False).astype(float)
studios = movies_df.groupby('Studio')
# studios['Gross'].count().head()
studios['Gross'].count().sort_values(ascending=False).head()

groupby().png