【100天精通Python】Day54：Python 数据分析_Pandas入门基础，核心数据结构Serise、DataFrame、Index对象，数据的导入导出操作

目录

1. Pandas简介

1.1 什么是Pandas？

1.2 为什么要使用Pandas？

1.3 安装和导入Pandas库

2. Pandas的核心数据结构

2.1 Series：一维标签数组

2.1.1 创建Series

2.1.2 自定义索引

2.2 DataFrame：二维数据表

2.2.1 创建DataFrame

2.2.2 从CSV文件导入DataFrame

2.3 Index对象：行和列标签的容器

2.3.1 创建Index对象

2.3.2 行索引和列索引

2.3.3 使用Index对象进行索引和切片

2.3.4 Index对象的属性和方法

3. 数据导入和导出

3.1 从CSV文件导入数据

3.2 从Excel文件导入数据

3.3 从SQL数据库导入数据

3.4 将数据保存到不同格式的文件中

---

1. Pandas简介

1.1 什么是Pandas？

Pandas是一个Python库，用于数据处理和数据分析。它提供了高性能、易于使用的数据结构和数据分析工具，特别适用于处理结构化数据。Pandas的两个主要数据结构是Series和DataFrame。

• Series：Series是一维的标签数组，类似于Python中的列表或数组，但每个元素都有一个标签（索引）。这使得Series在处理时间序列数据和其他有标签的数据上非常有用。

• DataFrame：DataFrame是一个二维的表格数据结构，类似于数据库表或Excel电子表格。它包含多个列，每列可以有不同的数据类型，并且有行和列的标签。

Pandas库还提供了许多数据操作和分析工具，包括数据过滤、排序、分组、聚合、合并等功能，使得用户能够轻松地处理和分析大规模数据集。

1.2 为什么要使用Pandas？

使用Pandas有以下几个优点：

1. 数据结构：Pandas的数据结构非常灵活，适用于各种数据类型和形式，包括时间序列、表格数据、多维数据等。

2. 数据清洗：Pandas提供了强大的数据清洗和预处理功能，包括处理缺失值、重复值、异常值等。

3. 数据分析：Pandas具有丰富的数据分析工具，可以进行统计分析、数据透视、相关性分析等，有助于洞察数据的特征和趋势。

4. 数据可视化：Pandas可以与其他数据可视化库（如Matplotlib和Seaborn）结合使用，轻松创建各种数据可视化图表。

5. 数据导入和导出：Pandas支持从多种数据源导入数据，包括CSV、Excel、SQL数据库等，也可以将处理后的数据导出到不同的格式中。

6. 广泛的社区支持：Pandas有一个庞大的用户社区，提供了大量文档、教程和支持，使得学习和使用Pandas变得更容易。

1.3 安装和导入Pandas库

要安装Pandas库，可以使用Python的包管理器pip。在命令行中运行以下命令来安装Pandas：

pip install pandas

安装完成后，你可以在Python脚本或交互式环境中导入Pandas库：

import pandas as pd

通常，Pandas被惯例性地导入并重命名为pd，这样可以更方便地使用Pandas的函数和数据结构。导入了Pandas，你就可以开始使用Pandas进行数据处理和分析了。

2. Pandas的核心数据结构

2.1 Series：一维标签数组

Series是一种类似于一维数组的数据结构，与Numpy数组不同，它具有标签（索引），可以用来标识和访问数据。Series由两个部分组成：数据部分和索引部分。

2.1.1 创建Series

import pandas as pd

# 创建一个Series，包含一些整数数据
data = pd.Series([1, 2, 3, 4, 5])

# 输出Series
print(data)

 输出结果：

0    1
1    2
2    3
3    4
4    5
dtype: int64

在上面的示例中，Series包含了一组整数数据，并自动分配了默认的整数索引（0, 1, 2, 3, 4）。

2.1.2 自定义索引

import pandas as pd

# 创建一个Series，指定自定义索引
data = pd.Series([1, 2, 3, 4, 5], index=['a', 'b', 'c', 'd', 'e'])

# 输出Series
print(data)

 输出结果：

a    1
b    2
c    3
d    4
e    5
dtype: int64

在这个示例中，我们为Series指定了自定义的索引，每个索引对应一个数据值。 

2.2 DataFrame：二维数据表

DataFrame是Pandas中最常用的数据结构，它类似于电子表格或SQL数据库中的表格数据。DataFrame由行和列组成，每列可以包含不同的数据类型。

2.2.1 创建DataFrame

import pandas as pd

# 创建一个简单的DataFrame，包含姓名和年龄列
data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David'],
        '年龄': [25, 30, 35, 40]}

df = pd.DataFrame(data)

# 输出DataFrame
print(df)

输出结果：

      姓名  年龄
0   Alice  25
1     Bob  30
2  Charlie  35
3    David  40

 在上面的示例中，我们创建了一个包含姓名和年龄列的DataFrame。每列的数据类型可以不同。

2.2.2 从CSV文件导入DataFrame

import pandas as pd

# 从CSV文件导入数据创建DataFrame
df = pd.read_csv('data.csv')

# 输出前几行数据
print(df.head())

        这个示例演示了如何从CSV文件导入数据并创建DataFrame。CSV文件中的数据将被转化为DataFrame的形式。 

2.3 Index对象：行和列标签的容器

       Index对象在Pandas中用于标识行和列的标签的容器。每个DataFrame都有一个行索引（行标签）和一个列索引（列标签），它们都是Index对象。Index对象是不可变的，这意味着一旦创建，你不能更改它们的内容。

以下是Index对象的详解和示例：

2.3.1 创建Index对象

你可以使用pd.Index()或直接在DataFrame中创建来创建Index对象。以下是一些示例：

import pandas as pd

# 使用pd.Index()创建Index对象
index1 = pd.Index(['a', 'b', 'c', 'd'])

# 直接在DataFrame中创建Index对象
data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David']}
df = pd.DataFrame(data, index=['A', 'B', 'C', 'D'])
index2 = df.index

print(index1)
print(index2)

输出结果

Index(['a', 'b', 'c', 'd'], dtype='object')
Index(['A', 'B', 'C', 'D'], dtype='object')

2.3.2 行索引和列索引

        在DataFrame中，Index对象用于标识行和列。行索引位于DataFrame的顶部，列索引位于DataFrame的左侧。以下是示例：

import pandas as pd

data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David']}
df = pd.DataFrame(data, index=['A', 'B', 'C', 'D'])

# 行索引
row_index = df.index
print("行索引：", row_index)

# 列索引
column_index = df.columns
print("列索引：", column_index)

输出结果：

行索引： Index(['A', 'B', 'C', 'D'], dtype='object')
列索引： Index(['姓名'], dtype='object')

2.3.3 使用Index对象进行索引和切片

你可以使用Index对象来选择DataFrame中的特定行或列。以下是一些示例：

import pandas as pd

data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David']}
df = pd.DataFrame(data, index=['A', 'B', 'C', 'D'])

# 选择特定行
selected_row = df.loc['B']  # 通过行标签选择
print("选择行：\n", selected_row)

# 选择特定列
selected_column = df['姓名']  # 通过列标签选择
print("选择列：\n", selected_column)

# 使用loc进行切片
sliced_df = df.loc['B':'C']  # 使用行标签进行切片
print("切片行：\n", sliced_df)

输出结果：

选择行：
 姓名    Bob
Name: B, dtype: object

选择列：
A      Alice
B        Bob
C    Charlie
D      David
Name: 姓名, dtype: object

切片行：
      姓名
B      Bob
C  Charlie

2.3.4 Index对象的属性和方法

Index对象具有一些常用的属性和方法，如values属性、tolist()方法等。以下是一些示例：

import pandas as pd

data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David']}
df = pd.DataFrame(data, index=['A', 'B', 'C', 'D'])
row_index = df.index

# 获取Index对象的值
index_values = row_index.values
print("Index对象的值：", index_values)

# 将Index对象转换为列表
index_list = row_index.tolist()
print("Index对象转换为列表：", index_list)

# 检查索引是否包含特定值
contains_value = 'B' in row_index
print("索引包含'B'：", contains_value)

输出结果：

Index对象的值： ['A' 'B' 'C' 'D']
Index对象转换为列表： ['A', 'B', 'C', 'D']
索引包含'B'： True

        Index对象在Pandas中的用途非常广泛，Index对象可以包含不同的数据类型，它们帮助标识和操作DataFrame的行和列，使数据分析更加方便。通过了解如何创建和使用Index对象，你可以更好地掌握Pandas中数据的索引和标签。

        这些是Pandas的核心数据结构的基本概念和示例。通过使用Series、DataFrame和Index，你可以更灵活地处理和分析各种数据集。

3. 数据导入和导出

        Pandas提供了丰富的功能，可以方便地从不同数据源导入数据，并将数据保存到不同格式的文件中。

3.1 从CSV文件导入数据

要从CSV文件导入数据，可以使用pd.read_csv()函数。假设有一个名为data.csv的CSV文件，包含如下数据：

姓名,年龄
Alice,25
Bob,30
Charlie,35
David,40

导入数据示例：

import pandas as pd

# 从CSV文件导入数据
df = pd.read_csv('data.csv')

# 输出DataFrame
print(df)

3.2 从Excel文件导入数据

        要从Excel文件导入数据，可以使用pd.read_excel()函数。假设有一个名为data.xlsx的Excel文件，包含如下数据：

姓名    年龄
Alice  25
Bob    30
Charlie 35
David  40

 导入数据示例：

import pandas as pd

# 从Excel文件导入数据
df = pd.read_excel('data.xlsx')

# 输出DataFrame
print(df)

3.3 从SQL数据库导入数据

        要从SQL数据库导入数据，可以使用pd.read_sql()函数。首先，你需要安装适当的数据库驱动程序（如pymysql、sqlite3等），然后建立数据库连接。

导入数据示例（使用SQLite数据库）：

import pandas as pd
import sqlite3

# 建立SQLite数据库连接
conn = sqlite3.connect('mydatabase.db')

# 从数据库导入数据
query = "SELECT * FROM mytable"
df = pd.read_sql(query, conn)

# 关闭数据库连接
conn.close()

# 输出DataFrame
print(df)

 3.4 将数据保存到不同格式的文件中

        要将DataFrame中的数据保存到不同格式的文件中，可以使用不同的to_函数，例如to_csv()、to_excel()、to_sql()等，具体取决于你要保存的文件类型。

3.4.1 将数据保存到CSV文件示例：

import pandas as pd

# 创建一个DataFrame
data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David'],
        '年龄': [25, 30, 35, 40]}
df = pd.DataFrame(data)

# 将数据保存到CSV文件
df.to_csv('output.csv', index=False)

3.4.2 将数据保存到Excel文件示例：

import pandas as pd

# 创建一个DataFrame
data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David'],
        '年龄': [25, 30, 35, 40]}
df = pd.DataFrame(data)

# 将数据保存到Excel文件
df.to_excel('output.xlsx', index=False)

3.4.3 将数据保存到SQL数据库示例（使用SQLite数据库）：

import pandas as pd
import sqlite3

# 创建一个DataFrame
data = {'姓名': ['Alice', 'Bob', 'Charlie', 'David'],
        '年龄': [25, 30, 35, 40]}
df = pd.DataFrame(data)

# 建立SQLite数据库连接
conn = sqlite3.connect('mydatabase.db')

# 将数据保存到数据库中的新表格
df.to_sql('mytable', conn, if_exists='replace', index=False)

# 关闭数据库连接
conn.close()

        在上面的示例中，我们首先创建一个DataFrame，然后使用sqlite3模块建立了与SQLite数据库文件mydatabase.db的连接。接下来，我们使用to_sql()函数将DataFrame的数据保存到名为mytable的新表格中。参数if_exists='replace'表示如果表格已经存在，则替换掉它。你可以根据需要选择其他选项，如'append'等。

        最后，我们关闭了数据库连接以确保数据已成功保存到数据库中。

        你可以在需要时修改数据、表格名称以及其他相关参数，以满足你的具体需求。