Python数据处理从零开始----第二章（pandas）⑧pandas读写csv文件(3)

目录

第二章（pandas）

Python数据处理从零开始----第二章（pandas）①删除列

Python数据处理从零开始----第二章（pandas）②处理缺失数据

Python数据处理从零开始----第二章（pandas）③数据标准化（1）

Python数据处理从零开始----第二章（pandas）④数据合并和处理重复值

Python数据处理从零开始----第二章（pandas）⑤pandas与R

Python数据处理从零开始----第二章（pandas）⑥相关性分析

Python数据处理从零开始----第二章（pandas）⑦pandas读写csv文件(1)

Python数据处理从零开始----第二章（pandas）⑧pandas读写csv文件(2)

Python数据处理从零开始----第二章（pandas）⑧pandas读写csv文件(3)

===============================================

• 将多个文件加载到Dataframe

如果我们有来自许多来源的数据，如果要同时分析来自不同CSV文件的数据，我们可能希望将它们全部加载到一个数据帧中。在接下来的示例中，我们将使用Pandas read_csv来读取多个文件。

首先，我们将使用Python os和fnmatch在“SimData”目录中列出文件类型为CSV的“Day”字样的所有文件。接下来，我们使用Python列表理解将CSV文件加载到数据帧中（存储在列表中，请参阅类型（dfs）输出）。

import os, fnmatch

csv_files = fnmatch.filter(os.listdir('./SimData'), '*Day*.csv')
dfs = [pd.read_csv('SimData/' + os.sep + csv_file) 
       for csv_file in csv_files]

type(dfs)
# Output: list

最后，我们使用方法concat来连接列表中的数据帧。 在示例文件中有一个名为“Day”的列，因此每天（即CSV文件）都是唯一的。

df = pd.concat(dfs, sort=False)
df.Day.unique()

我们要使用的第二种方法有点简单. 如果我们比较两种方法（os + fnmatch与glob），我们可以看到在我们不必放置路径。 这是因为glob将拥有我们文件的完整路径。 便利！

import glob

csv_files = glob.glob('SimData/*Day*.csv')
dfs = [pd.read_csv(csv_file) for csv_file in csv_files]

df = pd.concat(dfs, sort=False)

如果我们在每个CSV文件中没有列，确定它是哪个数据集（例如，来自不同日期的数据），我们可以在每个数据框的新列中应用文件名：

import glob

csv_files = glob.glob('SimData/*Day*.csv')
dfs = []

for csv_file in csv_files:
    temp_df = pd.read_csv(csv_file)
    temp_df['DataF'] = csv_file.split('\\')[1]
    dfs.append(temp_df)