使用Python中的Pandas工具将多个CSV格式的数据文件合并为一个

---

使用软件

Pycharm 2020.1

安装Pandas工具

执行命令：pip install pandas

编写py程序

path：文件所处路径

import pandas as pd
import os

# 指定多个csv文件所在的目录
csv_dir = 'path'

# 获取目录下所有csv文件的文件名
file_names = os.listdir(csv_dir)

# 存储所有csv文件数据的列表
data_list = []

# 循环读取每个csv文件的数据并添加到data_list列表中
for file_name in file_names:
    if file_name.endswith('.csv'):
        file_path = os.path.join(csv_dir, file_name)
        data = pd.read_csv(file_path)
        data_list.append(data)

# 使用pandas的concat函数将所有数据按行合并为一个DataFrame对象
all_data = pd.concat(data_list, axis=0)

# 将合并后的所有数据保存为一个csv文件
all_data.to_csv('path+文件名.csv', index=False)

运行程序

出现下图

到合并文件目录查看文件，合并之前的文件每个就7，8MB，可以看到合并文件大小已经变为100MB多，说明已成功合并文件

注意事项

如在出现安装pandas时出现问题可更换镜像源重新进行安装
更换镜像源命令：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple