Python处理(加载、合并)多个csv文件

 数据集介绍：本数据集是某化工系统的数据，一共有很多个月的，我这里就拿一个月的数据集，August_data（八月的数据集)，一共有31个csv文件。

                     

方法一  for循环遍历+os.listdir(directory_path)+[ for file in tqdm] + os.path.join(path,file)

import pandas as pd
import numpy as np 
from tqdm import tqdm
import os

def get_data(path):
    df_list = []
    for file in tqdm(os.listdir(path)):##进度条
        file_path = os.path.join(path, file)
        df = pd.read_csv(file_path)
        df_list.append(df)
    df = pd.concat(df_list)
    return df

cPath = '.\August_data'
# cPath = 'F:/BaiduNetdiskDownload/宁东电厂数据及分析要求/宁东脱销系统优化-上海交大/SCR数据-2020-1/8月数据' #F:/BaiduNetdiskDownload/宁东电厂数据及分析要求/宁东脱销系统优化-上海交大/SCR数据-2020-1/8月数据
# uPath = str(cPath)#uPath = unicode(cPath,'utf-8')
# dirs = os.listdir(TEST_PATH)
# print(dirs)
test_df = get_data(cPath)
print(test_df.head())
# test_df.to_csv(path_or_buf="test.csv",index=False)#保存为CSV文件

 方法二   glob方法

#!/usr/bin/env python
# coding=utf-8

import glob
import time
import csv
import pandas as pd
from tqdm import tqdm
# a new file 
#open all the CSV file
#遍历文件夹下所有csv文件
TEST_PATH = '.\August_data' 
csv_list = glob.glob(f'{TEST_PATH}\*.csv')
print('共有%s个CSV文件'% len(csv_list))
# print (csv_list)

def get_data():
    df_list = []
    for csv_file in csv_list:
        df = pd.read_csv(csv_file)
        df_list.append(df)
    df = pd.concat(df_list)
    print("Loading Oer")
    return df
get_data()

参考

Python 读取多个CSV文件整合到一个CSV文件
 

Python --读取多个CSV文件特定行写入到新文件

Python os.listdir() 方法
 

glob模块使用教程​​​​​​​

glob模式匹配的规则​​​​​​​N​​​​​​​z

 pandas 之unique()函数与nunique()函数区别

总结

        两个办法都挺好的，浅层原理都是，得到文件夹下的各个文件的名字，然后利用该名字做遍历去加载csv。

# 如果目录名字为中文 需要转码处理：uPath = unicode(cPath,'utf-8')，但python2中的unicode()函数在python3中会报错：Python3没有unicode()这个函数，换成了 str()函数，但如果是csv本身数据不合规的处理起来还是麻烦，本身这套打法没问题。

如果对您有用的话的话，啦啦啦麻烦点个赞吧(●ˇ∀ˇ●)~~