利用python将多个CSV文件写入sqllite数据库

前面写过用python的pandas模块处理csv表，得到想要的统计结果并用excel不同sheet进行展示。当时处理的CSV是每日的信息表，为了有个纵向的比较，我想把所有信息表（例如整个周或者整月）汇总起来，然后得到每周或者每月的一个统计信息。那第一步我们就将所有的信息表都写入数据库吧，后期只要按照日期列就可以取出不同时间断的所有信息了。思路如下：

1. 创建数据库；
2. 创建数据表；
3. 处理每个文件的文件名得到时间参数，这个参数后面会写入数据表；
4. 向数据表中逐条插入数据；
5. 提交命令并关闭

因为当前路径下有很多个csv文件，所以我们定义了一个get_all_csv_name函数，该函数主要作用就是提取当前路径下的所有csv文件。当然下次执行时，我们肯定不想重复写入数据到数据库，所以我们又定义了一个wjj.txt文件用于存放所有已经写入数据库的csv文件名。如下图：

无标题2.png

# -*- encoding=UTF-8 -*-
__author__ = 'wjj1982'
__date__ = '2019/8/24 12:02'
__product__ = 'PyCharm'
__filename__ = '每日当前告警写入数据库'

import sqlite3
import os
import pandas as pd


# 读txt文件，这个txt里面存的上次写入数据库的所有文件名
def read_txt(filename):
    if os.path.exists(filename):
        rf = open(filename, 'r')
        rf_content = rf.read()
        rf.close()
        return rf_content
    else:
        return []


# 程序运行的最后把本次写入数据库的所有csv文件名 写入txt文件，防止下次重复写入
def write_txt(filename, filename_list):
    wf = open(filename, 'a')
    for i in filename_list:
        wf.write(i + '\n')
    wf.close()

# 用os.walk模块获取当前路径下所有csv文件名，为了后续的逐个csv文件处理做准备。
def get_all_csv_name(path, filename_txt):
    rf_content = read_txt(filename_txt)
    filename_list = []
    for folderName, subfolders, filenames in os.walk(path):
        for file_name in filenames:
            if '.csv' in file_name and file_name not in rf_content:
                filename_list.append(file_name)
    return filename_list

# 定义数据表
def FM_table(conn):
    conn.execute("""CREATE TABLE IF NOT EXISTS FMTable (
            '告警日期' TEXT NOT NULL,
            '网元北向标识' TEXT,
            '网元' TEXT,
            '告警码名称' TEXT,
            '发生时间' TEXT,
            '告警原因' TEXT,
            '位置' TEXT)""")
    conn.commit()


def handle_filename_get_date(filename):
    # 提取年月日有两种写法，第一种用for循环，第二种用匿名函数
    # 方法1：
    # ymd_list = []
    # for i in range(3):
    #     ymd_list.append(filename.split('_')[2].split('-')[i])
    # 方法2：
    ymd_list = [filename.split('_')[2].split('-')[i] for i in range(3)]
    return '-'.join(ymd_list)


def read_csv_rb(filename):
    # 直接read_csv读取会报错，所以就增加了一步open来规避，注意：open后面一定要跟一个close
    filename = open(filename, 'rb')
    pd_csv = pd.read_csv(filename)
    filename.close()
    return pd_csv


def main():
    """1.定义数据库和数据表；2.处理文件名得到时间参数；3.读取当前告警csv表；4.逐条写入数据库"""
    # 定义变量
    path = 'E:\python\python-code\数据库操作\每日当前告警写入数据库'
    txt_name = 'wjj.txt'
    filename_list = get_all_csv_name(path, txt_name)
    db_name = 'current_FM_chengdian.db'

    # 1.(1)连接数据库，如果不存在会新建该数据库
    conn = sqlite3.connect(db_name)

    # 1.(2)调用建表函数，新建FM表
    FM_table(conn)

    for filename in filename_list:
        # 2.处理文件名得到时间参数
        FM_table_date = handle_filename_get_date(filename)

        # 3.读取当前告警csv表
        pd_csv = read_csv_rb(filename)

        # 4.逐条写入数据库
        for index in range(pd_csv.shape[0]):
            if '网元北向标志' in pd_csv.columns:
                me_id = pd_csv.iloc[index]['网元北向标志']
            else:
                me_id = pd_csv.iloc[index]['网元北向标识']
            # 所有数据具备有，统一添加当前告警表
            conn.execute(
                "INSERT INTO FMTable(告警日期,网元北向标识,网元,告警码名称,发生时间,告警原因,位置) VALUES(?,?,?,?,?,?,?)",
                (FM_table_date, me_id, pd_csv.iloc[index]['网元'], pd_csv.iloc[index]['告警码名称'],
                 pd_csv.iloc[index]['发生时间'], pd_csv.iloc[index]['告警原因'], pd_csv.iloc[index]['位置']))
        print("insert {} to {} successfully!".format(filename, db_name))
        # 最后提交插入命令，然后关闭数据库
    conn.commit()
    conn.close()
    write_txt(txt_name, filename_list)

if __name__ == '__main__':
    main()

最终执行结果如下：

无标题.png

查看数据库结果如下（信息安全的原因，我把涉及客户的信息擦掉了哈）：

无标题3.png