利用Python将数据库查询结果导出为EXCEL，CSV，TSV格式(性能比Kettle高接近1倍)
虽然可以用Kettle等ETL工具将数据库查询结果导出为EXCEL，CSV，TSV格式
但是Kettle等ETL工具导出效率太慢，实测本人写的Python脚本导出效率快高出Kettle一倍
import cx_Oracle
import os
import csv
import time
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8' #避免中文乱码
conn = cx_Oracle.connect('scott/[email protected]/orcl') #使用scott/tiger 连接到192.168.3.13
cur = conn.cursor() #定义一个游标用来执行DDL,DML,SELECT语句
cur.arraysize = 1000 #提升SELECT返回大量数据性能
header=[] #定义一个list变量用来保存表头
table_name=input("请输入要导出的表名:") #从键盘获取要导出的表名称
ifwriteheader=input("是否导出表头(y,n):") #从键盘获取是否导出表头,y表示导出表头，n表示不导出表头
cur.execute('select * from '+table_name+' where 1=0') #执行SELECT，获取表结构
for col_len in range(0,len(cur.description)): #循环遍历
header.append(cur.description[col_len][0]) #将表头添加到变量header
cur.execute('select * from '+table_name) #执行SELECT
print('开始导出:',time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
with open('csvfile.txt','w',newline='')as csvfile: #csvfile.txt改成csvfile.csv表示导出为excel 如果不加newline='' 每导出一行就有空的行
if ifwriteheader=='y':
writer= csv.DictWriter(csvfile,fieldnames=header) #用来写表头
writer.writeheader() #用来写表头
file = csv.writer(csvfile,delimiter=',') #delimiter默认是’,‘ 如果delimiter=' ' 表示导出为tsv
while True:
rows=cur.fetchmany() #每次获取cur.arraysize行数据
file.writerows(list(rows))
if not rows:
break #中断循环
cur.close() #关闭游标
conn.close() #关闭连接
print('导出完成:',time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))
想不想成为SQL大神？想不想精通SQL优化，精通所有关系型数据库优化？
加我微信692162374 报名单独辅导 ， 顺带我还可以教你Python，Oracle，MySQL，以及大数据