Python实现数据库数据导入Excel

之前已经使用SchemaSpy工具分析了数据库的结构，之后就可以比较方便的将数据从数据库导出到Excel等文件中，这次我选择使用Python来完成这个工作。

1 任务简介

把PostgreSql数据库中5张表的数据导出到Excel文件中，查询的字段涉及到5张表，所以需要联合查询，其中还有两张表存在自引用，所以还会更复杂一些。

---

2 工具

• 使用psycopg2模块连接数据库
• 使用xlwt模块操作Excel文件

---

2.1 psycopg2

这个模块用法很常规，

• 连接数据库
• 执行SQL
• 获取结果

重点在于SQL语句的构造，因为涉及多个表，所以不得已要使用join，那么为了考虑效率应当把数据量大的表放在小表的前面。

---

2.2 xlwt

这个模块用于写Excel文件，与之对应的还有xlrd来完成读文件的操作。
用法也很简单，

• 新建Excel文件
• 新建sheet表
• 定位起始单元格
• 写内容
• 保存&关闭文件

需要注意的问题有两点:

• 文件编码，新建文件时需要指明utf-8
• 表格大小，由于xls文件最多只能到65535行，所以表过大的时候要么换xlsx格式，要么切分成多个表。Python处理xlsx的模块是xlsxwriter

---

3 代码

具体实现如下：

#!/usr/bin/env python  
# -*- coding: utf-8 -*-  

import psycopg2
import xlwt

hostIp = '127.0.0.1'
port = '5432'
dbName = 'source'
user = 'liuyueyi'
password = 'password'


sql = '''
select site.name,study.name,sheets.id,sheets.patient_name,crf.label,section.label,form_rows.uid,form_rows.label,sheet_row_values.value 
from sheet_row_values 
inner join form_rows on form_rows.uid = sheet_row_values.uid 
inner join form_groups section on section.id = form_rows.group_id
inner join form_groups crf on section.parent_id = crf.id
inner join sheets on sheets.id = sheet_row_values.sheet_id 
inner join departments site on sheets.center_id = site.id 
inner join departments study on site.parent_id = study.id;
'''

file = xlwt.Workbook(encoding='utf-8')

sheet1 = file.add_sheet(u'sheet1')

row0 = [u'site_name',u'study_name',u'sheets_id',u'patient_name',u'crf_name',u'section_name',u'form_rows_uid',u'form_rows_label',u'row_value']
for i in range(0, len(row0)):
  sheet1.write(0,i,row0[i])


conn = psycopg2.connect(database=dbName,host=hostIp,port=port,user=user,password=password)
cur = conn.cursor()
cur.execute(sql)
rows = cur.fetchall()

for i in range(0,len(rows)):
  for j in range(0,len(rows[i])):
    sheet1.write(i+1,j,rows[i][j])

file.save('result.xls')