在python中利用pandas读取MySQL中的数据并将其写入excel表格中

问题描述：

猫哥在抓取了一大批数据后（过百万）想通过navicate直接导出成excel表格，然而发现电脑和navicate都不给力，导出到一半就会卡死，关都关不掉。于是便想到了强大的pandas

解决办法：

利用pandas从mysql中将数据读出来，再将读出的数据写到excel表格中。

代码实现：

# coding=utf-8
import pandas as pd
from pandas import DataFrame, Series
from sqlalchemy import create_engine
import time

# 开始时间
start =time.time()
# 建立链接
engine = create_engine('mysql+pymysql://root:[email protected]:3306/MyDB')
# 查询语句
sql = '''select * from test_table;'''
# 读取mysql
df = pd.read_sql_query(sql, engine)
print("从mysql中读取数据成功！开始将数据导入到excel表格中...")
# 将读取的数据格式化成DataFrame类型
test_data = DataFrame.from_records(df)
# 将数据写入excle中
test_data.to_excel("E:\\data\\testdata.xlsx", index=False)
print("导出成功！")
# 程序结束时间
end = time.time()
# 打印出程序的运行时间
print('Running time: {} Seconds'.format(end-start))

注：excel表格的最大行数是1048576，如果数据量大于这个数，需要自己增加表格哦！

完毕！