Python 访问数据库（Pandas）

若要使用 pandas 读取数据库文件 read_sql，需要知道以下依赖：依赖SQLAlchemy库，而SQLAlchemy库依赖于 PyMySQL。

Pandas在读取数据（csv、xls、sql），都是将全部数据读入内存中，因此在数据量较大时难以实现。所以pandas提供了 chunksize参数，以分块读取大数据文件。

import pandas as pd
from sqlalchemy import create_engine

engine=create_engine('mysql+pymysql://root:[email protected]:3306/test?charset=utf8')
sql=pd.read_sql('all_gzdata',engine,chunksize=10000)

 

使用 create_engine 建立连接：

连接地址：数据库格式(mysql)+程序名(pymysql)+帐号密码@地址端口/数据库名(test)，最后指定编码方式