Pandas高效率插入数据(to_sql进阶用法)

设置create_engine参数:fast_executemany=True,可以提高tosql效率N倍(自己测试七十万条数据插入,设置fast_executemany后的时间仅需两分钟左右,未设置之前跑了一个多小时都没跑完被我手动结束)

connection_string = "xxxxxxxxx"
engine = create_engine(connection_string,fast_executemany=True)
df.to_sql('table_name', con=engine,index = False , if_exists = 'append', chunksize = None)

如果你觉得你电脑配置很强大的话,还可以在to_sql中添加此参数:

method=‘multi’

注:sqlalchemy与pyodbc要选择合适的版本
SQLAlchemy 1.3.2 (版本需要大于1.3.0)
pyodbc 4.0.25 (如果不行请切换其他版本,之前我试了4.0.26不行,就降级了)

你可能感兴趣的:(Python,Pandas)