python查询数据库速度慢_用Python提高数据库查询速度

编辑-我正在使用Windows 10

对于MS sql数据库，有没有比pd.\u read_sql_查询更快的替代方法？在

我使用pandas读取数据，并在数据上添加一些列和计算。我现在已经删除了大部分的修改，基本上只读取(每天100-200万行；我的查询是读取以前日期的所有数据)数据并将其保存到本地数据库(Postgres)。在

我连接的服务器在世界各地，除了查询数据之外，我没有任何特权。如果可能的话，我希望解决方案保持在Python中。不过，我想加快速度，去掉任何开销。另外，您可以看到我正在将一个文件临时写入磁盘，然后打开它从STDIN复制。有没有办法跳过文件创建？它有时超过500mb，这似乎是浪费。在engine = create_engine(engine_name)

query = 'SELECT * FROM {} WHERE row_date = %s;'

df = pd.read_sql_query(query.format(table_name), engine, params={query_date})

df.to_csv('../raw/temp_table.csv', index=False)

df= open('../raw/temp_table.csv')

process_file(conn=pg_engine, table_name=table_name, file_object=df)