求助关于pandas dataframe处理大csv相关问题

求问python:
背景介绍:
400000万数据想要按照chunksize500一组跑880次,并且与另外一组数据分别做corr.()

问题:

  1. 如何使用了chunksize后returned value依然是dataframde而不是textfilereader?
  2. 有没有更好的不是chunksize的循环方法?
  3. 如何能够使880份做了corr.()的文件比较哪个相关性更高?是同时读取880份文件第一行写到一个csv再进行比较吗?有无其他优化方案?

你可能感兴趣的:(笔记)