Python 分段、迭代读取,防止内存爆炸的一些记录

仅做记录,有空再填坑。大多原理是迭代器,占用空间少,效率更高。

迭代读取字典时,

Python 2 使用

for k,v in d.iteritems():
    # do something

Python 3 使用

for k,v in d.items():
    # do something

迭代 list 是,

Python 2 用 xrange

for i in xrange(n):
    # n is int variable

Python 3 已经用 range 取代了 xrange。

对于 with open 读写文件时,特别是比较大的图片文件时,比如用 requests 爬取的图片,需要取回来保存在本地,这时可以使用 chunk 设定分段读取的值。

用 pandas 读取 MySQL 内容时,使用 chunksize 参数,防止 MySQL 表内容过大的报错。

你可能感兴趣的:(Python 分段、迭代读取,防止内存爆炸的一些记录)