Python读取大文件

最近要准备一篇论文，其中涉及到10多个G的单个大文件，如何处理其中的信息变成了一个问题。通过搜索网上的教程，找到了一篇很好的博客，链接如下： https://blog.csdn.net/liang19890820/article/details/78206736 。特转载于此与大家分享，也作为自己以后参考的材料。

with open('filename', 'r', encoding = 'utf-8') as f:
    for line in f:
        do_something(line)

with 语句句柄负责打开和关闭文件（包括在内部块中引发异常时），for line in f 将文件对象 f 视为一个可迭代的数据类型，会自动使用 IO 缓存和内存管理，这样就不必担心大文件了。