Python读取大文件的面试题

问题：一个大小为100G的文件log.txt,要读取文件中的内容，写出具体过程代码

方法一：

利用open（）系统自带方法生成的迭代对象

with open("./data/log.txt",encoding='utf8') as f:
    for line in f:
        print(line)

for line in f 这种用法是把文件对象f当作迭代对象， 系统将自动处理IO缓冲和内存管理

 

方法二：

将文件切分成小段，每次处理完小段内容后，释放内存
这里会使用yield生成自定义可迭代对象， 即generator， 每一个带有yield的函数就是一个generator。

def read_in_block(file_path):
    BLOCK_SIZE = 1024
    with open(file_path, "r",encoding='utf8') as f:
        while True:
            block = f.read(BLOCK_SIZE)  # 每次读取固定长度到内存缓冲区
            if block:
                yield block
            else:
                return  # 如果读取到文件末尾，则退出

file_path = "./data/log.txt"
for block in read_in_block(file_path):
    print(block)