4G内存怎么读取5G数据（python中的生成器、Linux的split命令）

1、使用python的生成器，一小段一小段数据读取
生成器：具有yield的函数就是生成器，是一个可以返回迭代器的函数
迭代器：知道遍历位置的对象，有iter()和next()方法
代码举例：

 def get_lines():  # 生成器
    with open('12306.py', 'r') as f:
        while True:
            data = f.readlines(100)
            if data:
                yield data
            else:
                break

f = get_lines()  # 迭代器对象
print(next(f))
print(next(f))
print(next(f))

2、Linux的split命令
可以把文件拆成一个个小文件进行操作
作用：split将一个文件分割成一个个指定大小的文件
使用语法： split [–help][–version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文件][输出文件名]
常用的选项是-b按照字节切割，-l按照行数切割
在黑窗口中输入命令，使用举例：

 python@ubuntu:~/Desktop$ split -l 2 requirements.txt re.txt 
 意思：按照两行切割requirements.txt文件，切割后的文件名叫re.txt。
 回车后会生成好多re文件，里面都是两行代码