Python快速读取超大文件

方法一：
测试文件共6862646行，79.3M大小，耗时6.7秒。
缺点：每一行数据内容不能大于内存大小(一般不会)，否则就会造成MemoryError。

import time

print("开始处理...")
start = time.time()
file = r'e:\Python\mypy\搜狗词库\sogou_jianhua_new.txt'
with open(file, 'rb') as f:								#rb方式最快
	for line in f:
		li = line.strip()
		lin = str(li).lstrip("b")
end = time.time()
shi = end - start
print("已完成！总耗时%s秒！" % shi)

方法二：
使用yield：简单理解，yield就是return，返回一个值，并记住返回的位置，下次迭代就从这个位置后(下一行)开始。
正常情况使用上面的方式就可以了，但是，如果遇到整个文件只有一行，
而且按照特定的字符进行分割，上面的方式则不行了，这时候yield就非常有用了。
举个例子，log的形式是以{|}做为分割符的：
2018-06-18 16:12:08,289 - main - DEBUG - Do something{|}……
优点：不再限制每行数据的大小，即使整个大文件只有一行。
缺点：速度比上面的方式要慢。

def read_line(filename, split, size):
    with open(filename, 'r+') as f:
        buff = ''										#定义缓冲区
        while True:
            while split in buff:						#若split分割符在缓冲区
                position = buff.index(split)			#查找分割符第一次出现的位置
                yield buff[:position]					#返回一个值，并记住返回的位置，下次从此开始
                buff = buff[(position + len(split)):]	#更新buff，继续下一步
            chunk = f.read(size)						#若split不在缓冲区，则读取size个字符
            if not chunk:								#若chunk为空
                yield buff
                break 									#跳出循环
            buff = buff + chunk 						#若chunk不为空，则更新buff，继续下一步