python读取大文件的小技巧

如今，python在我们身边的应用是很多的，那么大家知道有哪些神奇的python小技巧能够读取大文件吗？下面就给大家详细介绍下相关信息。

1、当我们使用python读取文件的时候，我们通常是这样写的：
with open(‘xx.txt’,‘r’)as f:
for line in f:
print(line)
这样我们就可以遍历一行行的遍历文本。

2、但是当文本很大的时候，我们就不能这样写了，因为这样可能导致我们的内存爆掉了。我们可以利用生成器，每次迭代出一块一块来，这样就不会出现问题啦。
size:每次块的大小
for lines in chunkify(’./xxxx.log’, size=int(1024 * 1024 * 0.5)):
print(lines)e)
with open(fname, ‘r’) as f:
while True:
f.seek(start)
lines = f.read(size).split(’\n’)
last_line_size = len(bytes(lines[-1].encode(‘utf-8’)))
start = f.tell() - last_line_size
yield lines[:-1]
# if start >= fileEnd - last_line_size:
# break
1.可以看到这里使用的read函数，每次读取size大小的文本。
2.根据\n来切割文本，使之为一行行的。文本的指针用tell来定位位置，用seek来跳跃到最新的位置。

3.、使用
for lines in chunkify(’./xxxxx.log’, size=int(1024 * 1024 * 0.5)):
print(lines)
这样可以达到读取一行行的效果，同时也不用担心文件太大，而太占内存。

4、其他相关的模块，在搜文章的时候顺便了解了一下。如果你也遇到了读取大文件的，那你肯定会遇到linecache模块。linecache模块的作用是将文件内容读取到内存中，进行缓存，而不是每次都要从硬盘中读取，这样效率提高很多，又省去了对硬盘IO控制器的频繁操作。
当我们需要读取多个文件时，效果会非常好。

linecache.getlines(filename) # 读取文件的全部内容
linecache.getline(filename,lineno)# 读取文件指定行
linecache.clearcache() # 清除缓存
linecache.updatecache(filename) # 当文件更新了，使用这个函数可以更新linecache.getlines(filename)返回的列表。

上述就是关于python读取大文件的相关技巧了，希望能够帮助到大家更快速的使用python。
文章部分内容源于网络，联系侵删*
文章转自：http://h.jiguangdaili.com/news/91286.html