目录 | 上一节 (6.3 生产者/消费者) | [下一节 (7 高级主题)]()
6.4 有关生成器的更多信息
本节介绍其它与生成器相关的主题,包括生成器表达式(generator expressions)和 itertools 模块。
生成器表达式
生成器表达式可以理解为列表解析式(list comprehension)的生成器版本:
>>> a = [1,2,3,4]
>>> b = (2*x for x in a)
>>> b
>>> for i in b:
... print(i, end=' ')
...
2 4 6 8
>>>
生成器表达式与列表列表解析式的区别:
- 不构造列表
- 唯一有用的目的是迭代
- 一旦被消费,无法重复使用
生成器表达式语法:
( for i in s if )
生成器表达式也可以用作函数参数:
sum(x*x for x in a)
生成器表达式可应用于任何迭代:
>>> a = [1,2,3,4]
>>> b = (x*x for x in a)
>>> c = (-x for x in b)
>>> for i in c:
... print(i, end=' ')
...
-1 -4 -9 -16
>>>
生成器表达式在代码中的一个主要用途是:对序列进行计算,但只使用一次结果。例如,跳过文件中的所有注释。
f = open('somefile.txt')
lines = (line for line in f if not line.startswith('#'))
for line in lines:
...
f.close()
使用生成器,代码运行更快并且占用的内存更少,类似应用于流的过滤器。
为什么使用生成器
许多问题以迭代的形式进行表示会更清晰
- 对集合中的元素进行遍历,并执行某些操作(如查找、替换,修改等)。
- 处理管道(processing pipelines)可应用于各种数据处理问题。
内存效率更高
- 只在需要的时候才生成值。
- 不构造庞大的列表。
- 可对流数据进行操作。
生成器表达式鼓励代码复用
- 从使用迭代的代码中分离出迭代。
- 构建迭代函数工具箱,混合搭配(mix-n-match)使用各种工具。
itertools
模块
itertools
是 Python 自带的一个库模块,包含各种函数,旨在帮助开发迭代器/生成器。
itertools.chain(s1,s2)
itertools.count(n)
itertools.cycle(s)
itertools.dropwhile(predicate, s)
itertools.groupby(s)
itertools.ifilter(predicate, s)
itertools.imap(function, s1, ... sN)
itertools.repeat(s, n)
itertools.tee(s, ncopies)
itertools.izip(s1, ... , sN)
itertools
模块中所有的函数都可以迭代地处理数据。并且,这些函数实现了各类迭代模式。
有关生成器的更多信息可以查看 PyCon '08 上的 Generator Tricks for Systems Programmers 教程。
练习
在上一节练习中,我们编写代码监视写入日志文件的数据,并将其解析为行序列。
本次练习将以上一节练习中的代码为基础,所以请确保 Data/stocksim.py
仍在运行。
练习 6.13:生成器表达式
生成器表达式是列表解析式的生成器版本。示例:
>>> nums = [1, 2, 3, 4, 5]
>>> squares = (x*x for x in nums)
>>> squares
at 0x109207e60>
>>> for n in squares:
... print(n)
...
1
4
9
16
25
与列表解析式不同,生成器表达式只能使用一次。因此,如果你遍历完生成器中的所有元素后,再次对生成器进行遍历,那么你将一无所获。
>>> for n in squares:
... print(n)
...
>>>
练习 6.14:函数参数中的生成器表达式
有时,生成器表达式会作为函数参数使用。虽然这看起来有点怪,但请尝试以下实验:
>>> nums = [1,2,3,4,5]
>>> sum([x*x for x in nums]) # A list comprehension
55
>>> sum(x*x for x in nums) # A generator expression
55
>>>
在上面的示例中,如果正在操作庞大的列表,那么使用生成器的第二个版本占用的内存会显著减少。
在 portfolio.py
文件中,我们执行了一些与列表相关的计算,请尝试将其替换为生成器表达式。
练习 6.15:简化代码
通常,对于简单的生成器函数,可以使用生成器表达式进行替换。例如,与其这样编写函数:
def filter_symbols(rows, names):
for row in rows:
if row['name'] in names:
yield row
不如使用生成器表达式进行替换:
rows = (row for row in rows if row['name'] in names)
请修改 ticker.py
程序来适当地使用生成器表达式。
目录 | 上一节 (6.3 生产者/消费者) | [下一节 (7 高级主题)]()