1、生成器Generator
设想我们有一个包含100万个元素的列表,列表占用了很大的存储空间,如果我们仅仅需要访问前面的几个元素,这样就会造成极大的资源浪费。
所以,如果有一种对象,存储的不是具体的列表元素,而是计算列表元素的方法,在我们需要的时候,可以计算出相应的元素,那么资源浪费的问题就结局了。在Python中,这种一边循环一边计算的机制,称为生成器:generator。
generator保存的是算法,我们可以每次调用next(g),就计算出g的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。但是实际中,我们基本上不太会调用next方法,而是使用for循环,在本文的最后,我们可以看到为什么要这么做。
有两种构造Generator的方法,我们一一道来:
1.1 生成器表达式"()"
看下面的代码:
L = [x * x for x in range(10)]
g = (x * x for x in range(10))
L,g
输出如下:
([0, 1, 4, 9, 16, 25, 36, 49, 64, 81],
at 0x106ccb678>)
可以看到,创建L和g的区别仅在于最外层的[]和(),L是一个list,而g是一个generator。
我们可以通过for循环来遍历generator:
for n in g:
print(n)
1.2 方法体里加上yield关键词
如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator。
generator和函数的执行流程不一样。函数是顺序执行,遇到return语句或者最后一行函数语句就返回。而变成generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回的yield语句处继续执行,观察下面的例子。
def fib(max):
n,a,b = 0,0,1
while n < max:
yield b
a,b = b,a+b
n += 1
return 'finish'
for t in fib(6):
print(t)
但是用for循环调用generator时,发现拿不到generator的return语句的返回值。如果想要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIteration的value中:
g = fib(6)
while True:
try:
x = next(g)
print("g:",x)
except StopIteration as e:
print("Generator's return value is:",e.value)
break
2、可迭代对象Iterable
可以直接作用于for循环的对象统称为可迭代对象Iterable,主要有两种类型:
一类是集合数据类型,如list、tuple、dict、set、str等;
一类是generator,包括生成器表达式和带yield的generator function。
可以使用isinstance()判断一个对象是否是Iterable对象:
from collections import Iterable
print(isinstance([],Iterable)) # True
print(isinstance('abc',Iterable)) # True
print(isinstance((x*x for x in range(10)),Iterable)) # True
print(isinstance(100,Iterable)) # False
3、迭代器Iterator
可以被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator。生成器都是Iterator对象,但list、dict、str虽然是Iterable,却不是Iterator。 不过把list、dict、str等Iterable变成Iterator可以使用iter()函数。
from collections import Iterator
print(isinstance((x for x in range(10)), Iterator)) # True
print(isinstance([], Iterator)) # False
print(isinstance({}, Iterator)) # False
print(isinstance('abc',Iterator)) # False
print(isinstance(iter('abc'), Iterator)) # True
你可能会问,为什么list、dict、str等数据类型不是Iterator?这是因为Python的Iterator对象表示的是一个数据流,Iterator对象可以被next()函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()函数实现按需计算下一个数据,所以Iterator的计算是惰性的,只有在需要返回下一个数据时它才会计算。
4、Python for循环的本质
Python的for循环本质上就是通过不断调用next()函数实现的。
下面的代码:
for x in [1, 2, 3, 4, 5]:
pass
等价于:
# 首先获得Iterator对象:
it = iter([1, 2, 3, 4, 5])
# 循环:
while True:
try:
# 获得下一个值:
x = next(it)
except StopIteration:
# 遇到StopIteration就退出循环
break
5、总结
1、凡是可作用于for循环的对象都是Iterable类型;包括集合数据类型和Generator。
2、凡是可作用于next()函数的对象都是Iterator类型,它们表示一个惰性计算的序列;
3、集合数据类型如list、dict、str等是Iterable但不是Iterator,不过可以通过iter()函数获得一个Iterator对象。
参考文献:
1、https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143178254193589df9c612d2449618ea460e7a672a366000
2、https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014317799226173f45ce40636141b6abc8424e12b5fb27000
3、https://blog.csdn.net/zwan0518/article/details/45026497