Python学习笔记(八)列表生成式、生成器、迭代器

主要介绍python的一些高级特性,即列表生成式、生成器、迭代器。

列表生成式

列表生成式即List Comprehensions,是python内置的非常简单但强大的可以用来创建list的生成式。例如,要创建list[0,1,2,3,4,5,6,7,8,9,10],可以使用list(range(0,11)):

>>> list(range(0,11))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

如果要生成的list每个元素都是一个变量(如x)的函数(f(x)),可以使用list(f(x) for x in ...)for循环后可以加入if判断条件进行过滤筛选,for`循环可以使用多层,还可以同时使用两个或多个变量,例如:

>>> list(x*x for x in range(0,11))
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

>>> list(x*x for x in range(0,11) if x%2==1)
[1, 9, 25, 49, 81]

#列出当前目录下的所有文件和目录名
>>> import os
>>> list(d for d in os.listdir('.'))
['.config', 'Music', '.vim', '.DS_Store', 'list.py', '.bash_profile.swp', '.CFUserTextEncoding',...](文件太多不一一列出)

>>> list(m+n for m in 'ABC' for n in 'XYZ')
['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']

>>> d = {'x':'A', 'y':'B', 'z':'C'}
>>> list(k+'='+v for k,v in d.items())
['x=A', 'y=B', 'z=C']
>>> list(v.lower() for v in d.values())
['a', 'b', 'c']
>>> list(k.upper() for k in d.keys())
['X', 'Y', 'Z']
>>> list(k.upper()+'='+v.lower() for k,v in d.items())
['X=a', 'Y=b', 'Z=c']

此外,列表生成式可以使用[]来创建,例如:

>>> [m+n for m in 'ABC' for n in 'XYZ']
['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']

生成器

通过列表生成式可以创建列表,但受到内存限制,列表容量有限。而且,对于创建的一个包含100万个元素的列表,如果需要访问的只是前面几个元素,那后面的绝大多数元素占用的空间就浪费了。因此,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算后续的元素呢?这样不必创建完整的list,从而节省空间。
在Python中,这种一边循环一边计算的机制,称为生成器:generator。
创建一个generator,方法很多,最简单的是把创建列表生成式的[]改为(),例如:

>>> g = (x*x for x in range(1,4))
>>> g
 at 0x10a991e60>

问题:如何打印出generator的每一个元素呢

方法一:使用next()

>>> next(g)
1
>>> next(g)
4
>>> next(g)
9
>>> next(g)
Traceback (most recent call last):
  File "", line 1, in 
StopIteration

当越界时抛出StopIteration错误

方法二:使用for循环

因为generator也是可迭代对象

>>> from collections import Iterable
>>> isinstance(g, Iterable)
True

具体操作:

#test.py
from collections import Iterable
g = (x*x for x in range(1,4))
for n in g:
    print(n)

>>>python3 ~/python_test/test.py
1
4
9

使用for循环来迭代时,不用担心StopIteration错误。
generator非常强大,如果推算的算法比较复杂,用类似列表生成式的for循环无法实现时,还可以用函数来实现。
以斐波那契数列(Fibonacci)为例,除第一个和第二个数以外,任意一个数都可以由前两个数相加得来:1,1,2,3,5,8,13,......
该数列使用列表生成式写不出来,但是,用函数把他打印出来却很容易:

#test.py 
#打印前max个数
def fib(max):
    n, a, b = 0, 0, 1
    while n

实际上,fib函数定义了fibonacci数列的推算规则,可以从第一个元素开始,推算出后续的任意元素,这种逻辑非常类似generator。
要把fib函数变为generator,只需要把print(b)改为yield b就可以了:

>>> def fib(max):
...     n, a, b = 0, 0, 1
...     while n>> fib(6)

>>> type(fib(6))

generator和函数的执行流程不一样,函数是顺序执行,遇到return或最后一行函数语句返回,而generator的函数,在每次调用next()的时候执行,遇到yield语句返回,再次执行时从上次返回yield语句处继续执行。
如:

>>> f=fib(6)
>>> next(f)
1
>>> next(f)
1
>>> next(f)
2
>>> next(f)
3
>>> next(f)
5
>>> next(f)
8
>>> next(f)
Traceback (most recent call last):
  File "", line 1, in 
StopIteration: Done!

同样,对于generator的函数,也不会用next()来获取下一个返回值,而是直接使用for循环来迭代:

>>> for n in fib(6):
...     print(n)
...
1
1
2
3
5
8

但是用for循环调用generator时,拿不到其中return语句的返回值,如果要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIterationvalue中:

#test.py
def fib(max):
    n, a, b = 0, 0, 1
    while n python3 ~/python_test/test.py
f: 1
f: 1
f: 2
f: 3
f: 5
f: 8
Generator return value: Done

迭代器

我们已经知道,可以直接作用于for循环的数据类型有以下几种:
一类是集合类数据类型,如:listtupledictsetstr等。
一类是generator,包括生成器和带yield的generator function。
这些可以直接作用于for循环的对象统称为可迭代对象:Iterable,可以使用isinstance()来判断一个对象是不是Iterable对象。如:

>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance(123, Iterable)
False
>>> isinstance((x*x for x in range(1,11)), Iterable)
True

而generator不但可以作用于for循环,还可以被next()函数不断调用返回下一个值,直至最后抛出StopIteration错误。可以被next()函数调用并不断返回下一个值得对象称为迭代器:Iterator
可以使用isinstance判断一个对象是否是Iterator对象:

>>> from collections import Iterator
>>> isinstance({}, Iterator)
False
>>> isinstance((x*x for x in range(1,11)), Iterator)
True

生成器都是Iterator对象,但是listdictstr虽然是Iterable,却并不是Iterator。把它们变为Iterator可以使用函数iter()函数:

>>> isinstance(iter({}), Iterator)
True

Iterator对象表示的是一个数据流,可以被next()函数调用并不断返回下一个数据,直到抛出StopIteration错误,可以把数据流看做一个有序序列,但是提前并不知道序列长度,只能不断通过next()函数计算下一个数据,因此,Iterator是惰性的,只有需要返回下一个数据时才会计算。

小结

·凡是可以作用于for循环的对象都是Iterable类型
·凡是可以作用于next()函数的对象都是Iterator类型,他们表示一个惰性的计算序列
·集合数据类型可以通过函数iter()获得一个Iterator对象

你可能感兴趣的:(Python学习笔记(八)列表生成式、生成器、迭代器)