主要介绍python的一些高级特性,即列表生成式、生成器、迭代器。
列表生成式
列表生成式即List Comprehensions,是python内置的非常简单但强大的可以用来创建list的生成式。例如,要创建list[0,1,2,3,4,5,6,7,8,9,10]
,可以使用list(range(0,11))
:
>>> list(range(0,11))
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
如果要生成的list每个元素都是一个变量(如x
)的函数(f(x)
),可以使用list(f(x) for x in ...)
,for
循环后可以加入if
判断条件进行过滤筛选,for`循环可以使用多层,还可以同时使用两个或多个变量,例如:
>>> list(x*x for x in range(0,11))
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]
>>> list(x*x for x in range(0,11) if x%2==1)
[1, 9, 25, 49, 81]
#列出当前目录下的所有文件和目录名
>>> import os
>>> list(d for d in os.listdir('.'))
['.config', 'Music', '.vim', '.DS_Store', 'list.py', '.bash_profile.swp', '.CFUserTextEncoding',...](文件太多不一一列出)
>>> list(m+n for m in 'ABC' for n in 'XYZ')
['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']
>>> d = {'x':'A', 'y':'B', 'z':'C'}
>>> list(k+'='+v for k,v in d.items())
['x=A', 'y=B', 'z=C']
>>> list(v.lower() for v in d.values())
['a', 'b', 'c']
>>> list(k.upper() for k in d.keys())
['X', 'Y', 'Z']
>>> list(k.upper()+'='+v.lower() for k,v in d.items())
['X=a', 'Y=b', 'Z=c']
此外,列表生成式可以使用[]
来创建,例如:
>>> [m+n for m in 'ABC' for n in 'XYZ']
['AX', 'AY', 'AZ', 'BX', 'BY', 'BZ', 'CX', 'CY', 'CZ']
生成器
通过列表生成式可以创建列表,但受到内存限制,列表容量有限。而且,对于创建的一个包含100万个元素的列表,如果需要访问的只是前面几个元素,那后面的绝大多数元素占用的空间就浪费了。因此,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算后续的元素呢?这样不必创建完整的list,从而节省空间。
在Python中,这种一边循环一边计算的机制,称为生成器:generator。
创建一个generator,方法很多,最简单的是把创建列表生成式的[]
改为()
,例如:
>>> g = (x*x for x in range(1,4))
>>> g
at 0x10a991e60>
问题:如何打印出generator的每一个元素呢
方法一:使用next()
>>> next(g)
1
>>> next(g)
4
>>> next(g)
9
>>> next(g)
Traceback (most recent call last):
File "", line 1, in
StopIteration
当越界时抛出StopIteration
错误
方法二:使用for
循环
因为generator也是可迭代对象
>>> from collections import Iterable
>>> isinstance(g, Iterable)
True
具体操作:
#test.py
from collections import Iterable
g = (x*x for x in range(1,4))
for n in g:
print(n)
>>>python3 ~/python_test/test.py
1
4
9
使用for
循环来迭代时,不用担心StopIteration
错误。
generator非常强大,如果推算的算法比较复杂,用类似列表生成式的for
循环无法实现时,还可以用函数来实现。
以斐波那契数列(Fibonacci)为例,除第一个和第二个数以外,任意一个数都可以由前两个数相加得来:1,1,2,3,5,8,13,......
该数列使用列表生成式写不出来,但是,用函数把他打印出来却很容易:
#test.py
#打印前max个数
def fib(max):
n, a, b = 0, 0, 1
while n
实际上,fib
函数定义了fibonacci数列的推算规则,可以从第一个元素开始,推算出后续的任意元素,这种逻辑非常类似generator。
要把fib
函数变为generator,只需要把print(b)
改为yield b
就可以了:
>>> def fib(max):
... n, a, b = 0, 0, 1
... while n>> fib(6)
>>> type(fib(6))
generator和函数的执行流程不一样,函数是顺序执行,遇到return
或最后一行函数语句返回,而generator
的函数,在每次调用next()
的时候执行,遇到yield
语句返回,再次执行时从上次返回yield语句处继续执行。
如:
>>> f=fib(6)
>>> next(f)
1
>>> next(f)
1
>>> next(f)
2
>>> next(f)
3
>>> next(f)
5
>>> next(f)
8
>>> next(f)
Traceback (most recent call last):
File "", line 1, in
StopIteration: Done!
同样,对于generator的函数,也不会用next()
来获取下一个返回值,而是直接使用for
循环来迭代:
>>> for n in fib(6):
... print(n)
...
1
1
2
3
5
8
但是用for
循环调用generator时,拿不到其中return
语句的返回值,如果要拿到返回值,必须捕获StopIteration
错误,返回值包含在StopIteration
的value
中:
#test.py
def fib(max):
n, a, b = 0, 0, 1
while n python3 ~/python_test/test.py
f: 1
f: 1
f: 2
f: 3
f: 5
f: 8
Generator return value: Done
迭代器
我们已经知道,可以直接作用于for
循环的数据类型有以下几种:
一类是集合类数据类型,如:list
、tuple
、dict
、set
、str
等。
一类是generator
,包括生成器和带yield
的generator function。
这些可以直接作用于for循环的对象统称为可迭代对象:Iterable
,可以使用isinstance()
来判断一个对象是不是Iterable
对象。如:
>>> isinstance([], Iterable)
True
>>> isinstance({}, Iterable)
True
>>> isinstance(123, Iterable)
False
>>> isinstance((x*x for x in range(1,11)), Iterable)
True
而generator不但可以作用于for
循环,还可以被next()
函数不断调用返回下一个值,直至最后抛出StopIteration错误。可以被next()
函数调用并不断返回下一个值得对象称为迭代器:Iterator
。
可以使用isinstance
判断一个对象是否是Iterator
对象:
>>> from collections import Iterator
>>> isinstance({}, Iterator)
False
>>> isinstance((x*x for x in range(1,11)), Iterator)
True
生成器都是Iterator
对象,但是list
、dict
、str
虽然是Iterable
,却并不是Iterator
。把它们变为Iterator
可以使用函数iter()
函数:
>>> isinstance(iter({}), Iterator)
True
Iterator
对象表示的是一个数据流,可以被next()
函数调用并不断返回下一个数据,直到抛出StopIteration
错误,可以把数据流看做一个有序序列,但是提前并不知道序列长度,只能不断通过next()
函数计算下一个数据,因此,Iterator
是惰性的,只有需要返回下一个数据时才会计算。
小结
·凡是可以作用于for
循环的对象都是Iterable
类型
·凡是可以作用于next()
函数的对象都是Iterator
类型,他们表示一个惰性的计算序列
·集合数据类型可以通过函数iter()
获得一个Iterator
对象