[002]---python标准库 - itertools 用于高效循环的迭代函数集合.md

[TOC]

itertools

itertools.accumulate
itertools.chain
itertools.combinations
itertools.combinations_with_replacement
itertools.compress
itertools.count
itertools.cycle
itertools.dropwhile
itertools.filterfalse
itertools.groupby
itertools.islice
itertools.permutations
itertools.product
itertools.repeat
itertools.starmap
itertools.takewhile
itertools.tee
itertools.zip_longest

一.itertools无限迭代器 count - cycle - repeat

Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。

首先，我们看看itertools提供的几个“无限”迭代器：

1.count [无限迭代器]

例子1:

import itertools
natuals = itertools.count(1)         //默认步长为1
natuals = itertools.count(1,2)      //手动设置步长为2 ,natuals是一个迭代器
for i in natuals:
    print(i)                //使用for进行取值,这里将无限输出,直到 ctrl +c 

例子2: //因为count是一个无限迭代器,itertools同样提供了一个截取工具 takewhile

import itertools
natuals = itertools.count(1,2)
ns = itertools.takewhile(lambda x: x <= 10, natuals)
print(list(ns))      //打印一个列表

2.cycle [无限迭代器]

cycle()会把传入的一个序列无限重复下去：

import itertools
cs = itertools.cycle('ABC')     # 注意字符串也是序列的一种
for c in cs:
    print(c)
>'A''B''C''A''B''C'

同样停不下来。

3.repeat [无限迭代器]

repeat()负责把一个元素无限重复下去，不过如果提供第二个参数就可以限定重复次数：
例子1:

ns = itertools.repeat('A', 3)
for n in ns:
    print(n)
A
A
A

例子2:

for i in itertools.repeat('over-and-over', 5):
    print(i)
over-and-over
over-and-over
over-and-over
over-and-over
over-and-over

无限序列只有在for迭代时才会无限地迭代下去，如果只是创建了一个迭代对象，它不会事先把无限个元素生成出来，事实上也不可能在内存中创建无限多个元素。

无限序列虽然可以无限迭代下去，但是通常我们会通过takewhile()等函数根据条件判断来截取出一个有限的序列：

natuals = itertools.count(1)
ns = itertools.takewhile(lambda x: x <= 10, natuals)
list(ns)
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

二.itertools迭代器操作函数：

1.chain()

chain()可以把一组迭代对象串联起来，形成一个更大的迭代器：

for c in itertools.chain('ABC', 'XYZ'):
    print(c)
# 迭代效果：'A' 'B' 'C' 'X' 'Y' 'Z'

2.groupby()

groupby()把迭代器中相邻的重复元素挑出来放在一起：

for key, group in itertools.groupby('AAABBBCCAAA'):
    print(key, list(group))

A ['A', 'A', 'A']
B ['B', 'B', 'B']
C ['C', 'C']
A ['A', 'A', 'A']

实际上挑选规则是通过函数完成的，只要作用于函数的两个元素返回的值相等，这两个元素就被认为是在一组的，而函数返回值作为组的key。如果我们要忽略大小写分组，就可以让元素'A'和'a'都返回相同的key：

for key, group in itertools.groupby('AaaBBbcCAAa', lambda c: c.upper()):
    print(key, list(group))
...
A ['A', 'a', 'a']
B ['B', 'B', 'b']
C ['c', 'C']
A ['A', 'A', 'a']

3.zip_longest()

将多个列表或者迭代器进行组合

for i in itertools.zip_longest(itertools.count(1),[1, 2, 3,4],[1,2,3,4,5]):
    print(i)
(1,1,1)
(4,4,4)
(5, None, 5)
...
(12588, None, None)
(12589, None, None)
(12590, None, None)
(12591, None, None)
(12592, None, None)
...

4.compress(data,selectors)

In [21]: list(itertools.compress('abcd',[1,2,3,0]))
Out[21]: ['a', 'b', 'c']

5.dropwhile(predicate,iterable) .takewhile

dropwhile,删除到条件不满足,输出剩余的内容
takewhile,获取直到条件不满足.

In [25]: list(itertools.dropwhile(lambda x: x<5,[1,4,6,4,1]))
Out[25]: [6, 4, 1]

6.accumulates 求每次累加的和:

In [28]: list(itertools.accumulate([2,3,4,5]))
Out[28]: [2, 5, 9, 14]

7.filterfalse

创建一个迭代器，仅生成iterable中predicate(item)为False的项，如果predicate为None，则返回iterable中所有计算为False的项。

In [2]: list(itertools.filterfalse(lambda x: x % 2,range(10)))
Out[2]: [0, 2, 4, 6, 8]

8.startmap

In [11]: list(itertools.starmap(pow,[(2,5),(3,2)]))
Out[11]: [32, 9]

9.islice

取一段区间的字符

In [14]: list(itertools.islice('ABCDEF',3,5))
Out[14]: ['D', 'E']

10.tee克隆迭代器

from itertools import tee
r = range(3,7)
i1,i2 = tee(r)    等价于 i1,i2 = tee(r,2)//默认克隆成两个迭代器 
for i in i1:
    print(i)
3
4
5
6
for i in i2:
    print(i)
3
4
5
6

In [22]: from itertools import tee
In [23]: r = range(3,7)
In [24]: i1,i2,i3,i4 = itertools.tee(r,4)
In [25]: for i in i4:
   ....:     print(i)
   ....:     
3
4
5
6

三.itertools排列组合

1.combinations - permutations

import itertools
list(itertools.combinations('abc', 2))
    [('a', 'b'), ('a', 'c'), ('b', 'c')]
list(itertools.permutations('abc',2))
    [('a', 'b'), ('a', 'c'), ('b', 'a'), ('b', 'c'), ('c', 'a'), ('c', 'b')]

2.product [笛卡尔积,列出所有的可能]

list(itertools.product('abcd',2))
[('a', 'a'),
 ('a', 'b'),
 ('a', 'c'),
 ('a', 'd'),
 ('b', 'a'),
 ('b', 'b'),
 ('b', 'c'),
 ('b', 'd'),
 ('c', 'a'),
 ('c', 'b'),
 ('c', 'c'),
 ('c', 'd'),
 ('d', 'a'),
 ('d', 'b'),
 ('d', 'c'),
 ('d', 'd')]

3.combinations_with_replacement

list(combinations_with_replacement('abcd', 2))
[('a', 'a'),
 ('a', 'b'),
 ('a', 'c'),
 ('a', 'd'),
 ('b', 'b'),
 ('b', 'c'),
 ('b', 'd'),
 ('c', 'c'),
 ('c', 'd'),
 ('d', 'd')]

四.小结:

itertools模块提供的全部是处理迭代功能的函数，它们的返回值不是list，而是Iterator，只有用for循环迭代的时候才真正计算。

http://my.oschina.net/liudiwu/blog/91820
http://www.jb51.net/article/65782.htm
https://segmentfault.com/a/1190000000735405
http://www.mamicode.com/info-detail-62325.html