python中生成器与迭代器到底有什么区别?一文带你彻底搞清楚

目录

  • 前言
    • 迭代器
    • 生成器
    • 二者区别
    • 生成器的巧妙使用
      • 生成器推导式
      • 生成器函数优雅在什么地方
      • yield from 方法
      • 实现自己的容器类
    • 后记

前言

为什么会有这篇文章?

今天我的同事w君问我,你知道生成器和迭代器的区别吗。我一时不怎么能说清楚,这时候搜了一些文章,发现写的大都是介绍两种,而并没有过多解释区别。

经过自己一般翻阅资料及理解与探索,我觉得这篇文章是可以解释清楚两种对象的区别的。

当然在介绍区别之前,我也帮大家回忆一下迭代器与生成器的定义。

迭代器

我们先来看一段代码

list1 = [1,2,3]
for i in list1:
    print(i)
1
2
3

这是初学者也能一眼看懂得代码,可是这个是怎么实现的呢。

是因为在python中几乎所有的容器都有__iter__内置函数,而这些函数都会返回一个迭代器。

我们对迭代器有两点要求。或者说迭代器应该具备迭代器协议。

1.该对象需提供next方法,返回迭代器的下一项

2.如果没有下一项即迭代完成时会抛出一个StopIteration异常。

下面我们来看一段代码

iterator_1 = iter(list1)
iterator_2 = iter(list1)
next(iterator_1)
1
next(iterator_1)
2
next(iterator_1)
3
next(iterator_1)
StopIteration                             Traceback (most recent call last)
 in 
----> 1 next(iterator_1)

StopIteration: 

我们可以看出iterator_1中的元素已经迭代完了,当继续迭代时则会抛出StopIteration异常,这里也说明我们得迭代器中的元素智能迭代一次。

print("迭代器二", next(iterator_2))
for i in iterator_2:
    print(i)
迭代器二 1
2
3

我们可以看出我们一同实例化的迭代器2不受影响,可以继续迭代。

又因为我们调用了next(iterator_2)已经迭代掉了一个元素,所以我们在for循环打印的只有2和3.

如果我们再次for循环会发现打印的则为空。

这下我们全明白了。

原来我们for循环列表字典等,并不是真正的for循环列表本身。而是for循环他们返回的一个迭代器对象,这些迭代器对象只能迭代一次。(事实上不这样实现可能会实现无限次迭代的死循环现象)

事实上除了for外,sum,min,max函数等内置对象都会使用迭代器协议访问对象。也就是说他们会先调用这些对象中的__iter__方法,如果没有的话则会去找__getitem__方法。

这些就是关于迭代器的知识,事实上我们真正使用中去构建迭代器的情况很少。大多数情况下我们只会是在类中定义__getitem__方法使元素变得可迭代,而把其他的交给迭代器协议。

生成器

我们先来看一段代码

def test_generator(n):
    for i in range(n):
        yield i ** 2
generator1 = test_generator(3)
generator1
next(generator1)
0
next(generator1)
1
next(generator1)
4
next(generator1)
StopIteration                             Traceback (most recent call last)
 in 
----> 1 next(generator1)

这时候我们会疑惑了,这不就是迭代器吗,为什么又单独称他为生成器呢。

我们再来介绍一下生成器

1.生成器本身是一种特殊的迭代器,也就是说生成器就是迭代器。

2.生成器会自动实现迭代器协议,也就是说只要我们yield后,自动就生成了next对象包括StopIteration等结构。

3.生成器使用yield语句返回一个值。yield语句挂起该生成器函数的状态,保留足够的信息。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。生成器不仅“记住”了它的数据状态,生成还记住了程序执行的位置。

二者区别

1.迭代器是访问容器的一种方式,也就是说容器已经出现。我们是从已有元素拓印出一份副本,只为我们此次迭代使用。而生成器则是,而生成器则是自己生成元素的。也就是前者是从有到有的复制,而后者则是从无到有的生成。

2.在用法上生成器只需要简单函数写法,配合yield就能实现。而迭代器真正开发中很难使用到。我们可以把生成器看做,python给我们提供的特殊接口实现的迭代器。

如果到这里还是不太清楚,那我们就再研究深入一点

list1 = list(dir(generator1)) # 生成器所有的方法
list2 = list(dir(iter([1,2,3]))) # 迭代器所有的方法
list(filter(lambda x: x not in list2, list1))

我们打印出生成器中不在迭代器中的方法,也就是生成器独有的方法。

['__del__',
 '__name__',
 '__qualname__',
 'close',
 'gi_code',
 'gi_frame',
 'gi_running',
 'gi_yieldfrom',
 'send',
 'throw']

gi_yieldfrom、gi_running、send、close 这些都不难看出是保存状态,挂起等的方法。这也就是我们上面所说的生成器是如何实现的。

我们在来看下生成器不含有的迭代器方法,也就是迭代器独有的方法。

['__length_hint__', '__setstate__']

这两个方法第一个则是迭代器数量的,第二个则是读取pickle等特殊文件的。这两个方法可能是生成器不需要的。但是也只有这两个方法。

好,我们可以简单的做下总结了。

生成器是实现自己独有方法的迭代器,我们可以把他看成迭代器的子类

生成器的巧妙使用

生成器推导式

[i**2 for i in old_list] # 列表推导式
(i**2 for i in old_list)  # 生成器表达式  

生成器表达式只需要把方括号换成原括号即可

sum([i**2 for i in old_list])
sum(i**2 for i in old_list)

python为了更好的封装,我们在进行sum函数时候可以省略最外层的符号

sum(i for i in range(5))
sum((i for i in range(5)))

这两种方式都可行,但是我们更推荐使用更简洁的方式。

那么使用生成器的优势究竟在哪呢

sum([i for i in 100000000000])
sum(i for i in 100000000000)

我们可以查看一下机器的内存,第一个列表推导式的方式大概率会内存爆掉。其实也不难理解,第二种是生成器模式。生成器是使用才迭代,只迭代一次不会存在内存中。所以内存不会一直的增高。

生成器函数优雅在什么地方

来看下代码

    def get_even_numbers(the_list):
        result_list = []
        for i in range(len(the_list)):
            if the_list[i] % 2 == 0:
                result_list.append(i)
        return result_list

    def get_even_numbers_by_gen(the_list):
        for i in range(len(the_list)):
            if the_list[i] % 2 == 0:
                yield i

很明显,使用生成器的方法。无论是可读性还是代码的优雅都要高于第一种。

yield from 方法

def test_yield_from(*iterables):
    for i in iterables:
        for j in i:
            yield j
list(test_yield_from([1,2,3], 'abc'))
[1, 2, 3, 'a', 'b', 'c']

我们可以看到如果我们传的是可迭代对象,二次迭代时需要这样进行二次读取。

但其实python也提供看更加优雅的写法。

def test_yield_from(*iterables):
    for i in iterables:
    yield from i

实现自己的容器类

我们在程序中往往要进行文件读写传输,这些文件有时会较大,直接读取会较大,我们也可以使用生成器的方式。

class ReadVisits:
    def __init__(self, data_path) -> None:
        self.data_path = data_path
    def __iter__(self):
        with open(self.data_path) as f:
            for line in f:
                yield line

后记

关于可迭代对象,迭代协议,迭代器,生成器的意义

1.让for更通用

2.节省内存,不用一次性加载全部内容

你可能感兴趣的:(Python,进阶之路,python,开发语言)