python 中的可迭代对象 (iterable)、迭代器 (iterator) 与生成器 (generator)

发表于 2016-09-08 标签 python

本文主要讲述 python 中的几个概念：可迭代对象 (iterable)、迭代器 (iterator) 与生成器 (generator)。

可迭代对象 (iterable) 与迭代器 (iterator)

对于 string、list、dict、tuple 等这类容器对象，可以使用 for 循环对其进行遍历。像这种可以被遍历的对象被称为可迭代对象。

通过 for 语句对遍历可迭代对象时，实际上是调用可迭代对象内部的 __iter__() 方法（因此一个可迭代对象必须要实现 __iter__() 方法），调用了这个方法会返回一个迭代器 (iterator)，通过迭代器便可遍历可迭代对象。见下面的例子：

>>> x = [1, 2, 3]
>>> y = iter(x)
>>> z = iter(x)
>>> next(y)
1
>>> y.next()
2
>>> next(z)
1
>>> type(x)
<class 'list'>
>>> type(y)
<class 'list_iterator'>

这里 x 是一个列表，是一个可迭代对象。y 和 z 是两个独立的迭代器，迭代器内部持有一个状态，该状态用于记录当前迭代所在的位置，以方便下次迭代的时候获取正确的元素。

迭代器也分具体的迭代器类型，比如 list_iterator，set_iterator。iter(x)语句实际上是调用了 x 内部的 __iter__ 方法的, 调用 __iter__ 方法后会返回一个迭代器，由于迭代器内部实现了 next 方法（python2 中是 next 方法，python3 是 __next__ 方法,一个迭代器必须实现此方法），因此可通过 next() 方法来遍历可迭代对象。

因此，执行下面语句：

1
2
3

 x = [1, 2, 3]
for elem in x:
    ...

相当于以下流程

上图中调用 next() 方法直到没有后续元素时，next() 会抛出一个 StopIteration 异常，通知 for 语句循环结束。如

>>> a = [1,3]
>>> b = iter(a)
>>> b.next()
1
>>> next(b)
3
>>> next(b)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration

上面说的都是 python 自带的容器对象，它们都实现了相应的迭代器方法，那如果是自定义类需要遍历怎么办？

方法很简单，假如我们需要自定义一个有遍历功能的类 IterClass，那么只需要在这个类的内部实现一个 __iter__(self) 方法，使其返回一个带有 __next__(self) 方法的对象就可以了。如果你在 IterClass 刚好也定义了 __next__(self) 方法（一般使用迭代器都会定义），那在 __iter__() 里只要返回 self 就可以。下面是具体的实例：

class IterClass:
    def __init__(self, max):
        self.max = max

    def __iter__(self):
        self.a = 0
        self.b = 1
        return self

    def next(self):
        fib = self.a
        if fib > self.max:
            raise StopIteration
        self.a, self.b = self.b, self.a + self.b
        return fib

if __name__ == '__main__':
    fib = IterClass(10)
    for i in fib:
        print i

上面输出的结果为:

上面的代码定义了一个 IterClass 类，用于生成 fibonacci 序列。用 for 遍历时会逐个打印生成的 fibonacci 数，max 是生成的 fibonacci 序列中数字大小的上限。

在类的实现中，定义了一个 __iter__(self) 方法，这个方法是在遍历时被 iter() 调用，返回一个迭代器。因为在遍历的时候，是直接调用 python 的内置函数 iter()，由 iter() 通过调用 __iter__(self) 获得对象的迭代器。

有了迭代器，就可以逐个遍历元素了。而逐个遍历的时候，也是使用 python 的内置的 next() 函数，next() 函数通过调用对象的 next(self) 方法（python 3 为 __next__(self) 方法）对迭代器对象进行遍历。因为同时实现 __iter__(self) 和 next(self) ，所以 IterClass 既是可迭代对象，也是迭代器，在实现 __iter__(self) 的时候，直接返回 self 就可以。

为了更好地理解，对上面的内容的小结如下：在循环遍历自定义容器对象时, 会使用 python 内置函数 iter() 调用遍历对象的 __iter__(self) 获得一个迭代器, 之后再循环对这个迭代器使用 next() 调用迭代器对象的 next(self) 或 __next__(self)。__iter__ 只会被调用一次, 而 __next__ 会被调用 n 次。

生成器 (generator)

生成器其实是一种特殊的迭代器，不过这种迭代器更加简洁和高效, 它自动创建了 __iter__() 和 next() 方法（因此生成器其实既是一个可迭代对象，也是一个迭代器）, 除了创建和保存程序状态的自动方法, 当发生器终结时, 还会自动抛出 StopIteration 异常。它不需要再像上面的类一样写 __iter__() 和 next () 方法了，只需要一个 yiled 关键字。生成器一定是迭代器（反之不成立）。

一个带有关键词 yield 的函数就是一个生成器, 它和普通函数不同, 生成一个 generator 看起来像函数调用, 但不会执行任何函数代码, 直到对其显式或隐式地调用 next() (在 for 循环中会隐式自动调用 next()) 才开始执行。虽然执行流程仍按函数的流程执行, 但每执行到一个 yield 语句就会中断, 并返回一个迭代值, 下次执行时从 yield 的下一个语句继续执行。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次, 每次中断都会通过 yield 返回当前的迭代值（yield 暂停一个函数，next () 从其暂停处恢复其运行）。见下面的例子：

>>> def reverse(data):
...     for index in range(len(data)-1, -1, -1):
...         yield data[index]
... 
>>> for char in reverse('hello'):
...     print(char)
... 
o
l
l
e
h

用生成器来实现上面的斐波那契数列的例子是：

def fib():
    prev, curr = 0, 1
    while True:
        yield curr
        prev, curr = curr, curr + prev

>>> f = fib()
>>> list(itertools.islice(f, 0, 10))
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

生成器在 Python 中是一个非常强大的编程结构，可以用更少地中间变量写流式代码，此外，相比其它容器对象它更能节省内存和 CPU，它也可以用更少的代码来实现相似的功能。如果构造一个列表的目的仅仅是传递给别的函数, 那么就可以用生成器来代替。但凡看到类似：

def something():
    result = []
    for ... in ...:
        result.append(x)
    return result

都可以用生成器函数来替换：

1
2
3

def iter_something():
    for ... in ...:
        yield x

只需要在接收函数返回值的时候将其转为 list 类型即可。

另外对于生成器，python 还提供了一个生成器表达式 (generator expression)：类似与一个 yield 值的匿名函数。表达式本身看起来像列表推导式, 但不是用方括号而是用圆括号包围起来, 它返回的是一个生成器对象而不是列表对象。见下面的例子：

>>> a = (i*i for i in xrange(5))
>>> for num in a:
...     print num
...
0
1
4
9
16
>>> a
<generator object <genexpr> at 0x02B707D8>

参考： https://segmentfault.com/a/1190000002900850 http://foofish.net/blog/109/iterators-vs-generators

可迭代对象 (iterable) 与 迭代器 (iterator)

生成器 (generator)

可迭代对象 (iterable) 与迭代器 (iterator)