Python易筋经-yield when data is bigger

“唯之与阿，相去几何？
善之与恶，相去何若？
人之所畏，不可不畏。
荒兮，其未央哉!
众人熙熙，如享太牢，如春登台。
我独泊兮，其未兆，如婴儿之未孩；傫傫兮，若无所归！
众人皆有余，而我独若遗。
我愚人之心也哉!”^[1]

在用scikit-learn做增量训练的时候，一般都会事先实现一个文件流迭代器，将一个大数据文件分多次使用^[2]，会用到yield关键字，当一个函数或方法中出现了yield之后，这个函数或方法就会被看作一个生成器（generators）了，可以使用.next()方法获取内容。

通常意义上的函数或者方法，在程序的其他部分调用一旦返回，函数的生命周期也就结束，再次调用的时候，函数会重新被执行。而今天要介绍的yield最大的特点就是，函数的执行会被多次调用，下一次调用总是从上一次yield返回的地方开始执行，也就是多次被调用的函数拥有了记忆功能。

被赋予生成器的函数，只会被“完整”的调用一次，也即执行到函数体的最后一行指令。
1.函数第一次调用，会在函数体中yield的地方返回。
2.函数第二次调用，程序会从上次返回的地方接着往下继续执行，直到再次遇到yield

文件流迭代器

def iter_minibatches(data_stream, minibatch_size=1000):
    '''
    迭代器
    给定文件流（比如一个大文件），每次输出minibatch_size行，默认选择1k行
    将输出转化成numpy输出，返回X, y
    '''
    X = []
    y = []
    cur_line_num = 0

    csvfile = file(data_stream, 'rb')
    reader = csv.reader(csvfile)
    for line in reader:
        y.append(float(line[0]))
        X.append(line[1:])  # 这里要将数据转化成float类型

        cur_line_num += 1
        if cur_line_num >= minibatch_size:
            X, y = np.array(X), np.array(y)  # 将数据转成numpy的array类型并返回
            yield X, y  # 每次调用，如迭代未结束，则都是在此处返回
            X, y = [], []
            cur_line_num = 0
    csvfile.close()

# 生成测试文件
minibatch_test_iterators = iter_minibatches(test_file, minibatch_size=5000)
X_test, y_test = minibatch_test_iterators.next()  # 得到一份测试文件

使用文件流迭代器进行增量训练

from sklearn.linear_model import SGDClassifier
sgd_clf = SGDClassifier()  # SGDClassifier的参数设置可以参考sklearn官网
minibatch_train_iterators = iter_minibatches(data_part_file, minibatch_size=2000) # 文件批量迭代器

for i, (X_train, y_train) in enumerate(minibatch_train_iterators):
    # 使用 partial_fit ，并在第一次调用 partial_fit 的时候指定 classes
    sgd_clf.partial_fit(X_train, y_train, classes=np.array([0, 1]))
    print("{} time".format(i))  # 当前次数
    print("{} score".format(sgd_clf.score(X_test, y_test)))  # 在测试集上看效果

关于 yield 和 generators的概念 ，我觉得下面两篇帖子讲的挺好的，可以移步去看看：
提高你的Python: 解释 yield 和 Generators（生成器）
彻底理解Python中的yield

---

1. 老子《道德经》第二十章，老子故里，中国鹿邑。 ↩

2. 文件大到你一次性load到内存，会报内存不足而无法进行机器训练的时候。 ↩