gcForest算法原理及Python实现

1.背景介绍

从目前来看深度学习大多建立在多层的神经网络基础上，也即一些参数化的多层可微的非线性模块，这样就可以通过后向传播去训练，Zhi-Hua Zhou和Ji Feng在Deep Forest论文中基于不可微的模块建立深度模块，这就是gcForest。

传统的深度学习有一定的弊端：

 ●  超参数个数较多，训练前需要大量初始化，主要靠经验调整，使得DNN更像一门艺术而非科学；
 ●  DNN的训练要求大量的训练数据，数据的标注成本太高；
 ●  DNN是一个黑盒子，训练的结果很难去解释描述，并且学习行为很难用理论去分析解释；
 ●  DNN在训练之前就得确定具体的网络结构，模型的复杂度也是提前设定好的，虽然有一些dropout等的技术。

但是有一点是我们相信的，在处理更复杂的学习问题时，算法的学习模块应该要变的更深，现在的深层网络结构依旧依赖于神经网络(我们这里把像CNN,RNN的基本结构单元也归结为神经网络单元), 周志华团队考虑深度学习的结构可不可以用其他不可微的模块组成：

Can deep learning be realized with non-differentiable modules?

这个问题会使我们想到一些其他问题：

原文链接