读周志华老师《关于深度学习一点思考》一文笔记

• 神经网络取得成功的三个原因

1. 能够进行逐层处理；
2. 处理过程中有特征内部的变化；
3. 算法模型的复杂度足够高。

• machine learning 相关

1. 机器学习里面用到的所有模型，它必须具有万有逼近能力。
   
2. 随机森林、BP算法性能较好。
3. 神经网络优势在图像、视频、声音这几类典型任务上比较明显，而在其它涉及到混合建模、离散建模、符号建模的任务上，神经网络的性能比其它模型还要差一些。

• gcForest(模型跨任务特点）

1. 基于树模型的方法，主要是借用集成学习的很多想法。
   
2. 在很多不同的任务上，它的模型得到的结果和深度神经网络是高度相似的，除了一些大规模的图像等等。
   
3. 可以用同样一套参数，用在不同的任务中得到不错的性能，就不需要逐任务的慢慢调参数。
   
4. 自适应的模型复杂度，可以根据数据的大小自动来判定该模型长到什么程度。