深度学习中模型的参数选择

1.优化器

    优化器一般选择 rmsprop，其适用于绝大多数问题，是最不用担心的因素。

2.激活函数

    中间层的激活函数一般选择 relu 函数以及其引申函数。当为二分类问题时，最后一层一般采用 sigmoid 激活函数。当为多分类问题时，最后一层一般采用 softmax 函数。当为回归问题时，最后一层不使用激活函数，因为激活函数会将无限空间映射到有限空间中，限制最后的结果。

3.损失函数（代价函数）

    二分类问题的损失函数一般选择为 binary_crossentropy，多分类问题的损失函数一般选择为 categorical_crossentropy，回归问题的损失函数一般选择为mean_squared_error。

4.模型观测参数（metrics）

    分类问题一般选取分类正确率 accuracy 作为衡量模型好坏的参数，而回归问题一般选择 mean_absolute_error。

5.模型规模

    当训练数据充分大时，模型往往越深越好。但当数据量不多时，模型规模越大越容易造成过拟合。每层参数的个数（节点数或卷积核大小）随层数增加而增加，代表模型学到的特征越来越多，否则将造成信息被压缩而丢失。最后一层的节点个数与需要分类的类别数相等，最终输出对应每种类别的概率。