cPSO-CNN: An efficient PSO-based algorithm for fine-tuning hyper-parameters of convolutional neural

1.简介

人工群体智能算法，如遗传算法[1]，粒子群优化[2]和烟花算法[3]，自问世以来，一直显示出其在现实世界中优化难题的强大能力。依靠从邻居和环境中收集引导信息并相应调整其行为的简单智能体群体，高智能体作为一个整体出现，其优点是不要求目标问题具有任何优化方便的数学属性，如连续性、可导性或凸性。因此，对于许多复杂的问题，通常是高度非线性和多模态的，系统集成算法通常比传统的数学规划方法性能更好。而优化卷积神经网络的超参数配置正是这类问题。

虽然 LeCun等人首创的CNN Lenet-5在几十年前就解决了字符识别问题，但直到深度CNN的GPU实现AlexNet [5]获得了在2012年图像网挑战赛(ImageNet Challenge 2012)中对图像分类的前5名错误率为15.3%，比亚军低10.8%以上，这再次引起了研究人员的关注。在它的成功的鼓舞下，许多CNN架构被发明出来，比如ResNet[6]，VGG [7]，GoogleNet[8]和DenseNet [9]。这些中枢神经系统的出色性能不仅归功于作者对中枢神经系统架构的出色设计，还归功于精心选择的超参数值。一个新的CNN架构通常是通过对现有CNN局限性的深刻观察而引入的。例如，当给CNN添加更多层时，ResNet [6]引入了shortcut hyper-connections 来解决渐变消失的问题。然而，为超参数选择合适的值是非常棘手的，因为它不仅取决于一个人的经验水平，还取决于他/她从每一轮价值试验中学习的能力。通常，微调超参数是以昂贵的试错方式手动进行的。不同超参数配置的评估涉及多轮耗时的CNN训练。同时，新的CNNs往往层数越来越多&#x