用Deep Learning进行交通标志识别获得比人工识别更低的错误率

转自 http://www.bfcat.com/index.php/2013/09/deep-learning-nn-traffic-sign/

用Deep Learning进行交通标志识别获得比人工识别更低的错误率

2013年09月11日  ⁄ 机器学习, 机器视觉, 行业新闻  ⁄ 暂无评论 ⁄ 被围观 4,381 views+

这项成果来自 Juergen Schmidhuber。 他们在ICJNN交通标志识别比赛中，使用深度神经网络学习的方式，竟然获得了比人工识别还低的错误率。

这项研究是由Dan Claudiu Cireșan & Ueli Meier & Jonathan Masci 这几位成员完成的。使用深度学习神经网络，首次在交通标志识别的benchmark[1,2]上面获得了“超过人工的识别效果”。

在IJCNN交通标志识别任务中，人工识别有1.16%的错误率，而他们的神经网络方法只有0.56%的错误率。来自 oYann LeCun 实验室的 Pierre Sermanet设计的神经网络，具有1.69%的错误率。 另外，不使用神经网络的传统学习方法中，最好的结果也有 3.86%的错误率。

Juergen Schmidhuber说，在1997年的时候，人们还在因为电脑战胜了人类的国际象棋大师而震惊。但是那个时候，电脑的模式识别能力甚至比不上一个小孩。虽然现在的电脑仍然不能在模式识别方面与人类相比，但是如今神经网络已经让这个目标看起来不是遥不可及。随着电脑运算速度的飞速发展，深度学习慢慢会占据主导地位。

交通标志识别对于无人驾驶汽车具有很重要的意义。第一辆无人车在20年前问世(Ernst Dickmanns & Mercedes Benz, 1994) [3]。但是至今，没有人工在驾驶位置监督的无人车仍然难以上路。

为了获得和人类匹敌的交通标志识别能力，这个团队使用了基于GPU的纯监督梯度下降 [4] 构造了多列卷积神经网络：multi-column MPCNN（multi-column max-pooling convolutional networks ）[5,6]。相关技术在下面的参考文献中。

References

[1] D. C. Ciresan, U. Meier, J. Masci, J. Schmidhuber. Multi-Column Deep Neural Network for Traffic Sign Classification. Neural Networks 32, p 333-338, 2012.http://www.idsia.ch/~juergen/nn2012traffic.pdf

[2] D. C. Ciresan, U. Meier, J. Masci, J. Schmidhuber. A Committee of Neural Networks for Traffic Sign Classification. International Joint Conference on Neural Networks (IJCNN-2011, San Francisco), 2011.http://www.idsia.ch/~juergen/ijcnn2011.pdf

[3] Highlights of robot car historyhttp://www.idsia.ch/~juergen/robotcars.html

[4] Paul J. Werbos. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. PhD thesis, Harvard University, 1974

[5] D. C. Cireșan, U. Meier, J. Masci, L. M. Gambardella, J. Schmidhuber. Flexible, High Performance Convolutional Neural Networks for Image Classification. IJCAI-2011, Barcelona, 2011. Preprinthttp://arxiv.org/abs/1102.0183

[6] D. C. Cireșan, U. Meier, J. Schmidhuber. Multi-column Deep Neural Networks for Image Classification.  CVPR 2012, p 3642-3649, 2012.http://www.idsia.ch/~juergen/cvpr2012.pdf , preprinthttp://arxiv.org/abs/1202.2745

[7] +Yann LeCun,  +Yoshua Bengio. Convolutional networks for images, speech, and time-series. In M. A. Arbib, editor, The Handbook of Brain Theory and Neural Networks. MIT Press, 1995.http://yann.lecun.com/exdb/publis/psgz/lecun-bengio-95a.ps.gz

[8]  . Hierarchical Neural Networks for Image Interpretation. Dissertation, FU Berlin, 2002. LNCS 2766, Springer 2003.  http://www.ais.uni-bonn.de/books/LNCS2766.pdf

[9]  Hubel, D. H., T. N. Wiesel. Receptive Fields, Binocular Interaction And Functional Architecture In The Cat's Visual Cortex. Journal of Physiology, 1962.

[10]  K. Fukushima. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36(4): 193–202, 1980.http://www.scholarpedia.org/article/Neocognitron

[11]  M. Riesenhuber,  +TOMASO POGGIO. Hierarchical models of object recognition in cortex. Nature Neuroscience 11, p 1019-1025, 1999.http://riesenhuberlab.neuro.georgetown.edu/docs/publications/nn99.pdf

[12]  Deep Learning since 1991http://www.idsia.ch/~juergen/deeplearning.html