AI Challenger实战记录[Day-1,2]

刚完成Udacity的Deep Learning课程，迫不及待想要实战了！

Ceritificate

经过这几个月的学习，深知这几方面亟待提高：

• RNN，Seq2seq, word2vec, GAN的理解程度。
• 对TensorFlow API的底层数学原理，API调用的准确度。
• Python里numpy, sklearn, scipy等对高维数据的处理，主要库的调用熟练度。
• 另外theano停更了，似乎有必要再了解一下Pytorch、Caffe。

TOP: TensorFlow, Caffe, CNTK, Torch

知而不行只是未知

实战出真知，好的项目目前来看最缺乏的恰恰是数据，近来最吸引我的项目莫过于OpenAI推出的Dota2 1v1 bot，用Reinforcement Learning训练3周，即可连续击败世界级solo选手。很期待OpenAI团队真的能够拿出5v5模型！

OpenAI bot vs Dendi

参加比赛与我而言，价值有二，一方面是能低成本的获取到大数据，另一方面是检验所学。之前一直有关注kaggle里的Predict seizures in intracranial EEG recordings比赛。不过9月推出的AI Challenger更加本土化，涵盖了“翻译”、“场景分类”、“关键点检测”、“图文描述”、“股票预测”。

鉴于第一次，我的目的很明确：

• Participating is more important than winning!
• 检验Deep Learning的学习内容。
• 边实战边加快Data Analysis的进度，清洗数据很重要，甚至占据了整个项目超过50%的精力！

以“场景分类”项目为例，打算分为四步走：

1. 解压，读取，尺寸变换，归一化图像数据，建立3-4层卷积神经网络。按照评价标准先观察一下accuracy的情况。
2. 读引用里的三篇paper，找出优化思路。LSUN初读了下，似乎是关于human labeling的内容。

• LSUN: Construction of a Large-Scale Image Dataset using Deep Learning with Humans in the Loop
• Places: A 10 million Image Database for Scene Recognition
• SUN Database: Large-scale Scene Recognition from Abbey to Zoo

3. 读Dog-classification的算法，看看有无启发。
4. 与朋友探讨并重构优化。

[题外话]原本以为完成课程仅需2-3个月，结果花了整整5个月，中途甚至有过迷茫。身边较少有朋友从事AI、机器学习的工作或者科研，尚缺乏灯塔式的人物，现在想来支撑自己的是“坚持”和亲朋好友的“理解”。

致朋友们的话：我很好，感谢大家的关心！在看待事业与工作的问题上，我只不过在这个能折腾的年纪不愿意因循守旧而已。坚信AI是方向，未来会更好！

祝大家国庆、中秋双节快乐！