利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第1张图片

背景

theano 是一个python语言的库,实现了一些机器学习的方法,最大的特点是可以就像普通的python程序一样透明的使用GPU

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第2张图片

mnist主页:http://yann.lecun.com/exdb/mnist/

其他大部分资源位于deeplearning向导的主页:

deeplearning.net向导: http://deeplearning.net/tutorial/

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第3张图片

输入数据修改

原来是从cPickle导入:

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第4张图片

valid_set是用来在SGD迭代过程中,用来验证效果但不参与训练的数据集。每次只有确定在valid_set上更有效,才继续进行目标函数的优化,这样可以防止过拟合。参见early-stopping [2]

设定数据集的大小,如果是调试模式则减小数据集。

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第5张图片

MNIST共有7w条记录,其中6w是训练集,1w是测试集。theano的样例程序就是这么做的,但kaggle把7w的数据分成了两部分,train.csv一共42000行,test.csv一共28000行。实际可用来训练的数据只有42000行(由此估计最后的效果也会有相应的折扣)。theano把6w的训练集分为了5w的test_set和1w的valid_set,我在这里把42000行数据分为36000的train_set、5000行的valid_set和1000行的test_set(训练时用不到)。

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第6张图片

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第7张图片

我们需要的是最后一层的输出,theano的样例程序在最后一层lr给了我们一个符号变量y_pred,定义如下:

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第8张图片

这样我们就得到可以操作的数组,写入输出文件:

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第9张图片

平移数据

以上可以差不多达到1.0%的误差,和理论值0.5%还有差距,我觉得可能是因为数据不够多,所以我对输入输出数据进行了平移预处理。 输入数据平移:

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第10张图片

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第11张图片

ok,万事俱备,刷榜吧!

运行结果

kaggle传送门

valid_set_error=0.90 test_set_error=0.68

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第12张图片

刷到前10,我感觉可以了,再往上刷10名就要被怀疑作弊了。

对Python感兴趣或者是正在学习的小伙伴,可以加入我们的Python学习扣qun:784758214,看看前辈们是如何学习的!从基础的python脚本到web开发、爬虫、django、数据挖掘等,零基础到项目实战的资料都有整理。送给每一位python的小伙伴!分享一些学习的方法和需要注意的小细节,教你如何实现边学习边用Python赚钱的学习方式。点击加入我们的 python学习者聚集地

不明觉厉

simple cell到complex cell是怎么实现的?

  1. 拿着某一斜率的filter去扫一遍全局的图像
  2. 把图像分割成nxn份,做pooling(可以是max pooling)

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第13张图片

利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!_第14张图片

你可能感兴趣的:(利用Python来刷排行榜!这不犯规吗?当然,但是Python就是牛逼!)