最近在做天池的项目。刚入行,没有gpu,内存只有8g。i5的笔记本。可怜啊。隔三差五的就崩溃一次。千辛万苦算是把数据处理完了。可是计算模型,真的不敢想啊。
最快的是跑了一个决策树,10多分钟吧。还能接受。但是效果不太理想。xgboost斗胆试了一次,跑了8个小时,崩溃了。
寻求帮助吧。
百度的飞浆不会用。
天池抠逼,就提供了个cpu2核,内存好像是8g。还不如我的电脑了。gpu还有单收费,每月2000.恨啊!
google是不错,要啊。
天助我也,用kaggle!免,还有gpu、tpu提供!!!!必须赞一个,这也是格局!有闲功夫参赛的都是苦逼穷人党。
1、注册kaggle
啥也不说 https://www.kaggle.com/
关键问题来了,系统一直提示验证码。可是显示不出来啊。最后才知道,验证码被强了。
谷歌上网助手
天降又一神器!!安装了这个chrome插件,相当于部分了。必须再赞一个!
当然,第一次按照提示我 免费12小时。我还没研究怎么.....
不过真的很牛逼,可以上Google了!!!!
安装方法,自行百度吧。
kaggle kernel
就是kaggle提供的在线版的notebook。你也可以导入自己的notebook。还可以像git一样,提交代码。非常方便。
最关键的是,人家给你gpu、tpu啊!神啊!
加载自己的数据集
为了减少大家的拥挤,给更多人的提供服务,kaggle设定了一次的使用时间。建议不要用太久。那就自己把处理好的数据集上传上去吧。
问题来了,上传速度,忽略不计啊。咋办?因为我刚刚删了谷歌上网助手。又重新安装了,上传速度贼快。55m的数据,用了不到1分钟啊。
使用gpu
运行代码发现,只有CPU啊。没看到GPU呢?后来发现,要想使用GPU,setting里面还有个验证手机号。这个简单。
通过后发现,竟然还有TPU。太激动了。
GPU、TPU限制为每周使用不超过30小时。
xgboost使用 GPU
查了查文档
增加了三个参数
gpu_id=0,
single_precision_histogram=True,
tree_method='gpu_hist'
现在正在运行中.....
输出文件
输出文件不用指定目录,直接 .to_csv('df.csv')。
昨天我还指定目录了,结果浪费了10个小时,啥也没看到。
网速不稳
外国的网,没办法。早上 连 www.kaggle.com 都访问不了了。
不停的刷,刷到自己都快崩溃了
太难了