Kaggle增加算力的尝试

因为需要进行大量的实验，数据集的规模也比较大，因此近期打算看看有没有云上的算力可用。

Kaggle是一个不错的选择，大概一周有几十个小时，作为补充的时长跑一些对比实验很够了。

网址

https://www.kaggle.com/

新建jupyter notebook

这里可以链接自己的github账号，在新的notebook里，选择File -> Link to Github，输入密码授权即可。

传入自己的代码

推荐从git clone过去

公有仓库直接用 git clone： 这里不能使用git@的形式，要用https://github.com/username/reponame.git

私有仓库需要在github.com/setting/token申请一个token，权限选择第一个大项repo相关的即可，然后在kaggle的notebook里用!git clone "https://[email protected]/username/reponame.git"就可以拉下项目了。

这里记得如果是公开的notebook运行后及时删除命令行，以防token泄露。

然后就会发现output里有对应下拉项目的文件夹：

点击1 more可能打不开，多点两次就可以了，也可以在notebook里也可以查看对应的路径：

更改代码或者传入新的文件

传入的数据或者配置文件将会在input文件里。
在jupyter notebook里，无法切换目录，所以都使用绝对目录地址即可。

环境配置

!conda list查看目前已经安装的包，pytorch-light是安装了的，如果想安装没有的包，比如pytorch geometric，可以在数据集里搜索对应的whl文件，引入后直接pip install 就可以安装了。

执行代码

!python kaggle/working/.../train.py
就可以正常运行了，即使关掉浏览器也会继续运行的，只是输出会变换到下方的console里，而非在jupyter notebook中。