kaggle白嫖相关

在kaggle上使用gdown

首先需要安装gdown

pip install -U --no-cache-dir gdown --pre

挂机训练

#将input的文件移动到output
import shutil
shutil.copytree(r'/kaggle/input/cronkgqa/', r'/kaggle/working/cronkgqa/')

当调试代码成功运行后，由于深度学习模型训练都需要耗费大量的时间，而像kaggle这种线上的训练网站可能会出现内核挂掉，所以我们可以在进入训练状态后选择保存此时的版本，让模型离线训练，这样我们就只要在训练完成后下载权重文件即可。
但是需要注意的：第一，虽然kaggle每周给予每人41小时的免费gpu时长，但是一次训练最长持续12个小时，超过时长则会自动停止训练。第二，当你选择保存版本离线训练时，需要注意此时离线训练的环境也在使用你的gpu免费训练时长，如果你不退出kaggle而是继续开启gpu看着模型训练，那么你将会使用两倍的gpu训练时长。
下面是离线训练的操作示例。

经过上述步骤我们就可以得到一个训练好的权重文件了，将权重文件下载出来就可以直接使用测试程序测试了。

修改、添加模块中的文件

如果要修改或者增减模块的文件，需要首先更新数据集版本，然后再notebook中刷新模块的版本号。具体操作如下：

1、在kaggle的【datasets】中找到自定义的数据集，并打开数据集。

2、打开数据集后，点击页面底部的【new version】，更新数据集版本：

3、在弹出的窗口中，将修改过的模块【document】重新上传到数据集中，上传时系统会记录上传的时间作为版本号，见下图【Date Update 2022./06/28】：

4、更新完数据集后，回到notebook，将光标移到模块上，会有【more actions选项】，并选择其中的【pin to version】更新模块。

5、在弹出的窗口中选择要更新的版本号来更新。

更新完模块后，模块会显示重新上传的文件内容。至此，模块的更新修改完毕。

参考博客

https://blog.csdn.net/m0_60681041/article/details/122900156 【使用kaggle的GPU离线训练自己的模型】
https://blog.csdn.net/wxyczhyza/article/details/125488592【kaggle添加、修改自己的模块和文件】