【炼丹神器】wandb实践之sweep超参扫描工具

参考官方文档：https://docs.wandb.ai/guides/sweeps/define-sweep-configuration

一、四步上手wandb

首先，wandb其实类似tensorboard，mindinsight，都是观察训练时的学习率，训练loss、验证loss等指标以了解训练进程的工具。使用wandb的功能还是要先学会在训练代码中嵌入wandb，这个官网其实跟详细，可以参考：https://docs.wandb.ai/quickstart

总结一下就是：

1. 先注册账号，去往以下链接注册：https://wandb.ai/home
2. 安装wandb: pip install wandb
3. 设置环境变量：export WANDB_API_KEY=注册的时候会给你
4. 将wandb嵌入代码中，可以根据quickstart看下如何嵌入代码中记录准确率等训练参数。

二、四步玩转sweep

接下来就可以上手sweep了，sweep工具具备搜索超参的功能，对于预设的参数，搜索的方法，指定训练次数以及评判的指标，一段时间后训练出如此图，可以快速的分析哪些参数的组合效果最佳。

使用sweep有两种方式，一种是嵌入代码的方式，一种是用yaml文件的方式，这边用了yaml文件的方式。

1. 代码中把sweep的参数赋值给代码中使用的变量，如args：
   
   这里要注意，参数赋值必须在使用这些参数之前，最好在刚进入函数的地方赋值。

2. 创建config.yaml
   这里要注意分为几大部分，如果有自己的参数放在command里面，上面sweep官方链接其实讲的算清楚了，这里直接举例。
   

3. 一条命令行启动sweep，并获得sweep id

wandb sweep --project TResnetM config.yaml

4. 再一条命令行启动训练

wandb agent --count 5 thomascai/TResnetM/XXXX

然后打开https://wandb.ai/登入你的账号即可查看。

Enjoy~

$${\sim }_{Onepersongofaster,agroupofpeoplecangofurther}\sim$$