nni调参结果记录

Resnet20结构下，用CIFAR10数据集：

搜索空间为

{
    "beta":{"_type":"choice","_value":[5e-3, 1e-3, 5e-4, 1e-5, 5e-5]},
    "lr":{"_type":"choice","_value":[0.1, 0.2, 0.15, 0.25]}
}

其他参数

batch_size = 128
epoch = 200
lr_scheduler = [100,150]
normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
momentum = 0.9
weight-decay = 1e-4（不确定，也可能5e-4）

超参数曲线

lr的区别不是很大，0.1-0.2都行；beta太小曲线就红色偏多，设置为0.005感觉比较好