PC-DARTS论文概要

核心思想：在每个步骤中随机采样所有通道中的一个子集，而不是将所有通道都发送到操作选择块中，将被选中子集视为所有通道的一个代理近似。

优点：显著减小计算和存储花费，增大批次大小，减少选择操作时的偏差，增强模型稳定性，正则化低参操作（跳跃连接，池化）和高参操作（各式卷积），避免陷入局部最优。
缺点：DARTS使用通道选择操作，在进行随机通道采样时，不同迭代次数采样到的通道不尽相同，导致操作选择的不稳定，进而影响模型的稳定性。
解决办法：边标准化，在已有架构参数α的基础上引入参数β（训练过程中贡共享，对架构搜索中的通道采样不敏感），操作通过α和β乘积大小选择。
具体实现：引入超参数K，选择总通道数的1/K。设置通道采样掩码，为1时选择该通道，为0时忽略该通道，被选择的通道通过相应的操作，被忽略的通道直接略过这些操作复制到输出上，结合边标准化来获得架构参数，获得稳定的模型。