Raki的读paper小记:Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Nets
Abstract&Introduction&RelatedWork研究任务ContinualLearning已有方法和相关工作面临挑战创新思路利用持续学习过程中的持续稀疏性,与使用密集架构的主流实践不同,我们从稀疏网络开始,并在整个学习轨迹中保持相同的连接密度受“学习通过同时改变连接权重和网络结构在大脑中发生”的启发,当学习新任务时,连接rewiring,以创建新的并修剪网络中的现有路径,rewi