论文解读:Locating and Editing Factual Associations in GPT(ROME)
论文发表于人工智能顶会NeurIPS(原文链接),研究了GPT(GenerativePre-trainedTransformer)中事实关联的存储和回忆,发现这些关联与局部化、可直接编辑的计算相对应。因此: 1、开发了一种因果干预方法,用于识别对模型的事实预测起决定性作用的神经元。 2、为了验证这些神经元是否对应于事实关联的回忆,使用秩一模型编辑(Rank-OneModelEditing,