LLM论文笔记 20: How to think step-by-step: A mechanistic understanding of chain-of-thought reasoning
Arxiv日期:2024.5.16机构:IIT关键词CoT本质LLM推理本质核心结论1.CoT推理的功能组件尽管不同阶段的推理任务具有不同的推理需求,模型内部的功能组件几乎是相同的(共享而非独享)不同的神经算法实际上是由类似归纳头(inductionheads)等机制组合而成2.注意力机制中的信息流动attentionheads在不同的模型层之间传递信息,特别是当它们涉及到本体论相关(ontolo