研究
可解释性
打开模型看里面在算什么:叠加、电路、稀疏特征。还年轻,但已经改变了我们对「模型知道什么」的理解。
本线正典
- S Toy Models of Superposition · 2022 · 用可控的小模型证明网络会把远多于神经元数量的特征「叠加」存储
- A Locating and Editing Factual Associations in GPT · 2022 · ROME 用因果追踪定位 GPT 中存储事实的中层 MLP
- A In-context Learning and Induction Heads · 2022 · 给出证据:in-context learning 很大程度上由归纳头这一电路实现
- A Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small · 2022 · 在 GPT-2 small 中完整逆向出一个由 26 个注意力头组成的电路
- A Sparse Autoencoders Find Highly Interpretable Features in Language Models · 2023 · 用字典学习把叠加的激活分解成单语义特征