Berkeley AI Research 介绍 SPEX 与 ProxySPEX 大规模识别 LLM 交互的方法

Berkeley AI Research 介绍 SPEX 与 ProxySPEX，用稀疏恢复和层次结构从大规模候选交互中识别关键交互。文章展示其在长上下文特征归因、CIFAR-10 数据归因和 MMLU 注意力头剪枝中的应用，ProxySPEX 可用约 10 倍更少消融达到 SPEX 性能。