无知的几何学：通过激活碎片化检测 LLM 中被抑制的知识

评估大型语言模型（LLM）是否真正掌握某个概念仍是一个根本性问题，因为行为指标可能会受到抑制机制的误导：一个拒绝回答的模型仍可能存有可恢复的知识。该框架测量 \textit{anon-vectors} 的几何一致性，即概念特定查询与其匿名化释义之间隐藏状态的差异，并表明，真正掌握的知识会形成紧密、低熵的聚类，而无知则会导致几何碎片化。在来自三个模型系列的十个经过指令调优的 LLM 上，所有碎片化指标都能可靠地区分已知概念与未知概念；在执行 unlearning 后，碎片化几何结构与四种攻击类型和五种 unlearning 算法下的对抗性恢复相关，不过研究表明，这种关系的方向取决于攻击方法。此外，分层分析显示，不同的对抗机制会在不同深度利用这种几何结构，并呈现出行为评估无法观察到的高攻击特定相关性。总体而言，这些结果构成了一种单阶段、无需攻击的 unlearning 鲁棒性代理指标，能够捕捉输出级指标无法获取的参数化知识特征。参考实现见 https://github.com/AdarPeleg/geometry-of-ignorance