语言模型可以解释语言模型中的神经元
Language models can explain neurons in language models
精选理由
展示用语言自动解释神经元,推动大模型可解释性研究
AI 摘要
我们使用 GPT-4 自动为大型语言模型中神经元的行为编写解释,并对这些解释进行评分。我们发布了一个数据集,其中包含 GPT-2 中每个神经元的这些(不完美的)解释和评分。
Language models can explain neurons in language models
展示用语言自动解释神经元,推动大模型可解释性研究
我们使用 GPT-4 自动为大型语言模型中神经元的行为编写解释,并对这些解释进行评分。我们发布了一个数据集,其中包含 GPT-2 中每个神经元的这些(不完美的)解释和评分。