用自然语言解释国际象棋和围棋

现代国际象棋引擎的水平远超人类，常常会选择一些底层思路难以为人类理解的着法。我们提出了一种基于国际象棋引擎评估、用于评估国际象棋解释的自动化指标。使用该指标评估最先进的语言模型时，我们发现它们的表现出人意料地差，往往依赖棋盘表层观察，而不是稳健且可迁移的国际象棋概念。随后，我们提出了 BinProp，这是一种无需训练的方法，能够帮助这些模型发现可复用的国际象棋概念，并用自然语言解释着法。与直接提示相比，BinProp 提升了所有受测模型的可解释性，使平均得分接近提升至原来的三倍。除了国际象棋之外，该方法无需额外调优，也能在围棋、国际跳棋和日本将棋中发现有用的概念。