技能问题：LLM中的技能是否与语言无关？

大型语言模型在不同语言之间获取知识的表现并不一致，但当它们使用不同语言交互时，其技能集合在多大程度上会存在差异？本研究从与知识和通用基准性能正交的角度，对跨语言技能不一致性进行了量化。我们通过多语言自博弈来实现这一点：同一模型的两个实例在一个基于文本的游戏中对战，每个实例都通过不同的语言接口进行交互。由于模型、对手、规则、状态空间和可用动作都保持固定，这种设置隔离了语言对模型实际行为的影响。我们构建了 TextArena 的多语言扩展，并评估了三个开源权重模型在八种语言和六个游戏中的表现，这些游戏涵盖空间推理、不完全信息、资源分配和重复交互。我们发现，同一个模型在不同语言下的对局实力可能显著不同，在胜负差距、无效动作和策略倾向上都存在系统性变化。详细分析揭示了特定语言下在空间推理、受牌面条件约束的决策以及最优移动选择方面的失败。在某些设置中，仅改变中间推理所使用的语言就能恢复大部分损失的性能，这表明语言会影响决策过程的不同阶段。这些结果表明，技能差异是构建真正多语言模型时一个可测量且重大的障碍。更好地理解这些差异有助于我们设计出在不同语言之间表现更公平的模型。