CIRCE 根据约束结构预测 LLM 任务复杂度
CIRCE Divines LLM Task Complexity from Constraint Structure
精选理由
CIRCE 从问题约束结构预测大模型解题成败，助力模型路由、算力分配与工具选择。
AI 摘要
在大型语言模型（LLM）尝试解决问题之前，估计该问题是否超出模型的处理能力，可以指导模型路由、测试时计算资源分配，并提示是否需要新工具来辅助智能体。现有估计方法依赖问题文本、由 LLM 标注的任务难度标签，或模型尝试解决问题后获得的信号（如隐藏状态），但这些方法均未显式利用问题固有的约束结构，即需要赋值的变量及其约束之间的相互作用。我们提出 CIRCE，它使用低成本 LLM 构建约束中间表示，再以确定性方式将其编译为约束图，从而提取问题结构。在七个推理基准（涵盖 SAT、逻辑和数学）和四个 LLM 上，即使采用随机初始化的 GNN 编码器，也能改善对 LLM 回答正确性的预测：相较于各项指标上最强的基线，负对数似然从 0.465 降至 0.423，AUROC 从 0.691 升至 0.727。