ReLoop：面向可靠的基于 LLM 的优化的结构化建模与行为验证

arXiv:2602.15983v5 公告类型：替换并交叉收录 摘要：大语言模型（LLM）能够将自然语言问题描述转化为优化代码，但这些代码容易出现静默失败：代码可以执行，并返回求解器判定为可行的解，却编码了语义上不正确的数学模型。在组合式问题上，由此产生的可行性与正确性差距高达 90 个百分点。我们提出 ReLoop，将两种机制相结合。结构化生成将代码生成分解为四阶段推理链（理解、形式化、合成、验证），以减少生成过程中的建模错误。行为验证则通过测试模型是否对基于求解器的参数扰动作出正确响应，来检测残留错误；这一信号来自求解器，而非 LLM 的自我审查，且不需要真实标签。这两种机制针对不同的错误结构：结构化生成在组合式问题上带来的提升最大（使用 Claude Opus 4.6 时，在 RetailOpt-190 上的准确率提升 8.5 个百分点），行为验证则在局部缺陷上带来的提升最大（在 MAMO-ComplexLP 上提升 4.4 个百分点）。结合诊断式执行恢复后，ReLoop 在 Claude Opus 4.6 上实现了 100% 的代码可执行率；相较于直接生成，它在全部三个基准测试中，均提升或保持了三个经过对话调优的基础模型的每一项已报告指标。对于我们测试的经过狭窄任务微调的 SFT 模型，思维链提示与其学到的输出格式发生冲突，导致其在 MAMO-ComplexLP 上的准确率下降；我们记录并分析了这一相互作用。我们发布了 RetailOpt-190，其中包含 190 个组合式零售优化场景，每个场景中都有多个约束相互作用。