先验还是反馈？LLM 在适应神经算子时使用了什么

LLM 科学代理是否仅依赖其初始任务上下文，还是会根据实验反馈调整决策？我们在神经算子适应这一场景中研究了这一问题：在试验预算有限的情况下，大语言模型（LLM）选择微调配置。在偏微分方程（PDE）族内部及不同 PDE 族之间的迁移中，几乎在每一组匹配比较中，LLM 都取得了低于随机搜索和贝叶斯优化的留出测试 nRMSE。仅凭最终性能无法区分其中的作用机制，因此我们通过受控干预对每种归因进行了验证。在观察到任何验证分数之前，LLM 的首个配置已经在相应的随机搜索候选池中排名靠前，表明其具有有用的初始偏置。一项互补的冷启动干预显示，所选基础学习率会随 PDE 描述而变化。反馈可用后，在已评估配置之间重新分配验证分数会在所有测试案例中改变下一次提议，而保持数值不变的改写则不会产生可比的总体效应。这些干预表明，LLM 在决策层面的行为会响应给定任务和观测结果，说明它将依赖任务的先验与对实验反馈的敏感性结合起来。