EnvLunch：环境是学习交互的免费午餐

在智能体数据分析中，语言模型智能体往往需要大量带标注的任务，才能学会如何与可执行环境（即数据库）有效交互。高质量的标注任务需要投入大量人力，而可执行环境本身就提供了丰富的交互结构和可验证的结果。从这个意义上说，环境本身提供了一份免费午餐，即一组无需人工标注的额外可验证任务。我们提出了 EnvLunch，这是一个在下游智能体强化学习之前进行的预热阶段，无需人工编写或模型生成的任务描述，即可将这种环境信号转化为智能体训练。EnvLunch 对有效的动作轨迹进行采样，执行这些轨迹以获得最终观测结果，然后训练智能体仅根据最终观测结果还原一条功能等价的轨迹。这种无标签预热使模型在所有下游训练预算下的表现平均比基线高出 9 个点以上。在标注数据较少的情况下，基线需要使用 8 至 32 倍的标注样本，才能达到 EnvLunch 模型在最低训练预算下取得的准确率。与让模型在相同环境中自行编写任务相比，仅由环境定义任务带来的收益更大；这种预热还改善了在数据分析以外的基准上的微调效果。因此，EnvLunch 减少了对标注任务的需求，并在此类任务有限时，为智能体模型的微调提供了更好的起点。