TokenCast：预测 LLM Agent 执行期间的 Token 消耗

当大语言模型（LLM）Agent 执行同一任务时，不同运行之间的 Token 消耗可能相差超过一个数量级。Agent 会根据工具反馈和中间结果选择下一步行动，而不断增长的上下文会持续扩大后续每次调用的输入规模。因此，任务的总消耗在执行前很难预测，并且预测必须随着运行展开而不断修正。本文提出 TokenCast，它为每个执行片段学习一种可组合的成本表示，记录该片段自身的消耗以及它引入的上下文增长。组合相邻片段可得到一个累积估计，捕捉早期片段的上下文被后续每次调用重新读取时产生的额外输入成本。随着执行展开，新观测到的证据会刷新预测，无需额外的 LLM 调用，并且在 SWE-bench Verified 上每次运行的平均累积预测时间为 32.8 ms。在 4 个任务套件和 6 个 Agent 模型中，TokenCast 相较最强对比方法的平均绝对误差降幅在 96 个评估组合上的平均值为 14.5%。在离线预算控制回放中，在匹配轨迹完成度的情况下，TokenCast 平均比固定预算策略少使用 21.3% 的 Token。代码可在 https://github.com/DEFENSE-SEU/TokenCast 获取。