LLM智能体低秩适配的行为商学习

基于LLM的智能体依赖异构交互能力来完成复杂任务。现有方法通常将这些能力分散到多个LoRA适配器中，这会增加适配器的存储需求，并在推理过程中引入路由开销。使用单个LoRA可以避免这些开销，但在固定秩预算下从多样化的智能体轨迹中学习会面临两个挑战。第一，具有不同交互轨迹和参数梯度的轨迹可能对决策分布产生等价的变化，导致重复更新过度强调冗余的行为变化。第二，聚合后的更新可能超出适配器的秩预算，而在权重空间中对其进行近似可能会扭曲其原本要产生的决策变化。我们提出了BQ-LoRA，一种通过局部行为商流形组织轨迹更新的低秩适配框架。该框架包含两个模块，即行为商平衡（BQB）和决策保持压缩（DPC）。BQB根据决策分布构建商流形，并依据轨迹更新方向在商切空间中的局部密度对其重新加权。DPC将平衡后的梯度投影到内在固定秩切空间中，并通过联合控制有效权重误差与决策分布的失真，对所得目标进行重新因子化。在AppWorld和BrowseComp-Plus上的实验将BQ-LoRA与标准LoRA及近期的低秩适配方法进行了比较，同时，单独的消融实验评估了两个组件各自的互补贡献。