Chiron：面向 AI 工作负载、由 LLM 智能赋能的缓存管理

arXiv:2611.06179v1 公告类型：交叉发布 摘要：AI 集群将数据保存在远程对象存储中，并依靠本地缓存避免 GPU 等待数据。只有当预取和淘汰策略与访问模式相匹配时，缓存才能表现良好，但不同 AI 工作负载的访问模式各不相同，而且同一工作流在不同阶段的访问模式也会变化。现有方法要么需要修改代码，损害了对用户的透明性；要么采用简单的启发式方法，无法适应这些变化。大语言模型（LLM）能够在没有用户提示的情况下推断访问行为，但直接由 LLM 控制缓存操作会面临推理延迟长、token 成本高和决策质量差的问题。我们提出 Chiron，这是一种基于建议式切换控制的缓存系统。LLM 异步诊断访问模式并推荐策略。确定性控制框架对这些建议进行把关，在本地执行专家设计的策略，并返回缓存反馈以供复核。我们基于 JuiceFS 实现了 Chiron，并在九种 AI 工作负载上进行了评估。在常见的 AI 工作负载上，与最佳基线相比，它将作业完成时间缩短了 14.3–41.2%。