CACHEFORGE：面向性能与硬件效率的 LLM 引导式端到端生成式缓存替换策略

arXiv:2610.07668v1 公告类型：交叉发布 摘要：现代缓存替换设计的性能趋于饱和，因为它们局限于固定的表示结构、基于人工设计与启发式特征工程的预测器，或无法自主生成新决策逻辑的离线模仿模型。与此同时，缓存替换受到预取、抖动、空间局部性和访问类型行为之间因果交互的影响，形成了难以人工探索的庞大设计空间。以往方法通常依赖启发式规则、参数调优或对离线最优策略的模仿，捕捉的是相关性，而非合成新机制。因此，它们的性能增益往往会进入平台期，并在动态工作负载条件下出现过拟合。CACHEFORGE 是首个通过将大语言模型嵌入受管控的硬件感知循环，实现缓存替换策略端到端演化的框架。在每次迭代中，LLM 提出新的 C++ 替换逻辑，策略在基于轨迹的 CRC-2 ChampSim 模拟器中接受评估，框架则通过奖励塑形、结构检查、动态变异、温度调度和跨策略交叉来确保可行性。这一专为缓存替换策略设计的闭环生成—演化循环，能够在探索超越固定预测器结构的算法变换的同时，发现满足硬件约束的紧凑策略。在 SPEC CPU2006 上，CACHEFORGE 优于所有 CRC-2 基线。相较于 MPPPB、ReD、Hawk-eye、SHiP++、LIME 和 LRU，其总体命中率分别提高了 27.36%、19.69%、13.72%、13.15%、11.83% 和 5.73%。在内存密集型工作负载上，相较于 LRU、MPPPB、LIME、ReD、SHiP++ 和 Hawkeye，其 IPC 分别提高了 10.15%、7.89%、6.34%、3.64%、3.12% 和 2.71%。