绿色代码还是高耗能代码?评估基于 LLM 的迭代式代码优化的能源成本
Green Code or Costly Code? Evaluating the Energy Costs of Iterative LLM-Based Code Optimizations
精选理由
揭示代码加速不等于节能,并量化模型优化的能耗代价,为选择模型与制定绿色编程策略提供依据。
AI 摘要
大型语言模型(LLM)正越来越多地被用于优化代码性能。这种做法通常假定,执行速度的提升自然会带来总体能耗的降低。我们通过实证研究检验这一假设,测量 LLM 自我改进流程生成的性能优化代码相较于标准人工参考解是否也具有能源效率,以及优化过程的能源成本能否被后续执行阶段的节能收益抵消。我们在先进的性能基准 EffiBench 的全部 1,000 道题目上,采用四种解码配置评估了 11 个开源模型,并在整个过程中采集了进程级的硬件能耗测量数据。不同模型与配置组合的推理能耗介于 0.79 至 8.68 MJ 之间,大致相当于 250 至 2800 次 GPT-4.1 查询的能耗。限制最大输出 token 数的影响最为显著,与默认配置相比,最多可降低 69% 的能耗。在执行阶段,44 种配置中有 42 种生成的代码在每道题目上的能耗高于标准人工参考解,额外能耗从 +4% 到 +886% 不等。其余两种配置仅实现了微小的节能收益,达到能耗收支平衡所需的执行次数在 10^6 至 10^7 次量级。混合专家架构在不牺牲正确性的前提下,推理能耗显著低于同等规模的稠密模型,因此,与解码参数相比,架构选择是影响可持续性的更重要因素。性能优化与能源效率并非始终一致的目标:相较于人类工程师编写的代码,LLM 自我改进流程持续生成追求更快执行速度、却消耗更多能源的代码。所有研究产物均可通过 https://doi.org/10.5281/zenodo.23598170 获取。