TicTacBench：评测编码智能体的时序收敛能力

大型语言模型（LLMs）的最新进展催生了能够执行复杂工程任务的编码智能体，包括寄存器传输级（RTL）设计与优化。现有 RTL 基准主要评估生成的 RTL 设计在功能正确性以及性能、功耗和面积（PPA）方面的表现，使得智能体在时序收敛方面的能力未得到充分评估。我们提出 TicTacBench，这是一个专门设计用于在布局布线后（post-PnR）评估下衡量编码智能体 RTL 级时序收敛能力的基准。TicTacBench 包含 30 个多样化任务，每个任务都提供一个次优 RTL 设计、真实的时序约束、功能等价性验证和时序报告。通过由 8 个前沿 LLM 驱动的编码智能体进行 300 多次运行，我们发现即使是最佳智能体也只能使 53.3\% 的任务实现时序收敛，平均导致 7.18\% 的面积-延迟乘积（ADP）退化，同时使能量-延迟平方乘积（EDDP）改善 8.83\%。我们识别出常见的失败类别，用以解释智能体为何无法实现时序收敛。随后我们提出 TicTacSkill，这是一种引导智能体遵循标准时序收敛流程的新方法，并将时序收敛率提高了 9\%。这些结果表明，尽管编码智能体在 RTL 设计方面已取得显著进展，但其时序收敛能力仍有很大的提升空间。