RTL-Interact:面向多任务 RTL 设计的 EDA 交互式模型训练
RTL-Interact: Training EDA-Interactive Models for Multi-Task RTL Design
精选理由
让 RTL 模型学会生成、检查并依据 EDA 反馈修订设计,以更少工具调用提升硬件代码正确率。
AI 摘要
大语言模型为寄存器传输级(RTL)设计提供了一条前景广阔的路径,但要实现可靠的设计,需要根据电子设计自动化(EDA)工具的反馈进行检查和修订。现有的 RTL 专用模型往往未经过与此类 EDA 工具交互的训练,或依赖彼此独立的生成与修复组件。我们提出 RTL-Interact,这是一个多任务后训练框架,可训练单个 RTL 专用模型,使其能够生成 RTL、构建适合任务的 EDA 检查,并利用工具反馈修订实现。该框架将自动构建的多任务示范数据与从思维链到工具集成推理的分阶段监督相结合。我们进一步提出用于多任务强化学习的模式感知策略优化(PAPO)。PAPO 在组相对策略优化的基础上引入以正确性为门控条件的奖励机制,鼓励简洁且成功的检查,同时奖励有效的修订,并通过任务分组确保对各项目标的覆盖。在 CVDP 上,RTL-Interact-32B 的加权 Pass@1 达到 48.7%,Pass@5 达到 68.9%,超越了其教师模型 DeepSeek-V3.2;RTL-Interact-8B 的加权 Pass@1 则达到 44.9%。此外,我们表明,PAPO 能够在提升 Pass@1 的同时,将平均工具调用次数减少 63.8%。这两个模型在 VerilogEval v2 和 RTLLM v2 上也均优于所有 RTL 专用基线模型,验证了我们方法的有效性。