Faynt：为竞技 Melee 扩展和优化策略

arXiv:2610.02144v1 公告类型：新 摘要：我们推出了 Faynt，这是一系列面向 Super Smash Bros. Melee 的 1000 万参数和 7500 万参数 Transformer 策略，每个策略都能通过单个 checkpoint 控制全部 26 个角色。经过强化学习（RL）后，10M 在由十四个专精角色或多角色版本所支持的角色阵容上进行的同角色对局中赢下了 244 场中的 240 场（98.4%），并且对每个版本都保持胜绩。这些对手仍保留 21 帧或 24 帧的动作延迟；Faynt 不使用额外延迟，而我们尚未单独分析这一差异的影响。在另一项针对私下提供的零延迟 Slippi-AI 模型的评估中，10M 在两种条件设置下的全部 68 场对局中均获胜。我们研究了架构、优化、规模扩展和超参数迁移，以指导在约 840,000 场人类回放上进行预训练。后训练结合了基于排名和结果的课程学习、75M 到 10M 的知识蒸馏，以及仅限于 Fox 镜像对局的强化学习。在最初的 152 场基准测试中，监督式 10M 赢下了 69.7% 的对局，而预训练 75M 的胜率为 45.4%，尽管后者整体留出集控制器预测损失更高。用于选择监督式 checkpoint 的加权验证损失，与全部四个预训练和监督式策略的胜率排序一致。监督式后训练完成后，两个模型每分钟承受的伤害都更少，在前期建立的领先优势更大，并且在丢失第一个生命后获胜的频率更高。在记录的游戏状态上进行优化推理时，10M 在 NVIDIA T4 上每次决策平均耗时 5.2 毫秒，75M 为 8.7 毫秒，不包括模拟器执行和通信时间。我们将权重、两套基准测试以及用于自动化模型锦标赛的平台开源。