一种用于自动调优专用神经网络模型的多智能体 LLM 系统

arXiv:2610.13663v1 公告类型：cross 摘要：许多机器学习方法采用两层结构：专家先选择一类方法，而在该类别中，关键组件的选择至关重要，通常需要人工完成。本文针对这些组件的自动调优问题，提出了一个可迁移到不同性质模型的框架。该多智能体大型语言模型（LLM）框架包含三个角色——分析员、编码员和记录员——并配备实验日志和沙箱化执行环境。不同于优化整个机器学习脚本或在离散空间中搜索架构的系统，该框架在一个开放但语义范围狭窄的空间中运行：智能体仅为指定组件生成代码，而保持整体网络结构不变。该方法从两个方向进行了验证：调优一个采用相关性学习的分类脉冲神经网络，以及利用物理信息神经网络（PINN）求解高阶微分方程。在五项任务中——MNIST 和 Digits 上的脉冲分类，以及广义非线性 Schrödinger 方程（GNLSE）和 Kuramoto--Sivashinsky（KS）方程的边值问题——该智能体均优于基线方法：分类准确率分别提高了 13 个百分点（MNIST）和 6 个百分点（Digits）；相对于解析单孤子解的误差降低了约 2491 倍；在采用高斯扰动的选定 GNLSE 实验中，不变量保持误差降低了约 325 倍，在多次初始化的平均结果中降低了 100 倍以上；对于采用高斯扰动的 KS 问题，质量漂移降低了 14 倍。因此，该框架能够在不改变自身内部结构的情况下，针对性质不同的任务调优关键组件。