反思式 LLM 反馈在湿实验规模的标注预算下仍然有效吗？

当每个周期只能获得一块实验板的标注数据时，反思式语言模型反馈能否改进生物学预测模型？我们区分了三种可能的收益来源：提出模型修改方案、选择测量对象，以及通过反复反馈修订决策。我们对 $36$ 项 ProteinGym 测定进行回放，初始使用 $96$ 个标注，每轮新增 $96$ 个，共进行六轮，并采用封存的测试集和统一的修改规范。预先设定的比较显示，LLM 全面控制相较于随机修改，在测试集秩相关性上未检测到优势（$Δz=-0.008$，$95\%$ 置信区间为 $[-0.034,+0.018]$）；二者的等效性也尚未确立。不过，探索性消融实验发现了有益的模型修改。当采样策略固定为随机采样时，相较于不作修改，LLM 修改使经 Fisher 变换的测试集 Spearman 相关系数提高了 $0.043$；当采样策略固定为置信上界策略时，LLM 修改使归一化的最优变体找回率提高了 $0.023$。单独使用 LLM 选择采样对象，未显示出优于固定自适应规则的可检测优势；在全面控制条件下，反复反馈相较于仅在初始阶段提供一次建议，也未显示出可检测的优势。因此，观察到的收益支持受约束的专家式模型修改，而在这一标注预算下，递归反思的增量价值仍未得到证实。