PRIME:通过效应建模对干预进行预测性路由,助力科学构思
PRIME: Predictive Routing of Interventions by Modeling Effects for Scientific Ideation
精选理由
提出跨范围反事实路由机制,帮助科学创意系统依据反馈选择更有效的修改方案,提升后续创意质量。
AI 摘要
反馈驱动的迭代被广泛用于改进 LLM 生成的科学构想,但现有系统要么将修订决策隐含在生成过程中,要么针对反馈定位的薄弱之处进行修订,要么将行动选择限制为系统特定的操作。这存在问题,因为问题、假设和解决方案相互依赖:薄弱之处显现的位置本身,并不能决定哪种修订范围能够产生更好的后续构想。我们将这一现象称为诊断—干预错配。我们提出 Predictive Routing of Interventions by Modeling Effects(PRIME),这是一个即插即用的反馈到修订决策层,可用于现有科学构思系统。PRIME 分三个阶段运行:(1)结构归因:基于问题—假设—解决方案结构解读反馈,而不预先确定修订目标;(2)反事实路由:构建以不同修订范围为条件的备选干预方案,并通过轻量级推演比较其预计产生的后续构想的效用与风险;(3)干预执行:将选定的干预方案编译为面向生成器的有序计划,其中包含语义动作、保留约束和依赖要求,以指导后续构想的生成。我们在 112 个人工标注的构想—反馈对上验证了诊断—干预错配现象。在四个基准、两个构思系统以及固定问题和开放问题设置下,PRIME 在后续构想质量和路由可靠性方面均优于强基线;移除反事实路由后,质量评分从 3.463 降至 1.960,路由遗憾值从 0.426 升至 1.929,证实跨范围效应建模是其性能提升的主要来源。