arXiv cs.AI精选72

OmniScientist:一种全模态、全学科 AI 科学家

OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

· 61天前

精选理由

帮助读者了解多模态AI科学家的端到端科研能力

AI 摘要

基础模型的最新进展使 AI 科学家能够自动化越来越完整的研究工作流程,从假设生成和代码执行到手稿撰写。然而,仅有工作流程覆盖并不能提供科学发现所依赖的全部证据。现有系统通常基于文本、代码、标签或预计算摘要进行推理,使代理无法获取在科学上具有决定意义的空间、时间、跨通道和程序性关系。我们提出 OmniScientist,一种端到端的全模态 AI 科学家,能够直接基于异构原始证据开展多学科研究。一个感知层以及 3 个分别负责构思、实验和写作的自主代理在确定性流程中运行,使观察结果能够在整个研究生命周期中塑造研究问题、实验决策和最终论断。通过在代码中执行想法、严谨性和论断检查,该系统强制实施新颖性筛查、统计有效性、执行溯源和数值可追踪性。我们在 36 个真实数据案例上评估 OmniScientist,这些案例涵盖 5 个学科族、4 类科学证据,以及包括图像、信号、音频、视频、三维结构、轨迹、表格、公式和图在内的多种模态。该系统在全部 36 个案例中完成了从原始数据到编译完成手稿的完整路径,并在参考推理主干下取得了 6.3 的平均总体论文评分。在与仅接收预计算标量特征的盲变体进行成对比较时,直接感知提升了全部 7 个评估维度,并在 85% 的正面比较判断中胜出。这些结果表明,贯穿整个生命周期的感知对于基于证据的科学发现至关重要,并为构建具备广泛能力的 AI 科学家提供了一条可行路径。

查看原文(arXiv cs.AI)