nnInteractive Agent：通用 AI 智能体作为三维图像标注员

arXiv:2610.31080v1 公告类型：新提交 摘要：nnInteractive 等交互式三维分割模型能够将少量空间提示（点、涂鸦、框）转化为准确的三维体积掩膜，但标注工作仍由人类完成：寻找各个结构、放置提示、检查结果并进行修正。如今，通用 AI 智能体已能解读图像、调用工具和编写代码。我们展示了这类智能体无需额外训练即可接手这些工作：用户用自然语言提出请求，智能体便会确定需要分割的内容、定位目标、向 nnInteractive 提供提示、检查三维结果、进行修正并响应反馈。当被要求分割“用于咀嚼的肌肉”时，智能体会识别并分割咬肌和翼肌；当被要求统计肝脏病灶数量时，它会自行编写代码寻找候选病灶，并按要求拆分被合并的病灶。我们的开源 nninteractive-agent 通过 Model Context Protocol（MCP）将 nnInteractive 作为工具提供，同时配备一项技能，其中编码了有经验的用户如何向其提供提示。在一项涵盖人类、小鼠和蚂蚁的 CT、MRI、PET 及显微 CT 的基准测试中（14 幅图像；51 个目标，涵盖器官、肿瘤、肌肉、足骨、血管树和昆虫脑），Claude Code 和 Codex 仅凭用户请求即可分别达到 0.81 和 0.84 的平均 Dice 系数；当被告知各个目标的位置时，两者均达到 0.85，且提供提示的效果几乎与利用参考分割结果放置提示的理想方法相当。文本提示驱动的三维模型（VoxTell）在大多数常规放射影像目标上的准确性更高，但鲁棒性较差：它对其中一个目标返回了空掩膜，并在腿部肌肉、足骨、小鼠和蚂蚁上分割失败，而智能体在这些目标上仍能保持准确。代码：https://github.com/MIC-DKFZ/nninteractive-agent