AI 心智融合：一种潜在表征互联协议

arXiv:2610.30215v1 公告类型：新投稿 摘要：LLM 可以充当科学智能体，使用工具咨询专业模型并开展实验。然而，专业模型的信息必须进入其上下文，通常以文本、图像、音频或视频的形式呈现：这在具有丰富高维表征的模型之间形成了瓶颈。我们倡导直接交换表征：通过心智融合传递多种属性，包括 LLM 不会想到主动请求的信息。这种方式应能扩展至新的专业模型，灵活适用于不同问题和任务，并能在彼此独立连接的专业模型之间实现组合，而无需联合训练。Latent Interconnect Protocol（LIP）通过学习连接器，将专业模型的表征映射到 LLM 的内部状态。仅训练连接器，使这一方法在 LLM 规模扩大和持续演进时仍具有实用性。我们将三个蛋白质专业模型和三个小分子专业模型连接到 Gemma 3（40 亿和 120 亿参数）及 Kimi K2.6（总参数量 1 万亿，激活参数量 320 亿），并冻结所有预训练模型。独立训练的连接器无需更改 LLM 或已有连接器，即可提供有用信息，支持针对未见对象的常见及新型问题。我们展示了无需联合训练即可向跨领域任务进行零样本迁移的能力。任务表现和组合能力通常随 LLM 能力的增强而提升，其中零样本任务迁移方面的提升尤为显著。但仍存在局限：当前 LLM 在训练时并未将专业模型的表征作为原生输入；能够获取这些表征，并不意味着能够可靠地解读、整合或将其用于推理。我们呼吁专业模型开发者提供一致的表征接口，尤其呼吁 LLM 开发者训练模型，使其能够接收、组合这些输入并利用它们进行推理。这些努力有望在保留传统工具灵活性的同时，拓展科学智能体可获取的信息。数据、预训练连接器，以及用于训练、评估和交互式推理的代码：https://github.com/PolymathicAI/AI-Mindmeld