通过对非结构化数据进行自适应结构化实现 Token 高效的数据推理智能体

有价值的数据仍然埋藏在非结构化来源中：网页、报告、合同、申报文件、财报电话会议记录以及 PDF。企业 AI 的一个重大押注，是部署能够对这些数据进行推理的 LLM agents，为每一位知识工作者回答复杂问题。如今，agents 已经可以做到这一点，但成本高得令人难以承受。每个问题都要反复打开大文档来检索分散的证据，消耗高达一百万个 token。然而，如果数据本身已经结构化，同样的问题就会变成一次廉价的数据库查询。比如在 FanOutQA 基准上，对理想的预结构化存储进行推理的成本要低 28 倍，而且随着问题需要涉及更多文档，这一差距还会扩大到数量级。然而，提前把一切都结构化并不可行：文档所包含的潜在结构远比任何工作负载会用到的多，而哪些结构有用、哪些文档相关，只有在查询到来之后才会知道。我们提出 agentic data cracking，这是一种在推理本身的副产物中，对非结构化数据进行自适应且带有推测性的结构化方法。之所以称为自适应，是因为已观察到的查询决定了何时结构化以及哪些内容重要；之所以称为推测性，是因为它超越了当前问题。每当智能体为回答而打开某个文档时，一个 cracking 子智能体就会以边际成本从已加载的上下文中分叉出来，提取有据可依的结构化信息，以服务未来可能相关的查询。随着时间推移，越来越多的查询能够完全由结构化数据覆盖，无需打开文档即可回答，从而在接近 RAG 成本的同时保持 agentic 准确性。在 FanOutQA 上，若仅为每个测试问题额外增加一个相关问题，cracking 就能在保持准确率的同时将成本降低 53%。agentic data cracking 是迈向下一代数据基础设施的第一步，用于在非结构化数据上进行 agentic 推理：一个位于模型之下的共享基底，让推理已经付出代价发掘出的知识持续积累。