发明一个数据集：用零种子衡量数据集生成能力

arXiv:2610.01674v1 发布类型：new 摘要：构建数据集仍然是 AI 开发中最依赖人工且最脆弱的环节之一。在这份技术报告中，我们聚焦于现实世界从业者面临的最极端、同时也是最普遍的情境：零数据环境。在这种情况下，从业者手头没有任何用于学习目标能力的数据。我们推出 Invent-A-Dataset，这是一个基于提示词的系统，能够从数据集描述出发，生成真实且大规模的后训练数据集。我们将 Invent-A-Dataset 与包括 Anthropic、Google、Open AI、DeepSeek、Zai 在内的五个前沿模型 API 进行评估。在八种任务类型以及最大 20K 个样本的数据集规模上，Invent-A-Dataset 均显著胜出：不仅质量最高（相对提升 17%），同时生成的样本也最为多样（相对提升 19%）。随着训练数据集规模扩大，其多样性优势进一步扩大：从 200 个样本时的持平，提升至 20K 个样本时的相对提升 37%。这进一步转化为显著的下游训练收益，产生性能强得多的后训练模型。在不同的后训练模型架构中，Invent-A-Dataset 微调模型始终比其他生成器微调模型排名更高。