PatentAgentBench：使用专业专利任务套件对LLM智能体进行基准测试

专利实务处于技术、法律和语言工作的交汇点，这使其对技术创新而言既具挑战性又至关重要。近年来，大语言模型（LLM）和智能体系统的快速发展展现了其完成真实业务流程乃至专利工作的潜力。这引出了一个问题：当前的AI系统能否可靠地开展专利工作？现有基准测试涵盖的专利任务范围有限，并通过提供参考材料或候选文档来简化证据获取过程。在本文中，我们推出PatentAgentBench，这是一个包含510个实例的基准测试，涵盖八类任务套件：新颖性检索、自由实施（FTO）检索、外观设计FTO、无效性检索、权利要求图表制作、专利撰写、审查意见答复和专利翻译。该基准测试从真实专利记录和专业材料中整理而成，将特定任务指标与专家审阅的标注和评分标准相结合。新颖性检索、FTO检索等检索任务要求智能体在没有预先提供候选文献集的情况下检索和比较专利文献。撰写任务和OAR任务则在提供技术披露和审查意见通知的情况下评估智能体工作的质量。我们使用四种智能体框架对PatentAgentBench上的七个LLM进行了评估，发现当前系统在整个专利工作流程中，仍难以识别新颖性、评估风险并理解专利从业者的意图。