一种用于生成边缘场景以支持安全保障的本地智能体式 AI 框架

生成边缘场景对于自主系统的训练、测试和安全保障至关重要。这有助于识别危险故障，提高系统的可靠性和鲁棒性，确保系统在其运行设计域的边界处仍能安全运行，并了解系统在这些边缘场景下的预期行为。语言模型（LM）的生成与分析能力迅速提升，拓展了其应用范围，近期已有研究探索利用 LM 生成场景。然而，近期的许多方法依赖人在回路或基于规则的策略。这限制了 LM 生成多样化场景以及分布长尾中的边缘场景的能力。我们的工作在基于笔记本电脑的智能体式 AI 框架中使用本地 LM，实现自适应场景生成。这种方法成本低、完全可控，并能保障数据隐私和安全。该框架采用“思考、行动、观察、更新、继续”的循环，并结合轻量级 JSON 编码来生成场景。我们将系统需求、系统描述和环境描述作为知识库，纳入提供给 LM 的上下文提示中，以确保场景的真实性。第二个独立的 LM 根据领域特定标准评判每个场景，以便对其进行完善。完善后的场景在仿真中运行，并收集评估指标。随后分析这些指标得分，针对边缘场景创建类似场景（利用），或生成新颖场景以探索场景空间。通过基于指标得分的事后聚类，以及对 LM 生成的富文本场景描述进行主题式分析，可以精准定位功能缺口及其触发条件。这为安全保障论证提供了可追溯的证据。我们的工作凸显了灵活、自适应的本地智能体式 AI 框架在自动生成边缘场景和产出可追溯安全保障证据方面的潜力。