arXiv cs.AI精选72

TAU-Agent:用于交通异常理解的智能检索增强框架

TAU-Agent: An Agentic Retrieval-Augmented Framework for Traffic Anomaly Understanding

· 48天前

精选理由

为交通异常视频分析提供可解释的智能检索框架

AI 摘要

Traffic Anomaly Understanding(TAU)要求模型和系统能够在交通视频中检测、推理并解释异常事件。为解决这一挑战,我们提出 TAU-Agent,一种面向交通异常理解的智能检索增强框架。给定一个任务查询,中央检索代理会协调两种视觉感知工具,即 Video Captioning Tool 和 Open-Vocabulary Tracking Tool,以检索并选择与查询相关的证据,包括字幕、时间区间和目标轨迹。所选证据与采样的视频帧以及输入查询一起,提供给经过监督微调的视觉语言模型,用于最终推理和答案生成。我们在 AI City Challenge 2026 的域内和域外基准上评估了 TAU-Agent。TAU-Agent 在 Track 3 上取得 0.6779 分,在 Track 7 上取得 0.3998 分,在 Track 8 上取得 67.9275 分,分别排名第二、第十二和第五。代码可在以下地址获取:https://github.com/siri-rouser/TAU-Agent。

查看原文(arXiv cs.AI)