LLM 助手已做好监管准备吗？来自 regenold's 2026 EU AI Act Q&A Challenge 的答案

大型语言模型（LLM）助手日益被提议用于监管事务，但其在监管任务中的可靠性仍不明确。我们推出了 EU AI Act Q&A Benchmark，这是一个由专家策划的基准测试集，包含 110 个关于 EU AI Act（Regulation (EU) 2024/1689）的开放式问题。每个问题均配有示范性答案、针对该问题的正确性标准以及预期参考文献。评估指标包括答案正确性、参考文献质量、简洁性、语气和延迟；此外，还通过多轮“困难模式”测试助手对模拟用户质疑的回应。我们还介绍了基于该基准测试集开展的 2026 EU AI Act Q&A Challenge 结果，其中测试了三个现成基线系统和五个专门构建的助手（来自四家商业开发者和一名学术参赛者）。五个参赛助手中，只有两个持续优于基线系统；其中一个在所有评估指标上均取得了较高分数。这些结果表明，仅进行专业化开发并不能保证更好的性能，也凸显了 LLM 助手评估在监管事务中的关键重要性。基准测试代码已公开发布于 https://github.com/regenold-GmbH/eu-ai-act-benchmark-2026/。