LiveMACE：动态市场中 LLM 智能体能力的过程感知评估
LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
精选理由
通过真实市场交易轨迹拆解智能体能力，揭示收益表现与机制运用并不等同，为评估持续运行的智能体提供诊断工具。
AI 摘要
仅依据结果评估智能体，可能会掩盖产生这些结果的能力。这一问题在动态环境中尤为突出，因为结果反映了智能体行为与不断变化的外部条件之间的闭环交互。我们提出 LiveMACEBench，这是一个过程感知基准，利用实时金融市场作为自然演化的测试平台，评估持续运行的 LLM 智能体。五个前沿 LLM 在工具使用、持久记忆、规则遵循和多智能体协作配置相匹配的条件下，沿连续轨迹运行。我们通过实际结果以及从完整决策轨迹中提取的机制专项诊断来评估这些模型。在为期 30 天的实时评估中，我们发现了显著的结果与能力差距：实际收益往往与特定能力的测量结果相背离，而相似的结果可能源于截然不同的机制使用模式。轨迹层面的诊断进一步揭示了不同能力各自的瓶颈，表明能否访问机制、能否有效使用机制以及下游表现，并不是可相互替代的智能体能力衡量指标。LiveMACEBench 使这一区别变得可衡量，将实时市场从性能排行榜转变为智能体能力的诊断环境。