EADC：大型语言模型的高阶与深度合规评估

大型语言模型（LLM）已应用于各个行业。然而，确保其遵守复杂的法律和监管框架仍是一项巨大挑战。现有评估范式主要依赖静态基准，存在三项严重局限：第一，所采用的合规规则不符合人工智能（AI）法律法规的要求；第二，它们只能处理明显、显性的合规风险，导致隐性和隐蔽性合规风险未被发现；第三，它们无法追踪风险沿逻辑依赖链的系统性传播，也无法在细致且基于语境的现实场景中评估合规性。为弥合这一关键缺口，我们推出了EADC：一种基于AI合规知识图谱和AI合规法律专家构建的新型大型语言模型高级评估基准。通过将抽象的法律规则映射为结构化的逻辑多关系图谱，我们的框架能够使自动化、不断演进的智能体提炼并综合出高度复杂的对抗性场景。在整个过程中，该合规基准均由人类AI法律专家进行审查和修正。最终形成的数据集包含4,435+个QA对，提供了一个广泛的多维分类体系，涵盖偏见与歧视、公平性、个人隐私保护以及价值观等关键监管前沿领域。尤为重要的是，我们的合规数据集超越了浅层字符串匹配，融入了基于语境的长程交互和逻辑驱动的危害链，能够捕捉绕过传统过滤器、深度嵌入的合规异常。实验评估表明，我们的框架揭示了当前最先进LLM中的关键监管盲点，为保障LLM应用中的高阶与深度合规，提供了一个严格且符合AI法律法规要求的基准。