arXiv cs.AI精选73

PL-Guard:用于 LLM 防护栏的概率逻辑推理

PL-Guard: Probabilistic Logic Reasoning for LLM Guardrails

· 58天前

精选理由

展示神经符号护栏如何提升安全性并使推理可审计

AI 摘要

大型语言模型防护栏可以被视为策略一致性问题:系统必须确定提示-响应对中哪些与策略相关的事实成立,以及在给定策略下这些事实意味着什么。常见方法,包括策略提示和 LLM-as-a-judge 流水线,往往将语义落地和策略推理这两项任务重叠在一起:模型既要解释提示-响应对,又要推理是否违反了策略。这可能导致对有害提示的不安全遵从,或拒绝协助良性请求。为分离落地和推理角色,我们提出 PL-Guard,一种神经符号防护栏架构。通过使用由谓词和 ProbLog 规则组成的符号策略接口,本地 LLM 利用重归一化的 True/False token 分数将提示-响应对落地为谓词概率,而 ProbLog 则在符号策略上执行显式的概率规则推理。在 XSTest 基准上,一个基于 Qwen 的离线评估器发现,采用手工整理策略的 PL-Guard 将不安全遵从率从基座模型的 22.0% 降低到 0.5%,并低于 LLM-as-a-judge 基线的 6.0%。其代价是相较于 LLM-as-a-judge 基线产生更高的过度拒绝率,分别为 14.4% 和 5.2%。这些结果表明,将神经落地与概率符号推理分离,可以揭示安全性与有用性之间的权衡,同时使防护栏的中间推理步骤显式且可审计。

查看原文(arXiv cs.AI)