带统计功能的 FlashAttention：面向紧凑型幻觉检测器的低开销注意力特征

大语言模型可能生成流畅但缺乏所提供上下文支持的回答。一个参数冻结的紧凑型代理模型可以通过读取上下文和另一个模型的回答来检测此类回答，即使回答来自专有生成模型也不例外。基于注意力的检测器使用代理模型注意力权重的汇总统计量，但标准流程会显式构建注意力矩阵，其内存占用随序列长度呈二次增长。我们无需显式构建注意力矩阵即可计算这些统计量，具体方式包括在 FlashAttention 计算过程中累积、在其后进行稀疏查找，或对注意力分数再进行一轮分块计算，并根据计算路径将统计量分为开销几乎为零和开销较高两类。在 H100 上，计算五种已发表检测器所需的统计量，在 2K 词元时使 Qwen3-8B 单次前向计算的延迟增加 16%，到 35K 词元时增幅降至 1.4%，且每个回答词元需存储 22.5 KiB。在三个基准测试中，基于参数冻结、规模为 0.6B 至 8B 参数的 Qwen3 代理模型训练的探针展现出强大的检测能力：4B 代理模型在其中两个基准测试上的 F1 得分超过了九个 4–9B 规模零样本 LLM 评判模型中的最强者；这些代理模型的表现达到或超过了参数规模最高为 7B 的专用依据核查模型；对每个代理模型使用探针，均优于通过提示让其充当评判模型；在 12 个基准测试与代理模型组合中，加入注意力特征使其中一半组合的 F1 得分显著提高，且未在任何组合中造成显著下降。