政策

标题或摘要命中监管与政策专名的条目，没有单独的内容分类。

arXiv cs.LG77

TRACE: A Governance Framework for Measuring Explainability Debt in Production AI Systems

arXiv:2610.10957v1 Announce Type: new Abstract: Production AI systems deployed in high-stakes domains accumulate a governance liability that existing monitoring frameworks fail to detect: the progressive inability to explain individual decisions when regulators, auditors, or affected individuals demand accountability. We introduce TRACE (Transparency, Risk, Accountability, Compliance, and Explainability), a seven-instrument governance framework for measuring, tracking, and remediating Explainability Debt in production AI systems. The foundational instrument, the Explainability Debt Score (EDS), quantifies the proportion of production decisions falling below a governance-defined explainability confidence threshold at any point in time. Complementary instruments include DART (Debt Accumulation Rate Tracker for breach forecasting), SHIV (Scenario Health and Integrity Validator for daily governance), FDE (Feature Drift Evaluator for causal attribution), HVE (Human Validation Engine), AIDE (Audit Intervention Decision Engine), and ZERO (Zero Explainability Risk Optimiser for remediation). Through a twelve-month longitudinal case study of a production fraud detection system processing 50,000 daily financial transactions, achieving 98.46% accuracy and ROC-AUC of 0.9990, we demonstrate that an EDS of 0.23 on audit day was statistically predictable six months in advance using DART trajectory analysis (beta = 0.008/week, R-squared = 0.94, 95% CI: [0.006, 0.010]), and that 78% of Explainability Debt was concentrated in the highest-regulatory-risk decision category (transactions above $10,000), a risk asymmetry completely invisible to system-level metrics. TRACE provides the first quantitative operational architecture for EU AI Act Article 13 compliance in production AI deployment, establishing a new subdiscipline of explanation governance distinct from explanation generation.

arXiv cs.LG78

限制模型，忽视系统：进攻性 AI 治理中的衡量与问责

arXiv:2605.09504v3 公告类型：替换并交叉列出 摘要：我们表明，用于衡量 AI 进攻能力的工具存在两方面缺陷：（i）夸大危害；（ii）将属于外围系统的能力归功于模型。因此，我们认为，限制对模型的访问是必要的，但并不充分，政策制定和采购也需要以实际危害为依据的系统级能力评估。2026 年 6 月，两个前沿模型因美国出口管制而被暂停提供，据报道，此举由一次要求模型阅读代码库并修复其缺陷的越狱所引发。这一发现衡量的是由模型、提示和任务组成的能力诱导系统。我们通过对一个开源框架的研究来支持这一论点，该框架中的轻量级大语言模型（LLM）智能体通过共享记忆和演化优化进行协调，提供了两项证据。首先，越狱指标夸大了危害：针对每个目标开展的 225 次群体生成攻击中，以 LLM 作为评判者的评分认定 Claude Sonnet 4 在 40% 的攻击中被攻破，但人工核验未在任何一次攻击中发现可付诸行动的有害内容，相比之下，GPT-4o 的有效危害率为 45.8%。其次，借助脚手架的评估会错误归因能力：在一个植入漏洞的目标上，围绕一个 12 亿参数模型构建的完整流水线发现了全部 9 个弱点，而同一模型在移除人工精心设计的组件后，以崩溃验证为标准时一个弱点也未发现，以引用源代码行为标准时则发现了 9 个弱点中的 2 个。进攻能力是模型、脚手架和评估协议共同构成的属性。评估责任应由控制系统、塑造其行为并能预见其行为后果的一方承担。在我们的场景中，这一方就是围绕模型构建配套运行框架的主体，而现行监管尚未明确涵盖这一角色。

arXiv cs.LG76

我们需要解释卡片，将解释算法与现实世界连接起来

arXiv:2606.16786v2 公告类型：替换 摘要：算法解释旨在帮助利益相关者理解不透明的算法决策，但在实践中往往未能达到预期。首先，算法解释的含义往往与人们的直觉预期不同，因此需要专业知识才能正确解读。其次，近期研究表明，常用的解释算法无法提供有关复杂决策函数行为的有效信息。这些问题共同造成了一个鸿沟：解释看似传达的信息与其实际提供的信息并不一致。在本研究中，我们提出为解释算法配备解释卡片，在标准解释的基础上补充有关鲁棒性和有效性的信息，并提供清晰的解读指南。这些补充信息可以使原本缺乏有效信息的解释具有实际用途，同时也有助于识别解释不具备实际用途的情况。重要的是，解释卡片中的解读指南将责任从用户转移到了提供者：不再指望用户自行辨别从解释中能够和不能得出哪些结论，而是要求提供者事先明确说明。我们以反事实解释和 SHAP 为例，展示提供者如何构建解释卡片，并说明这些卡片能够为用户提供正确解读所需的指导。我们进一步指出，解释卡片为落实《欧盟人工智能法案》中的可解释性条款提供了一种切实可行的手段。总体而言，解释卡片是推动解释算法适用于现实世界应用场景的重要一步。

arXiv cs.LG79

谱系感知的记忆治理：面向企业 AI 代理隐私保护型列级访问控制的推导门控框架

arXiv:2610.07258v1 公告类型：cross 摘要：共享记忆存储的企业 AI 代理面临两个尚未解决的风险：敏感数据可能通过请求者无法自行推导、但确实经过合法计算的结果泄露；各部门也可能使用相互冲突的逻辑，悄无声息地计算出同名的关键绩效指标（KPI）。现有的代理记忆系统（例如 MemGPT、Zep、A-MEM）依据内容、所有权和角色控制检索，而不是依据推导关系，因此会遗漏包含被禁止列的缓存洞察。我们提出分析记忆单元（Analytical Memory Unit，AMU），这是一种为每个缓存结果附加完整推导（谱系）图的记忆模式，并通过检索策略进行控制：只有当请求者对所有涉及的列均拥有授权时，系统才会返回匹配结果。在谱系记录完整的前提下，我们通过构造证明：该策略能够阻止检索源自请求者权限范围之外敏感列的结果，最坏情况下复杂度为 O(n)——这是一项条件式设计保证，而非实证结论；对于那些编码了敏感信息、却未标明其来源的派生特征，该保证不予涵盖。消除实测泄露需要达到 75%–90% 的谱系记录完整度，因此我们将 90% 视为保守的部署目标。在六项实验中，谱系门控检索消除了朴素内容门控记忆所产生的 18.8%–25.5% 的跨部门泄露，同时在最坏情况下仅引入 13.8 微秒的开销，并保持 81.5%–82.6% 的记忆复用率。一个使用 LLM 生成 SQL 的真实代理概念验证与这一保证相符：经过 9 次往返交互，实现零泄露并自动捕获两次冲突——不过这只是可行性演示，并非生产可用性的证据。该方案为共享代理记忆提供了一个实用的治理层，可补充源层访问控制，并支持遵守 EU AI Act。

arXiv cs.AI80

并非自可判定：LLM 无法划定智能体验证器能够检查的边界

智能体的验证器面临两类规则：一类可以由固定检查确定，另一类则需要裁判来判定。自行推导检查项的团队会预先确定这一区分。若要求来自外部，例如金融、医疗和法律领域，智能体执行的是它并未制定的规则，因此这一区分只能在运行时完成，并且对每条规则的每个谓词、每个动作都要重复进行，其频率高到任何审查员都无法审计。所有升级处理方案都假定模型能够自行作出这一决策，即该问题是自可判定的。我们在包括 EU AI Act、FINRA 指南和一个已部署的信贷智能体在内的六个语料库上开展研究，从三家实验室开发的四个模型中收集了约 22,000 个标注。对于显而易见的问题，它们几乎完全一致；但在监管文本上表现崩溃；它们的错误方向相反，因此无法信任任何一个模型作为保守选择；而在已部署智能体自身的规则集上，它们又共同犯错，过度声称固定检查足以完成判定，而这恰恰是不会被升级处理的方向。我们提出 CoVer（先互证、后验证），将一致意见视为提名：只有当为某个谓词合成的检查经受住干预、能够读取智能体无法写入的字段，并且在确定性改写下仍然成立时，才接纳该谓词。该门槛会拒绝大多数由互证错误接纳的内容，其覆盖率代价则如实报告，而不是通过调参消除。显而易见的替代方案是与参考裁判达成一致，但这并不能证明任何事情：在不同校准区间中，一致率从 30% 上升到 77%，而真正可判定的比例并未变化，因为从被审查群体中抽取的裁判会认可它与该群体共同拥有的盲点。自可判定性并不是一种可以从模型中诱导出的能力，而是验证器必须构建的一条边界。

Hacker News AI39

Ask HN: How would AI kill us all?

I've watched a lot of doomer videos and read many articles but it's never really clear how this will play out. I don't see a terminator ending so I don't think it will be rise of the machines styles. Are people worried about AI actually taking over or just allowing nefarious humans to do mass harm using the intelligence it provides? Comments URL: https://news.ycombinator.com/item?id=49953228 Points: 1 # Comments: 0

arXiv cs.AI81

一套用于 EU AI Act's Code of Practice 下系统性风险证据的开放式流程与仪表板

关于 AI 安全的论断触达的受众远远超出 AI 社群，但其中许多论断依赖不透明的证据或静态评估，而在证据确实可获取的情况下也常常如此。我们提出了 Systemic Risk Index，这是一个开放式评估流程与仪表板，旨在让实证证据对公众而言更加透明且可追溯。我们的工作将 19 个公开基准组织为 EU GPAI Code of Practice 所定义的四类系统性风险——CBRN、网络攻击、危害性操纵和失控——并使用保持危害的扰动以及模拟部署环境对模型进行评估。交互式仪表板允许用户在平均聚合和最坏情况聚合之间切换，调整模型能力对聚合得分的影响方式，并将每个风险评级追溯至其基准证据。在 18 个模型中，采用最坏情况聚合后，得分下降了 14 至 37 分，凸显出模型风险的平均评估可能掩盖的信息。LLM 评判结果与人工评分者的一致性与人工评分者之间的一致性相当（$κ= 0.78\text{--}0.82$）；盲审发现，抽样转换中有 $83\%$ 保留了原始危害。在一项调查中（$N = 21$），大多数参与者表示分数易于理解，并且仪表板促使他们在不同设置下查看模型评估

arXiv cs.AI78

遵守局部控制，却产生集体歧视：受监管金融领域多智能体 AI 的治理架构

金融机构开始在信贷、欺诈检测、催收、合规和运营控制中部署智能体工作流。治理仍主要以组件为中心：每个模型或智能体分别在本地进行规定、测试、授权和监测。当机构风险源于众多在本地均可接受的组件的联合行为时，这种做法是不够的。我们将这一缺口称为宪制非组合性：局部合规检查未必能够组合成可接受的集体结果，例如有界的不利影响、市场完整性或可追溯的问责。我们提出 ARIA，作为面向金融领域的智能体群体治理参考架构和可证伪研究议程。该架构在规范—问责、执行—控制和保证—学习三个层面组织六项能力：政策规范、群体层面的观测行为与预期行为监测（M2）、权限边界、运行时遏制、自适应政策变更，以及保持人类监督能力。两项模拟分别展示了局部控制下由共享信号导致的薄档案排除，以及在构造的漂移情境中，观测行为与预期行为的分布监测如何更早发出预警。本文将这些控制措施与公平放贷、EU AI Act、模型风险和行为监管所需的证据相对应，并以验证议程收束，而不是宣称其在生产环境中的有效性。

arXiv cs.AI75

关于移动出行领域LLMs的安全性与隐私保护

移动出行行业正经历由生成式人工智能进步所驱动的范式转变。仅考虑汽车，该行业全球市场年规模约为2.9万亿美元，而这些技术的整合有望影响全球超过15亿辆汽车。随着LLMs在移动出行领域得到越来越广泛的采用，人们开始关注网络安全、隐私和可靠性问题。因此，本文对当前应用进行综述，并评估这些挑战。鉴于European AI Act将交通运输领域的人工智能列为高风险领域，我们根据其要求归纳出九类技术类别，用于评估当前研究和未来部署。研究结果表明，现有研究主要关注GPT和Llama模型（占所审阅研究的50%以上）以及交通应用，却在很大程度上忽视了安全性、隐私和可靠性。这一缺口同样存在于对AI Act的合规性方面：在审阅的35项研究中，仅有1项包含部分漏洞评估，另有1项包含部分风险管理系统。我们发现，强大的优化性能与监管遵从性之间存在明显差距，这表明合规性受限的主要原因并非技术能力不足，而是过度关注静态性能、忽视全生命周期安全；同时，这也凸显了在安全关键型智能交通系统中贯彻安全设计的迫切需求。

arXiv cs.AI69

Towards Trustworthy Autonomous Robots: An Explainable AI-Based Decision Framework

Autonomous robots powered by deep learning face a fundamental auditability challenge: when incidents occur, investigators cannot reconstruct why the system made specific decisions. This paper presents TRACE (Transparent Reasoning Architecture for Credible Execution), a decision framework that ensures every autonomous action can be traced back to sensor evidence through documented causal chains. The framework organizes decision-making into four auditable layers: Semantic Perception for evidence-grounded entity recognition, Belief Reasoning for probabilistic state estimation with causal graphs, Action Synthesis for constraint-aware planning with counterfactual documentation, and Execution Verification for compliance monitoring. TRACE is model-agnostic yet designed to integrate learning-based perception modules (CNNs, transformers) while preserving decision-level auditability. We evaluate the framework using three objective metrics: Evidence Traceability (sensor-to-decision linkage), Decision Reconstructability (post-hoc analysis capability), and Temporal Continuity (audit trail completeness). Experimental evaluation on warehouse robot navigation demonstrates that TRACE achieves 98.6% evidence traceability, 99.0% temporal continuity, and 98.1% decision reconstructability across 500 simulated decision cycles. Post-hoc methods like LIME provide feature attributions but lack the artifact structure needed for decision-level reconstruction. The framework addresses EU AI Act requirements for high-risk system transparency and contributes to Explainable AI for safety-critical autonomous systems.

arXiv cs.AI77

Causal Evidentiary Governance for High-Risk Machine Learning Systems

Machine learning systems deployed for credit, hiring, and resource distribution are increasingly subject to regulatory oversight from policies such as the EU AI Act and GDPR. Current fairness governance practices rely on observational fairness metrics, post-hoc explainability, and immutable audit logs, but provide limited support for causal attribution and efficient evidentiary verification. We introduce Causal Evidentiary Governance (CEG), a framework in which regulated institutions commit to a versioned directed acyclic graph (DAG) that partitions causal pathways into allowable and disallowed groups. The Causal Harm Rate measures prediction variation attributable to disallowed causal pathways. Each decision is accompanied by a signed Decision-Evidence Packet (DEP), cryptographically binding the prediction to a digest of the published DAG and path-specific attributions. DEP digests can be appended to a Merkle tree to enable logarithmic-cost inclusion proofs. We validate CEG through a two-layer empirical methodology using demographic summaries from four years of PMA credit supervisory data to construct 10,000 synthetic credit applicants across four strategic DAG counterfactuals. Causal Harm Rate isolates injected causal effects more clearly than demographic parity or equalized odds. Cross-model validation and ablation studies assess robustness. Evaluation on the German Credit dataset shows that harm associated with specific causal pathways can be substantially understated by associational fairness metrics. Finally, a proof-of-concept implementation demonstrates operationally plausible throughput and highlights relevant performance tradeoffs.

arXiv cs.AI81

LAAF：用于LLM应用的分层问责架构框架

大型语言模型（LLMs）在医院、法庭、银行和公共服务窗口中运行，在这些场景下，流畅、自信的输出即使缺乏依据或有误，也会被视为权威。当这样的输出造成伤害时，谁应当负责，又可以通过哪些机制来追踪、解释并追究责任？按照PRISMA指南，研究针对四个综述问题检索了2022年1月至2026年3月期间的五个数据库；在识别出的4,512条记录中，纳入了122项原始研究，同时将12份监管和标准文件作为原始来源进行分析。该综述将问责制的社会技术性理解整合为一种行动者-论坛关系，并将其分解为五个维度；同时综合了四类机制：技术控制、人工监督、组织治理，以及文档化与可追溯性，并对每类机制进行了成熟度评估。语料通过一个四层分类装置来解读，该装置涵盖来源、应用逻辑、人工监督以及治理与补救，并由可追溯性、角色清晰度和持续监测贯穿其中。两者都被映射到EU AI Act，其高风险义务自2026年8月2日起已开始适用，同时也映射到具有Generative AI Profile的NIST AI RMF、ISO/IEC 42001，以及医疗保健、消费金融、教育和公共部门中的行业指导。研究发现四个持续存在的缺口：对人工监督的规定不足、缺乏共享的问责指标、学科割裂，以及有限的实证评估；此外，还有五个所调查工具均未能解决的结构性张力。综述最后将该分类装置整合为一个集成的问责架构LAAF，其网络安全部分与OWASP LLM Top 10 (2025)保持一致；它是对所综述证据的综合，而非经过验证的制品。

arXiv cs.AI77

看不见的编辑层：对未披露的推理时引导、概率投放与已部署语言模型中的归因问题进行形式化

大型语言模型（LLMs）通常在这样一种假设下进行评估：其可观察行为主要由模型权重、训练数据、对齐流程以及用户提示词所决定。这个观点并不完整。现代推理流水线可能会在模型生成 token 之前、紧接着对其产生的概率分布进行系统性修改，从而在冻结权重与可观察文本之间创建一层额外的控制层。 尽管受控生成（例如 PPLM、GeDi、DExperts、FUDGE）和文本水印系统（例如 SynthID-Text）展示了在解码层和 logit 层进行干预的技术成熟度，未披露推理策略所带来的治理、安全与经济影响却相对缺乏研究。本文考察推理时框架偏置的出现：即在模型推理之后但在 token 采样之前施加干预，从而系统性地将生成语言引导向政治、意识形态、制度或商业框架。 我们将 Model != Deployed System 这一运行现实形式化，并提出三个概念：（1）推理归因问题，用于刻画在有限可观测条件下，为何观察到的行为偏置通常不能仅仅归因于模型权重；（2）概率投放，定义一种假设性的广告原语，其中商业影响不是通过显式插入产品，而是通过系统性改变生成概率来实现；以及（3）推理策略透明性，一项用于使部署层干预可审计的治理原则。我们将这些概念与欧盟 AI Act 第 5 条、欧盟 Digital Services Act 以及 FTC 的相关原则联系起来加以审视。

OpenAI Blog56

Advancing responsible AI across Europe

OpenAI shares how its safety, security, transparency, and provenance practices support responsible AI governance in Europe. The work will continue as the EU AI Act advances.