Bellman 认证的 MDPs 稀疏策略部署舍入

arXiv:2610.00325v1 公告类型：新 摘要：连续策略优化可能会将一次更新分散到许多状态，即使部署仅允许少数完整的状态级变更。我们研究在有限 MDPs 中将连续的行混合舍入为稀疏二元策略时，能够保留多少折扣回报。依赖策略的访问分布将各行编辑耦合起来，而较长的时间范围会使全局曲率界变得保守。通过进行 $2d+2$ 次 Bellman 求解，我们推导出可复用的包络，从而在舍入前支持统一保证和候选特定保证。对每次交换的秩二有理表示还允许沿实际轨迹进行加权曲率积分。我们证明，当预算扩大时，线性维度依赖是不可避免的，并且精确的全局曲率阈值判定在计算上很难。在结构化测试集上，候选特定界将舍入前认证覆盖率从 $48.2\%$ 提高到 $74.1\%$。当 $\gamma=0.95$ 时，在耦合实例上，局部积分将界与损失之比的中位数从 $402.3$ 降至 $2.08$。