Consideration Circuits：超越单一 Softmax 的深度分离与通用性

arXiv:2610.04143v2 公告类型：替换 摘要：大多数基于特征的选择模型，无论是经典模型还是深度模型，都会对选项评分并应用单一 softmax。我们提出 consideration circuits（CC），这是一类由多项 logit（MNL）单元构成的有向无环图所定义的、基于特征的多阶段选择模型。源单元为菜单中的选项分配概率，内部单元则利用 MNL 权重组合前驱单元的分布，这些权重由前驱分布的概率加权特征摘要计算得出。在特征固定且不共线的三选项折中任务中，与菜单无关的随机效用模型（RUM），包括单个 MNL 单元，其误差存在严格大于零的下界。相比之下，对于 CC，我们建立了紧确的深度—范数分离结果：将深度从 $2$ 增加到 $3$，可使达到误差 $\epsilon$ 所需的最优最大偏好向量范数从 $\Theta(\log(1/\epsilon)/\epsilon)$ 降至 $\Theta(\log(1/\epsilon))$。深度为 $2$ 时的下界对任意宽度及与菜单无关的路由偏置均成立，而一个路由偏置为零、包含五个节点的深度为 $3$ 的电路即可达到对数级增长率。更一般地，我们刻画了两个几何条件，它们是在有限菜单族上逼近任意确定性选择表的充要条件。在这些条件下，深度 $3$ 即已足够；而只要菜单族包含至少一个非单元素菜单，深度 $4$ 就能实现最优的对数级范数缩放。在实验中，参数少于 $600$ 的独立树形电路在四个固定候选池基准和 Expedia 时间划分数据集上，在所有参与评估的模型中取得了最低的平均测试负对数似然（NLL）。作为输出头，CC 推广了线性 MNL 读出层，并在 Expedia 和 Trivago 上降低了每个受测编码器的平均测试 NLL。