Zuse：面向欧洲语言的决策模型

arXiv:2611.06238v1 公告类型：交叉收录 摘要：决策模型读取文档，并为一组固定选项中的每个选项返回概率，而不是生成文本。2026 年出现了多个此类模型，但尚无模型公布英语以外语言的结果。我们介绍 Zuse，这是一组包含三种规模（4B、9B 和 27B）的决策模型，在冻结的开放权重基座模型上训练低秩适配器和指针头，面向 27 种欧洲语言，并利用这些模型研究这一设计在不同语言和任务中的表现。在一套广泛的欧洲语言评测集上，27B 模型的准确率达到 87.5%，合并计算的期望校准误差为 0.016，按来源加权后为 0.035。该评测集包含未纳入训练的 11 个来源，覆盖 9 类任务和 27 种语言，同时也作为开发集用于指导模型选择。对这些单一随机种子结果的事后分析得出三项发现。首先，校准失准呈现出按任务而非语言划分的规律：在 26 种语言的平行阅读和主题题目上，置信度差距的变化幅度与采样噪声大致相当，而不同来源间的差距则从 -0.07 到 +0.09 不等；在全部三种模型规模下，知识任务均表现为过度自信，可接受性判断均表现为信心不足，因此单个拟合温度参数无法同时纠正这两种偏差。其次，在 5% 错误率预算下可自动化处理的决策比例，与经随机水平校正的能力指标的相关性（在 33 个来源与模型组合上的 Spearman 相关系数为 0.97）高于其与原始准确率的相关性（0.91）。第三，对训练语言之外语言的覆盖能力取决于基座模型：在 210 种语言上，同一规模下更换训练运行所带来的分数变化最多约为 2 分，而不在基座模型文档所列语言清单中的语言，在每种规模下均落后 23 至 28 分。在英语公开评测集上，Zuse 落后于 Jev 和 Kev，也落后于使用相同基座的 Kev 模型。我们还报告了构建多来源训练数据时的两个陷阱：不同主题分类体系之间的标签词冲突，以及一种让模型学会走捷径的注入式数据增强方法。可通过 https://bineric.com/zuse 试用 Zuse。