40亿参数开放模型对随机试验给出的校准回答：一项预注册测试与许可合规的发布

arXiv:2610.07019v1 公告类型：交叉收录 摘要：Fiorillo v0.5 是一个开放模型，可回答类型化问题，并为每个答案给出概率。其主要专用模块读取截取至6,144个词元的随机试验论文，并回答与对照相比，某项干预是否显著增加、显著减少或未显著改变某个结局（Evidence Inference 2.0，EI）。该模型基于 Qwen3-4B-Base，配有低秩适配器和决策头，仅使用2,657篇训练论文中自身许可证允许再利用的1,431篇进行 EI 微调。在生成此版本的测试预测之前，研究者在 Open Science Framework 上注册了四项标准，以决定是否发布模型，其中第二项门槛在标签公开的 EI 测试集上评判。在该测试集（333篇论文中的1,218条提示）上，预期校准误差为0.0168，低于0.05的上限；对数损失比先验基线低0.8603（95%区间为0.8104至0.9078），比读取相同输入的 Gemma 4 31B-it 低0.1829（0.1164至0.2598）；宏平均 F1 为0.9248，对比值为0.8668，因此四项标准全部通过。仅在许可合规的论文上采用相同方案训练，使准确率下降了0.0123（0.0034至0.0207；描述性结果）。不提供论文时，宏平均 F1 降至0.4384；仅提供标题可使其提高0.0939（0.0655至0.1234），这可能是因为标题陈述了结果，或模型记住了该试验；交换干预与对照后，其方向性回答中有0.6652发生反转。按发布配置运行时，发布文件生成的预测与评估时的预测之间的差异处于预先设定的范围内。本次发布采用 Apache License 2.0（数字对象标识符：10.57967/hf/10722）。