Delphos：用于辅助离散选择模型设定的强化学习框架

arXiv:2506.06410v4 公告类型：替换交叉版本 摘要：我们介绍了 Delphos，这是一个用于辅助离散选择模型设定过程的深度强化学习框架。Delphos 旨在通过提供自动化、数据驱动的模型设定建议来支持建模者，从而减少开发和完善效用函数所需的工作量。Delphos 将模型设定视为一个序贯决策问题，其设计灵感来自人类离散选择建模者通过一系列有依据的设定决策迭代构建模型的方式。在这一设定下，智能体通过选择一系列建模操作来学习设定候选模型，例如添加备选项特定常数、同时纳入通用和备选项特定的偏好参数、对属性应用非线性变换，以及加入与协变量的交互项。每个生成的候选模型都会依据由建模者定义的奖励函数进行估计和评估，该奖励函数既可以反映统计模型拟合优度，也可以体现行为预期。具体而言，Delphos 使用 Deep Q-Network 来学习各项模型设定决策如何影响最终生成模型的质量，以及哪些建模决策序列倾向于产生表现良好的候选模型。我们使用不同的奖励函数，在模拟数据集和实证数据集上对 Delphos 进行了评估。在模拟案例中，学习曲线、Q 值模式和性能指标表明，Delphos 只探索了可行建模空间中的很小一部分，就学会了有效的模型设定策略。我们进一步将该框架应用于两个实证数据集，以对其进行基准测试并展示其实际用途。这些实验表明，Delphos 能够生成具有竞争力且符合行为规律的模型，并凸显了这一自适应学习型框架辅助模型设定过程的潜力。