基于文本嵌入的零领域知识算法选择

arXiv:2604.19753v3 公告类型：替换并交叉列出 摘要：我们提出了 ZeroFolio，一种无需特征工程的算法选择方法，使用预训练文本嵌入来替代手工设计的实例特征。该方法将原始实例文件作为纯文本读取，使用预训练嵌入模型生成嵌入表示，并通过加权 k 近邻选择算法。我们的方法基于以下观察：预训练嵌入无需任何领域知识或针对特定任务的训练，即可区分问题实例。ZeroFolio 适用于任何采用文本实例格式的问题领域。我们在 ASlib 的 11 个场景中评估了该方法，涵盖 7 个领域（SAT、MaxSAT、QBF、ASP、CSP、MIP 和图问题）。在 11 个场景中的 9 个场景中，ZeroFolio 优于使用手工设计特征训练的随机森林，且优势往往相当显著；其中 8 个场景在所有序列化随机种子下均取得了这一结果。与针对各场景单独调优的随机森林相比，它在 11 个场景中的 8 个场景中胜出。在 2015 年 ICON Challenge 中已公布 AutoFolio 结果的三个场景上，ZeroFolio 无需针对各场景调优，便能达到与 AutoFolio 相差很小的性能。我们在 SAT12-ALL 上的消融研究表明，反距离加权和行顺序随机打乱能够提升性能。我们进一步分析了该方法对序列化随机种子的敏感性。在随机森林表现更强的 SAT12-ALL 场景中，可通过软投票结合这两种方法，以进一步提升性能。