用于评估钙钛矿光伏领域机器学习的按来源分组评估方案
Provenance-grouped protocol for evaluating machine learning in perovskite photovoltaics
精选理由
揭示随机划分会高估模型表现，并提供按设备、论文和机构分组的评测方案，助力检验模型对新材料的真实泛化能力。
AI 摘要
arXiv:2610.12766v1 公告类型：新稿 摘要：钙钛矿太阳能电池的机器学习模型通常采用随机数据划分进行评估，而我们发现，大量内部重复数据会使这种评估方式产生系统性的信息泄漏。由于经过整理的器件中，近三分之二与其他器件具有完全相同的配方，随机划分主要奖励的是对历史数据的简单记忆，而非检验真正的物理泛化能力。为解决这一问题，我们梳理了 Perovskite Database 中数据的机构来源，并建立了一套严格的分组划分层级，逐步将重复器件、发表文献和机构相互隔离。对十三种模型的基准评测在所有划分方式下均取得了新的最先进性能，并揭示了一种关键的表现格局转变：树集成模型虽然能通过识别熟悉的配方在随机划分中占据优势，但面对真正未见过的机构和未来发现时，其排名却大幅下滑，而具备组成感知能力的神经网络架构则表现出色。此外，特征重要性分析表明，器件结构和制备方法对最终效率的决定作用，与吸收层化学组成同样显著。这一标准化评估方案使研究界能够区分数据记忆与真正的物理发现。