arXiv cs.AI精选72

QUALS:通过模式量化与可学习性同步实现通用预测的语料库均衡

QUALS: Corpus Equilibrium for Universal Forecasting via Pattern Quantization and Learnability Synchronization

· 26天前

精选理由

通过模式量化与采样同步提升时间序列预训练效率,降低训练成本并增强零样本预测。

AI 摘要

各个领域中无处不在的时间序列数据,为交通系统、电力网络等领域的关键应用提供了支持。近年来,在海量数据集上训练基础模型,以实现精准的零样本预测,已成为研究重点。然而,当前研究大多侧重于架构创新,却未能充分解决数据多样性问题,往往依赖简单的数据采样策略,难以有效管理复杂的数据分布,导致训练数据利用效率低下和性能不佳。为此,我们提出了大规模时间序列语料库均衡框架 QUALS。QUALS 显著提升了数据效率,即仅使用原始训练数据中的一小部分,就能使现有模型取得更优性能。具体而言,QUALS 通过两种核心机制实现这一目标。首先,模式量化框架通过向量量化和均匀分箱,从混合语料库中系统地解码异构模式。其次,可学习性同步框架校准异构模式的采样权重,弥合简单模式与复杂模式之间的优化差距,从而最大化整体训练效率。大量基准测试表明,在 QUALS 上进行预训练能够持续取得更优的零样本性能,即使训练预算大幅减少也是如此。

查看原文(arXiv cs.AI)