互补特征域:信息保持并不意味着预测贡献保持
Complementary Feature Domains: Information Preservation Does Not Imply Predictive-Contribution Preservation
精选理由
揭示信息不变不等于预测贡献不变,为评估表示变换与模型适配性提供理论和实践依据。
AI 摘要
arXiv:2610.07565v1 发布类型:new 摘要:互补特征域(CFD)理论将预测价值刻画为一种由表示及其实现族共同诱导、以上下文为索引的贡献系统。我们证明,Shannon 信息保持并不意味着该贡献系统保持不变:可逆的表示变换可以在不改变目标信息的同时,在受限决策族下改变预测贡献。我们通过 CFD 贡献缺陷形式化这一转变,用于衡量受控重新编码下上下文贡献的变化。对于有界 Lipschitz 效用,我们证明,每个联盟效用变化都受重新编码前后可达行动集合之间行为距离的约束;因此,每个上下文贡献缺陷都受相应联盟不相容性之和的约束。精确的行为闭包可实现不变性,而日益精确的补偿则可实现恢复。一项受控的 ECG 实验展示了这一机制:非线性双射重新编码保留了冻结时频表示中的信息,但在固定仿射学习器下改变了准确率;应用精确逆变换后,所有测试联盟的准确率均得到恢复。该结果将信息保持与依赖于实现的贡献区分开来,并为多表示预测提供了一条定量转变规律。