各向同性却无法解码：潜在预测式文本表征中的序列内容充分性差距

arXiv:2610.07906v1 公告类型：交叉发布 摘要：我们通过考察表征是否保留了其输入中可用的有序目标信息，研究序列内容充分性。我们提出一种信息论分解，将输入歧义、表征损失和读出失配区分开来。我们构造了可恢复视图，其中完美一致性和联合各向同性高斯性与零目标信息并存，并确立了确定性规范锚点所施加的限制。词元对数损失提供了信息损失的单侧界；固定惩罚系数的岭回归分析揭示了为何仅凭秩无法确定预测风险。这些结果促使我们提出 CANOPE，这是一个采用有序潜在画布、规范词元监督和几何正则化的非自回归框架。在 40,000 条验证序列上，潜在一致性模型（PL0）和词元锚定模型（PL2）的汇总秩几乎相同，但在提供正确目标长度且存在强烈自然扰动的条件下，两者按位置计算的 Recall@1 分别达到 13.5% 和 98.8%。在 3,930 条 LJSpeech 验证语音上，冻结的 PL2 配合经过训练的 MatchaTTS 读出器，在受扰动文本上的词错误率（WER）为 21.54%，而冻结的 PL0 为 99.22%，端到端 MatchaTTS 则达到 10.93%。这些结果表明，在本文研究的文本场景中，仅有几何规整性并不能保证序列内容可恢复，也不能保证下游任务能够有效利用这些内容。