CIIR - 类别索引接口表示学习

arXiv:2610.23151v1 公告类型：cross 摘要：多模态学习通常假设观测数据成对或同步获取，但独立收集的数据集很少具备这种对应关系。我们提出 CIIR，一种模块化编码器—解码器框架，通过类别索引地址空间连接异构数据集，同时保留每个数据集原生的输入格式和输出模块。已知的局部索引选择地址 $k$，并将依赖输入的128维地址表示 Z_k(x) 写入该地址。为展示 CIIR 的效果，我们利用手写数字、服饰图像、语音数字频谱图和手势数据学习这一地址空间，过程中不使用同步样本或实例匹配样本。新训练的无标签接收器以94.7%的宏平均地址实现准确率恢复所请求的地址。随后，我们在冻结基础地址空间后接入未见过的 SVHN 数据集，仅训练轻量级适配器；在不使用目标侧解码器标签的情况下，实现了90.2%的 MNIST>SVHN 和82.3%的 SVHN>MNIST 端到端地址传输准确率。为展示 CIIR 的通用性，我们将这十个地址重新用作无冲突算术编码中的代码元素，并构建适用于 CIFAR-100 全部100个类别的层次化地址编码，然后通过现有接收器评估算术编码的直接实现效果。结果表明，CIIR 可作为一种紧凑接口，用于模块化的跨数据集通信，以及在事后接入数据集，而无需穷举式的成对多模态监督。