数据划分协议决定结果：重新评估加密流量分类

arXiv:2611.06290v1 公告类型：新论文 摘要：加密流量分类器的准确率通常被报告为 95–99%。我们表明，在两个公开数据集中的一个上，同一模型和代码在文献通用的评估协议下取得了 0.992 的宏平均 F1，而在将同一次数据包捕获中的所有流保留在划分同一侧的协议下，该指标仅为 0.567。除数据划分外，其他条件均未改变（八个随机种子下的差距为 0.426，经 Holm-Bonferroni 校正后 p = 0.008）。这种指标虚高并非随机划分本身固有的问题。针对一个月的骨干网 QUIC 流量，我们评估了五种划分协议，每种均使用八个随机种子：随机划分、时间划分和客户端不相交划分与会话不相交划分之间不存在统计显著差异，而服务器不相交划分则使宏平均 F1 降低了 0.192（d = 17.0，p = 0.008）。哪个划分维度重要取决于数据集的采集方式，而这种依赖关系无法从其标签空间中看出。我们提出了一种可在训练任何模型之前识别正确划分维度的诊断方法：单标识符探针。仅使用捕获标识符的决策树在随机划分下达到 0.983，而在会话不相交划分下恰为 0.000。在这一评估设置下，经度量学习训练的流嵌入优于四个深度学习基线，但未能超过仅使用二十个数据包大小的梯度提升树。我们自己预注册的五项架构主张均未得到验证：基于距离的未知应用拒识优于 softmax 阈值法，但移除所有度量学习目标反而改善了拒识效果，因为类别分离程度与拒识质量之间的相关系数为 r = -0.88。少样本类别注册在同一数据集内的表现基本不变，但在跨数据集场景中，每类五条带标签的流即可弥补零样本迁移失败所造成性能差距的 91%。所有数据划分、结果、代码和负面发现均已公开。