面向边缘 IoT 系统的副本感知分割推理

分割推理（SI）通过将微型机器学习（TinyML）模型片段分布到多个 IoT 设备上，缓解物联网（IoT）设备的硬件资源限制。然而，设备故障可能会中断推理流水线。本文提出一种副本感知的恢复方法，将原本部署在故障设备上的 TinyML 模型片段的副本部署到存活设备上。我们将副本主机与通信协议的联合选择形式化为一个混合整数线性规划（MILP）问题，在闪存和运行时内存约束下，综合考虑计算延迟和传输延迟，以最小化重配置后的推理延迟。基于异构 IoT 网络中的 MobileNetV2 进行仿真，并将所提出的方法与四种基线方法进行了比较。我们在由 15 个 IoT 设备组成的网络中实现了该模型，其中链路速率最大降低 75%；结果表明，MILP 方法的建模端到端推理延迟平均比 Computation Greedy 低 6.8%，比 Random 低 18.3%。关键词：TinyML、分割推理、物联网、容错、副本放置。