锁定 EP:一种面向振荡硬件的原位训练算法
Lock-in EP: An In-Situ Training Algorithm for Oscillatory Hardware
精选理由
提出无需前后向扫描的原位训练方法,助力振荡模拟硬件实现低能耗且适应器件波动。
AI 摘要
arXiv:2610.07283v1 公告类型:新 摘要:与数字架构相比,模拟硬件平台有望降低能耗,但要实现这一目标,大规模模拟系统还必须能够应对其组件的变化性,或从中恢复。为此,我们推导并展示了锁定平衡传播(LIEP)训练方法。LIEP 无需单独进行前向和反向扫描,即可为振荡网络中的每个组件提供局部梯度信息,从而有望在模拟振荡硬件平台上实现原位学习能力。我们证明,LIEP 既可用于从头开始的训练,也可用于在预训练参数受到扰动后恢复性能。我们还表明,LIEP 可以表述为一种三因子更新规则,并指出,尽管该方法目前仅在浅层网络上得到验证,但其他架构可能使其扩展到深层和大规模网络,从而应对复杂任务。