一种可通过训练执行上下文学习的全晶体管物理学习 transformer
An all-transistor physical-learning transformer can be trained to perform in-context learning
精选理由
展示全晶体管电路可通过物理学习训练实现上下文学习，为低功耗硬件 Transformer 提供新思路。
AI 摘要
arXiv:2610.12571v1 公告类型：新论文 摘要：大多数通过平衡传播或耦合学习训练的系统与多层感知机属于同一类：虽然它们可能是通用函数逼近器，但却难以学会对 transformer 而言很容易的关联任务。平衡传播依赖于信息在物理系统的输入与输出之间双向流动。更复杂的非线性系统会破坏反向信息流，例如执行乘法运算的系统，而乘法是实现点积注意力所必需的。在这里，我们在双重或二元电路中引入专门用于此目的的额外电路元件，显式恢复这种双向信息流。随后，我们利用这些思路，构建了一种利用亚阈值 MOSFET 器件指数电流定律的注意力机制。我们通过仿真表明，尽管使用的实际反向元件只能传递近似梯度，该电路仍可通过训练执行一项简单的上下文学习任务。要使训练成功，我们需要使用交叉熵损失，而非均方误差。我们利用一种新型浮置电路元件生成适用于该损失的微扰，该元件基于与 softmax 所用相同的 MOSFET 子电路。我们使用 Lion 优化器训练该电路中的电阻；实现这一优化器时，每个参数只需一个电容器，即可在局部存储对以往梯度估计的记忆。