AI 日报

01模型发布/更新

• Show HN：一个驻留在引导扇区中的语言模型

  所有想法都源自引导扇区演示圈，那里的人们一直在用 512 字节编写国际象棋和 BASIC 游戏，甚至还写出了 C 编译器。我想知道，用神经网络代替程序能做些什么，而为不存在的硬件生成启动日志，是个值得尝试的有趣点子。整个推理引擎占用 MBR 中的 510 字节，权重、词表和字符串则存放在 MBR 之后的扇区中。这个小型字符级神经网络使用机器生成的 dmesg 进行训练，因此机器可以无限生成 Linux 启动消息。train.py 执行的整数算术运算与汇编代码完全相同，因此其输出与 QEMU 的输出逐字符一致。差异分析揭示了我最喜欢的一个缺陷。开头的字符与模拟器生成的字符一致，但随后输出就出现了偏差。我通过 QEMU 的调试端口取出隐藏层数据，将各个神经元的值与模拟器中的值逐一比较。只有第一个神经元的值是正确的。激活计算涉及 idiv，而 idiv 会把余数存入 edx。偏置表的指针也存放在 edx 中，导致第一个神经元使用了正确的偏置，而后续神经元使用的都是垃圾数据。现在，偏置的地址根据循环计数器确定，不再需要让任何指针在除法运算后保持不变。另一个缺陷是我在首次试运行前，仅靠阅读代码就发现的：BIOS 打印例程会将 bx 清零，但 bx 中存放的是预测字符的编号。这就是为什么打印操作前后要对 bx 执行 push 和 pop。sectorllm 与我的项目最相似，因为它仅用 1.2K 的汇编代码，就运行了一个真正带有注意力机制的 5 层 llama2。它采取了与我相反的取舍：我的引擎必须塞进一个扇区，因此我的网络只有一个使用 int8 运算的隐藏层，用来梦出 dmesg。评论链接：https://news.ycombinator.com/item?id=50315782 得分：3 评论数：0

  — Hacker News 熱門