Show HN：从约 25 行 SQL 自动推导出 FlashAttention 内核

在这个演示中，我们用约 25 行仅表达标准注意力机制的 SQL，自动推导出一个 FlashAttention 内核。这得益于我们正在构建的三个可移植 SQL 扩展： - xarray-sql：一个将云端 PB 级数组数据集高效表示为表（关系）的库。 - ddx：一个数据库扩展，基于上述数组数据模型，为标准 SQL 添加 JAX 风格的自动微分功能。 - einfold：一个模块化查询规划器，同样基于上述数组数据模型，用于在标准 SQL 中实现快速张量缩并。 我希望关系模型和关系代数能为加速器编程提供新的视角。我们的核心观点是，将张量程序的逻辑层与物理层分离，既能提高正确性，也更具可扩展性。如果“苦涩的教训”是机器学习的核心信条，那么为什么不用关系代数将其形式化呢？ 如果你对此感兴趣，并且想与我们一起探索数据库理论与机器学习系统的交叉领域，欢迎通过 https://xql.systems 加入我们的 Discord（链接在页面底部）。祝好。 评论链接：https://news.ycombinator.com/item?id=50309479 得分：4 评论数：0