GaussianRenderFormer：基于 Transformer 的三维高斯泼溅渲染
GaussianRenderFormer: Transformer-based Rendering of 3D Gaussian Splats
精选理由
提出无需光栅器的高斯泼溅 Transformer 渲染方案，为神经渲染提供新路径与性能基准。
AI 摘要
arXiv:2611.05593v1 公告类型：交叉收录 摘要：在渲染器中不使用光栅化器的情况下，神经网络能否自主学会渲染三维高斯泼溅？我们提出 GaussianRenderFormer，这是一种以一组高斯及相机为输入、直接输出图像的 Transformer。在与视角无关的编码器中，每个高斯被转换为一个词元；与视角相关的解码器则通过对这些词元进行注意力运算，将小块相机射线转换为像素。GaussianRenderFormer 在 26,820 个 Objaverse 对象上进行训练，每个对象均被剪枝至 20,000 个高斯。在渲染 300 个未见过的对象时，以完整、未经剪枝的高斯泼溅渲染结果为参照，其 PSNR 达到 38.08 dB，而对相同的剪枝后输入进行光栅化可达到 44.02 dB。这一差距并非泛化问题，我们的诊断结果与视角解码器存在瓶颈的判断一致：向解码器提供每个高斯的投影覆盖范围，可提升 1.4 dB，而这些信息原则上可由解码器自行推断。我们尚不能排除训练不足的可能性。代码、训练好的模型和视频：https://svlwoof.github.io/gaussianrenderformer