LLM 驱动的音色生成与插值中的结构性与表征性能动性

arXiv:2610.12532v1 公告类型：交叉收录 摘要：生成式创意界面通常会显示用户在可能性空间中的位置。这类显示暗示，所展示的数值是从生成产物中测量得出的；然而，在越来越多的系统中，这些数值实际上是由描述自身输出的语言模型预测的，而两者在屏幕上无法区分。大多数创意领域缺乏公认的测量方法来核验这种自我报告，但音频领域具备这样的测量方法。我们对一个实际运行的 LLM 驱动音色界面进行了测量研究，结果表明，用户能够促成的结果与界面所报告的结果可以彼此分离。前者可以被精确刻画：可达集是一个 zonotope，其维度随着每放置一个声音而增加一维，因此可以证明，模型可在其中操作的空间确实由用户掌控。后者则不准确。显示位置与实测位置之间的偏差约为该区域宽度的三倍，而且误差有两个独立来源：一是模型预测的坐标，其准确性在所评估的两个模型之间相差一倍；二是插值步骤产生的误差，它源于合成器参数的组合，不受模型质量影响。在端到端测试中，36 条细化指令中有 26 条未产生可感知的变化；在使用较弱模型时，该功能未执行任何操作，却报告已经收敛。因此，实效能动性（用户能够促成什么结果）与认知能动性（用户能否知晓这些结果）可以彼此分离，也可以独立设计：通过结构强制实施的约束在模型失效时依然有效，而依赖模型自我报告的保证则不然。最终仍然存在的失效模式，是将毫无反应呈现为成功。最后，我们提出了一套用于构建和审计此类显示的简短规程。