Touvigation：面向盲人和低视力用户在陌生室内环境中的具身自适应物体获取

盲人和低视力用户在陌生室内环境中定位并实际获取物体时，常常面临挑战。现有基于视觉语言模型的助手能够提供语义描述，但可能带来延迟、幻觉以及与具身行动契合度不佳的引导。我们提出了 Touvigation，这是一种免手持物体获取系统，将视觉语言理解与持久化局部空间建模相结合，以提供低延迟、相对于身体的引导。通过对八名盲人和低视力参与者开展形成性访谈，我们设计了一种多阶段引导框架，可随着用户从定向、行走过渡到伸手和触觉验证，自适应地调整空间指代方式。我们邀请12名盲人和低视力参与者，将 Touvigation 与多模态大语言模型助手及无辅助搜索进行了比较评估。Touvigation 的任务成功率达到100%，而多模态助手和无辅助搜索分别为58%和85%；同时，Touvigation 还缩短了完成时间并降低了认知负荷。研究结果表明，持久化空间定位与自适应具身引导能够改善盲人和低视力用户的物体获取体验。