最近,GPT-6 Astra 的三维建模和空间理解演示吸引了广泛关注。该模型能够在Blender中创建带有家具和花园的房屋,并将场景转换到Unreal Engine 5中,用户可以步入房间、打开柜子,甚至操作咖啡机。GPT-6 Astra 具备根据房源的照片生成真实感十足的3D房屋模型。当观察到这些可交互的三维场景时,随之而来的一个问题是:该模型内部是如何表征物体之间的空间关系的?当前的研究者们在多模态模型中发现了一种类似空间地图的结构。MirroS团队对多个多模态模型的中间激活进行分析后发现,该模型将物体在空间上的左右、上下以及远近位置编码到一个稳定的低维表示空间中,因此他们称之为S-Space(空间工作区)。更有趣的是,这张「内在地图」不仅限于仅被摄像头捕捉的物体。模型可以根据守门员扑救的方向推测出画外的足球位置;观察者本人在这个空间内也会被标识在距离轴的近侧;类似「socialist」这样的抽象概念,可能因为与「政治左翼」相关的语言信息,被放置在S-Space的左侧。尽管如此,研究同时揭示了空间推理中的两个薄弱环节:模型有时会混淆不同的坐标系统,比如把图像中的「右」误读为基本方位的「东」,这就是用错了参照系;此外,模型在旋转坐标系时的准确性也并不总是可靠,即使内部存储了物体位置,换个视角后仍可能错误判断它们的相对关系。换句话说,模型已有的空间表征尚未被可靠地应用于实际的场景判断。

不久前,Anthropic 在其Claude系统中发现了J-space,它就像一个安静的「语言工作区」,允许模型将未表达的概念暂时存放以备后续推理和控制使用。而S-Space则探讨了另外一个问题:当模型观察现实世界时,是否也能构建一个供后续计算的空间工作区?这里的「空间工作区」亦即一种将物体与其空间位置进行绑定的表述,能够被感知、推理和输出等多个过程一同使用。

仅从输出结果是难以回答这一问题的。一个模型说「杯子在书的左边」,可能是因为它确实建立了场景坐标,也可能仅仅是识别到了某种局部图像特征。因此,研究者的重点转向了模型的中间层。他们假设,在物体名称所对应的token的隐藏状态中,线性编码着物体在空间坐标系中的具体位置。 S-Space由水平、垂直和距离三个方向构成:在相应方向读取物体表征,即可获取其在允许的空间轴上的连续坐标。实验结果显示,从S-Space中获得的数值与物体的真实空间坐标之间存在显著相关性。实际上,我们甚至可以跳过模型原先的语言推理过程,仅需比较两个物体在S-Space中的坐标差异,就能在CV-Bench、EmbSpatial-Bench和SpatialTunnel等平台上直接完成空间问答。

更为重要的是,这种空间结构展现出了跨数据集和跨提示的稳定性。S-Space能够推广到未曾使用的数据分布中;即便问题形式转变为询问物体的颜色,依旧能从同一套坐标轴获取其空间位置。这表明,S-Space是一种持久存在的内部结构,而非仅由特定空间问题瞬间诱导而来的表征。更进一步,尽管S-Space完全基于单视图样本提取,但在多视图输入中依然能够生成有意义的坐标。当提示指定为「视图1」时,只需交换所称为视图1的图片,获得的坐标也会随之调整到相应的视角。这说明,S-Space不仅持久存在,还可以根据语言的动态指令锚定于特定视角,内部坐标的变化会直接影响模型的输出。

然而,能够从内部表征中读取空间信息,并不等同于模型真的依赖这些信息进行判断。S-Space有可能仅仅是一个精确记录空间状态的「记分牌」,它准确地显示比分,却并不直接参与比赛。为检验这一点,研究者直接操纵物体在S-Space中的位置。例如,在不改变原始图像和问题的情况下,将两个物体在S-Space中的位置互换后,模型在后续计算中的空间输出产生了变化:左变为右,上变为下,近变为远。与此同时,物体颜色等与空间无关的判断几乎不受影响。

这一实验结果表明,通过干预 S-Space,模型的空间判断相应地发生了改变。这意味着S-Space不仅可供外部工具解码,更是在因果关系上参与了模型的空间判断。模型内部确实存在一个既可被读取,又可被写入甚至操控的空间工作区。空间语义之间的耦合关系,导致模型出现了坐标系使用错误的情况。