滚球(中国)app官网 机器东说念主为什么需要寰宇模子? 寰宇顶尖机构连合综述泛动发布

作家团队来自南洋理工大学 MARS Lab、加州大学伯克利分校、斯坦福大学、哈佛大学、普林斯顿大学、ETH Zurich、牛津大学、东京大学、Microsoft 等机构的计划者。团队恒久顺心机器东说念主学习、具身智能、寰宇模子、多模态基础模子与机器东说念主计谋学习。

寰宇模子正在成为机器东说念主学习中绕不开的议题。

畴前几年，机器东说念主计谋学习的干线之一，是从传统的任务特定计谋，转向更通用的 Vision-Language-Action (VLA) 模子。通过大鸿沟视觉谈话模子和机器东说念主轨迹数据，VLA 模子好像将视觉不雅测、谈话领导和动作输出长入起来，在跨任务、跨场景泛化上展现出后劲。

但机器东说念主抛弃并不仅仅「看图回复动作」。在果真物理环境中，计谋模子需要面对构兵、讳饰、万古序依赖、虚伪积蓄和多步筹谋等问题。一个只笔据现时不雅测径直输搬动作的模子，往往枯竭对将来现象变化的显式预判。

这使得寰宇模子再行成为机器东说念主学习中的中枢标的：机器东说念主不仅要知说念「当今是什么」，还要能瞻望「要是实行某个动作，寰宇接下来会若何演化」。

近日，来自南洋理工大学 MARS Lab 的计划者，连合加州大学伯克利分校、斯坦福大学、哈佛大学、普林斯顿大学、ETH Zurich、牛津大学、东京大学、Microsoft 等机构，发布综述论文《World Model for Robot Learning: A Comprehensive Survey》，系统梳理了寰宇模子在机器东说念主学习中的界说、架构范式、应用场景、评测基准与将来挑战。论文共 43 页，并配套抓续更新重视的 GitHub 资源库。

论文标题：World Model for Robot Learning: A Comprehensive Survey

图 1：论文举座框架图

机器东说念主寰宇模子：

要点不是生成，而是可用于决策的瞻望

在机器学习和贯通科学语境中，world model 并不是一个新见解。它时时指好像描画环境现象若何随技艺和动作发生变化的瞻望模子。

但在机器东说念主学习中，作家强调需要对这一见解作更严格的界定。机器东说念主寰宇模子不应仅仅一个能生成将来画面的模子，而应是好像状貌「智能体——环境」动态演化的模子。换言之，它需要回复的是：在现时现象下，要是机器东说念主实行某个动作，将来现象会若何编削。

这少量也区分了机器东说念主寰宇模子和一般视频生成模子。后者不错生成视觉上合理的视频，但无意具备动作一致性。举例，模子可能生成一段看似当然的物体搬动视频，却无法准确反应机器东说念主夹爪动作、构兵联系和受力变化。关于机器东说念主抛弃来说，这么的瞻望价值有限。

因此，论文将机器东说念主寰宇模子的中枢才能玄虚为三类：

第一，foresight，即在实行前瞻望动作后果；

第二，imagination-driven planning，即通过念念象 rollout 比较候选行径；

第三，data amplification，即通过合成轨迹或演示数据改善计谋学习。

这也发挥了为什么寰宇模子与机器东说念主学习的联结正在加快。VLA 计谋提供了从视觉寝兵话到动作的接口，而寰宇模子补充了对将来物理变化的瞻望结构。二者联结后，机器东说念主计谋不再仅仅反应式映射，而是有契机引入更强的前瞻性和筹谋才能。

寰宇模子若何接入机器东说念主计谋？

论文最先盘问的是寰宇模子与机器东说念主计谋的联结神气。作家将现存设施按架构分散为多类，从早期解耦式设施，到单主干集合、MoE / MoT 架构、长入 VLA，再到 latent-space world modeling。

图 2：技艺线发展图

早期蹊径时时聘请「瞻望将来，AG真人中国官网入口再复原动作」的两阶段框架。模子先诈欺视频生成或将来不雅测瞻望模块，生成任务关联的将来现象；随后，一个逆能源学模子笔据现时不雅测和瞻望将来，计算机器东说念主应实行的动作。UniPi、VidMan、Vidar、Gen2Act 等责任不错归入这一类。

这类设施的上风在于模块明晰。寰宇模子慎重瞻望「将会发生什么」，计谋模块慎重把瞻望终局转动为动作。但问题也很显豁：两个模块之间存在接口弊端，生成的视频或 latent 表征要是与果真动作后果不一致，就会影响后续抛弃。

随后，计划运行转向更紧耦合的决策。一类设施使用单一世成主干同期建模将来视觉现象和动作序列，将视频瞻望与动作生成放进团结个扩散或流匹配进程。UVA、UWA、VideoVLA、Cosmos Policy 等设施皆体现了这一趋势。它们不再把寰宇模子四肢外部模块，而是试图让瞻望和抛弃在团结个模子里面共同发生。

另一类设施聘请 MoE / MoT 或多分支群众结构。视频群众、动作群众寝兵话领会模块保抓一定进度的参数沉寂，但通过分享醒眼力、交叉醒眼力或层间交互杀青信息交融。Motus、LingBot-VA、BagelVLA 等设施皆属于这一标的。比拟全皆分享主干，这种遐想保留了不同模态的挑升才能，同期让视频瞻望中的时序和物理先验影响动作生成。

图 3：IDM、Single-Backbone、MoT 三种神气的对比

长入 VLA 则代表了另一条蹊径。它们不一定显式调用外部视频寰宇模子，而是通过将来图像瞻望、视觉 foresight、结构化寰宇学问或 latent 动态建模，把瞻望盘算推算内化到 VLA 考试进程之中。GR-1、WorldVLA、DreamVLA、UniVLA、CoWVLA 等设施皆在不同层面体现了这种趋势。

值得明慧的是，论文并莫得浮浅判断哪通盘线也曾胜出。违反，作家指出，现时机器东说念主寰宇模子仍处在快速演化阶段。解耦模块、长入生成主干、群众搀杂结构和 latent 表征各有优劣，最终着力取决于数据鸿沟、抛弃频率、任务复杂度、推理本钱以及模子是否果真捕捉到动作要求下的物理变化。

从计谋模块到可交互模拟器

寰宇模子的第二类紧要用途，滚球app(中国)官网下载是作为机器东说念主学习中的模拟器。

传统机器东说念主强化学习濒临一个恒久瓶颈：果真交互本钱高、采样着力低、复位贫窭，而况存在硬件安全风险。要是不错用学习到的寰宇模子替代果真环境进行 rollout，计谋就不错在假造交互中赢得考试信号。

论文将这一标的称为 World Model as Simulator。在这一范式中，寰宇模子摄取现时不雅测、任务领导和候选动作，瞻望下一步不雅测、奖励或拒绝信号。计谋模子不错在这个学习到的环境中进行强化学习后考试，也不错在测试阶段用寰宇模子评估多个候选动作。

图 4：寰宇模子作为 RL 模拟器和动作考证器

这通盘线的要害价值，是把寰宇模子从「接济瞻望器」鼓舞到「考试环境」。举例，部分设施尝试用寰宇模子生成 imagined transitions，用于 VLA 的 RL post-training；也有设施诈欺瞻望 rollout 对候选动作进行排序，在实行前判断哪一组动作更可能到手。

不外，作为模拟器的寰宇模子也濒临更高要求。用于洞开式视频生成时，模子只需在视觉上保抓合理；但用于计谋考试时，模虚伪伪会径直影响计谋优化标的。一个稍稍偏差的能源学瞻望，可能在多步 rollout 中被放大，导致计谋学到虚伪行径。因此，恒久安逸性、动作明锐性和奖励一致性，是这一标的绕不开的问题。

视频生成模子能否成为机器东说念主寰宇模子？

连年来，大鸿沟视频生成模子的发展，为机器东说念主寰宇模子提供了新的基础要领。视频模子自然学习时序变化、领会流通性和空间结构，因此被以为可能为机器东说念主抛弃提供有价值的先验。

但论文强调，机器东说念主视频寰宇模子不成径直等同于通用视频生成。关于机器东说念主学习而言，最紧要的并不是画面质地，而是动作可控性和物理一致性。

一个果真有用的机器东说念主视频寰宇模子，需要在给定谈话领导、现时不雅测和动作序列时，生成与动作后果一致的将来现象。它还需要管理物体讳饰、构兵变化、器具使用、场景几何和万古序任务等问题。

论文将机器东说念主视频寰宇模子的发展玄虚为几个阶段：

从率先的 imagination-based generation，即生成将来视频作为计谋学习的接济；

到 action-controllable world model，即显式建模动作对将来视觉现象的影响；

再到 structure-aware world model，即引入深度、3D、对象、轨迹、场景结构等中间示意；

最终走向 foundation-scale world model，即具备更大数据鸿沟、更强泛化才能和多任务相宜性的基础寰宇模子。

图 5：机器东说念主视频寰宇模子关联分类

评测圭表正在发生变化

论文的另一个要点是评测。关于寰宇模子，单纯评估视频明晰度或生成质地也曾不够。

在机器东说念主场景中，评测应顺心模子是否能改善果真任务阐扬。举例，它能否擢升计谋到手率？能否正确排序候选动作？能否瞻望失败轨迹？能否在万古序任务中保抓因果一致？能否匡助计谋减少果真交互样本？

因此，作家以为将来的 benchmark 需要从 open-loop visual fidelity 转向 closed-loop task utility。也便是说，寰宇模子的蛮横不应只由「生成得像不像」决定，而应由「是否匡助机器东说念主作念得更好」来决定。

图 6：机器东说念主与寰宇模子数据集

论文整理了多个机器东说念主学习 benchmark 和数据集，包括 LIBERO、RoboTwin、CALVIN、SIMPLER 等，并对不同寰宇模子计谋在这些环境中的阐扬进行了归类比较。这些终局通晓，现时最有用的设施并不集合在单一架构上；不同任务下，解耦式、长入式、群众搀杂式和 latent-space 设施皆可能阐扬出竞争力。

将来挑战：动作一致性、着力和物理 grounding

尽管寰宇模子在机器东说念主学习中展现出后劲，但论文也指出，距离可靠部署仍有多项要害挑战。

最先是动作要求下的因果一致性。模子不成只笔据历史不雅测「脑补」将来，而必须准确反应动作带来的现象变化。关于闭环抛弃来说，这是寰宇模子是否果真有用的基础。

其次是推理着力。好多视频扩散模子规划本钱较高，难以顺神思器东说念主及时抛弃需求。因此，越来越多设施运行探索 latent-space prediction、考试时使用寰宇模子、测试时跳过显式视频生成等决策。

第三是物理 grounding。果真机器东说念主交互依赖摩擦、力、触觉、物体材质和构兵安逸性，仅靠视觉瞻望往往不及。未下寰宇模子可能需要交融履行嗅觉、力觉、触觉和结构化几何示意。

此外，论文也提到，神经寰宇模子并无须然取代传统筹谋和抛弃设施。违反，标志示意、对象联系、因果结构和经典抛弃仍可能为万古序任务提供更安逸的抽象层。若何把神经瞻望才能与结构化筹谋联结起来，将是机器东说念主寰宇模子的紧要标的。

结语

这篇综述的价值在于，它莫得把寰宇模子浮浅视为视频生成模子在机器东说念主鸿沟的迁徙，而是从机器东说念主学习自身启航，再行梳理了寰宇模子应该承担的功能：接济计营生成、充任学习模拟器、营救评估与筹谋、生成考试数据，并最终作事于果真可实行的机器东说念主行径。

对机器东说念主学习而言，寰宇模子的中枢问题不是「能不成念念象将来」，而是「念念象出的将来能否用于抛弃」。

当机器东说念主好像在行动前瞻望后果、在实行中纠正盘算推算、在考试中诈欺假造交互翻新计谋滚球(中国)app官网，寰宇模子才果真从生成模子走向具身智能系统的中枢组件。