Qwen-RobotWorld：无界世界，赋能具身智能体

具身智能要求智能体能够在真实物理环境中感知、推理并采取行动，世界模型为此提供了一条可规模化的学习路径。然而，现有方法面临一个核心困境：通用视频生成模型拥有丰富的视觉先验，但对具身物理规律的建模能力不足。领域专用的具身模型则局限于特定场景，难以跨构型泛化。

Qwen-RobotWorld 以自然语言为统一动作接口，弥合了这一鸿沟。一句简单的指令——如"拿起红色杯子放到架子上"——本身就包含了完整的动作序列、目标状态与物理约束，无需任何机器人专属的控制接口。由此，操作、自动驾驶与室内导航得以在同一模型中联合训练，让不同领域的物理知识彼此增益。

语言统一动作空间：通用世界知识与具身领域知识在同一个模型内相互强化，带来跨场景、跨任务的物理泛化能力。

核心亮点#

• 语言驱动的统一动作接口 — 自然语言将 20+ 种机器人构型和 500+ 种动作类别标准化为统一接口，实现跨场景联合训练
• 双流扩散世界模型 — MMDiT 搭配 Qwen2.5-VL 作为动作编码器，融合深度语言理解与内化的物理世界知识
• 跨场景物理泛化 — 操作、驾驶、导航与人-机器人迁移在 8.6M 视频-文本对上联合训练
• 多视角几何一致性生成 — 同步 2-4 路相机流，保持 3D 一致的物体标识与运动轨迹

模型架构#

双流扩散世界模型#

Qwen-RobotWorld 采用双流多模态扩散 Transformer（MMDiT）架构：

• 理解流接收冻结 Qwen2.5-VL 编码器输出的语义特征，对应语言动作 $a_t$。
• 生成流接收视频 VAE 编码的视觉隐变量，对应视觉状态 $s_t$。

两条流在每一层通过联合注意力（Joint Attention）交互，在整个去噪过程中持续进行双向跨模态融合。

相比 T5、CLIP 等轻量编码器，选用 MLLM 作为动作编码器有两个关键优势：其一，深层语言理解能力可将复杂的组合式指令精确解析为细粒度条件信号；其二，模型内化的世界知识（例如"机械臂是具有固定连杆长度和关节约束的刚体"）能隐式约束物理可行的状态转移空间，有效避免跨帧物体变形等常见问题。

Scene2Robot：人-机器人迁移#

Scene2Robot 实现了跨构型的视频编辑能力：借助多段条件机制，将人类演示迁移到 14 种机器人构型上；联合注意力使生成过程能同时参考场景外观与机器人运动轨迹。这一能力在训练阶段充当数据扩增引擎，在推理阶段则直接支持人到机器人的迁移生成。

多视角几何一致性生成#

单一相机视角不可避免地会遮挡关键的接触细节和空间信息。Qwen-RobotWorld 能够同时生成 2–4 路相机流——主视角、腕部视角与第三人称视角——并在所有视角间保持几何一致的物体标识和运动轨迹。训练时，多相机同步帧被空间拼接为一个整体输入，模型一次性生成全部视角；非对称 3D RoPE 负责空间编码，注意力层自然建立起跨视角对应关系，整个过程无需任何架构改动。这种跨视角一致性还起到了几何正则化的作用，帮助模型学习物体形状、深度关系与空间布局。

数据：具身世界知识#

EWK 数据集#

具身世界知识（EWK）数据集围绕四个互补维度构建，分别覆盖不同来源的物理变化：

• 多构型 — 人手、7 种机器人臂构型、自车、移动智能体，涵盖 20+ 种不同机器人模型
• 多任务 — 原子操作技能、长时序组合、运动、动态/形变交互，覆盖 500+ 种动作类别
• 多场景 — 真实环境优先，仿真增强：厨房、工作间、户外环境，加上用于下游 VLA 评估的高真实感仿真
• 多视角 — 主视角、腕部视角和同步多视角流（约 160 万条数据包含 2-4 视角拼接）

动作-语言映射#

构建通用世界模型的核心难题是动作表征的异质性：操作任务用关节角度，驾驶用转向指令，导航用航向向量——彼此格式不兼容，传统做法只能各建各的模型。我们提出的动作-语言映射框架将所有动作信号统一映射到自然语言空间，从而让 Franka 夹爪、自动驾驶车辆、导航智能体的视频都归结为同一个语言条件视频生成任务。

为保证标注质量与精度，我们设计了五层分级标注流水线：

训练时，两种描述以等概率随机采样，让模型既能理解详尽的轨迹描述，也能响应简短的任务级指令。

训练#

训练采用**“通用→专家"的渐进式策略**：

预训练阶段利用通用数据和人类交互视频（Ego4D、EPIC-Kitchen）建立广泛的视觉先验。其中 T2I 任务为物体几何形态提供了稳固的锚点，其知识通过共享骨干自然迁移至视频生成。进入 SFT 阶段后，模型沿四个阶段逐步深化具身能力，同时每个 batch 都保留通用数据参与训练，确保通用能力与具身专长同步提升、互不折损。

演示#

细粒度语言理解#

在相同初始帧条件下，仅改变指令中的一个关键词，模型即可生成完全不同的视频结果。同时，模型也能执行需要长时序推理的复杂多步指令。

对比指令跟随：

复杂多步指令：

跨域泛化#

(A) 跨构型：

(B) 跨任务 × 跨环境：

(C) 多视角一致性：

(D) 零样本鲁棒性：

人-机器人迁移#

Scene2Robot 机制在保留人类演示（左）原始任务意图的同时，将运动轨迹适配到不同构型各自的运动方式（右）。

超越操作：驾驶与导航#

世界模型的泛化能力不止于桌面操作，还延伸到更广阔的场景。

自动驾驶。 基于 Bench2Drive、NVIDIA PhysicalAI-AD、Sekai 和 Waymo 数据生成的驾驶片段，展现了连贯的场景动态与合理的车辆行为。

室内导航。 基于 VLNVerse 的第一人称导航片段，展示了模型在复杂室内环境中生成连贯行走视频的能力。

从桌面操作到自动驾驶，再到室内导航——Qwen-RobotWorld 证明了统一的世界模型能够突破单一构型、单一场景的局限。

性能评估#

我们与通用视频生成模型（Sora2、Veo3、Wan2.6、Kling、LTX-2）及具身世界模型（Cosmos、LVP、GigaWorld、Vidar、Wow）在四个基准上进行了全面对比。

引用#

如果我们的工作对您有帮助，欢迎引用。

@article{qwenrobot-world,
  title={Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation},
  author={Qwen Team},
  year={2026}
}