Qwen-AgentWorld: 面向通用智能体的语言世界模型

PAPER GITHUB HUGGING FACE MODELSCOPE

今天，我们正式发布 Qwen-AgentWorld——首个原生语言世界模型（Language World Model, LWM），能够在七大领域中模拟智能体交互环境：

• 原生世界建模。 我们从预训练阶段开始就引入"理解和模拟环境"这一训练目标，贯穿 CPT → SFT → RL 全流程，而非等到后训练阶段才做适配。
• 七大领域，一个模型。 单一模型同时覆盖文本类环境（MCP、Search、Terminal、SWE）与 GUI 类环境（Web、OS、Android），实现跨领域知识迁移。

同步发布的还有 AgentWorldBench——覆盖七大领域的语言世界模型评测基准，每条测试样本均附有真实环境中的 ground-truth 观测数据。模型与评测基准可从 Hugging Face 和 ModelScope 获取。

语言智能体的训练目标是在交互式环境中执行动作，但此前从未有语言模型将"对环境本身建模"作为显式训练目标，即在给定当前状态与智能体动作的条件下，预测环境的下一步响应。

Qwen-AgentWorld 代表了我们的核心探索：基于语言模型的世界建模，能否进一步拓展通用智能体能力的边界。

我们从两个方向探索如何实现语言世界建模，以及如何借此推动通用智能体能力的提升：

• 首先，我们构建了智能体环境模拟的基础模型：Qwen-AgentWorld 是首个在单一模型中覆盖七大智能体交互领域（MCP、Search、Terminal、SWE、Web、OS、Android）的语言世界模型，基于超过 1000 万条真实环境交互轨迹，经由 CPT → SFT → RL 三阶段训练而成。在 AgentWorldBench 评测中，Qwen-AgentWorld-397B-A17B 取得了最高的整体模拟质量，超越 GPT-5.4、Claude Opus 4.8 与 Gemini 3.1 Pro。
• 其次，我们探讨世界建模在智能体训练中的作用，并通过两种互补范式加以验证：作为解耦的环境模拟器，它为智能体强化学习提供了更优的可扩展性与可控性——可控的模拟 RL 能够以真实环境无法实现的方式塑造智能体行为，且显著优于仅在真实环境中训练的 RL；作为统一的智能体基础模型，LWM 的预热阶段训练可有效迁移至涵盖七个基准（其中三个完全未出现在训练集中）的多轮智能体任务，且无需针对智能体任务进行任何 RL 微调，初步验证了语言世界模型能够作为构建更强智能体模型的基础。

可交互 Demo #

下面的 Demo 涵盖由 Qwen-AgentWorld 模拟的全部七个领域的真实智能体-环境对话。点击任意思维轨迹，即可查看模型的内部推理过程。

Part I: 构建智能体环境模拟的基础模型#

七个领域，一个模型 #

Qwen-AgentWorld 覆盖七类交互式环境。对于三个 GUI 领域，环境观测以可渲染代码（无障碍树 XML、HTML、UI 层级标记）而非像素帧的形式呈现，使得仅凭纯文本世界建模即可覆盖视觉环境。

训练流程 #

Qwen-AgentWorld 自继续预训练阶段起，便将环境建模作为显式目标进行端到端训练。三阶段流水线遵循一个核心原则：CPT 注入，SFT 激活，RL 精炼。

阶段一：继续预训练（CPT） 通过学习不含思维链的交互轨迹，向模型注入环境知识。数据来源涵盖专用智能体基础设施（容器化执行沙箱、MCP 服务器、Android/Web/OS 模拟器）、开源环境交互轨迹以及内部智能体轨迹。除环境数据外，我们还引入了覆盖工业控制、网络安全、法律、医学、金融和时事等领域的专业知识语料。本阶段的一项关键贡献是 轮次级别的信息论损失掩码：通过 4 个表层统计量识别每个（动作, 观测）对中真正承载环境信息的对话轮，对其余轮施加掩码，使其不参与 loss 计算，但仍保留为上下文输入。

阶段二：监督微调（SFT） 通过 <think>...</think> 包裹的思考过程，为下一状态预测激活出显式的思维链推理模式。我们采用拒绝采样（rejection sampling）筛选高质量思维链轨迹，最终获得 7,094 条训练样本。

阶段三：强化学习（RL） 以混合奖励信号精炼输出质量。我们基于 GSPO 算法进行 RL 训练，奖励信号由两部分组成：基于评分准则的 LLM 评判器（从多个维度评估生成质量），以及基于规则的验证器（用于客观可验证的正确性检查）。

AgentWorldBench #

为系统评估语言世界模型，我们推出 AgentWorldBench——一个综合性评测基准。该基准基于 5 个前沿模型在 9 个成熟评测集（如 Tool Decathlon、Terminal-Bench 1.0 & 2.0、OSWorld-Verified 等）上的真实环境交互观测构建而成。每条评测样本均配备真实环境执行所得的 ground-truth 观测，支持基于参考的精确评分。AgentWorldBench 采用开放式评分准则（rubric），从格式、事实性、一致性、真实性和质量五个维度全面评估世界建模能力，深入考察模型的推理能力、领域知识以及长上下文处理水平。

性能 #

Qwen-AgentWorld-397B-A17B 在 AgentWorldBench 上取得最高的整体均分（58.71），超越 GPT-5.4（58.25）及所有其他前沿模型。这一优势在 Terminal 和 SWE 两个领域最为显著，我们归因于这两个领域的预测需要准确模拟代码执行状态和工具 API 行为。

在 35B-A3B 规模上，三阶段训练流水线将整体均分提升了 +8.66（47.73 → 56.39），使 Qwen-AgentWorld-35B-A3B 超过 Claude Sonnet 4.6（56.04）。这一提升在文本类和 GUI 类领域中均保持一致。

探秘世界模型的思维过程 #

在整体分数之外，语言世界模型的有趣之处在于其推理方式。我们分析了四个文本类领域的 129 条思维链，发现 3 种涌现的推理模式。

自我修正。 模型使用「Wait!」作为自我纠错的触发信号，以修正中间预测。在 129 个轮次中，我们统计到 1,347 次此类中断（平均每 turn 10.4 次），包括事实错误、知识边界（“I cannot actually execute np.random.seed(42)"）或视角转换等情况。

信息泄漏防护。 在 Search 领域，模型已知智能体正在搜索的参考答案。当查询与答案无关时，模型通过确保摘要不会意外透露目标来防止泄漏——这是世界模型版本的心智理论（theory of mind）。

多步因果推理。 预测 curl -s localhost:3000 | python3 -m json.tool 的输出需要一条 6 步推理链：Node.js 缺失 → 服务器未启动 → 端口 3000 无监听 → curl 静默失败 → 空管道 → json.tool 抛出 JSONDecodeError。

Part II：探索世界建模在智能体训练中的作用#

我们通过两个互补范式探索世界建模如何增强通用智能体。

为什么世界建模对智能体很重要？ #

范式一：解耦的环境模拟器 #

将策略智能体与世界模型解耦为两个独立模型，Qwen-AgentWorld 作为环境模拟器提供了真实环境难以企及的可扩展性与可控性。在这种 Sim RL 范式中，世界模型在智能体强化学习训练期间替代真实环境：智能体执行动作，世界模型预测下一步观测，智能体则从这些模拟轨迹中学习。核心发现如下：

• 零样本环境泛化。 Qwen-AgentWorld 成功模拟了训练数据中完全不存在的 4,000 个 OpenClaw 环境，在 Claw-Eval 和 QwenClawBench 上分别取得 +4.3 和 +7.1 的 Sim RL 增益，且无需任何领域适配。
• 可控模拟至关重要。 不施加控制的 Sim RL 几乎无法带来提升；而可控扰动则将 MCPMark 提升 +12.3、WideSearch 提升 +16.3，效果远超不施加控制的 Sim RL。
• 超越真实环境训练。 同时通过对抗性摘要设计塑造出更具针对性的智能体行为，可控 Sim RL 在 WideSearch 上超越了使用真实搜索引擎训练的 Real RL（F1：50.3% vs. 45.6%）。
• 虚构世界同样有效。 在完全虚构但自洽的世界中训练的智能体，能够成功泛化至真实搜索任务，同时在结构层面有效防止智能体将模拟事实与真实世界知识相混淆。
• 初始状态是关键瓶颈。 Sim RL 的有效性取决于一个前提，必须为世界模型提供足够详尽的初始状态描述。如果初始状态信息不完整，世界模型就难以准确还原真实环境的起始条件，导致后续模拟逐步偏离现实，最终削弱智能体从模拟训练中获得的收益。

可泛化的环境扩展 #

我们验证世界模型能否泛化到训练中完全不存在的环境。OpenClaw 是一个开源智能体平台，其任务涵盖日程管理、编程、邮件分类、浏览器自动化和文件管理——完全不在 Qwen-AgentWorld 的训练分布内。我们模拟了 4,000 个 OpenClaw 环境用于智能体 RL 训练，无需任何领域适配，并通过消融实验验证了模拟器质量的关键作用：使用 Qwen3.6-Plus 作为模拟器几乎没有提升，而 Qwen-AgentWorld-397B-A17B 带来了显著增益——确认世界模型质量是 Sim RL 的瓶颈。智能体无法通过与不真实的环境模拟器交互来有效学习。

可控模拟 #

Qwen-AgentWorld 的核心优势在于其可控性：训练过程中，可通过自然语言指令精确调控模拟器的行为。我们验证了以下两种模式。

MCP：环境自适应。 我们从真实的 MCP 工具调用轨迹中合成模拟系统提示词：每条提示词明确指定工具 Schema 与服务器配置，描述隐藏的环境状态（如数据库内容、权限设置、服务可用性），并定义可控的模拟指令，以调控模拟器在每一轮交互中的响应行为。控制指令通过注入定向扰动——间歇性 API 错误、需要后续调用的分页响应、迫使多步检索的不完整中间结果，以及批量操作中的部分失败——系统性地暴露智能体在真实部署中极少遭遇的薄弱环节。

实验结果呈现出鲜明对比：不含控制指令的标准 Sim RL 未带来任何实质性提升（Tool Decathlon 甚至从 32.4 下降至 31.5），原因在于模拟器缺乏充分的依据来生成忠实可靠的响应。而引入可控模拟后，Tool Decathlon 提升了 +3.7，MCPMark 提升了 +12.3。可控性不仅影响提升幅度，更是 Sim RL 在该领域得以奏效的先决条件。MCPMark 上更大的增益（+12.3 vs. +3.7）进一步表明，可控模拟在需要大量顺序工具调用及精细处理中间结果的任务中尤为有效。

Search：虚构世界构建。 我们构建了 1,000 个自包含的虚构环境，每个环境都以一个关系型数据库为核心，其中包含 300–500 条内部自洽的虚构事实。例如，一个"虚拟环境"可能包含 2029 年的智能手机市场排名——品牌名称是真实的，但型号是虚构的。这种设计有两层用意：首先，正确答案只存在于虚构环境中，智能体无法靠自身记忆绕过搜索工具直接作答；其次，所有事实都是虚构的，智能体不会把模拟中学到的内容与真实世界知识搞混。

Sim RL vs. Real RL #

我们在 WideSearch 上直接对比可控 Sim RL 与 Real RL（使用真实搜索引擎训练）。Sim RL 全程追平或略超 Real RL：F1 by Item 在第 60 步达到 50.3%，Real RL 为 45.6%。

更值得关注的是智能体行为层面的变化。两种训练模式都将 web_search 调用从约 5 次减少到约 3.5 次，但 web_extractor 调用出现了明显分化：Sim RL 将使用量从 2.5 增加到 4.0，而 Real RL 从 2.5 降低到 1.5。由于模拟搜索摘要刻意省略详细内容，经 Sim RL 训练的智能体学会了一个关键策略：提取完整页面是组装完整答案的必要步骤。可控模拟以真实环境无法实现的方式定向塑造智能体行为。

范式二：智能体基础模型 #

在范式一中，智能体和世界模型是不同的模型。在这里我们将它们统一：同一个模型既选择动作也预测环境状态。 LWM 训练将下一状态预测内化为一种推理能力。核心发现：

• 突破性的跨任务泛化。 单轮、非智能体的 LWM RL 预热（无工具调用）迁移到了跨 5 个领域 7 个基准的多轮、工具调用智能体任务。
• 领域泛化。 在 LWM 训练完全不涉及的领域上涌现增益（Claw-Eval +11.3、QwenClawBench +9.7、BFCL v4 +9.0），证实这是可迁移的能力而非领域特定的捷径。
• 下一状态预测作为元推理模式。 LWM 训练教会智能体在行动前模拟环境响应，这种模式在不同任务格式和领域中均可泛化。

我们在 Qwen3.5-35B-A3B-SFT 上运行 LWM RL——一个无工具调用的单轮任务——然后直接在跨 7 个基准的多轮工具调用智能体任务上评测，无需额外微调，其中 3 个基准完全不在 LWM 训练范围内。

域外泛化结果尤为亮眼：LWM 的训练数据中未包含任何 Claw 或 function-calling 相关数据，却在这几个完全未涉足的领域上分别涌现出 +11.3、+9.7 和 +9.0 的显著提升。

使用 Qwen-AgentWorld #

模型部署 #

我们开源了 Qwen-AgentWorld-35B-A3B（Hugging Face, ModelScope）语言世界模型，采用 MoE 架构，总参数 35B / 激活参数 3B，支持 256K 上下文。可通过以下方式部署。

# SGLang
python -m sglang.launch_server \
    --model-path Qwen/Qwen-AgentWorld-35B-A3B \
    --port 8000 \
    --tensor-parallel-size 4 \
    --context-length 262144 \
    --reasoning-parser qwen3

# vLLM
vllm serve Qwen/Qwen-AgentWorld-35B-A3B \
    --port 8000 \
    --tensor-parallel-size 4 \
    --max-model-len 262144 \
    --reasoning-parser qwen3 \
    --trust-remote-code

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen-AgentWorld-35B-A3B",
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-AgentWorld-35B-A3B")

评估测试集 #

AgentWorldBench 已在 Hugging Face 和 Modelscope 上发布，以按领域划分的 JSONL 文件形式提供，每个文件包含来自真实环境的交互轨迹及对应的真实观测数据。评估通过 eval/eval.py 执行三阶段流程：(1) 推理（infer） — 运行世界模型生成预测观测；(2) 评判（judge） — 使用 LLM 评判器从五个维度（格式、事实性、一致性、真实性、质量）对每条预测与真实数据进行评分；(3) 汇总（aggregate） — 计算各领域及整体得分。世界模型和评判器均兼容 OpenAI API，支持 SGLang、vLLM 或商业接口。完整的环境配置、数据格式及示例命令请参阅 GitHub README。

总结 #

Qwen-AgentWorld 是一个原生语言世界模型，在单一模型中覆盖七大智能体交互领域，提供两种规模（35B-A3B 与 397B-A17B）。通过三阶段训练范式——持续预训练（CPT）注入环境知识、监督微调（SFT）激活下一状态预测推理、强化学习（RL）打磨模拟真实性——自底向上逐步构建世界建模能力。我们探索了世界模型赋能通用智能体的两种互补范式：作为解耦的环境模拟器，我们在 Tool Decathlon、MCPMark 和 WideSearch 上验证了可控模拟的有效性，其表现超越了无控模拟与真实环境训练；作为统一智能体基础模型，语言世界模型（LWM）的预热训练可迁移至涵盖七个基准（其中三个完全属于域外）的多轮智能体任务，初步验证了语言世界模型能够作为构建更强智能体模型的基础。语言世界建模开辟了一条互补的扩展路径，推动通用智能体超越真实环境交互的能力上限。

Citation #

@article{zuo2026qwen,
  title={Qwen-agentworld: language world models for general agents},
  author={Zuo, Yuxin and Xiao, Zikai and Sheng, Li and Huang, Fei and Tu, Jianhong and Liu, Yuxuan and Tang, Tianyi and Hu, Xiaomeng and Su, Yang and Lan, Qingfeng and others},
  journal={arXiv preprint arXiv:2606.24597},
  year={2026}
}