昆仑万维开源 Matrix-Game 4.0:单张 5090 跑 60 帧的世界模型游戏拆解#

各位朋友好,我是紫星。2026 年 10 月 15 日,昆仑万维(Skywork AI 为其 AI 业务主体,上市公司代码 300418)正式发布 Matrix-Game 4.0,并同步开源。官方给它的定语很长:首款运行在单张消费级显卡上的视频大模型游戏。拆开看,这句话里有三个关键词——「视频大模型」说明画面的来源是生成式模型而不是传统渲染管线,「游戏」说明它可交互,「单张消费级显卡」则是整篇发布里对硬件玩家最有分量的一个词。

过去一年里,世界模型相关的演示我们见过不少,但绝大多数停留在两种形态:要么跑在数据中心的多卡集群上,要么是可以看但不能玩的视频生成。把「实时可玩」和「单张消费级显卡」同时做到,才是这次发布真正值得写一篇拆解的原因。按照官方口径,单张 NVIDIA RTX 5090 就能让游戏以 480p、60 FPS 运行——这个数字组合意味着什么、背后是哪些工程在撑,是本文要回答的核心问题。

先交代事实边界:本文所有具体事实(性能数字、架构分工、开源范围、时间点)均以本次已核实的事实卡为准,其中全部性能数据为公司口径,尚无独立第三方复测,正文会逐一标注出处属性;官方未披露的部分不做臆测填补。另外做一次站内定位说明:此前拆解过的 谷歌 Playground × Unity Spark 走的是「提示词生成内容资产」的平台化路线,而 Matrix-Game 4.0 是「世界模型实时渲染整个游戏画面」,两者在技术路线上是两个物种——这篇的任务就是把后者的架构与硬件账算清楚。

一、官方性能口径:先把数字摆上桌#

硬件拆解的老规矩,先把所有数字摊开,再谈含义。Matrix-Game 4.0 的官方性能口径如下:

指标 数值 数据口径
运行分辨率与帧率 480p 下 60 FPS 公司口径
按键到画面首帧的端到端延迟 低于 150 毫秒 公司口径
单步去噪稳态生成速度 83 FPS 公司口径
两步去噪生成速度 约 57 FPS 公司口径(经 QbitAI 转述)
显存峰值 18.5 GiB 公司口径
A100 80GB 实测(射击场景) 约 38-39 FPS(864×480、单步去噪配置) 仓库文档口径

六个数字里有两组口径必须分开谈。前五项来自发布通稿与媒体转述,全部是公司口径——中国经济网、中证网、南方都市报的报道均引用了同一组数据,但截至发稿没有任何独立第三方复测。第六项来自 GitHub 仓库文档的实测数据:在 A100 80GB 上、864×480 分辨率、单步去噪配置下,射击场景的模型处理速度约 38-39 FPS;赛车场景在线服务端管线在固定提示下约 38.5 FPS、动态输入下约 28.9 FPS。

值得注意的细节是仓库数据里「在线服务端管线」这个措辞——它说明 A100 上跑的是服务端管线形态,与本地 RTX 5090 上经过专门优化的推理路径不是同一套部署条件,两组数字不能直接换算比较。对习惯了「跑分」的读者,我的建议是:把 60 FPS / 低于 150 毫秒 / 18.5 GiB 这组数字当作「官方声明的目标运行形态」,把 A100 的 38-39 FPS 当作「仓库文档给出的服务端参照」,两者的验证都要等更多实测报告。另有一处补充:AI IDE List 的分析文章引述部分测试称延迟约 112 毫秒,这是非官方数字,本文仅作记录、不作结论。

二、三层架构:代码承载规则,引擎维护状态,视频模型生成画面#

Matrix-Game 4.0 的架构由三层组成,官方的概括非常整齐:代码承载规则、引擎维护状态、视频模型生成视觉表现。

层 角色定位 具体职责
编程智能体(Coding Agent) 内容生产者 通过代码构建轻量化游戏内容
引擎 状态调度者 维护游戏世界状态、执行交互规则,输出结构画面与动态语义条件
视频模型 画面渲染者 负责画面生成,把基础几何信息转化为可视化画面

官方给这条链路的定义是一个技术闭环:代码生成游戏逻辑,结构画面提供结构约束,视频模型实时渲染。按官方说法,这是该闭环首次被完整跑通,为游戏原型开发、个性化定制与 UGC 提供了可落地的技术路径。

三层各司其职的关键在第二层。传统视频模型生成画面是概率性的——同一帧画面两次生成可能有差异,如果游戏状态(血量、位置、道具)也藏在像素里,那么一次画面生成的小瑕疵就可能被「解读」成状态变化,这就是纯像素世界模型公认的状态漂移问题。Matrix-Game 4.0 的解法是把状态从画面里拿出来:血量、道具持有、任务进度等游戏状态显式记录在引擎代码中,偶发的画面生成瑕疵不会改写游戏状态。QbitAI 报道的演示细节很能说明问题:捡起盾牌后先吸收伤害、血量归零游戏结束——判定发生在引擎的规则层,画面只是把判定结果画出来。

这个思路对关注 AI 与游戏工程交叉领域的读者应该不陌生。我们此前拆解过 AI 智能体三个月重建《现代战争2》源代码 的案例,那是多智能体写传统代码的路线;谷歌 Playground 用定制编排层解决「可玩、可复现」,本质上也是把概率输出收敛回确定结构。Matrix-Game 4.0 的特殊性在于它没有把「引擎」这个词让给传统游戏引擎,而是让引擎专职做状态调度与结构输出——画面整体外包给视频模型。规则与画面解耦,是这套架构最值得记住的一个设计决定。

三、单张 5090 的工程账:显存、延迟与优化清单#

对硬件读者来说,这节才是正菜。18.5 GiB 的显存峰值,对照 32GB 显存的 RTX 5090,意味着运行时还留有余量;而官方已预告下周发布支持 RTX 5080 与 RTX 5070 的版本——那两张卡的显存更小,同一套模型要塞进去,优化的压力会明显大于 5090。这也是判断这套技术能否继续向主流显卡下沉的第一个观察点:显存峰值能不能继续压。

官方在 10 月 15 日同日上线的 RTX 5090 专用推理优化清单如下:

优化项 属性
FP8 线性层 数值精度优化
融合内核 算子层优化
CUDA Graphs 图执行优化
SageAttention(可选后端) 注意力计算优化

这四项都是推理部署侧的成熟工程手段,官方把它们打包成 5090 专用优化同日发布,说明「单张消费级显卡实时运行」不是模型本身的能力,而是模型加推理工程共同达成的结果——模型决定下限,部署优化决定能不能摸到实时线。83 FPS 的单步去噪稳态速度与 60 FPS 的游戏运行帧率同时达标,靠的就是这一层。

延迟方面,官方口径是玩家按键到画面首帧响应的端到端延迟低于 150 毫秒。作为参照,主流竞技网游的服务器往返延迟通常也在这两个数量级内,150 毫秒的端到端响应对一个画面完全靠逐帧生成的系统来说是可以接受的起点,但距离传统游戏引擎「输入当帧响应」的手感仍有差距——这部分体验差异目前没有评测报道可以引用,只能留给后续实测。

还有一个成本侧的对照值得写下来。同样做 AI 驱动的开放世界体验,TaipeiGTA 的拆解 显示那种形态依赖在线服务端的持续推理,成本随在线人数线性增长;Matrix-Game 4.0 把推理搬到了本地单卡,成本结构从「按人次付费的服务器账单」变成了「一次购入的显卡」。这对世界模型游戏的商业化路径是个实质性的差异,也是「开源 + 本地运行」这个组合比单纯的技术演示更值得重视的原因。

四、训练管线:虚幻引擎 5 数据对与 Wan2.2 5B 改造#

画面模型怎么训出来的,官方与仓库文档披露的路径相当清晰,值得完整记录。

第一步是数据:在虚幻引擎 5 中制作「结构画面—精细画面」数据对,配合描述可见物体及其状态的动态语义标注。这个设计对应了架构层的分工——结构画面是引擎输出的几何与语义骨架,精细画面是最终渲染效果,视频模型在训练中学会的正是「从结构约束到精细画面」的映射。这也解释了推理时引擎输出的结构画面为什么能约束视频模型:两者在训练时就以数据对的形式绑定过。

第二步是底座改造:视频模型基于 Wan2.2 5B Fun Control 改造,采用因果少步生成。少步去噪是帧率能上 60 FPS 的直接前提——官方给出的单步去噪 83 FPS 与两步去噪约 57 FPS 两组数据,对应的正是不同去噪步数配置下的稳态速度。

第三步是时序一致性:利用空间记忆参考图与缓存历史帧。视频模型逐帧生成时最容易丢的是「上一帧长什么样」,参考图与历史帧缓存相当于给模型一个持续可见的记忆锚点,这也是它敢做实时流式交互的底气之一。

把三层架构和训练管线合起来看,会发现整套系统的设计逻辑高度一致:所有不确定的、生成式的部分(画面)都被限定在视频模型内部,所有需要确定性的部分(规则、状态、结构)都留在代码与引擎里。训练管线负责让模型学会尊重结构约束,推理工程负责让这个过程快到实时。

五、一行提示词改玩法:能力与三类首发场景#

架构讲完,回到玩家最关心的问题:这东西能玩什么、能改什么。

玩法修改方面,借助编程智能体,使用者可以用自然语言调整场景、修改交互、设计玩法,官方把创作门槛的表述压到了「一行提示词(Prompt)」。QbitAI 报道的两个演示案例:要求提高武器射速,可以实现;把计时赛改成追逐战,也可以实现。注意这两个案例的性质——一个改的是数值参数,一个改的是玩法模式,两者都落在「代码承载规则」这一层的管辖范围内,修改会经由编程智能体落到代码上,再由引擎执行新规则、视频模型画出新画面。这与 Meta Horizon 工具 那类「自然语言生成游戏」的路径在交互形态上相似,但 Matrix-Game 4.0 的差异点在于改的是正在实时运行的世界模型游戏,而不是生成一个静态成品。

首发内容方面,仓库提供三个可玩场景:

场景 玩法类型
中世纪城堡(Medieval Castle) 第三人称射击
古埃及(Ancient Egypt) 第三人称射击
城市赛车(City Racing) 驾驶

两个射击场景加一个驾驶场景,对应的就是当前技术条件下这套系统能稳定支撑的玩法类型。能力边界同样清楚:分辨率 480p、场景为单人体验、玩法原型限定在三类之内——这些是当前版本的画像。官方对它的定位也值得如实转述:为游戏原型开发、个性化定制与 UGC 提供技术路径,而不是替代成品游戏。换句话说,它现在的正确打开方式是「可交互的玩法草稿」与「一行提示词改规则的实验场」,拿它对标 3A 成品既不现实也不公平。

六、开源范围与一年半四代迭代#

开源是这次发布里对社区最有长期影响的动作。GitHub 仓库 SkyworkAI/Matrix-Game 放出了三样东西:推理代码、浏览器 Demo、三款可玩游戏的源代码;模型权重与游戏素材放在 Hugging Face。许可证方面,Matrix-Game 4.0 采用 Apache-2.0,早期版本为 MIT。有一处表述差异需要如实标注:仓库 About 栏标注的许可证字段与 v4 说明文档中的 Apache-2.0 存在不一致,以仓库内 v4 子目录的许可证为准,第三方组件另有各自许可。截至本文检索时点的快照数据,仓库星标约 2500,仅供参考。

把版本沿革拉成一张表,能看清这条技术路线的推进节奏:

版本 时间 关键词
Matrix-Game 1.0 2025-05-12 系列首个开源版本
Matrix-Game 2.0 2025-08-12 实时长视频生成
Matrix-Game 3.0 2026-03-27 长时程记忆的实时流式交互世界模型
Matrix-Game 4.0 2026-10-15 引擎 + 流式神经渲染,单张消费级显卡实时运行

一年半四次迭代,节奏是三个月到七个月一代:1.0 建立开源基线,2.0 解决「动起来」,3.0 解决「记得住」,4.0 解决「跑得起」。每一代都在补上一位前辈留下的短板,这个迭代路径本身比任何单点数据都更能说明团队对技术路线的投入程度。

开源的意义还在于组合拳的完整性。推理代码、游戏源代码、权重三样齐备,加上 Apache-2.0 这种对商用友好的许可证,再加上「游戏逻辑以代码形式存在、可以改」这个特性——社区拿到的不是一个只能看的演示,而是一套可以魔改、可以换皮、可以基准测试的完整工具链。对世界模型游戏这个尚无公认基准的新领域,一个可复现、可对比的公共参照系,价值不亚于模型本身。中证网引述的业内分析也持类似判断:从「可控制的视频」走向「可运行的世界」,有助于降低 AI 游戏的创意生产门槛。

七、现实差距:离「真正可玩」还有多远#

把官方口径全部如实呈现之后,这一节冷静算差距。当前版本的硬边界有四条:480p 的分辨率、单人场景、三类玩法原型、画面完全依赖视频模型逐帧生成。前三条是产品形态的边界,第四条是技术原理的边界——只要画面还是生成式的,「画面瑕疵但不改写状态」的解耦设计就只能保证玩法层稳定,保证不了观感层稳定。

官方对后续路线的表述有四条,可以逐条对照上面的边界:部署精炼模块(refiner)提升画面分辨率,对应第一条;探索多人联机下的跨玩家视角一致性,对应单人场景的边界——多人场景里每个玩家的视角都要在同一个世界状态下各自生成且互不矛盾,这是比单人 480p 难一个量级的问题;提供更细粒度的画面控制;拓展适配更多游戏类型与场景,对应三类原型的边界。

还有几件事必须如实说清:所有性能数字均为公司口径,没有独立第三方复测;浏览器 Demo 的具体体验质量、画面实际观感,目前没有任何评测类报道可引用;「首款运行在单张消费级显卡上的视频大模型游戏」这个「首款」是公司宣传口径,未经第三方认证。换句话说,目前关于这款系统的全部定量结论都出自利益相关方,这也是为什么本文通篇标注数据口径——在独立实测出现之前,对这些数字的正确态度是「记录在案,等待验证」。

那到底离「真正可玩」还有多远?我的框架是三层:可交互(能操作、有反馈)——现在已经做到;可稳定游玩(30-60 帧、状态不漂、一局完整)——官方口径已达线,待独立验证;可长期游玩(高分辨率、多人、丰富玩法、持续内容)——四条路线都指向这里,但每一条都是硬仗。用这个框架衡量,Matrix-Game 4.0 站在第二层的门槛上,第三层的路才刚开始。

八、紫星的判断#

写完这篇拆解,我的结论有三条。

第一,架构设计的成熟度超出「发布会 demo」的预期。状态与画面解耦不是新想法,但把「引擎专职状态调度、视频模型专职画面、编程智能体专职改规则」三层拆干净、并把完整闭环跑通,这是实打实的工程整备。18.5 GiB 显存峰值加 60 FPS 加低于 150 毫秒延迟这组官方目标,如果经得起复测,单张消费级显卡实时运行世界模型游戏这件事就从概念变成了可复现的现实。

第二,开源策略是这步棋里最聪明的部分。这个领域现在缺的不是惊艳的演示视频,而是可对比、可复现、可修改的公共基准。三款游戏源代码加 Apache-2.0 权重,等于把 benchmark 和魔改素材一起交给了社区——接下来半年社区在这个仓库上会做出什么,比官方的下一版预告更值得盯。

第三,别急着宣布「游戏行业要变天」。480p、单人、三类原型,加上全部关键数据尚无第三方验证,这套系统今天的身份是「可交互的世界模型原型工具」,不是「游戏引擎的替代品」。官方自己给出的路线图(refiner 提分辨率、多人视角一致性、更细的画面控制)也印证了这一点:团队清楚差距在哪。对普通玩家,下周的 RTX 5080 / RTX 5070 支持版本是第一个可以亲手验证的节点;对行业观察者,独立实测与社区基准的建立才是判断这项技术成色的真正标尺。

世界模型游戏离真正可玩还有多远?答案比一年前近了很多,但距离以「年」为单位计量,而不是以「发布会」为单位。作为一个测了十几年硬件的人,我对「实验室数据终于落到单张消费级显卡上」这类节点始终保持敬意——也始终保持核实它的耐心。

——紫星,NTGame 硬件与技术栏目

内容最后验证于 2026-07