米哈游 Gamer:不用游戏 API、像人一样键鼠操作的通用 VLA 智能体#

作者:无边 日期:2026 年 11 月 17 日

米哈游人工智能研发团队用于训练通用智能体的真实数据中心算力设施

2026 年 11 月 17 日,米哈游旗下《崩坏》系列人工智能研发团队公布了一款名为 Gamer(游戏智能体)的通用视觉语言动作基础模型,并同步放出实机演示与技术讲解视频。该项目由该团队联合清华、北大、中国科学院大学等多所高校开源。对人工智能研究者而言,这条消息的分量不在于「模型又学会玩一款游戏」,而在于它把「看懂画面」与「持续操作」之间那道长期被低估的门槛,摆到了可被量化讨论的位置。

与以往依赖程序接口的智能体不同,该模型不读取游戏内部特权状态,也不依赖为某一款游戏专门设计的接口,只通过观察屏幕画面、使用键盘与鼠标与游戏交互。换句话说,它走的是一条「像人一样看屏幕、动手操作」的路径。这一设定直接决定了它的研究价值:如果一个智能体能在不接触程序内部数据的前提下完成长时序任务,那么它学到的就不只是某款游戏的打法,而是跨游戏的视觉—动作映射能力。

支撑这条路径的是一组并不宽松的工程参数。系统以每秒 5 帧采集游戏画面作为输入,输出相当于每秒 30 次的原生键盘按键状态与鼠标移动指令。据技术解读,模型每约 200 毫秒接收一次屏幕观察,随后给出一组鼠标位移与六个连续的按键状态块,每块约 33 毫秒。需要特别说明的是,这里的每秒 30 次指的是客户端键鼠控制协议的频率,并不等于模型每秒做 30 次独立视觉推理。混淆两者,就会把延迟优化的意义看小了。

在英伟达(NVIDIA)H200 加速卡上,该团队自研的流式推理引擎把端到端请求延迟从 1306 毫秒压到 65.12 毫秒,约 20 倍。评测方面,在《崩坏:星穹铁道》(Honkai: Star Rail,下称星铁)约 50 小时主线剧情中,模型自主操作时间占比超过 95%;两项长程支线任务的「任务节点成功率」在在线强化学习后达到 80.0% 与 83.6%。但必须强调,节点成功率不等于整条支线一次通关。团队同时明确反对将该模型用于游戏作弊,且未公开星铁训练数据与相关微调权重。

发布现场:一次把游戏当训练场的开源公告#

这次公开的节奏相当紧凑:同一天之内,实机演示与技术讲解视频一起放出,项目实现与训练说明则托管在代码托管平台(GitHub)仓库。据项目页面与英文技术解读,论文题目可译为《游戏智能体:面向长时序实时游戏交互的通用视觉语言动作基础模型》。对习惯了「模型在静态数据集上刷分」的读者来说,把游戏当作训练场,意味着评测对象从一张张孤立截图,变成了会随时间演化、需要连续决策的动态环境。

值得留意的是参与方构成。研发主体是米哈游内部专注《崩坏》系列的人工智能团队,合作方则包括多所高校,形成「工程团队提供场景与数据、学术界提供方法验证」的组合。这也是为什么整篇公告的语气更像一份研究声明,而非某款游戏功能的宣传。

维度 内容 口径
公布时间 2026 年 11 月 17 日 官方演示与技术讲解视频
研发主体 米哈游旗下《崩坏》系列人工智能研发团队 媒体报道
联合机构 清华、北大、中国科学院大学等多所高校 开源声明
模型类型 面向二维与三维复杂环境的通用视觉语言动作基础模型框架 据技术解读
论文主题 长时序、实时交互的游戏智能体 据项目页面
发布形式 实机演示与技术讲解同步公开 媒体报道

如果把公告拆成三条互相独立的定位,研究意图会更清楚:

  • 它是框架,不是脚本:目标是通用的视觉语言动作基础模型,而不是针对某一款游戏写死的自动操作程序。
  • 它是开源的:项目实现与训练说明对外发布,但开放范围止于早期基础预训练阶段所用的通用文件。
  • 它是带立场的研究:在展示能力的同时,明确划出了不可接受的用途边界,这一点后文会展开。

从看懂画面到持续操作:实时交互的门槛#

「看懂画面」是一次性的感知问题,「持续操作」则是在时间轴上不间断地输出动作。两者之间的差距,往往比参数规模更能决定一个智能体能不能真正用在游戏里。该模型选择的方案,是用较高的观察间隔配合密集的动作块,把感知与执行解耦:视觉端不必每一步都重新推理,执行端却能以接近原生协议的频率持续输出。

据技术解读,模型每约 200 毫秒接收一次屏幕观察,随后输出一组鼠标位移与六个连续按键状态块,每块约 33 毫秒。这套时序设计的直接后果,就是客户端键鼠控制协议呈现出相当于每秒 30 次的节奏,而模型本身的视觉推理频率远低于此。把这两个频率分开看,才能理解延迟工程为什么值得单独写一节。

环节 参数 说明
画面采集 每秒 5 帧 模型每秒接收 5 次屏幕观察
观察间隔 约 200 毫秒 两次观察之间的时间窗口
输出形式 一组鼠标位移与六个连续按键状态块 据技术解读
单个按键块 约 33 毫秒 动作块的时长
客户端协议 相当于每秒 30 次 键鼠控制协议频率,不等于每秒 30 次独立视觉推理

延迟是另一道硬门槛。在 H200 加速卡上,团队自研的流式推理引擎把端到端请求延迟压低了一个数量级。对实时交互而言,延迟不只是体验问题:观察与动作之间的闭环如果跟不上游戏节奏,再准确的单次判断也会在下一帧到来时失效。

测试条件 端到端请求延迟 口径
优化前基线(H200 加速卡) 1306 毫秒 据技术解读
使用流式推理引擎后(H200 加速卡) 65.12 毫秒 据技术解读
优化幅度 约 20 倍(技术解读按 20.1 倍计) 据技术解读

为什么「看懂」不等于「会操作」,可以拆成三点:

  • 静态与连续的区别:看图回答一道题只需一次推理,持续操作要求在时间轴上逐块给出动作,任何一段空白都会打断任务。
  • 频率不匹配:观察频率与动作频率并不一致,系统靠动作块填充两次观察之间的时间窗,而不是靠更频繁地「看」。
  • 闭环速度决定上限:端到端延迟决定了「看到—判断—做到」的循环能否跟上环境变化,这也是流式推理引擎被单独强调的原因。

换句话说,衡量这类智能体的关键从来不是单次识别准确率,而是它能在多长时间窗口内、以多低的延迟维持住「观察—决策—执行」的闭环。这也是为什么公开演示里那段主线长时评测,比任何一张静止截图都更有说服力。

三阶段训练:先学控制,再学任务,最后用环境反馈纠偏#

该模型的训练被拆成三段,彼此分工明确。持续预训练解决「手怎么动」,稀疏思考指令微调解决「该做什么、何时决策」,时序感知强化学习则利用环境反馈纠正长时序行为偏差。把这三段混为一谈,很容易误读各项数值的含义。

阶段 名称与缩写 数据或反馈来源 作用
一 持续预训练(CPT) 超过 1 万小时的跨游戏键鼠操作轨迹(据媒体转述) 建立通用控制能力
二 稀疏思考指令微调(SFT) 约 1000 小时筛选后的星铁游戏记录 学习任务结构与决策时机
三 时序感知强化学习(TA-GRPO) 游戏环境反馈 纠正长时序行为偏差

第二阶段的指令数据并非简单堆砌游玩录像,而是被组织成三级层级,让模型从局部动作一路学到长程目标:

  • 局部操作:单个键鼠动作与即时反馈的对应关系。
  • 中间子目标:把长任务切成可验收的阶段性目标。
  • 长程任务:跨越多个子目标、需要维持上下文的完整流程。

在推理侧,该团队采用了「稀疏思考」策略,避免过度推理拖慢实时响应:

  • 常规动作直接生成,不产生显式推理内容。
  • 仅在路线调整、任务切换等关键决策点,才生成显式推理。
  • 长程记忆用摘要维持,而摘要同样由该模型自身生成,不引入额外模块。

模型底座方面,据技术解读,系统基于千问视觉语言模型(Qwen3-VL)与千问三点五(Qwen3.5)系列构建。这里需要提醒,媒体披露的只是所依托的模型系列,并不等于完整的训练配置已经公开。

数值全景:三组评测必须分开看#

这一部分是全篇最容易被误读的地方。星铁主线、两项长程支线、未见小游戏与四项公开基准,属于彼此独立的评测集合,不能互相加减,更不能拼成一张「统一排行榜」。下面按集合逐一列出。

先看主线与长程支线。在约 50 小时星铁主线剧情评测中,模型自主操作时间占比超过 95%,可执行战斗、地图探索与解谜等指令;两项长程支线的「任务节点成功率」则随训练推进逐步上升。

训练阶段 任务节点成功率(甲) 任务节点成功率(乙)
持续预训练(CPT) 34.4% 47.9%
稀疏思考指令微调(SFT) 72.2% 69.1%
在线强化学习后(RL) 80.0% 83.6%

据英文技术解读,两项任务分别对应「Opportunity Makes the Thief」与「Bestial Ferocity」,前者从 72.2%(微调阶段)升至 80.0%(强化学习后),后者从 69.1% 升至 83.6%。必须明确:这里的数值是经验证的「任务节点成功率」,不是整条支线一次性通关率。 一个节点被成功达成,不意味着从起点到终点的整条流程没有中断、没有重试;把它写成「一次通关」,是对研究成果的夸大。

再看未见小游戏。以下两组数值来自不同评测集合,必须分开陈述,禁止相减或并表为同一组对照:

口径 数值 说明
40 项此前未接触的小游戏,经过强化学习后的版本 49.7% 平均成功率,据媒体报道口径
中文技术解读给出的基础模型起点 3.2% 属七类小游戏、40 个测试实例

两组数字虽然都围绕「小游戏」,但评测集合不同,彼此之间不存在可直接相减的差值关系。此外,据英文技术解读,时序感知强化学习阶段令小游戏基准的宏平均提升 10.5 个百分点,这是另一个独立口径,同样不应并入上表。

最后是四项公开基准。在 MCU、ViZDoom、OmniGameArena、GameWorld 上,该模型两个持续预训练版本的实时平均分如下(型号代号据技术解读):

型号或对照 实时平均分 口径
型号一(Gamer-8B-CPT) 29.5 四项公开基准平均
型号二(Gamer-35B-A3B-CPT) 31.5 四项公开基准平均
表中通用多模态模型最高平均 17.6 同表对照

三个数值同属公开基准这一评测集合,但与上文的 49.7%、3.2% 以及 80.0% / 83.6% 都来自不同测试环境。读表时最稳妥的做法,是记住每一行的口径标签,而不是把所有百分比放进同一个坐标系。

为避免误读,建议把这四组数值拆成四条彼此独立的纪律:

  • 主线与支线分开:约 50 小时主线的自主操作占比,与两项支线的节点成功率不是同一指标。
  • 节点与通关分开:节点成功率不代表整条支线一次通关,途中允许中断与重试。
  • 小游戏两套口径分开:49.7% 与 3.2% 来自不同评测集合,不相减、不并表。
  • 公开基准独立标注:29.5、31.5 与 17.6 只在该基准表内互为对照,不外推到其他集合。

技术底座与推理优化:延迟是怎么降下来的#

延迟从 1306 毫秒降到 65.12 毫秒,靠的不是单一技巧,而是三项手段叠加。据技术解读,团队自研的流式推理引擎围绕「少算重复内容、提前给出动作」做文章,使端到端请求延迟在 H200 加速卡上压缩约 20 倍(技术解读按 20.1 倍计)。

技术手段 作用
跨轮次键值缓存复用 避免在多轮观察之间重复计算已有内容
推测解码 加速生成过程
提前发送动作块 缩短从观察到动作落地的等待时间

配合模型侧的设计,整套系统形成了「该省则省、该快则快」的风格。以下几点值得研究者关注:

  • 底座选择:基于千问视觉语言模型与千问三点五系列构建,而非从零训练一个专用模型。
  • 推理节流:常规动作跳过显式推理,只把思考留给关键决策点,降低每步开销。
  • 记忆压缩:长程信息以摘要形式维持,且摘要由该模型自身生成,避免外部模块带来的延迟。
  • 协议对齐:输出直接对齐客户端键鼠控制协议,让动作块能以相当于每秒 30 次的节奏送出。

需要重申,每秒 30 次是协议层面的频率,并不代表该模型每秒完成 30 次视觉推理;延迟优化的意义,恰恰在于让较低频率的观察足以支撑高频次的动作输出。

研究立场、应用边界与未公开的部分#

技术之外,这次公开最值得玩味的是团队主动划出的边界。据媒体报道口径,潜在应用方向集中在三类,且明确排除了若干用途:

团队提出的应用方向 团队明确反对的用途
游戏测试 游戏作弊
无障碍辅助 未授权访问
人机交互研究 利用安全漏洞或破坏公平性

在开放程度上,团队的取舍相当克制。出于数据安全考虑,公开范围仅限项目早期基础预训练阶段使用的通用文件;与此相关的几项「没有做的事」,同样构成了对研究边界的说明:

  • 未公开任何星铁训练数据。
  • 未发布用星铁数据训练或微调的模型权重。
  • 反对用于游戏作弊、未授权访问、利用安全漏洞或破坏公平性的表态,来自团队声明的媒体转述,并非项目负责人具名引语。
  • 模型参数规模仅见两个基准型号代号,不代表完整训练配置已经公开。

英文技术评论认为,这种「看屏幕—键鼠操作」的类人路径,绕开了直接读取游戏状态的作弊嫌疑,对实时交互研究、机器人迁移以及游戏反作弊检测都有参考价值。不过,跨游戏泛化仍然依赖训练数据的覆盖范围:40 项未见小游戏上的平均成功率说明迁移并非空谈,但距离「打开任意一款游戏就能上手」显然还有距离。把这些边界与数值放在一起看,才是这份研究最诚实的读法。

参考来源#

  • 凤凰科技 / IT之家,《米哈游公布通用视觉语言动作基础模型 Gamer》,2026 年 11 月 17 日 19:30
  • 腾讯新闻,《米哈游公布智能模型演示视频,能自己玩游戏》,2026 年 11 月 17 日
  • 微信公众号技术解读,《2026 米哈游:让大模型自己玩〈崩坏:星穹铁道〉》
  • 英文技术媒体(TheNextGenTechInsider),关于该模型实时游戏交互研究的报道
  • 技术评论媒体(AICrier),关于该研究的评论文章
本页攻略有帮助吗? 👍 有帮助 ✍ 反馈问题

内容最后验证于 2026-11-18