米哈游 Gamer:不用游戏 API、像人一样键鼠操作的通用 VLA 智能体#
作者:无边 日期:2026 年 11 月 17 日
2026 年 11 月 17 日,米哈游旗下《崩坏》系列人工智能研发团队公布了一款名为 Gamer(游戏智能体)的通用视觉语言动作基础模型,并同步放出实机演示与技术讲解视频。该项目由该团队联合清华、北大、中国科学院大学等多所高校开源。对人工智能研究者而言,这条消息的分量不在于「模型又学会玩一款游戏」,而在于它把「看懂画面」与「持续操作」之间那道长期被低估的门槛,摆到了可被量化讨论的位置。
与以往依赖程序接口的智能体不同,该模型不读取游戏内部特权状态,也不依赖为某一款游戏专门设计的接口,只通过观察屏幕画面、使用键盘与鼠标与游戏交互。换句话说,它走的是一条「像人一样看屏幕、动手操作」的路径。这一设定直接决定了它的研究价值:如果一个智能体能在不接触程序内部数据的前提下完成长时序任务,那么它学到的就不只是某款游戏的打法,而是跨游戏的视觉—动作映射能力。
支撑这条路径的是一组并不宽松的工程参数。系统以每秒 5 帧采集游戏画面作为输入,输出相当于每秒 30 次的原生键盘按键状态与鼠标移动指令。据技术解读,模型每约 200 毫秒接收一次屏幕观察,随后给出一组鼠标位移与六个连续的按键状态块,每块约 33 毫秒。需要特别说明的是,这里的每秒 30 次指的是客户端键鼠控制协议的频率,并不等于模型每秒做 30 次独立视觉推理。混淆两者,就会把延迟优化的意义看小了。
在英伟达(NVIDIA)H200 加速卡上,该团队自研的流式推理引擎把端到端请求延迟从 1306 毫秒压到 65.12 毫秒,约 20 倍。评测方面,在《崩坏:星穹铁道》(Honkai: Star Rail,下称星铁)约 50 小时主线剧情中,模型自主操作时间占比超过 95%;两项长程支线任务的「任务节点成功率」在在线强化学习后达到 80.0% 与 83.6%。但必须强调,节点成功率不等于整条支线一次通关。团队同时明确反对将该模型用于游戏作弊,且未公开星铁训练数据与相关微调权重。
发布现场:一次把游戏当训练场的开源公告#
这次公开的节奏相当紧凑:同一天之内,实机演示与技术讲解视频一起放出,项目实现与训练说明则托管在代码托管平台(GitHub)仓库。据项目页面与英文技术解读,论文题目可译为《游戏智能体:面向长时序实时游戏交互的通用视觉语言动作基础模型》。对习惯了「模型在静态数据集上刷分」的读者来说,把游戏当作训练场,意味着评测对象从一张张孤立截图,变成了会随时间演化、需要连续决策的动态环境。
值得留意的是参与方构成。研发主体是米哈游内部专注《崩坏》系列的人工智能团队,合作方则包括多所高校,形成「工程团队提供场景与数据、学术界提供方法验证」的组合。这也是为什么整篇公告的语气更像一份研究声明,而非某款游戏功能的宣传。
| 维度 | 内容 | 口径 |
|---|---|---|
| 公布时间 | 2026 年 11 月 17 日 | 官方演示与技术讲解视频 |
| 研发主体 | 米哈游旗下《崩坏》系列人工智能研发团队 | 媒体报道 |
| 联合机构 | 清华、北大、中国科学院大学等多所高校 | 开源声明 |
| 模型类型 | 面向二维与三维复杂环境的通用视觉语言动作基础模型框架 | 据技术解读 |
| 论文主题 | 长时序、实时交互的游戏智能体 | 据项目页面 |
| 发布形式 | 实机演示与技术讲解同步公开 | 媒体报道 |
如果把公告拆成三条互相独立的定位,研究意图会更清楚:
- 它是框架,不是脚本:目标是通用的视觉语言动作基础模型,而不是针对某一款游戏写死的自动操作程序。
- 它是开源的:项目实现与训练说明对外发布,但开放范围止于早期基础预训练阶段所用的通用文件。
- 它是带立场的研究:在展示能力的同时,明确划出了不可接受的用途边界,这一点后文会展开。
从看懂画面到持续操作:实时交互的门槛#
「看懂画面」是一次性的感知问题,「持续操作」则是在时间轴上不间断地输出动作。两者之间的差距,往往比参数规模更能决定一个智能体能不能真正用在游戏里。该模型选择的方案,是用较高的观察间隔配合密集的动作块,把感知与执行解耦:视觉端不必每一步都重新推理,执行端却能以接近原生协议的频率持续输出。
据技术解读,模型每约 200 毫秒接收一次屏幕观察,随后输出一组鼠标位移与六个连续按键状态块,每块约 33 毫秒。这套时序设计的直接后果,就是客户端键鼠控制协议呈现出相当于每秒 30 次的节奏,而模型本身的视觉推理频率远低于此。把这两个频率分开看,才能理解延迟工程为什么值得单独写一节。
| 环节 | 参数 | 说明 |
|---|---|---|
| 画面采集 | 每秒 5 帧 | 模型每秒接收 5 次屏幕观察 |
| 观察间隔 | 约 200 毫秒 | 两次观察之间的时间窗口 |
| 输出形式 | 一组鼠标位移与六个连续按键状态块 | 据技术解读 |
| 单个按键块 | 约 33 毫秒 | 动作块的时长 |
| 客户端协议 | 相当于每秒 30 次 | 键鼠控制协议频率,不等于每秒 30 次独立视觉推理 |
延迟是另一道硬门槛。在 H200 加速卡上,团队自研的流式推理引擎把端到端请求延迟压低了一个数量级。对实时交互而言,延迟不只是体验问题:观察与动作之间的闭环如果跟不上游戏节奏,再准确的单次判断也会在下一帧到来时失效。
| 测试条件 | 端到端请求延迟 | 口径 |
|---|---|---|
| 优化前基线(H200 加速卡) | 1306 毫秒 | 据技术解读 |
| 使用流式推理引擎后(H200 加速卡) | 65.12 毫秒 | 据技术解读 |
| 优化幅度 | 约 20 倍(技术解读按 20.1 倍计) | 据技术解读 |
为什么「看懂」不等于「会操作」,可以拆成三点:
- 静态与连续的区别:看图回答一道题只需一次推理,持续操作要求在时间轴上逐块给出动作,任何一段空白都会打断任务。
- 频率不匹配:观察频率与动作频率并不一致,系统靠动作块填充两次观察之间的时间窗,而不是靠更频繁地「看」。
- 闭环速度决定上限:端到端延迟决定了「看到—判断—做到」的循环能否跟上环境变化,这也是流式推理引擎被单独强调的原因。
换句话说,衡量这类智能体的关键从来不是单次识别准确率,而是它能在多长时间窗口内、以多低的延迟维持住「观察—决策—执行」的闭环。这也是为什么公开演示里那段主线长时评测,比任何一张静止截图都更有说服力。
三阶段训练:先学控制,再学任务,最后用环境反馈纠偏#
该模型的训练被拆成三段,彼此分工明确。持续预训练解决「手怎么动」,稀疏思考指令微调解决「该做什么、何时决策」,时序感知强化学习则利用环境反馈纠正长时序行为偏差。把这三段混为一谈,很容易误读各项数值的含义。
| 阶段 | 名称与缩写 | 数据或反馈来源 | 作用 |
|---|---|---|---|
| 一 | 持续预训练(CPT) | 超过 1 万小时的跨游戏键鼠操作轨迹(据媒体转述) | 建立通用控制能力 |
| 二 | 稀疏思考指令微调(SFT) | 约 1000 小时筛选后的星铁游戏记录 | 学习任务结构与决策时机 |
| 三 | 时序感知强化学习(TA-GRPO) | 游戏环境反馈 | 纠正长时序行为偏差 |
第二阶段的指令数据并非简单堆砌游玩录像,而是被组织成三级层级,让模型从局部动作一路学到长程目标:
- 局部操作:单个键鼠动作与即时反馈的对应关系。
- 中间子目标:把长任务切成可验收的阶段性目标。
- 长程任务:跨越多个子目标、需要维持上下文的完整流程。
在推理侧,该团队采用了「稀疏思考」策略,避免过度推理拖慢实时响应:
- 常规动作直接生成,不产生显式推理内容。
- 仅在路线调整、任务切换等关键决策点,才生成显式推理。
- 长程记忆用摘要维持,而摘要同样由该模型自身生成,不引入额外模块。
模型底座方面,据技术解读,系统基于千问视觉语言模型(Qwen3-VL)与千问三点五(Qwen3.5)系列构建。这里需要提醒,媒体披露的只是所依托的模型系列,并不等于完整的训练配置已经公开。
数值全景:三组评测必须分开看#
这一部分是全篇最容易被误读的地方。星铁主线、两项长程支线、未见小游戏与四项公开基准,属于彼此独立的评测集合,不能互相加减,更不能拼成一张「统一排行榜」。下面按集合逐一列出。
先看主线与长程支线。在约 50 小时星铁主线剧情评测中,模型自主操作时间占比超过 95%,可执行战斗、地图探索与解谜等指令;两项长程支线的「任务节点成功率」则随训练推进逐步上升。
| 训练阶段 | 任务节点成功率(甲) | 任务节点成功率(乙) |
|---|---|---|
| 持续预训练(CPT) | 34.4% | 47.9% |
| 稀疏思考指令微调(SFT) | 72.2% | 69.1% |
| 在线强化学习后(RL) | 80.0% | 83.6% |
据英文技术解读,两项任务分别对应「Opportunity Makes the Thief」与「Bestial Ferocity」,前者从 72.2%(微调阶段)升至 80.0%(强化学习后),后者从 69.1% 升至 83.6%。必须明确:这里的数值是经验证的「任务节点成功率」,不是整条支线一次性通关率。 一个节点被成功达成,不意味着从起点到终点的整条流程没有中断、没有重试;把它写成「一次通关」,是对研究成果的夸大。
再看未见小游戏。以下两组数值来自不同评测集合,必须分开陈述,禁止相减或并表为同一组对照:
| 口径 | 数值 | 说明 |
|---|---|---|
| 40 项此前未接触的小游戏,经过强化学习后的版本 | 49.7% | 平均成功率,据媒体报道口径 |
| 中文技术解读给出的基础模型起点 | 3.2% | 属七类小游戏、40 个测试实例 |
两组数字虽然都围绕「小游戏」,但评测集合不同,彼此之间不存在可直接相减的差值关系。此外,据英文技术解读,时序感知强化学习阶段令小游戏基准的宏平均提升 10.5 个百分点,这是另一个独立口径,同样不应并入上表。
最后是四项公开基准。在 MCU、ViZDoom、OmniGameArena、GameWorld 上,该模型两个持续预训练版本的实时平均分如下(型号代号据技术解读):
| 型号或对照 | 实时平均分 | 口径 |
|---|---|---|
| 型号一(Gamer-8B-CPT) | 29.5 | 四项公开基准平均 |
| 型号二(Gamer-35B-A3B-CPT) | 31.5 | 四项公开基准平均 |
| 表中通用多模态模型最高平均 | 17.6 | 同表对照 |
三个数值同属公开基准这一评测集合,但与上文的 49.7%、3.2% 以及 80.0% / 83.6% 都来自不同测试环境。读表时最稳妥的做法,是记住每一行的口径标签,而不是把所有百分比放进同一个坐标系。
为避免误读,建议把这四组数值拆成四条彼此独立的纪律:
- 主线与支线分开:约 50 小时主线的自主操作占比,与两项支线的节点成功率不是同一指标。
- 节点与通关分开:节点成功率不代表整条支线一次通关,途中允许中断与重试。
- 小游戏两套口径分开:49.7% 与 3.2% 来自不同评测集合,不相减、不并表。
- 公开基准独立标注:29.5、31.5 与 17.6 只在该基准表内互为对照,不外推到其他集合。
技术底座与推理优化:延迟是怎么降下来的#
延迟从 1306 毫秒降到 65.12 毫秒,靠的不是单一技巧,而是三项手段叠加。据技术解读,团队自研的流式推理引擎围绕「少算重复内容、提前给出动作」做文章,使端到端请求延迟在 H200 加速卡上压缩约 20 倍(技术解读按 20.1 倍计)。
| 技术手段 | 作用 |
|---|---|
| 跨轮次键值缓存复用 | 避免在多轮观察之间重复计算已有内容 |
| 推测解码 | 加速生成过程 |
| 提前发送动作块 | 缩短从观察到动作落地的等待时间 |
配合模型侧的设计,整套系统形成了「该省则省、该快则快」的风格。以下几点值得研究者关注:
- 底座选择:基于千问视觉语言模型与千问三点五系列构建,而非从零训练一个专用模型。
- 推理节流:常规动作跳过显式推理,只把思考留给关键决策点,降低每步开销。
- 记忆压缩:长程信息以摘要形式维持,且摘要由该模型自身生成,避免外部模块带来的延迟。
- 协议对齐:输出直接对齐客户端键鼠控制协议,让动作块能以相当于每秒 30 次的节奏送出。
需要重申,每秒 30 次是协议层面的频率,并不代表该模型每秒完成 30 次视觉推理;延迟优化的意义,恰恰在于让较低频率的观察足以支撑高频次的动作输出。
研究立场、应用边界与未公开的部分#
技术之外,这次公开最值得玩味的是团队主动划出的边界。据媒体报道口径,潜在应用方向集中在三类,且明确排除了若干用途:
| 团队提出的应用方向 | 团队明确反对的用途 |
|---|---|
| 游戏测试 | 游戏作弊 |
| 无障碍辅助 | 未授权访问 |
| 人机交互研究 | 利用安全漏洞或破坏公平性 |
在开放程度上,团队的取舍相当克制。出于数据安全考虑,公开范围仅限项目早期基础预训练阶段使用的通用文件;与此相关的几项「没有做的事」,同样构成了对研究边界的说明:
- 未公开任何星铁训练数据。
- 未发布用星铁数据训练或微调的模型权重。
- 反对用于游戏作弊、未授权访问、利用安全漏洞或破坏公平性的表态,来自团队声明的媒体转述,并非项目负责人具名引语。
- 模型参数规模仅见两个基准型号代号,不代表完整训练配置已经公开。
英文技术评论认为,这种「看屏幕—键鼠操作」的类人路径,绕开了直接读取游戏状态的作弊嫌疑,对实时交互研究、机器人迁移以及游戏反作弊检测都有参考价值。不过,跨游戏泛化仍然依赖训练数据的覆盖范围:40 项未见小游戏上的平均成功率说明迁移并非空谈,但距离「打开任意一款游戏就能上手」显然还有距离。把这些边界与数值放在一起看,才是这份研究最诚实的读法。
参考来源#
- 凤凰科技 / IT之家,《米哈游公布通用视觉语言动作基础模型 Gamer》,2026 年 11 月 17 日 19:30
- 腾讯新闻,《米哈游公布智能模型演示视频,能自己玩游戏》,2026 年 11 月 17 日
- 微信公众号技术解读,《2026 米哈游:让大模型自己玩〈崩坏:星穹铁道〉》
- 英文技术媒体(TheNextGenTechInsider),关于该模型实时游戏交互研究的报道
- 技术评论媒体(AICrier),关于该研究的评论文章