开源的交互式游戏视频生成模型,可根据参考图和键鼠操作生成可控的游戏风格视频。
SkyworkAI/Matrix-Game
开源交互式世界模型,通过流式神经渲染把低多边形画面实时转换为可操作的游戏场景。
- Star
- 2,630
- Fork
- 284
- 未关闭 Issue
- 42
- 最近提交
- 昨天
这是什么?
Matrix-Game 4.0 是 Skywork AI 推出的交互式世界模型。游戏逻辑、物理状态和玩家输入由可执行的游戏引擎负责,因果视频模型则把低多边形 RGB 画面转换为更精细的视觉效果。模型以分段方式流式生成画面,并以渲染帧和文本提示作为条件,因此场景可以被实际操作,而不只是观看。
此版本提供三个场景:中世纪城堡和古埃及用于第三人称射击,城市赛车用于驾驶。模型权重和游戏资源托管在 Hugging Face 上,代码涵盖推理、在线浏览器 Demo 和离线渲染。项目为 A100、RTX 5090、RTX 5080 和 RTX 5070 Ti 提供单卡推理方案,并包含 FP8 线性层、CUDA Graph 以及可选的 SageAttention 后端等优化。
代码和模型权重基于 Apache-2.0 发布,部分第三方组件和资源遵循各自的许可证。仓库中同时保留了 Matrix-Game 1.0、2.0 和 3.0 的早期版本。
核心功能
- 01游戏逻辑和物理状态保留在可执行引擎中,与神经渲染分离。
- 02基于因果、少步数的视频模型,以低多边形 RGB 画面和文本提示为条件分段流式生成画面。
- 03提供中世纪城堡、古埃及和城市赛车三个可游玩场景。
- 04支持在线浏览器 Demo 和离线渲染。
- 05为 A100、RTX 5090、RTX 5080 和 RTX 5070 Ti 提供单卡推理方案。
适用场景
- 研究交互式世界模型和神经游戏渲染。
- 原型验证由游戏引擎驱动玩法、由模型负责画面的可玩场景。
- 在单张 NVIDIA GPU 上试验实时流式视频生成。
快速上手
- 1
打开 Matrix-Game 4.0 的 README,查看安装和运行说明
使用前须知
- 文档中的推理方案针对特定 NVIDIA 显卡(A100、RTX 5090、RTX 5080、RTX 5070 Ti),其他硬件不在覆盖范围内。
- 模型权重和游戏资源需要另行从 Hugging Face 下载。
- 仅包含三个场景:中世纪城堡、古埃及和城市赛车。
- 仓库整体许可证为 MIT,但 Matrix-Game 4.0 采用 Apache-2.0,第三方组件和资源保留各自的许可证。
标签
常见问题
- Matrix-Game 是什么?
- 开源交互式世界模型,通过流式神经渲染把低多边形画面实时转换为可操作的游戏场景。 Matrix-Game 4.0 是 Skywork AI 推出的交互式世界模型。游戏逻辑、物理状态和玩家输入由可执行的游戏引擎负责,因果视频模型则把低多边形 RGB 画面转换为更精细的视觉效果。模型以分段方式流式生成画面,并以渲染帧和文本提示作为条件,因此场景可以被实际操作,而不只是观看。
- Matrix-Game 可以免费使用吗?用的什么许可证?
- Matrix-Game 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- Matrix-Game 还在维护吗?
- 活跃维护中。Matrix-Game 最近一次提交是在 2026年10月19日。
- Matrix-Game 适合用来做什么?
- 研究交互式世界模型和神经游戏渲染。 原型验证由游戏引擎驱动玩法、由模型负责画面的可玩场景。 在单张 NVIDIA GPU 上试验实时流式视频生成。
- Matrix-Game 怎么安装和运行?
- 打开 Matrix-Game 4.0 的 README,查看安装和运行说明
- 在哪里获取 Matrix-Game?
- 源代码和安装说明在 GitHub 上:https://github.com/SkyworkAI/Matrix-Game
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
76078PythonOther更新于 11个月前
NVIDIA 开源的世界基础模型、数据集与工具,用于构建机器人、自动驾驶等物理 AI 应用。
1.2万920Jupyter NotebookOther更新于 4天前
基于 vLLM 扩展的推理服务框架,支持文本、图像、音频、视频等全模态模型部署。
72551934PythonApache-2.0更新于 21小时前
英伟达的多项目仓库,涵盖长视频生成、世界模型与机器人世界-动作模型,各项目独立成目录。
2813266PythonApache-2.0更新于 昨天
开源的实时音频驱动数字人视频生成框架,支持流式输出与无限时长生成。
2483286PythonApache-2.0更新于 2个月前
让 Unity 游戏和仿真环境成为训练智能体的平台,支持强化学习与模仿学习。
2万4513C#Other更新于 7天前