画像・動画・音声・3Dをローカル生成するためのノードグラフGUI、API、バックエンド。
SkyworkAI/Matrix-Game
Skywork AIによる、実行可能なゲームエンジン上で因果動画モデルを使い、プレイ可能なシーンをフレーム単位で描画するオープンソースのインタラクティブな世界モデルです。
- スター
- 2,596
- フォーク
- 282
- 未解決の Issue
- 42
- 最終コミット
- 3 日前
これは何?
Matrix-Game 4.0は、ゲームロジックとビジュアル描画を分離したインタラクティブな世界モデルです。実行可能なゲームエンジンがゲームプレイ、物理演算、プレイヤー入力を管理し、因果動画モデルがテキストプロンプトを条件として、ローポリのRGBフレームをストリーミング形式で詳細な映像に変換します。
今回のリリースには、三人称視点シューティング向けのMedieval CastleとAncient Egypt、ドライブ向けのCity Racingという3つのプレイ可能なシーンが含まれています。モデルの重みとゲームアセットはHugging Faceで公開されており、コードにはオフライン描画機能とオンラインのブラウザデモが用意されています。
A100、RTX 5090、RTX 5080、RTX 5070 Tiなどを使った単一GPU構成で推論できます。RTXカード向けには、FP8レイヤー、融合カーネル、CUDAグラフ、オプションのSageAttentionバックエンドを使った最適化経路も用意されています。
主な機能
- 01ゲームプレイのロジックと物理演算を実行可能なエンジンで管理し、ニューラル描画と分離します。
- 02ローポリのRGBフレームとテキストプロンプトを条件に、因果的な少ステップモデルで動画をチャンク単位にストリーミングします。
- 03Medieval Castle、Ancient Egypt、City Racingの3つのプレイ可能なシーンを収録しています。
- 04オフライン描画機能とオンラインのブラウザデモを提供します。
- 05A100および複数のRTX 50シリーズカード向けに、単一GPUでの推論経路を用意しています。
ユースケース
- ゲーム向けインタラクティブな世界モデルやニューラル描画の研究。
- ローポリのゲームエンジンでゲームプレイを実現し、モデルでビジュアルを精細化するプロトタイプの開発。
- プレイヤー入力を条件としたリアルタイム動画生成の実験。
トピック
よくある質問
- Matrix-Game とは?
- Skywork AIによる、実行可能なゲームエンジン上で因果動画モデルを使い、プレイ可能なシーンをフレーム単位で描画するオープンソースのインタラクティブな世界モデルです。 Matrix-Game 4.0は、ゲームロジックとビジュアル描画を分離したインタラクティブな世界モデルです。実行可能なゲームエンジンがゲームプレイ、物理演算、プレイヤー入力を管理し、因果動画モデルがテキストプロンプトを条件として、ローポリのRGBフレームをストリーミング形式で詳細な映像に変換します。
- Matrix-Game は無料で使えますか?ライセンスは?
- Matrix-Game は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Matrix-Game は今もメンテナンスされていますか?
- 活発にメンテナンス中。Matrix-Game の最終コミットは 2026年10月16日 です。
- Matrix-Game は何に使えますか?
- ゲーム向けインタラクティブな世界モデルやニューラル描画の研究。 ローポリのゲームエンジンでゲームプレイを実現し、モデルでビジュアルを精細化するプロトタイプの開発。 プレイヤー入力を条件としたリアルタイム動画生成の実験。
- Matrix-Game はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/SkyworkAI/Matrix-Game
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
646言語に対応した、音声クローン・音声デザイン・動画吹き替え・文字起こしなどを行える完全ローカルのオープンソース音声制作アプリ。
音声のクローン作成、音声生成、あらゆるアプリへの音声入力、AIエージェントの音声化に対応するオープンソースのローカルAI音声スタジオ。
Unity製のオープンソースツールキット。ゲームやシミュレーションを強化学習・模倣学習の環境として活用できます。
テキスト、画像、音声、キャラクターの動きから動画を生成する、MoE対応のオープンソース動画生成モデル群。
自分のデバイスで動作し、WhatsApp、Telegram、Slack、Discordなどでやり取りできるセルフホスト型のパーソナルAIアシスタント。