Repolode
投稿する
NoizAI

NoizAI/HelixWorld

画像とプロンプトから移動可能なシーンを生成するリアルタイムのインタラクティブなワールドモデル。映像とカメラの向きに合ったステレオ音声が連動して更新されます。

GitHub で見る公式サイト
スター
626
フォーク
32
未解決の Issue
2
最終コミット
昨日

これは何？

HelixWorldは、最初のフレームとなる画像とテキストプロンプトを受け取り、ユーザーが移動できるシーンを生成します。前進や旋回に合わせて映像と音声の両方が更新され、空間音響もカメラの向きに合わせて回転します。このプロジェクトでは、音声を後からサウンドトラックとして加えるのではなく、映像と同時に生成するものとして扱います。

このモデルは、Projective Relative Positional Encodingを使って連続的な6-DoFカメラポーズを動画ブランチに入力し、クロスモーダルアテンションによって視覚的なジオメトリと音響特徴を結び付けます。リポジトリにはPreview v1の推論コードが含まれており、Python 3.11、CUDA 12.x、NVIDIA GPUを搭載したLinux環境で動作します。VRAMは80 GBが推奨されています。入力にはW/A/S/Dやカメラ操作キーなどのアクションシーケンスを使い、出力はMP4ファイルです。

また、生成された音場が視点の移動に追従するかを検証するベンチマークHelixBenchも公開しており、ブラウザデモとarXivの技術レポートも提供しています。

主な機能

  • 011枚の画像とテキストプロンプトから、移動可能なシーンを生成します。
  • 02インタラクション中、映像とカメラの向きに合ったステレオ音声を同期させます。
  • 03W、A、S、Dやカメラ旋回などのキーボード操作シーケンスを受け付けます。
  • 04BF16精度で単一GPU推論を実行し、MP4形式で出力します。
  • 05空間音響の一貫性を評価するHelixBenchベンチマークを提供します。

ユースケース

  • 音声・映像ワールドモデルや、カメラ条件付き動画生成の研究。
  • 視聴者の動きに音を追従させるインタラクティブなシーンのプロトタイピング。
  • HelixBenchを使った、生成音声が視点の変化に追従するかどうかの評価。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/NoizAI/HelixWorld.git
  2. 2

    Python 3.11 の conda 環境を作成する

    conda create -n helixworld-preview python=3.11 -y
  3. 3

    依存関係をインストールし、モデルの重みをダウンロードする

    python -m pip install -r requirements.txt && python download_models.py
  4. 4

    1枚の GPU で、最初のフレーム画像とプロンプトファイルから推論を実行する

    CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demo

使う前に知っておきたいこと

  • Linux、Python 3.11、CUDA 12.x、および NVIDIA GPU が必要です。
  • 単一 GPU での実行では約 70 GB の VRAM を使用し、80 GB を推奨します。
  • プレビュー版のため、動作が変更される場合があります。
  • モデルの重みには、Apache 2.0 コードライセンスとは別のライセンスが適用されます。

トピック

#world-model#audio-visual#generative-ai#spatial-audio#realtime#video-generation

よくある質問

HelixWorld とは？
画像とプロンプトから移動可能なシーンを生成するリアルタイムのインタラクティブなワールドモデル。映像とカメラの向きに合ったステレオ音声が連動して更新されます。 HelixWorldは、最初のフレームとなる画像とテキストプロンプトを受け取り、ユーザーが移動できるシーンを生成します。前進や旋回に合わせて映像と音声の両方が更新され、空間音響もカメラの向きに合わせて回転します。このプロジェクトでは、音声を後からサウンドトラックとして加えるのではなく、映像と同時に生成するものとして扱います。
HelixWorld は無料で使えますか？ライセンスは？
HelixWorld は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
HelixWorld は今もメンテナンスされていますか？
活発にメンテナンス中。HelixWorld の最終コミットは 2026年10月19日 です。
HelixWorld は何に使えますか？
音声・映像ワールドモデルや、カメラ条件付き動画生成の研究。 視聴者の動きに音を追従させるインタラクティブなシーンのプロトタイピング。 HelixBenchを使った、生成音声が視点の変化に追従するかどうかの評価。
HelixWorld のインストール方法は？
リポジトリをクローンする: git clone https://github.com/NoizAI/HelixWorld.git Python 3.11 の conda 環境を作成する: conda create -n helixworld-preview python=3.11 -y 依存関係をインストールし、モデルの重みをダウンロードする: python -m pip install -r requirements.txt && python download_models.py 1枚の GPU で、最初のフレーム画像とプロンプトファイルから推論を実行する: CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demo
HelixWorld はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/NoizAI/HelixWorld

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト