NoizAI/HelixWorld

这是什么？

核心功能

• 01根据单张图片和文字提示词生成可漫游的场景。
• 02交互过程中画面与相机对齐的立体声同步变化。
• 03支持 W、A、S、D 等按键动作序列与相机转向控制。
• 04可在单张 GPU 上以 BF16 精度运行推理，输出 MP4 视频。
• 05附带 HelixBench 基准，用于评估空间声学一致性。

适用场景

• 研究视听世界模型与相机条件视频生成。
• 原型开发需要声音随观察者移动而变化的交互场景。
• 借助 HelixBench 评估生成音频是否跟随视角变化。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/NoizAI/HelixWorld.git
2. 2

   创建 Python 3.11 的 conda 环境

   conda create -n helixworld-preview python=3.11 -y
3. 3

   安装依赖并下载模型权重

   python -m pip install -r requirements.txt && python download_models.py
4. 4

   在单张 GPU 上基于首帧图像和提示文件运行推理

   CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demo

使用前须知

• !需要 Linux、Python 3.11、CUDA 12.x 和 NVIDIA GPU。
• !单 GPU 运行约占用 70 GB 显存，推荐 80 GB。
• !这是预览版，功能和行为可能会变化。
• !模型权重使用单独的许可证，不同于 Apache 2.0 的代码许可证。

标签

常见问题

HelixWorld 是什么？

一个实时交互的视听世界模型，由一张图和提示词生成可漫游场景，画面与相机对齐的立体声同步更新。 HelixWorld 接收一张首帧图片和文字提示词，生成用户可以在其中移动的场景。用户前进或转向时，画面与声音会同步更新，空间音场也随相机转动。项目的设计重点是让声音与画面一同生成，而不是事后再配上背景音。

HelixWorld 可以免费使用吗？用的什么许可证？

HelixWorld 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

HelixWorld 还在维护吗？

活跃维护中。HelixWorld 最近一次提交是在 2026年10月19日。

HelixWorld 适合用来做什么？

研究视听世界模型与相机条件视频生成。 原型开发需要声音随观察者移动而变化的交互场景。 借助 HelixBench 评估生成音频是否跟随视角变化。

HelixWorld 怎么安装和运行？

克隆仓库: git clone https://github.com/NoizAI/HelixWorld.git 创建 Python 3.11 的 conda 环境: conda create -n helixworld-preview python=3.11 -y 安装依赖并下载模型权重: python -m pip install -r requirements.txt && python download_models.py 在单张 GPU 上基于首帧图像和提示文件运行推理: CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demo

在哪里获取 HelixWorld？

源代码和安装说明在 GitHub 上：https://github.com/NoizAI/HelixWorld