NoizAI/HelixWorld

어떤 프로젝트인가요?

핵심 기능

• 01단일 이미지와 텍스트 프롬프트로 탐색 가능한 장면을 생성합니다.
• 02인터랙션 중 영상과 카메라 방향에 맞춘 스테레오 사운드를 동기화합니다.
• 03W, A, S, D와 카메라 회전 키 같은 키보드 액션 시퀀스를 입력받습니다.
• 04BF16 정밀도로 단일 GPU 추론을 실행하고 MP4 결과물을 내보냅니다.
• 05공간 음향의 일관성을 확인하는 벤치마크 HelixBench를 제공합니다.

활용 사례

• 오디오·비주얼 월드 모델과 카메라 조건부 비디오 생성 연구.
• 사용자의 움직임에 따라 사운드가 바뀌어야 하는 인터랙티브 장면 프로토타이핑.
• HelixBench를 사용해 생성된 오디오가 시점 변화를 반영하는지 평가.

빠른 시작

1. 1

   저장소를 클론합니다

   git clone https://github.com/NoizAI/HelixWorld.git
2. 2

   Python 3.11 conda 환경을 만듭니다

   conda create -n helixworld-preview python=3.11 -y
3. 3

   종속 항목을 설치하고 모델 가중치를 다운로드합니다

   python -m pip install -r requirements.txt && python download_models.py
4. 4

   GPU 한 대에서 첫 프레임 이미지와 프롬프트 파일로 추론을 실행합니다

   CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demo

사용 전 알아둘 점

• !Linux, Python 3.11, CUDA 12.x 및 NVIDIA GPU가 필요합니다.
• !GPU 한 대로 실행할 때 VRAM을 약 70 GB 사용하며, 80 GB를 권장합니다.
• !프리뷰 릴리스이므로 동작이 변경될 수 있습니다.
• !모델 가중치에는 Apache 2.0 코드 라이선스와 별도의 라이선스가 적용됩니다.

토픽

자주 묻는 질문

HelixWorld은(는) 무엇인가요?

이미지와 프롬프트로 탐색 가능한 장면을 생성하고, 영상과 카메라 방향에 맞춘 스테레오 사운드를 실시간으로 함께 업데이트하는 인터랙티브 월드 모델입니다. HelixWorld는 첫 프레임 이미지와 텍스트 프롬프트를 입력받아 사용자가 이동하며 탐색할 수 있는 장면을 생성합니다. 앞으로 걷거나 방향을 틀면 영상과 사운드가 모두 업데이트되고, 공간 오디오 필드도 카메라 방향에 맞춰 회전합니다. 이 프로젝트는 오디오를 나중에 사운드트랙으로 덧붙이는 대신 영상과 함께 생성합니다.

HelixWorld은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

HelixWorld은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

HelixWorld은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. HelixWorld의 마지막 커밋은 2026년 10월 19일입니다.

HelixWorld은(는) 어디에 사용할 수 있나요?

오디오·비주얼 월드 모델과 카메라 조건부 비디오 생성 연구. 사용자의 움직임에 따라 사운드가 바뀌어야 하는 인터랙티브 장면 프로토타이핑. HelixBench를 사용해 생성된 오디오가 시점 변화를 반영하는지 평가.

HelixWorld는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/NoizAI/HelixWorld.git Python 3.11 conda 환경을 만듭니다: conda create -n helixworld-preview python=3.11 -y 종속 항목을 설치하고 모델 가중치를 다운로드합니다: python -m pip install -r requirements.txt && python download_models.py GPU 한 대에서 첫 프레임 이미지와 프롬프트 파일로 추론을 실행합니다: CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demo

HelixWorld은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/NoizAI/HelixWorld