Интерактивная модель мира в реальном времени: она создаёт проходимую сцену по изображению и текстовому запросу, одновременно обновляя картинку и стереозвук, согласованный с движением камеры.
HelixWorld получает изображение первого кадра и текстовый запрос, а затем создаёт сцену, по которой пользователь может перемещаться. При движении вперёд или повороте обновляются и изображение, и звук, а пространственное звуковое поле поворачивается вместе с камерой. В проекте звук генерируется совместно с визуальной частью, а не добавляется позже в качестве саундтрека.
Модель передаёт непрерывные позы камеры с 6 степенями свободы в видеоветвь с помощью Projective Relative Positional Encoding, а cross-modal attention связывает визуальную геометрию с акустическими признаками. В репозитории доступен код инференса Preview v1 для Linux с Python 3.11, CUDA 12.x и GPU NVIDIA; рекомендуется 80 ГБ VRAM. Среди входных данных — последовательности действий, например W/A/S/D и клавиши управления камерой; результат сохраняется в MP4.
В проект также входит HelixBench — бенчмарк для проверки того, насколько генерируемые звуковые поля реагируют на изменение точки обзора. Кроме того, доступны демо в браузере и технический отчёт на arXiv.
Клонируйте репозиторий
git clone https://github.com/NoizAI/HelixWorld.gitСоздайте conda-окружение с Python 3.11
conda create -n helixworld-preview python=3.11 -yУстановите зависимости и скачайте веса модели
python -m pip install -r requirements.txt && python download_models.pyЗапустите инференс на одном GPU, используя изображение первого кадра и файл с промптом
CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demoОписание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Открытые крупномасштабные модели генерации видео: из текста, изображений и речи, а также для анимации персонажей.
Открытые модели мира, датасеты и инструменты NVIDIA для разработчиков физического ИИ в робототехнике, автономном транспорте и умной инфраструктуре.
Фреймворк для запуска моделей разных модальностей, расширяющий vLLM и поддерживающий генерацию текста, изображений, аудио, видео и действий.
Открытая платформа генеративного ИИ с единым API для генерации текста, изображений, видео, аудио, 3D-моделей и эмбеддингов.
Интерактивная модель мира с открытым исходным кодом, которая превращает low-poly-кадры в игровые сцены с помощью потокового нейронного рендеринга.
Веб-интерфейс на базе Gradio для запуска Stable Diffusion и новых моделей генерации изображений и видео — продолжение форка Forge с поддержкой дополнительных моделей и оптимизациями.