showlab/livecc

Что это?

Ключевые возможности

• 01Создаёт комментарии к видео в реальном времени благодаря обучению на потоковых транскрипциях речи.
• 02Включает веб-демо на Gradio и демо для командной строки.
• 03Предоставляет скрипты предобучения и SFT с использованием DeepSpeed.
• 04Включает скрипты оценки для LiveSports3KCC, VideoMME и OVOBench.
• 05Содержит ссылки на опубликованные чекпойнты и обучающие датасеты на Hugging Face.

Сценарии использования

• Для исследователей, изучающих видео-LLM, обученные на данных с синхронизированной речью.
• Для команд, создающих прототипы комментариев к спортивным трансляциям и другим событиям в реальном времени.
• Для разработчиков, воспроизводящих результаты обучения и оценки из статьи LiveCC.

Быстрый старт

1. 1

   Установите Python 3.11 или новее, затем установите PyTorch

   pip install torch torchvision torchaudio
2. 2

   Установите зависимости проекта для Python и livecc-utils

   pip install "transformers>=4.52.4" accelerate deepspeed peft opencv-python decord datasets tensorboard gradio pillow-heif gpustat timm sentencepiece openai av==12.0.0 qwen_vl_utils liger_kernel numpy==1.24.4 && pip install flash-attn --no-build-isolation && pip install livecc-utils==0.0.2
3. 3

   Запустите демо Gradio

   python demo/app.py --js_monitor

Что важно знать

• !В README не указана лицензия, поэтому права на использование неясны.
• !Для настройки требуется GPU с поддержкой CUDA и несколько ресурсоёмких зависимостей, включая flash-attn и deepspeed.
• !Для оценки с судьёй GPT-4o по умолчанию требуется учётная запись Azure OpenAI.

Темы

Частые вопросы

Что такое livecc?

Видео-LLM, обученная на потоковых транскрипциях речи и создающая комментарии к видео в реальном времени; проект основан на статье LiveCC, представленной на CVPR 2025. LiveCC — это большая языковая модель для видео, обученная на видеозаписях с потоковыми транскрипциями речи. Благодаря этому она может комментировать видео по ходу просмотра, а не только отвечать на вопросы о готовом ролике. Репозиторий содержит исследовательский код к одноимённой статье на CVPR 2025: скрипты для обучения, инференса и оценки.

livecc можно использовать бесплатно? Какая у него лицензия?

У livecc не указана лицензия. Код открыт, но без лицензии нет явного разрешения на его использование — уточните у автора, прежде чем на него полагаться.

livecc всё ещё поддерживается?

Нет коммитов больше 6 месяцев. Последний коммит в livecc — 29 окт. 2025 г..

Для чего можно использовать livecc?

Для исследователей, изучающих видео-LLM, обученные на данных с синхронизированной речью. Для команд, создающих прототипы комментариев к спортивным трансляциям и другим событиям в реальном времени. Для разработчиков, воспроизводящих результаты обучения и оценки из статьи LiveCC.

Как установить livecc?

Установите Python 3.11 или новее, затем установите PyTorch: pip install torch torchvision torchaudio Установите зависимости проекта для Python и livecc-utils: pip install "transformers>=4.52.4" accelerate deepspeed peft opencv-python decord datasets tensorboard gradio pillow-heif gpustat timm sentencepiece openai av==12.0.0 qwen_vl_utils liger_kernel numpy==1.24.4 && pip install flash-attn --no-build-isolation && pip install livecc-utils==0.0.2 Запустите демо Gradio: python demo/app.py --js_monitor

Где скачать livecc?

Исходный код и инструкции по установке — на GitHub: https://github.com/showlab/livecc