showlab/livecc

这是什么？

核心功能

• 01利用流式语音转写数据训练，可生成实时视频解说。
• 02提供 Gradio 网页演示和命令行演示。
• 03包含基于 DeepSpeed 的预训练与 SFT 脚本。
• 04附带 LiveSports3KCC、VideoMME 和 OVOBench 的评测脚本。
• 05训练数据集和模型权重托管在 Hugging Face，可直接获取。

适用场景

• 研究基于语音对齐数据训练的视频大模型的研究人员。
• 开发体育赛事或现场活动实时解说原型的团队。
• 希望复现 LiveCC 论文训练与评测结果的开发者。

快速上手

1. 1

   安装 Python 3.11 或更新版本，然后安装 PyTorch

   pip install torch torchvision torchaudio
2. 2

   安装项目的 Python 依赖和 livecc-utils

   pip install "transformers>=4.52.4" accelerate deepspeed peft opencv-python decord datasets tensorboard gradio pillow-heif gpustat timm sentencepiece openai av==12.0.0 qwen_vl_utils liger_kernel numpy==1.24.4 && pip install flash-attn --no-build-isolation && pip install livecc-utils==0.0.2
3. 3

   启动 Gradio 演示

   python demo/app.py --js_monitor

使用前须知

• !README 未说明许可证，使用权限不明确。
• !部署需要 CUDA GPU，并依赖 flash-attn、deepspeed 等较重的库。
• !默认的 GPT-4o 评测需要 Azure OpenAI 账户。

标签

常见问题

livecc 是什么？

基于流式语音转写训练的视频大模型，可对视频进行实时解说，对应 CVPR 2025 论文 LiveCC。 LiveCC 是一个视频大语言模型，训练时使用了与视频对齐的流式语音转写数据，因此能在视频播放过程中持续生成实时解说，而不仅限于对已结束的片段做问答。本项目是 CVPR 2025 同名论文的研究代码，涵盖训练、推理和评测。

livecc 可以免费使用吗？用的什么许可证？

livecc 没有声明许可证。代码虽然公开，但没有许可证就没有明确的使用授权，正式使用前建议先联系作者。

livecc 还在维护吗？

超过半年未提交。livecc 最近一次提交是在 2025年10月29日。

livecc 适合用来做什么？

研究基于语音对齐数据训练的视频大模型的研究人员。 开发体育赛事或现场活动实时解说原型的团队。 希望复现 LiveCC 论文训练与评测结果的开发者。

livecc 怎么安装和运行？

安装 Python 3.11 或更新版本，然后安装 PyTorch: pip install torch torchvision torchaudio 安装项目的 Python 依赖和 livecc-utils: pip install "transformers>=4.52.4" accelerate deepspeed peft opencv-python decord datasets tensorboard gradio pillow-heif gpustat timm sentencepiece openai av==12.0.0 qwen_vl_utils liger_kernel numpy==1.24.4 && pip install flash-attn --no-build-isolation && pip install livecc-utils==0.0.2 启动 Gradio 演示: python demo/app.py --js_monitor

在哪里获取 livecc？

源代码和安装说明在 GitHub 上：https://github.com/showlab/livecc