Repolode
Enviar
FireRedTeam

FireRedTeam/FireRedVAD

Detección de actividad de voz (VAD) y eventos de audio (AED) de código abierto para habla, canto y música en más de 100 idiomas, con modos de streaming y no streaming.

Ver en GitHub
Estrellas
549
Forks
38
Issues abiertos
16
Último commit
hace 6 meses

¿Qué es?

FireRedVAD detecta dónde hay habla en el audio y, por separado, clasifica eventos como habla, canto y música. Admite VAD no streaming, VAD streaming para entradas en tiempo real y AED no streaming, con detección en más de 100 idiomas.

El proyecto ofrece un paquete de pip con una herramienta de línea de comandos llamada `fireredvad` y una API de Python (`FireRedVad`, `FireRedStreamVad`, `FireRedAed`). La entrada debe ser un archivo WAV PCM mono de 16 kHz y 16 bits; se recomienda usar ffmpeg para convertir el audio. Los modelos se pueden descargar de Hugging Face o ModelScope, y hay disponible un runtime de NCNN para implementaciones multiplataforma.

Los modelos se basan en arquitecturas DFSMN. En FLEURS-VAD-102, el benchmark creado por el proyecto, el VAD no streaming alcanza una puntuación F1 del 97,57 %, frente a las cifras indicadas para Silero-VAD, TEN-VAD, FunASR-VAD y WebRTC-VAD.

Funciones clave

  • 01Detección de actividad de voz en modos no streaming y streaming.
  • 02Detección de eventos de audio no streaming para habla, canto y música.
  • 03Herramienta de línea de comandos y API de Python para procesamiento por lotes y uso desde código.
  • 04Compatible con más de 100 idiomas, según su conjunto de evaluación.
  • 05Runtime de NCNN disponible para implementaciones multiplataforma.

Casos de uso

  • Eliminar silencios y segmentar el habla antes de enviar el audio a un sistema ASR.
  • Detectar voz en tiempo real en pipelines de audio en streaming.
  • Clasificar segmentos de habla, canto y música en archivos multimedia.
  • Preprocesar grabaciones multilingües para crear conjuntos de datos de voz.

Temas

#voice-activity-detection#audio-event-detection#speech#audio#python#streaming#asr-preprocessing#aed#audio-event-classification#sound-event-detection

Preguntas frecuentes

¿Qué es FireRedVAD?
Detección de actividad de voz (VAD) y eventos de audio (AED) de código abierto para habla, canto y música en más de 100 idiomas, con modos de streaming y no streaming. FireRedVAD detecta dónde hay habla en el audio y, por separado, clasifica eventos como habla, canto y música. Admite VAD no streaming, VAD streaming para entradas en tiempo real y AED no streaming, con detección en más de 100 idiomas.
¿FireRedVAD es gratuito? ¿Qué licencia tiene?
FireRedVAD es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿FireRedVAD sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de FireRedVAD fue el 6 may 2026.
¿Para qué puedo usar FireRedVAD?
Eliminar silencios y segmentar el habla antes de enviar el audio a un sistema ASR. Detectar voz en tiempo real en pipelines de audio en streaming. Clasificar segmentos de habla, canto y música en archivos multimedia. Preprocesar grabaciones multilingües para crear conjuntos de datos de voz.
¿Dónde consigo FireRedVAD?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/FireRedTeam/FireRedVAD

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados