NEO es una familia de modelos nativos de visión y lenguaje que procesan píxeles y palabras en una arquitectura densa sin encoder, e incluye código de entrenamiento y evaluación.
90433PythonApache-2.0Actualizado hace 3 meses
jingyaogong/minimind-v
Un pequeño modelo de visión y lenguaje de código abierto (unos 65 millones de parámetros) que puedes entrenar desde cero en una sola GPU en aproximadamente dos horas.
- Estrellas
- 8,775
- Forks
- 983
- Issues abiertos
- 22
- Último commit
- hace 30 días
¿Qué es?
MiniMind-V es un modelo multimodal pequeño que combina un codificador visual con un modelo de lenguaje compacto para responder preguntas sobre imágenes. El proyecto incluye todo el flujo de trabajo en PyTorch puro: estructura del modelo, preparación de datos, preentrenamiento y ajuste fino supervisado, además de inferencia y una WebUI.
El componente visual usa un codificador SigLIP2 que se mantiene congelado, mientras que un proyector MLP pequeño transforma sus 64 características de parche al espacio de tokens del modelo de lenguaje. El backbone de lenguaje se inicializa a partir del modelo de texto complementario MiniMind, y el ajuste fino solo actualiza el proyector y las primeras y últimas capas del LLM. Entre las variantes publicadas hay un modelo denso de 65 millones de parámetros y una versión de mezcla de expertos.
El repositorio está pensado para aprender cómo se construyen los modelos de visión y lenguaje, y admite entrenamiento DDP en varias GPU, precisión mixta bfloat16, reanudación desde checkpoints y registro con wandb o SwanLab. Los resultados son aproximados, con repeticiones notables y errores en los detalles, así que es más adecuado para experimentar que para producción.
Funciones clave
- 01Entrena desde cero un VLM de 65 millones de parámetros, con un flujo de trabajo SFT documentado para una sola GPU.
- 02Usa un codificador visual SigLIP2 congelado y un proyector MLP que asigna 64 tokens de imagen al LLM.
- 03Ofrece variantes de modelo densas y de mezcla de expertos.
- 04Incluye scripts de preparación de datos para conjuntos de datos de imagen y texto en Parquet.
- 05Admite entrenamiento DDP en varias GPU, bfloat16, reanudación desde checkpoints y registro con wandb o SwanLab.
- 06Incluye evaluación desde la línea de comandos y una WebUI para chatear sobre imágenes.
Casos de uso
- Aprender cómo se compone un modelo de visión y lenguaje a partir de un codificador visual, un proyector y un LLM.
- Realizar un experimento de entrenamiento multimodal pequeño en una sola GPU de consumo.
- Crear prototipos de respuesta a preguntas sobre imágenes con una base de código mínima y fácil de leer.
- Usarlo como base para adaptar un VLM pequeño a un conjunto de datos propio de imagen y texto.
Temas
Preguntas frecuentes
- ¿Qué es minimind-v?
- Un pequeño modelo de visión y lenguaje de código abierto (unos 65 millones de parámetros) que puedes entrenar desde cero en una sola GPU en aproximadamente dos horas. MiniMind-V es un modelo multimodal pequeño que combina un codificador visual con un modelo de lenguaje compacto para responder preguntas sobre imágenes. El proyecto incluye todo el flujo de trabajo en PyTorch puro: estructura del modelo, preparación de datos, preentrenamiento y ajuste fino supervisado, además de inferencia y una WebUI.
- ¿minimind-v es gratuito? ¿Qué licencia tiene?
- minimind-v es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿minimind-v sigue mantenido?
- Mantenimiento activo. El último commit de minimind-v fue el 22 sept 2026.
- ¿Para qué puedo usar minimind-v?
- Aprender cómo se compone un modelo de visión y lenguaje a partir de un codificador visual, un proyector y un LLM. Realizar un experimento de entrenamiento multimodal pequeño en una sola GPU de consumo. Crear prototipos de respuesta a preguntas sobre imágenes con una base de código mínima y fácil de leer. Usarlo como base para adaptar un VLM pequeño a un conjunto de datos propio de imagen y texto.
- ¿Dónde consigo minimind-v?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/jingyaogong/minimind-v
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de entrenamiento unificado para modelos multimodales, compatible con VLM, difusión y entrenamiento de LLM con FSDP2, Muon y kernels de Liger.
83238PythonSin licenciaActualizado hace 4 días
Biblioteca de código abierto para entrenar modelos de lenguaje grandes con paralelismo 3D, optimización de memoria ZeRO e integración con Hugging Face, basada en PyTorch y Triton.
33753PythonOtherActualizado hace 7 días
Stack de agentes de IA multimodales de código abierto de ByteDance, con CLI y Web UI (Agent TARS) y una app de agente de escritorio con GUI (UI-TARS Desktop).
39,3 mil4 milTypeScriptApache-2.0Actualizado hace 13 días
Modelos multimodales de código abierto (MiniCPM-V 4.7 y MiniCPM-o 4.5) para comprender imágenes, videos, documentos y voz en hardware local y dispositivos.
26,9 mil2,1 milPythonApache-2.0Actualizado hace 6 días
Modelos fundacionales, conjuntos de datos y herramientas de NVIDIA para crear IA física en robots, vehículos autónomos e infraestructura inteligente.
12,1 mil920Jupyter NotebookOtherActualizado hace 6 días