Repolode
Enviar
EvolvingLMMs-Lab

EvolvingLMMs-Lab/NEO

NEO es una familia de modelos nativos de visión y lenguaje que procesan píxeles y palabras en una arquitectura densa sin encoder, e incluye código de entrenamiento y evaluación.

Ver en GitHub
Estrellas
904
Forks
33
Issues abiertos
5
Último commit
hace 3 meses

¿Qué es?

NEO es una serie de modelos nativos de visión y lenguaje (VLM) que prescinden del encoder de visión independiente usado por la mayoría de los sistemas multimodales modulares. En su lugar, un único modelo denso se encarga conjuntamente de codificar píxeles y palabras, alinearlos y razonar. El proyecto publica modelos de 2B y 9B en varias etapas de entrenamiento, junto con el artículo y los pesos de Hugging Face.

El proyecto se centra, según sus autores, en la eficiencia de datos: informa que logró construir desde cero una percepción visual sólida usando menos del 10 % de los datos de imagen y texto empleados por sistemas comparables. Se ofrecen resultados de evaluación para tareas de comprensión de imágenes individuales, varias imágenes y videos, además de tareas de inteligencia espacial.

El repositorio incluye un kit de evaluación (VLMEvalKit y VLMEvalKit_ov) y un kit de entrenamiento (VLMTrainKit), cada uno con guías independientes. También se documenta el trabajo posterior sobre las arquitecturas NEO-ov y NEO-unify.

Funciones clave

  • 01Arquitectura densa sin encoder que unifica el procesamiento de píxeles y palabras en un solo modelo.
  • 02Pesos de modelos de 2B y 9B de varias etapas de entrenamiento, alojados en Hugging Face.
  • 03Kit de evaluación que abarca benchmarks de imágenes individuales, varias imágenes y videos.
  • 04Código de entrenamiento y guía para reproducir los modelos NEO.
  • 05Artículos publicados y citas sobre el trabajo de NEO, NEO-ov y NEO-unify.

Casos de uso

  • Investigar arquitecturas multimodales nativas o sin encoder.
  • Ajustar un modelo de visión y lenguaje con datos propios de imágenes y texto.
  • Evaluar VLM en tareas de comprensión de imágenes, videos y espacios.

Temas

#vision-language-model#multimodal#encoder-free#llm#pytorch#computer-vision#agi#encoder-free-vlm#large-language-models#mllm

Preguntas frecuentes

¿Qué es NEO?
NEO es una familia de modelos nativos de visión y lenguaje que procesan píxeles y palabras en una arquitectura densa sin encoder, e incluye código de entrenamiento y evaluación. NEO es una serie de modelos nativos de visión y lenguaje (VLM) que prescinden del encoder de visión independiente usado por la mayoría de los sistemas multimodales modulares. En su lugar, un único modelo denso se encarga conjuntamente de codificar píxeles y palabras, alinearlos y razonar. El proyecto publica modelos de 2B y 9B en varias etapas de entrenamiento, junto con el artículo y los pesos de Hugging Face.
¿NEO es gratuito? ¿Qué licencia tiene?
NEO es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿NEO sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de NEO fue el 27 jul 2026.
¿Para qué puedo usar NEO?
Investigar arquitecturas multimodales nativas o sin encoder. Ajustar un modelo de visión y lenguaje con datos propios de imágenes y texto. Evaluar VLM en tareas de comprensión de imágenes, videos y espacios.
¿Dónde consigo NEO?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/EvolvingLMMs-Lab/NEO

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados