Repolode
Enviar
hr98w

hr98w/jev-visual

Un pequeño proyecto educativo para ejecutar inferencias de modelos de visión y lenguaje en Apple Silicon con MLX y puntuar respuestas candidatas sobre una imagen.

Ver en GitHub
Estrellas
320
Forks
29
Issues abiertos
1
Último commit
hace 28 días

¿Qué es?

Jev Visual es un experimento ejecutable de inferencia de modelos de visión y lenguaje en Macs con Apple Silicon. Usa Qwen3.5-0.8B mediante MLX para responder varias preguntas sobre una misma imagen a la vez, como elegir una opción, decidir entre sí o no o puntuar niveles ordenados. En lugar de generar una salida estructurada token por token, reutiliza un contexto multimodal compartido y obtiene directamente de los logits del modelo las puntuaciones de las respuestas candidatas.

El proyecto incluye una interfaz web local, una herramienta de línea de comandos y una API HTTP. La ruta de inferencia se divide en módulos fáciles de leer para el preprocesamiento de imágenes, el prefill a nivel de adaptador y la reutilización de caché, la puntuación de candidatos y el ensamblaje de resultados, para que los desarrolladores puedan seguir el funcionamiento del pipeline. Usa pesos de modelo existentes, sin entrenamiento ni calibración, y solo se ha verificado el adaptador de Qwen3.5. Las probabilidades de los candidatos son relativas a las opciones proporcionadas; no son estimaciones de corrección.

El repositorio también incluye benchmarks que comparan la generación de JSON, la puntuación independiente de candidatos y la puntuación por lotes con prefijo compartido, además de demos de juegos visuales basadas en el mismo enfoque.

Funciones clave

  • 01Ejecuta Qwen3.5-0.8B localmente en Apple Silicon mediante MLX.
  • 02Responde varias preguntas sobre una misma imagen reutilizando el contexto compartido.
  • 03Puntúa respuestas candidatas a partir de los logits del modelo en lugar de generar JSON.
  • 04Ofrece una interfaz web local, una CLI y una API HTTP.
  • 05Incluye benchmarks y scripts para verificar la puntuación.

Casos de uso

  • Aprender cómo funcionan la inferencia de modelos de visión y lenguaje y la puntuación de candidatos.
  • Crear prototipos de clasificación de imágenes o de preguntas de opción múltiple en un Mac, sin API en la nube.
  • Comparar la salida generada con la puntuación directa de logits para respuestas estructuradas.
  • Experimentar con demos visuales, como el control por gestos o la clasificación para ordenar objetos.

Inicio rápido

  1. 1

    Crea un entorno virtual con Python 3.13

    uv venv --python 3.13
  2. 2

    Activa el entorno e instala las dependencias

    source .venv/bin/activate && uv pip install -r requirements-lock.txt && uv pip install --no-deps -e .
  3. 3

    Descarga los pesos del modelo

    jev-visual-download
  4. 4

    Inicia el servidor local y abre http://127.0.0.1:8788 en un navegador

    JEV_VISUAL_MODEL_PATH=.models/Qwen3.5-0.8B-4bit uvicorn jev_visual.server:app --host 127.0.0.1 --port 8788

Antes de usarlo

  • Requiere una Mac con Apple Silicon y Metal; no funciona en otras plataformas.
  • La configuración inicial descarga aproximadamente 596 MiB de pesos del modelo.
  • Solo se ha verificado el adapter Qwen3.5 y el servidor está pensado únicamente para uso local.

Temas

#vision-language-model#mlx#apple-silicon#inference#candidate-scoring#multimodal#qwen#python

Preguntas frecuentes

¿Qué es jev-visual?
Un pequeño proyecto educativo para ejecutar inferencias de modelos de visión y lenguaje en Apple Silicon con MLX y puntuar respuestas candidatas sobre una imagen. Jev Visual es un experimento ejecutable de inferencia de modelos de visión y lenguaje en Macs con Apple Silicon. Usa Qwen3.5-0.8B mediante MLX para responder varias preguntas sobre una misma imagen a la vez, como elegir una opción, decidir entre sí o no o puntuar niveles ordenados. En lugar de generar una salida estructurada token por token, reutiliza un contexto multimodal compartido y obtiene directamente de los logits del modelo las puntuaciones de las respuestas candidatas.
¿jev-visual es gratuito? ¿Qué licencia tiene?
jev-visual es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿jev-visual sigue mantenido?
Mantenimiento activo. El último commit de jev-visual fue el 21 sept 2026.
¿Para qué puedo usar jev-visual?
Aprender cómo funcionan la inferencia de modelos de visión y lenguaje y la puntuación de candidatos. Crear prototipos de clasificación de imágenes o de preguntas de opción múltiple en un Mac, sin API en la nube. Comparar la salida generada con la puntuación directa de logits para respuestas estructuradas. Experimentar con demos visuales, como el control por gestos o la clasificación para ordenar objetos.
¿Cómo se instala jev-visual?
Crea un entorno virtual con Python 3.13: uv venv --python 3.13 Activa el entorno e instala las dependencias: source .venv/bin/activate && uv pip install -r requirements-lock.txt && uv pip install --no-deps -e . Descarga los pesos del modelo: jev-visual-download Inicia el servidor local y abre http://127.0.0.1:8788 en un navegador: JEV_VISUAL_MODEL_PATH=.models/Qwen3.5-0.8B-4bit uvicorn jev_visual.server:app --host 127.0.0.1 --port 8788
¿Dónde consigo jev-visual?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/hr98w/jev-visual

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados