Repolode
Enviar
hr98w

hr98w/jev-visual

Projeto educacional compacto para executar inferência de modelos de visão e linguagem em Apple Silicon com MLX e pontuar respostas candidatas sobre uma imagem.

Ver no GitHub
Estrelas
320
Forks
29
Issues abertas
1
Último commit
há 28 dias

O que é?

Jev Visual é um experimento executável de inferência de modelos de visão e linguagem em Macs com Apple Silicon. Ele usa Qwen3.5-0.8B por meio do MLX para responder várias perguntas sobre uma imagem de uma só vez, como escolher uma opção, responder sim ou não ou pontuar níveis ordenados. Em vez de gerar uma saída estruturada token por token, ele reutiliza um contexto multimodal compartilhado e lê diretamente dos logits do modelo as pontuações das respostas candidatas.

O projeto inclui uma interface local no navegador, uma ferramenta de linha de comando e uma API HTTP. O caminho de inferência é dividido em módulos fáceis de acompanhar para pré-processamento de imagens, prefill no nível do adapter e reutilização de cache, pontuação de candidatas e montagem dos resultados, para que desenvolvedores entendam como o pipeline funciona. Ele usa pesos de modelo já existentes, sem treinamento nem calibração, e somente o adapter Qwen3.5 foi verificado. As probabilidades das candidatas são relativas às opções fornecidas, não estimativas de correção.

O repositório também inclui benchmarks que comparam JSON gerado, pontuação independente de candidatas e pontuação em lote com prefixo compartilhado, além de demonstrações de jogos visuais baseadas na mesma abordagem.

Recursos principais

  • 01Executa Qwen3.5-0.8B localmente em Apple Silicon usando MLX.
  • 02Responde várias perguntas sobre uma imagem reutilizando um contexto compartilhado.
  • 03Pontua respostas candidatas a partir dos logits do modelo, em vez de gerar JSON.
  • 04Oferece uma interface local no navegador, CLI e API HTTP.
  • 05Inclui benchmarks e scripts para verificar a pontuação.

Casos de uso

  • Aprender como funcionam a inferência de modelos de visão e linguagem e a pontuação de respostas candidatas.
  • Criar protótipos de classificação de imagens ou perguntas de múltipla escolha em um Mac, sem APIs na nuvem.
  • Comparar a saída gerada com a pontuação direta de logits para respostas estruturadas.
  • Experimentar demonstrações visuais, como controle por gestos ou classificação para ordenação.

Início rápido

  1. 1

    Crie um ambiente virtual com Python 3.13

    uv venv --python 3.13
  2. 2

    Ative o ambiente e instale as dependências

    source .venv/bin/activate && uv pip install -r requirements-lock.txt && uv pip install --no-deps -e .
  3. 3

    Baixe os pesos do modelo

    jev-visual-download
  4. 4

    Inicie o servidor local e abra http://127.0.0.1:8788 em um navegador

    JEV_VISUAL_MODEL_PATH=.models/Qwen3.5-0.8B-4bit uvicorn jev_visual.server:app --host 127.0.0.1 --port 8788

Antes de usar

  • Requer um Mac com Apple Silicon e Metal; não funciona em outras plataformas.
  • A configuração inicial baixa aproximadamente 596 MiB de pesos do modelo.
  • Apenas o adapter Qwen3.5 foi verificado, e o servidor foi desenvolvido para uso somente local.

Tópicos

#vision-language-model#mlx#apple-silicon#inference#candidate-scoring#multimodal#qwen#python

Perguntas frequentes

O que é jev-visual?
Projeto educacional compacto para executar inferência de modelos de visão e linguagem em Apple Silicon com MLX e pontuar respostas candidatas sobre uma imagem. Jev Visual é um experimento executável de inferência de modelos de visão e linguagem em Macs com Apple Silicon. Ele usa Qwen3.5-0.8B por meio do MLX para responder várias perguntas sobre uma imagem de uma só vez, como escolher uma opção, responder sim ou não ou pontuar níveis ordenados. Em vez de gerar uma saída estruturada token por token, ele reutiliza um contexto multimodal compartilhado e lê diretamente dos logits do modelo as pontuações das respostas candidatas.
jev-visual é gratuito? Qual é a licença?
jev-visual é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
jev-visual ainda é mantido?
Manutenção ativa. O último commit de jev-visual foi em 21 de set. de 2026.
Para que posso usar jev-visual?
Aprender como funcionam a inferência de modelos de visão e linguagem e a pontuação de respostas candidatas. Criar protótipos de classificação de imagens ou perguntas de múltipla escolha em um Mac, sem APIs na nuvem. Comparar a saída gerada com a pontuação direta de logits para respostas estruturadas. Experimentar demonstrações visuais, como controle por gestos ou classificação para ordenação.
Como instalar jev-visual?
Crie um ambiente virtual com Python 3.13: uv venv --python 3.13 Ative o ambiente e instale as dependências: source .venv/bin/activate && uv pip install -r requirements-lock.txt && uv pip install --no-deps -e . Baixe os pesos do modelo: jev-visual-download Inicie o servidor local e abra http://127.0.0.1:8788 em um navegador: JEV_VISUAL_MODEL_PATH=.models/Qwen3.5-0.8B-4bit uvicorn jev_visual.server:app --host 127.0.0.1 --port 8788
Onde consigo jev-visual?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/hr98w/jev-visual

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados