Repolode
Enviar
liustack

liustack/modlens

Um plugin de visão para o DeepSeek Harness que permite a modelos somente de texto, como DeepSeek e GLM, ler imagens coladas e retornar JSON estruturado (OCR, layout e semântica).

Ver no GitHubSite
Estrelas
4,398
Forks
133
Issues abertas
6
Último commit
há 7 dias

O que é?

O ModLens permite que modelos de linguagem somente de texto leiam imagens. Muitos modelos de chat DeepSeek e GLM não aceitam imagens diretamente, então o ModLens atua entre o chat e um mecanismo de visão: quando uma imagem é colada, ela é enviada a um provedor de visão, e o resultado volta como evidências estruturadas, incluindo transcrição completa, regiões de layout na ordem de leitura e listas de entidades e relações.

Ele funciona como plugin do DeepSeek Harness (dsh) e como skill de agente instalável para Claude Code, Codex, OpenCode e Pi. As imagens coladas são processadas por meio de um caminho de arquivo temporário privado ou de uma opção de seletor de modelo que encapsula o mesmo fluxo. Os mecanismos de visão incluem uma chave gratuita da Gemini API, qualquer endpoint compatível com OpenAI, uma chave da Anthropic e CLIs de agentes locais, que podem reutilizar logins existentes mediante consentimento explícito para cada harness. É possível separar várias chaves por vírgula; elas são alternadas em caso de erros de autenticação, limite de requisições ou cota.

O projeto é escrito em TypeScript, tem licença MIT e é instalado pelo npm como @liustack/modlens. A configuração é feita por uma CLI que inclui uma verificação de integridade chamada doctor.

Recursos principais

  • 01Lê imagens coladas no chat e retorna JSON estruturado com OCR, layout e semântica.
  • 02Funciona com modelos DeepSeek e GLM somente de texto no DeepSeek Harness, Claude Code, Codex, OpenCode e Pi.
  • 03Oferece suporte a uma chave gratuita da Gemini, qualquer endpoint de visão compatível com OpenAI, Anthropic e CLIs de agentes locais reutilizáveis.
  • 04Faz failover entre os mecanismos configurados e registra cada tentativa em meta.attempts.
  • 05Alterna entre as chaves de API separadas por vírgula em caso de falhas de autenticação, limite de requisições ou cota.
  • 06Inclui uma CLI com comandos de configuração e uma verificação de integridade doctor.

Casos de uso

  • Permitir que uma sessão de chat com DeepSeek ou GLM discuta capturas de tela, slides ou tweets colados nela.
  • Extrair texto e layout de gráficos ou documentos densos no fluxo de trabalho de um agente de programação.
  • Usar um modelo de visão com API compatível com OpenAI como leitor de imagens para um agente somente de texto.
  • Reutilizar um login existente do Claude Code, Codex ou Pi para ler imagens sem adicionar novas chaves de API.

Tópicos

#vision#ocr#multimodal#deepseek#agent-skills#image-to-text#llm-tools#claude-code#claude-skills#codex

Perguntas frequentes

O que é modlens?
Um plugin de visão para o DeepSeek Harness que permite a modelos somente de texto, como DeepSeek e GLM, ler imagens coladas e retornar JSON estruturado (OCR, layout e semântica). O ModLens permite que modelos de linguagem somente de texto leiam imagens. Muitos modelos de chat DeepSeek e GLM não aceitam imagens diretamente, então o ModLens atua entre o chat e um mecanismo de visão: quando uma imagem é colada, ela é enviada a um provedor de visão, e o resultado volta como evidências estruturadas, incluindo transcrição completa, regiões de layout na ordem de leitura e listas de entidades e relações.
modlens é gratuito? Qual é a licença?
modlens é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
modlens ainda é mantido?
Manutenção ativa. O último commit de modlens foi em 15 de out. de 2026.
Para que posso usar modlens?
Permitir que uma sessão de chat com DeepSeek ou GLM discuta capturas de tela, slides ou tweets colados nela. Extrair texto e layout de gráficos ou documentos densos no fluxo de trabalho de um agente de programação. Usar um modelo de visão com API compatível com OpenAI como leitor de imagens para um agente somente de texto. Reutilizar um login existente do Claude Code, Codex ou Pi para ler imagens sem adicionar novas chaves de API.
Onde consigo modlens?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/liustack/modlens

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados