Projetos open source sobre “multimodal”

Um framework de serving que amplia o vLLM para executar modelos omni-modality que geram texto, imagens, áudio, vídeo e ações.

Toolkit open source em Rust para registrar, visualizar, consultar e transmitir dados multimodais de robótica e sensores ao longo do tempo.

Plugin para Claude Code e Agent Skills que permite a agentes de IA assistir a vídeos convertendo uma URL ou um arquivo local em quadros com marcação de tempo e uma transcrição.

Framework Python de código aberto para criar agentes de IA multimodais e de voz em tempo real, com serviços intercambiáveis de fala, LLM e transporte.

Um mecanismo de IA auto-hospedado e compatível com OpenAI, que executa LLMs e modelos de visão, voz, imagem e vídeo em qualquer hardware, inclusive em máquinas só com CPU.

NEO é uma família de modelos nativos de visão e linguagem que processam pixels e palavras em uma única arquitetura densa sem encoder, com código de treinamento e avaliação.

Pacote Python de código aberto que transforma sites, PDFs, imagens, vídeos do YouTube ou tópicos em conversas de podcast em áudio e em vários idiomas usando GenAI.

Engine unificado de treinamento para modelos multimodais, com suporte a treinamento de VLMs, modelos de difusão e LLMs usando FSDP2, Muon e kernels Liger.

Um LLM de vídeo treinado com transcrição de fala em streaming que gera comentários em tempo real sobre vídeos ao vivo, apresentado no artigo LiveCC da CVPR 2025.

Solucionador de captchas auto-hospedável com API assíncrona no estilo YesCaptcha, usando automação de navegador com Playwright e modelos de visão compatíveis com OpenAI.

Converte PDFs, arquivos do Office, digitalizações e imagens em Markdown pronto para IA usando seu próprio modelo de visão compatível com OpenAI.

Modelos multimodais unificados e nativos de código aberto da SenseNova para entender imagens, gerar imagens a partir de texto e editar imagens em uma única arquitetura.

Pipeline open source que transforma páginas da web e PDFs em capturas de tela e faz buscas visuais, preservando tabelas e gráficos para RAG.

Projeto educacional compacto para executar inferência de modelos de visão e linguagem em Apple Silicon com MLX e pontuar respostas candidatas sobre uma imagem.

Um modelo multimodal de pesos abertos com 9 bilhões de parâmetros para compreensão visual, raciocínio espacial, uso de ferramentas por agentes e pesquisa em IA incorporada, baseado em Qwen3.5 e C-RADIOv4-H.

Arquivos de skill para orientar assistentes de IA na criação de prompts para o modelo de geração de vídeos Seedance 2.0 da ByteDance.

Um modelo multimodal unificado que realiza tarefas de visão computacional, como detecção, OCR, segmentação, estimativa de profundidade e geometria multivista, por meio da geração de texto e imagens.

Busca arquivos localmente, no próprio dispositivo, encontrando fotos, PDFs, documentos, gravações, vídeos e código pelo que há neles, no Mac, Windows e Linux.