Rode LLMs localmente: os melhores de 2026

Um mecanismo de inferência totalmente em C que executa modelos MoE muito grandes em hardware comum, carregando especialistas roteados do disco sob demanda.

Assistente de reuniões com IA, open source e local-first, que grava, transcreve em tempo real e gera resumos no macOS e Windows.

Proxy local que permite usar OpenAI Codex e Claude Code com qualquer provedor de LLM, incluindo Claude, Gemini, Grok, DeepSeek e Ollama.

Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.

Modelo open source de geração musical local que cria músicas completas a partir de texto e oferece ferramentas de edição, como criar versões, repintar trechos e separar stems.

Ferramenta de CLI para ajustar e pós-treinar LLMs usando um único arquivo YAML, com streaming de camadas para treinar modelos de 8B em uma GPU de 4 GB.

Assistente de pesquisa com IA auto-hospedado que faz pesquisas aprofundadas em várias etapas, usando LLMs locais ou na nuvem e buscando na web, em bases acadêmicas e nos seus próprios documentos.

Mecanismo de inferência open source que ajusta os kernels ao seu hardware para executar cada modelo aberto o mais rápido possível.

Runtime em Swift e Metal que executa o Gemma 4 26B-A4B em Macs com Apple Silicon usando cerca de 2 GB de RAM, transmitindo os experts do SSD.

Ferramenta de OCR para Windows que captura texto de áreas da tela, imagens e PDFs e o copia para a área de transferência ou um editor, totalmente no dispositivo.

Série de tutoriais práticos para criar agentes de IA do zero com LLMs locais via node-llama-cpp, sem usar frameworks.

App para desktop que pesquisa arquivos locais pelo significado — fotos, PDFs, documentos, áudio, vídeo e código — e roda no dispositivo com o EmbeddingGemma 2.

Tutorial e projeto modular de Agentic RAG com LangGraph, indexação hierárquica, memória de conversa e esclarecimento de consultas.

Executa o Claude Code com modelos de IA abertos no seu Mac com Apple Silicon, usando um servidor de API Anthropic baseado em MLX, sem modelos na nuvem nem chave de API.

Web scraper baseado em Streamlit que usa modelos OpenAI, Gemini, Ollama ou LiteLLM para extrair dados estruturados de páginas descritas em linguagem natural.

API auto-hospedada que converte PDFs, imagens e documentos do Office em Markdown ou JSON estruturado usando OCR e LLMs hospedados no Ollama, com remoção opcional de dados pessoais.

Lista selecionada de plataformas, mecanismos de inferência, interfaces, modelos, ferramentas e tutoriais para executar LLMs no próprio hardware.

Plugin do Zotero que permite conversar com um PDF, vários PDFs ou sua biblioteca inteira, com citações clicáveis e modelos totalmente locais opcionais.

Aplicativo desktop multiplataforma que usa LLMs locais ou remotos para organizar arquivos por categoria e sugerir nomes mais claros, com revisão antes de qualquer alteração.

Estúdio local e open source de áudio e música para macOS e Windows, que executa TTS, clonagem de voz e criação de músicas com IA totalmente offline.

Tutorial educacional em JavaScript que ensina a criar RAG passo a passo com LLMs locais e sem APIs na nuvem.

Rastreador de busca de emprego self-hosted com análise de currículo por IA, correspondência com vagas, descoberta automatizada de oportunidades e servidor MCP para agentes de IA.

Uma lista selecionada no estilo Awesome de plataformas, ferramentas, modelos e tutoriais para executar LLMs localmente.

Um servidor MCP local que encaminha prompts para sessões de navegador do ChatGPT, Claude, Gemini e Perplexity ou para endpoints BYOK/modelos locais, para uso em editores de código.

Usa um iPhone conectado por USB-C para acelerar o prefill e ampliar o contexto de um modelo Qwen 27B executado localmente em um Mac.

Estúdio para Windows do modelo aberto de música YuE2, que gera canções completas com vocais, partitura ABC editável, covers e reprodução exata em uma GPU NVIDIA local.

Spark-X2.5 é uma série de modelos de linguagem com pesos abertos (4B e 1.7B), voltada para programação agêntica e uso de ferramentas em hardware local e dispositivos.

Converte PDFs, arquivos do Office, digitalizações, capturas de tela e diagramas em Markdown usando seu próprio modelo de visão compatível com OpenAI.

Framework para automação autônoma no Android e uso do computador, que permite a um LLM planejar e executar tarefas na interface com modelos locais ou remotos.

Um popup de código aberto para macOS que aparece ao selecionar um texto e oferece ações de transformação, scripts, atalhos, matemática e IA.

Uma ferramenta de raciocínio local que armazena as respostas passo a passo de um modelo pequeno em um grafo de conhecimento, tudo rodando na sua máquina com Ollama.

App para macOS com foco no uso local, que permite buscar fotos e quadros de vídeo em qualquer pasta usando descrições em linguagem natural e modelos de IA executados no dispositivo.

App de captura de tela e anotações baseado em Electron, que permite a agentes de programação com IA, como Claude Code, renderizar diagramas e prévias para revisão visual.

Assistente de escritório com IA e foco local que transforma um único pedido em arquivos editáveis PPTX, DOCX, XLSX e HTML, usando suas próprias chaves de modelo ou modelos locais.

Projeto educacional enxuto para executar inferência de modelos visão-linguagem em Apple Silicon com MLX e pontuar respostas candidatas sobre uma imagem.

Aplicativo desktop em Tauri para explorar e consultar dados com SQL, baseado no ClickHouse, com integração opcional com LLM e modo web.

Um mecanismo local de automação de navegador e Agent Skill que executa modelos Qwen3.5 no dispositivo para escolher ações com base nos elementos visíveis da página.

Um assistente de escrita para desktop, local-first, que revisa, reescreve e formata rascunhos na sua própria máquina, sem exigir uma conta.

Extensão do Chrome com serviço Python local que gera legendas traduzidas em tempo real, do inglês para o chinês e vice-versa, em lives do YouTube usando Ollama.