Projetos open source sobre “local-llm”

Assistente de pesquisa com IA auto-hospedado que faz pesquisas aprofundadas em várias etapas, usando LLMs locais ou na nuvem e buscando na web, em bases acadêmicas e nos seus próprios documentos.

Lista selecionada de plataformas, mecanismos de inferência, interfaces, modelos, ferramentas e tutoriais para executar LLMs no próprio hardware.

Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.

Uma ferramenta de raciocínio local que armazena as respostas passo a passo de um modelo pequeno em um grafo de conhecimento, tudo rodando na sua máquina com Ollama.

Uma lista selecionada no estilo Awesome de plataformas, ferramentas, modelos e tutoriais para executar LLMs localmente.

Executa o Claude Code com modelos de IA abertos no seu Mac com Apple Silicon, usando um servidor de API Anthropic baseado em MLX, sem modelos na nuvem nem chave de API.

Série de tutoriais práticos para criar agentes de IA do zero com LLMs locais via node-llama-cpp, sem usar frameworks.

Tutorial educacional em JavaScript que ensina a criar RAG passo a passo com LLMs locais e sem APIs na nuvem.

Um mecanismo de inferência totalmente em C que executa modelos MoE muito grandes em hardware comum, carregando especialistas roteados do disco sob demanda.

Ferramenta de CLI para ajustar e pós-treinar LLMs usando um único arquivo YAML, com streaming de camadas para treinar modelos de 8B em uma GPU de 4 GB.

Um mecanismo local de automação de navegador e Agent Skill que executa modelos Qwen3.5 no dispositivo para escolher ações com base nos elementos visíveis da página.

Usa um iPhone conectado por USB-C para acelerar o prefill e ampliar o contexto de um modelo Qwen 27B executado localmente em um Mac.

Spark-X2.5 é uma série de modelos de linguagem com pesos abertos (4B e 1.7B), voltada para programação agêntica e uso de ferramentas em hardware local e dispositivos.

Mecanismo de inferência open source que ajusta os kernels ao seu hardware para executar cada modelo aberto o mais rápido possível.

Aplicativo desktop multiplataforma que usa LLMs locais ou remotos para organizar arquivos por categoria e sugerir nomes mais claros, com revisão antes de qualquer alteração.

Plugin do Zotero que permite conversar com um PDF, vários PDFs ou sua biblioteca inteira, com citações clicáveis e modelos totalmente locais opcionais.

Extensão do Chrome com serviço Python local que gera legendas traduzidas em tempo real, do inglês para o chinês e vice-versa, em lives do YouTube usando Ollama.