Repolode
oobabooga

oobabooga/textgen

Um aplicativo desktop gratuito e de código aberto para executar LLMs localmente, com interface de chat e API compatível com OpenAI e Anthropic.

Alternativa open source a:LM Studio

Estrelas
47,739
Forks
5,987
Issues abertas
865
Último commit
há 2 meses

O que é?

O TextGen é um aplicativo desktop para executar LLMs na sua própria máquina. Ele reúne uma interface de chat e uma API, permitindo usar o mesmo modelo local tanto em uma interface acessada pelo navegador quanto em código. Há versões portáteis para Linux, Windows e macOS, com opções para CUDA, Vulkan, ROCm e somente CPU, e o aplicativo executa modelos GGUF pelo llama.cpp. Outros backends, como ExLlamaV3, Transformers e TensorRT-LLM, estão disponíveis na instalação completa.

Além do chat convencional, o aplicativo oferece modos instruct e de chat com personagens, anexos de imagem para modelos de visão e envio de arquivos de texto e PDF. Os modelos podem chamar ferramentas, como busca na web, captura de páginas e funções Python personalizadas; também há suporte a servidores MCP. O projeto inclui ainda fine-tuning de LoRA, uma aba de geração de imagens baseada em diffusers e extensões para TTS, entrada de voz e tradução. Segundo o projeto, o aplicativo funciona totalmente offline e não envia telemetria.

A API disponibiliza endpoints de Chat, Completions e Messages que seguem os formatos da OpenAI e da Anthropic, permitindo apontar o código de clientes existentes para um servidor local.

Recursos principais

  • 01Modos de chat, instruct e personagens com templates de prompt Jinja2
  • 02Entrada de imagens, além de anexos de arquivos PDF, .docx e texto
  • 03Vários backends, incluindo llama.cpp, Transformers e ExLlamaV3
  • 04API compatível com OpenAI e Anthropic, com suporte a chamadas de ferramentas
  • 05Chamadas de ferramentas com funções Python personalizadas e servidores MCP
  • 06Fine-tuning de LoRA e aba de geração de imagens baseada em diffusers

Casos de uso

  • Executar um modelo de chat GGUF em particular no próprio computador, sem enviar dados para um serviço na nuvem
  • Apontar código existente de clientes OpenAI ou Anthropic para um modelo local durante o desenvolvimento
  • Conversar sobre documentos ou imagens usando um modelo local com capacidade de visão
  • Fazer fine-tuning de um adaptador LoRA com seu próprio conjunto de dados de chat ou texto

Início rápido

  1. 1

    Baixe a versão portátil para seu sistema operacional na página de lançamentos

  2. 2

    Descompacte o arquivo baixado e clique duas vezes em textgen para abrir a janela do aplicativo

  3. 3

    Coloque um arquivo de modelo GGUF na pasta user_data/models e a interface o detectará

Antes de usar

  • Licenciado sob AGPL-3.0, uma licença copyleft que exige que serviços de rede derivados compartilhem o código-fonte.
  • Backends adicionais, como ExLlamaV3 e Transformers, além de treinamento e geração de imagens, exigem a instalação completa, que ocupa cerca de 10 GB de espaço em disco e baixa o PyTorch.
  • A versão portátil oferece suporte apenas a modelos GGUF (llama.cpp).

Tópicos

Perguntas frequentes

O que é textgen?
Um aplicativo desktop gratuito e de código aberto para executar LLMs localmente, com interface de chat e API compatível com OpenAI e Anthropic. O TextGen é um aplicativo desktop para executar LLMs na sua própria máquina. Ele reúne uma interface de chat e uma API, permitindo usar o mesmo modelo local tanto em uma interface acessada pelo navegador quanto em código. Há versões portáteis para Linux, Windows e macOS, com opções para CUDA, Vulkan, ROCm e somente CPU, e o aplicativo executa modelos GGUF pelo llama.cpp. Outros backends, como ExLlamaV3, Transformers e TensorRT-LLM, estão disponíveis na instalação completa.
textgen é gratuito? Qual é a licença?
textgen é open source sob a licença AGPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
textgen ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de textgen foi em 17 de ago. de 2026.
Para que posso usar textgen?
Executar um modelo de chat GGUF em particular no próprio computador, sem enviar dados para um serviço na nuvem Apontar código existente de clientes OpenAI ou Anthropic para um modelo local durante o desenvolvimento Conversar sobre documentos ou imagens usando um modelo local com capacidade de visão Fazer fine-tuning de um adaptador LoRA com seu próprio conjunto de dados de chat ou texto
Como instalar textgen?
Baixe a versão portátil para seu sistema operacional na página de lançamentos Descompacte o arquivo baixado e clique duas vezes em textgen para abrir a janela do aplicativo Coloque um arquivo de modelo GGUF na pasta user_data/models e a interface o detectará
Onde consigo textgen?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/oobabooga/textgen

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados