Repolode
Enviar
Lightning-AI

Lightning-AI/litgpt

Toolkit baseado em PyTorch com implementações de LLMs open-weight do zero para pré-treinamento, fine-tuning, avaliação e serving de mais de 20 modelos.

Ver no GitHubSite
Estrelas
13,724
Forks
1,527
Issues abertas
315
Último commit
há 9 dias

O que é?

LitGPT é um toolkit em Python para trabalhar com modelos de linguagem grandes. Cada modelo compatível é implementado do zero em um único arquivo, com poucas camadas internas de abstração, deixando o código fácil de ler e modificar. Ele abrange mais de 20 famílias de modelos, incluindo Llama, Gemma, Qwen, Phi, Mistral e Falcon, e oferece uma CLI e uma API Python para baixar pesos, conversar, fazer fine-tuning e pré-treinamento, avaliar e servir os modelos.

O projeto atende tanto à experimentação quanto ao treinamento em escala. Ele oferece suporte a LoRA, QLoRA e fine-tuning eficiente em parâmetros baseado em adapters, configurações de baixa precisão e quantizadas (incluindo 4 bits e 8 bits), Flash Attention e treinamento em várias GPUs por meio de paralelismo de dados totalmente fragmentado. O projeto inclui um conjunto de receitas de treinamento em YAML para configurações comuns de modelos e hardware, e é possível exportar checkpoints para outros formatos de pesos de modelos.

LitGPT é desenvolvido com base no Lightning Fabric e amplia as bases de código Lit-LLaMA e nanoGPT. É distribuído sob a licença Apache 2.0.

Recursos principais

  • 01Implementações de modelos do zero em arquivo único, com o mínimo de camadas de abstração.
  • 02Fine-tuning com LoRA, QLoRA, Adapter e Adapter v2.
  • 03Pré-treinamento e continuação do pré-treinamento com dados de texto personalizados.
  • 04Quantização para 4 bits e 8 bits, além de precisão mista FP16/BF16.
  • 05Treinamento em várias GPUs com paralelismo de dados totalmente fragmentado e suporte a TPU/XLA.
  • 06Servimento de modelos por uma API web local e chat interativo pela CLI.

Casos de uso

  • Fazer fine-tuning de um modelo open-weight como Phi ou Llama com um conjunto de dados de instruções específico de um domínio.
  • Estudar ou modificar o código da arquitetura de LLMs sem abstrações de frameworks no caminho.
  • Executar um modelo quantizado em 4 bits em uma GPU com memória limitada.
  • Implantar um checkpoint com fine-tuning como endpoint HTTP de inferência.

Início rápido

  1. 1

    Instale o LitGPT com pip

    pip install 'litgpt[extra]'
  2. 2

    Carregue um modelo com a API do Python e gere texto (com base no exemplo do README)

Antes de usar

  • Na prática, o treinamento e o ajuste fino de modelos maiores exigem hardware com GPU.

Tópicos

#llm#pytorch#finetuning#pretraining#lora#quantization#llm-inference#deep-learning#ai#artificial-intelligence

Perguntas frequentes

O que é litgpt?
Toolkit baseado em PyTorch com implementações de LLMs open-weight do zero para pré-treinamento, fine-tuning, avaliação e serving de mais de 20 modelos. LitGPT é um toolkit em Python para trabalhar com modelos de linguagem grandes. Cada modelo compatível é implementado do zero em um único arquivo, com poucas camadas internas de abstração, deixando o código fácil de ler e modificar. Ele abrange mais de 20 famílias de modelos, incluindo Llama, Gemma, Qwen, Phi, Mistral e Falcon, e oferece uma CLI e uma API Python para baixar pesos, conversar, fazer fine-tuning e pré-treinamento, avaliar e servir os modelos.
litgpt é gratuito? Qual é a licença?
litgpt é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
litgpt ainda é mantido?
Manutenção ativa. O último commit de litgpt foi em 13 de out. de 2026.
Para que posso usar litgpt?
Fazer fine-tuning de um modelo open-weight como Phi ou Llama com um conjunto de dados de instruções específico de um domínio. Estudar ou modificar o código da arquitetura de LLMs sem abstrações de frameworks no caminho. Executar um modelo quantizado em 4 bits em uma GPU com memória limitada. Implantar um checkpoint com fine-tuning como endpoint HTTP de inferência.
Como instalar litgpt?
Instale o LitGPT com pip: pip install 'litgpt[extra]' Carregue um modelo com a API do Python e gere texto (com base no exemplo do README)
Onde consigo litgpt?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Lightning-AI/litgpt

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados