Repolode
Enviar
PaddlePaddle

PaddlePaddle/PaddleFormers

Uma biblioteca no estilo Transformers baseada em PaddlePaddle para treinar modelos de linguagem e visão-linguagem de grande porte, com uma API compatível com Hugging Face.

Ver no GitHub
Estrelas
12,970
Forks
2,184
Issues abertas
244
Último commit
há 17 dias

O que é?

PaddleFormers é uma biblioteca de modelos baseada no framework de deep learning PaddlePaddle, criada para oferecer interfaces e recursos semelhantes aos do Hugging Face Transformers para quem usa PyTorch. Ela abrange o treinamento de modelos de linguagem de grande porte (LLMs) e modelos de visão-linguagem (VLMs), com um catálogo de modelos que inclui as famílias DeepSeek-V3/V4, GLM-4.5, Qwen2, Qwen3, Qwen3-VL e ERNIE-4.5.

A biblioteca oferece estratégias de treinamento distribuído, como paralelismo de tensores, de pipeline e de especialistas, além de precisão mista automática e treinamento em FP8. Os fluxos de trabalho de pós-treinamento incluem pré-treinamento contínuo, SFT, LoRA, DPO e DPO-LoRA. Os checkpoints são salvos no formato Safetensors e podem ser carregados por ferramentas como vLLM, SGLang e FastDeploy. A biblioteca também fornece a ferramenta de linha de comando paddleformers-cli, que permite iniciar treinamentos com configurações em YAML.

O projeto documenta a adaptação a vários aceleradores nacionais, incluindo Kunlunxin P800, Iluvatar BI-V150 e Metax C550, além de GPUs Moore Threads.

Recursos principais

  • 01APIs AutoModel e AutoTokenizer no estilo Hugging Face sobre PaddlePaddle
  • 02Paralelismo de tensores, de pipeline e de especialistas para treinar modelos de grande porte
  • 03Fluxos de trabalho de pré-treinamento, SFT, LoRA, DPO e DPO-LoRA
  • 04Checkpoints Safetensors compatíveis com vLLM, SGLang e FastDeploy
  • 05Suporte a dados de treinamento no formato Function Call e Thinking

Casos de uso

  • Ajustar modelos LLM abertos, como Qwen3 ou GLM-4.5, com dados próprios usando SFT ou LoRA
  • Executar alinhamento de preferências com DPO em infraestrutura PaddlePaddle
  • Treinar ou adaptar modelos de visão-linguagem como Qwen3-VL ou PaddleOCR-VL
  • Usar hardware de aceleradores nacionais no pós-treinamento de LLMs

Início rápido

  1. 1

    Instale o pacote de tokenizer e processor (sem dependências de treinamento)

    python -m pip install paddleformers
  2. 2

    Carregue um tokenizer e execute a geração de texto com a API no estilo Hugging Face

  3. 3

    Clone o repositório para obter as configurações de treinamento de exemplo

    git clone https://github.com/PaddlePaddle/PaddleFormers.git
  4. 4

    Execute o treinamento SFT com a configuração de exemplo

    paddleformers-cli train ./examples/config/sft/full.yaml

Antes de usar

  • O treinamento em GPU requer CUDA 13.0 ou mais recente e PaddleFleet 0.3 ou mais recente.
  • Outros hardwares, como Kunlunxin XPU, Iluvatar, Metax e MUSA, precisam de guias de instalação específicos de cada fornecedor.

Tópicos

#llm#paddlepaddle#transformers#distributed-training#fine-tuning#vision-language-model#lora#model

Perguntas frequentes

O que é PaddleFormers?
Uma biblioteca no estilo Transformers baseada em PaddlePaddle para treinar modelos de linguagem e visão-linguagem de grande porte, com uma API compatível com Hugging Face. PaddleFormers é uma biblioteca de modelos baseada no framework de deep learning PaddlePaddle, criada para oferecer interfaces e recursos semelhantes aos do Hugging Face Transformers para quem usa PyTorch. Ela abrange o treinamento de modelos de linguagem de grande porte (LLMs) e modelos de visão-linguagem (VLMs), com um catálogo de modelos que inclui as famílias DeepSeek-V3/V4, GLM-4.5, Qwen2, Qwen3, Qwen3-VL e ERNIE-4.5.
PaddleFormers é gratuito? Qual é a licença?
PaddleFormers é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
PaddleFormers ainda é mantido?
Manutenção ativa. O último commit de PaddleFormers foi em 21 de out. de 2026.
Para que posso usar PaddleFormers?
Ajustar modelos LLM abertos, como Qwen3 ou GLM-4.5, com dados próprios usando SFT ou LoRA Executar alinhamento de preferências com DPO em infraestrutura PaddlePaddle Treinar ou adaptar modelos de visão-linguagem como Qwen3-VL ou PaddleOCR-VL Usar hardware de aceleradores nacionais no pós-treinamento de LLMs
Como instalar PaddleFormers?
Instale o pacote de tokenizer e processor (sem dependências de treinamento): python -m pip install paddleformers Carregue um tokenizer e execute a geração de texto com a API no estilo Hugging Face Clone o repositório para obter as configurações de treinamento de exemplo: git clone https://github.com/PaddlePaddle/PaddleFormers.git Execute o treinamento SFT com a configuração de exemplo: paddleformers-cli train ./examples/config/sft/full.yaml
Onde consigo PaddleFormers?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/PaddlePaddle/PaddleFormers

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados