Repolode
Enviar
PaddlePaddle

PaddlePaddle/PaddleFormers

Biblioteca de estilo Transformers basada en PaddlePaddle para entrenar modelos de lenguaje grandes y modelos de visión y lenguaje, con una API compatible con Hugging Face.

Ver en GitHub
Estrellas
12,970
Forks
2,184
Issues abiertos
244
Último commit
hace 16 días

¿Qué es?

PaddleFormers es una biblioteca de modelos basada en el framework de deep learning PaddlePaddle, cuyo objetivo es ofrecer interfaces y funciones similares a las de Hugging Face Transformers para usuarios de PyTorch. Incluye entrenamiento de modelos de lenguaje grandes (LLM) y modelos de visión y lenguaje (VLM), con un catálogo de modelos que incluye las familias DeepSeek-V3/V4, GLM-4.5, Qwen2, Qwen3, Qwen3-VL y ERNIE-4.5.

La biblioteca admite estrategias de entrenamiento distribuido, como paralelismo de tensores, de pipeline y de expertos, además de precisión mixta automática y entrenamiento FP8. Los flujos de trabajo de postentrenamiento incluyen preentrenamiento continuo, SFT, LoRA, DPO y DPO-LoRA. Los checkpoints se guardan en formato Safetensors, por lo que herramientas como vLLM, SGLang y FastDeploy pueden cargarlos. También incluye una herramienta de línea de comandos, paddleformers-cli, para iniciar entrenamientos desde configuraciones YAML.

El proyecto documenta la adaptación a varios aceleradores nacionales, como Kunlunxin P800, Iluvatar BI-V150 y Metax C550, además de GPUs de Moore Threads.

Funciones clave

  • 01APIs AutoModel y AutoTokenizer al estilo de Hugging Face en PaddlePaddle
  • 02Paralelismo de tensores, de pipeline y de expertos para entrenar modelos grandes
  • 03Flujos de trabajo de preentrenamiento, SFT, LoRA, DPO y DPO-LoRA
  • 04Checkpoints Safetensors compatibles con vLLM, SGLang y FastDeploy
  • 05Compatibilidad con datos de entrenamiento de tipo Function Call y Thinking

Casos de uso

  • Ajustar modelos LLM abiertos, como Qwen3 o GLM-4.5, con datos propios mediante SFT o LoRA
  • Ejecutar alineación de preferencias con DPO en infraestructura PaddlePaddle
  • Entrenar o adaptar modelos de visión y lenguaje como Qwen3-VL o PaddleOCR-VL
  • Usar hardware de aceleradores nacionales para el postentrenamiento de LLM

Inicio rápido

  1. 1

    Instala el paquete de tokenizer y processor (sin dependencias de entrenamiento)

    python -m pip install paddleformers
  2. 2

    Carga un tokenizer y ejecuta la generación de texto con la API al estilo de Hugging Face

  3. 3

    Clona el repositorio para obtener las configuraciones de entrenamiento de ejemplo

    git clone https://github.com/PaddlePaddle/PaddleFormers.git
  4. 4

    Ejecuta el entrenamiento SFT con la configuración de ejemplo

    paddleformers-cli train ./examples/config/sft/full.yaml

Antes de usarlo

  • El entrenamiento en GPU requiere CUDA 13.0 o posterior y PaddleFleet 0.3 o posterior.
  • Otro hardware, como Kunlunxin XPU, Iluvatar, Metax y MUSA, requiere guías de instalación específicas de cada proveedor.

Temas

#llm#paddlepaddle#transformers#distributed-training#fine-tuning#vision-language-model#lora#model

Preguntas frecuentes

¿Qué es PaddleFormers?
Biblioteca de estilo Transformers basada en PaddlePaddle para entrenar modelos de lenguaje grandes y modelos de visión y lenguaje, con una API compatible con Hugging Face. PaddleFormers es una biblioteca de modelos basada en el framework de deep learning PaddlePaddle, cuyo objetivo es ofrecer interfaces y funciones similares a las de Hugging Face Transformers para usuarios de PyTorch. Incluye entrenamiento de modelos de lenguaje grandes (LLM) y modelos de visión y lenguaje (VLM), con un catálogo de modelos que incluye las familias DeepSeek-V3/V4, GLM-4.5, Qwen2, Qwen3, Qwen3-VL y ERNIE-4.5.
¿PaddleFormers es gratuito? ¿Qué licencia tiene?
PaddleFormers es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿PaddleFormers sigue mantenido?
Mantenimiento activo. El último commit de PaddleFormers fue el 21 oct 2026.
¿Para qué puedo usar PaddleFormers?
Ajustar modelos LLM abiertos, como Qwen3 o GLM-4.5, con datos propios mediante SFT o LoRA Ejecutar alineación de preferencias con DPO en infraestructura PaddlePaddle Entrenar o adaptar modelos de visión y lenguaje como Qwen3-VL o PaddleOCR-VL Usar hardware de aceleradores nacionales para el postentrenamiento de LLM
¿Cómo se instala PaddleFormers?
Instala el paquete de tokenizer y processor (sin dependencias de entrenamiento): python -m pip install paddleformers Carga un tokenizer y ejecuta la generación de texto con la API al estilo de Hugging Face Clona el repositorio para obtener las configuraciones de entrenamiento de ejemplo: git clone https://github.com/PaddlePaddle/PaddleFormers.git Ejecuta el entrenamiento SFT con la configuración de ejemplo: paddleformers-cli train ./examples/config/sft/full.yaml
¿Dónde consigo PaddleFormers?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/PaddlePaddle/PaddleFormers

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados