Biblioteca de entrenamiento nativa de PyTorch DTensor para ajustar y preentrenar LLM, VLM y modelos de difusión directamente desde checkpoints de Hugging Face.
1,1 mil368PythonApache-2.0Actualizado hace 18 horas
arcee-ai/mergekit
Kit de herramientas para combinar los pesos de modelos de lenguaje grandes preentrenados mediante diversos algoritmos de fusión, en CPU o GPU.
- Estrellas
- 7,436
- Forks
- 802
- Issues abiertos
- 276
- Último commit
- hace 6 días
¿Qué es?
mergekit combina los pesos de modelos de lenguaje preentrenados en un único modelo, sin entrenamiento adicional. Está diseñado para trabajar fuera de memoria: carga los tensores de forma diferida para que las fusiones complejas puedan ejecutarse en CPU o en una GPU con apenas 8 GB de VRAM.
Las fusiones se describen en archivos de configuración YAML. Cada configuración selecciona un método de fusión, elige modelos de origen o segmentos de capas y establece parámetros por tensor, como los pesos y las densidades. El kit admite una amplia variedad de métodos, como linear, SLERP, TIES, DARE, DELLA y Model Stock, además de fusiones por apilamiento de capas (passthrough), extracción de LoRA, creación de mezclas de expertos y alineación de tokenizadores entre modelos con vocabularios distintos.
Además del comando principal `mergekit-yaml`, el proyecto incluye herramientas para flujos de trabajo de fusión en varias etapas, para fusionar checkpoints de PyTorch sin procesar y para trasplantar tokenizadores. También ofrece una API de Python en memoria que permite aplicar métodos de fusión a tensores o diccionarios de estado.
Funciones clave
- 01Diversos métodos de fusión, como linear, SLERP, TIES, DARE, DELLA y Model Stock
- 02Carga diferida de tensores, compatible con CPU y GPU con unos 8 GB de VRAM
- 03Configuración basada en YAML con control de parámetros por tensor
- 04Fusiones por apilamiento de capas (passthrough) y creación de mezclas de expertos
- 05Extracción de LoRA en adaptadores compatibles con PEFT
- 06Alineación de tokenizadores para modelos con vocabularios distintos
Casos de uso
- Combinar varios checkpoints ajustados a partir del mismo modelo base para crear un único modelo versátil
- Crear fusiones experimentales mediante el apilamiento de capas de distintos modelos
- Generar modelos borrador para decodificación especulativa mediante el trasplante de tokenizadores
- Extraer adaptadores LoRA de modelos ajustados en relación con su modelo base
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/arcee-ai/mergekit.git - 2
Entra en el directorio del proyecto
cd mergekit - 3
Instala el paquete en modo editable
pip install -e . - 4
Ejecuta una fusión con tu archivo de configuración YAML
mergekit-yaml path/to/your/config.yml ./output-model-directory
Antes de usarlo
- Está bajo la licencia LGPL-3.0, una licencia copyleft cuyas condiciones también se aplican a las modificaciones del código de la biblioteca.
- El README solo incluye una instalación desde el código fuente con pip install -e .; no muestra cómo instalar un paquete publicado.
Temas
Preguntas frecuentes
- ¿Qué es mergekit?
- Kit de herramientas para combinar los pesos de modelos de lenguaje grandes preentrenados mediante diversos algoritmos de fusión, en CPU o GPU. mergekit combina los pesos de modelos de lenguaje preentrenados en un único modelo, sin entrenamiento adicional. Está diseñado para trabajar fuera de memoria: carga los tensores de forma diferida para que las fusiones complejas puedan ejecutarse en CPU o en una GPU con apenas 8 GB de VRAM.
- ¿mergekit es gratuito? ¿Qué licencia tiene?
- mergekit es open source bajo la licencia LGPL-3.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿mergekit sigue mantenido?
- Mantenimiento activo. El último commit de mergekit fue el 31 oct 2026.
- ¿Para qué puedo usar mergekit?
- Combinar varios checkpoints ajustados a partir del mismo modelo base para crear un único modelo versátil Crear fusiones experimentales mediante el apilamiento de capas de distintos modelos Generar modelos borrador para decodificación especulativa mediante el trasplante de tokenizadores Extraer adaptadores LoRA de modelos ajustados en relación con su modelo base
- ¿Cómo se instala mergekit?
- Clona el repositorio: git clone https://github.com/arcee-ai/mergekit.git Entra en el directorio del proyecto: cd mergekit Instala el paquete en modo editable: pip install -e . Ejecuta una fusión con tu archivo de configuración YAML: mergekit-yaml path/to/your/config.yml ./output-model-directory
- ¿Dónde consigo mergekit?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/arcee-ai/mergekit
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
CLI basado en configuración para ejecutar y comparar experimentos de fine-tuning de LLM con distintos prompts, modelos open source y ajustes de LoRA, con pruebas integradas de resultados.
870107PythonApache-2.0Actualizado hace 15 días
Colección de Agent Skills con instrucciones y scripts para que agentes de programación con IA realicen tareas en Hugging Face Hub, como entrenamiento, evaluación, gestión de datasets y Spaces.
11,3 mil+27 esta semana786PythonApache-2.0Actualizado hace 7 días
SliceGPT es un método de compresión posterior al entrenamiento que reduce modelos transformer, como los LLM, eliminando filas y columnas de las matrices de pesos.
465+1 esta semana59PythonMITActualizado hace 2 meses
Pipeline desde cero de preentrenamiento y SFT para un modelo pequeño de estilo LLaMA2 en chino, ejecutable en una sola GPU de 24 GB.
2,9 mil354PythonMITActualizado hace 3 meses
Modelos de lenguaje grandes de código abierto ajustados para tareas financieras, como análisis de sentimiento, pronósticos y benchmarks de NLP financiero.
21,5 mil+42 esta semana3 milJupyter NotebookMITBien mantenidoActualizado hace 12 días