Repolode
Enviar
arcee-ai

arcee-ai/mergekit

Um toolkit para combinar pesos de modelos de linguagem grandes pré-treinados com diversos algoritmos de merge, usando CPU ou GPU.

Ver no GitHub
Estrelas
7,436
Forks
803
Issues abertas
276
Último commit
há 7 dias

O que é?

mergekit combina os pesos de modelos de linguagem pré-treinados em um único modelo, sem treinamento adicional. Ele foi desenvolvido para funcionar out-of-core, carregando tensores sob demanda para que merges complexos possam ser executados em CPU ou em uma GPU com apenas 8 GB de VRAM.

Os merges são descritos em arquivos de configuração YAML. A configuração escolhe um método de merge, seleciona os modelos de origem ou fatias de camadas e define parâmetros por tensor, como pesos e densidades. O toolkit oferece uma ampla variedade de métodos, incluindo linear, SLERP, TIES, DARE, DELLA e Model Stock, além de merges por empilhamento de camadas (passthrough), extração de LoRA, montagem de mixture-of-experts e alinhamento de tokenizers entre modelos com vocabulários diferentes.

Além do comando principal `mergekit-yaml`, o projeto inclui ferramentas para fluxos de trabalho de merge em várias etapas, merge de checkpoints PyTorch brutos e transplante de tokenizers, além de uma API Python em memória para aplicar métodos de merge a tensores ou state dicts.

Recursos principais

  • 01Diversos métodos de merge, incluindo linear, SLERP, TIES, DARE, DELLA e Model Stock
  • 02Carregamento de tensores sob demanda, com execução em CPU ou em GPUs com cerca de 8 GB de VRAM
  • 03Configuração baseada em YAML com controle de parâmetros por tensor
  • 04Merges por empilhamento de camadas (passthrough) e montagem de mixture-of-experts
  • 05Extração de LoRA em adapters compatíveis com PEFT
  • 06Alinhamento de tokenizers para modelos com vocabulários diferentes

Casos de uso

  • Combinar vários checkpoints ajustados por fine-tuning do mesmo modelo-base em um único modelo versátil
  • Criar frankenmerges experimentais empilhando camadas de modelos diferentes
  • Gerar modelos draft para speculative decoding por meio do transplante de tokenizers
  • Extrair adapters LoRA de modelos ajustados por fine-tuning em relação ao modelo-base

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/arcee-ai/mergekit.git
  2. 2

    Entre no diretório do projeto

    cd mergekit
  3. 3

    Instale o pacote em modo editável

    pip install -e .
  4. 4

    Execute um merge usando seu arquivo de configuração YAML

    mergekit-yaml path/to/your/config.yml ./output-model-directory

Antes de usar

  • Licenciado sob a LGPL-3.0, uma licença copyleft cujos termos também se aplicam a modificações no código da biblioteca.
  • O README mostra apenas a instalação a partir do código-fonte com pip install -e ., sem indicar como instalar um pacote publicado.

Tópicos

#llm#model-merging#pytorch#hugging-face#fine-tuning#lora#machine-learning#llama

Perguntas frequentes

O que é mergekit?
Um toolkit para combinar pesos de modelos de linguagem grandes pré-treinados com diversos algoritmos de merge, usando CPU ou GPU. mergekit combina os pesos de modelos de linguagem pré-treinados em um único modelo, sem treinamento adicional. Ele foi desenvolvido para funcionar out-of-core, carregando tensores sob demanda para que merges complexos possam ser executados em CPU ou em uma GPU com apenas 8 GB de VRAM.
mergekit é gratuito? Qual é a licença?
mergekit é open source sob a licença LGPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
mergekit ainda é mantido?
Manutenção ativa. O último commit de mergekit foi em 31 de out. de 2026.
Para que posso usar mergekit?
Combinar vários checkpoints ajustados por fine-tuning do mesmo modelo-base em um único modelo versátil Criar frankenmerges experimentais empilhando camadas de modelos diferentes Gerar modelos draft para speculative decoding por meio do transplante de tokenizers Extrair adapters LoRA de modelos ajustados por fine-tuning em relação ao modelo-base
Como instalar mergekit?
Clone o repositório: git clone https://github.com/arcee-ai/mergekit.git Entre no diretório do projeto: cd mergekit Instale o pacote em modo editável: pip install -e . Execute um merge usando seu arquivo de configuração YAML: mergekit-yaml path/to/your/config.yml ./output-model-directory
Onde consigo mergekit?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/arcee-ai/mergekit

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados