arcee-ai/mergekit

Что это?

Ключевые возможности

• 01Множество методов слияния, включая linear, SLERP, TIES, DARE, DELLA и Model Stock
• 02Ленивая загрузка тензоров с запуском на CPU или GPU примерно с 8 ГБ видеопамяти
• 03Конфигурация через YAML с настройкой параметров отдельных тензоров
• 04Слияние путём стекирования слоёв (passthrough) и сборка mixture-of-experts
• 05Извлечение LoRA в виде адаптеров, совместимых с PEFT
• 06Согласование токенизаторов моделей с разными словарями

Сценарии использования

• Объединение нескольких дообученных чекпойнтов одной базовой модели в одну универсальную модель
• Создание экспериментальных frankenmerge-моделей путём стекирования слоёв разных моделей
• Подготовка черновых моделей для speculative decoding с помощью переноса токенизатора
• Извлечение LoRA-адаптеров из дообученных моделей относительно их базовых моделей

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/arcee-ai/mergekit.git
2. 2

   Перейдите в каталог проекта

   cd mergekit
3. 3

   Установите пакет в редактируемом режиме

   pip install -e .
4. 4

   Выполните слияние с файлом конфигурации YAML

   mergekit-yaml path/to/your/config.yml ./output-model-directory

Что важно знать

• !Распространяется по лицензии LGPL-3.0 — лицензии с авторским левом, условия которой распространяются и на изменения кода библиотеки.
• !В README описана только установка из исходного кода с помощью pip install -e .; способ установки опубликованного пакета не указан.

Темы

Частые вопросы

Что такое mergekit?

Набор инструментов для слияния предобученных больших языковых моделей путём комбинирования их весов разными алгоритмами на CPU или GPU. mergekit объединяет веса предобученных языковых моделей в одну без дополнительного обучения. Инструмент рассчитан на работу с данными, не помещающимися в память целиком: тензоры загружаются по требованию, поэтому сложные слияния можно выполнять на CPU или на GPU с объёмом видеопамяти всего 8 ГБ.

mergekit можно использовать бесплатно? Какая у него лицензия?

mergekit распространяется с открытым исходным кодом под лицензией LGPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

mergekit всё ещё поддерживается?

Активно поддерживается. Последний коммит в mergekit — 31 окт. 2026 г..

Для чего можно использовать mergekit?

Объединение нескольких дообученных чекпойнтов одной базовой модели в одну универсальную модель Создание экспериментальных frankenmerge-моделей путём стекирования слоёв разных моделей Подготовка черновых моделей для speculative decoding с помощью переноса токенизатора Извлечение LoRA-адаптеров из дообученных моделей относительно их базовых моделей

Как установить mergekit?

Клонируйте репозиторий: git clone https://github.com/arcee-ai/mergekit.git Перейдите в каталог проекта: cd mergekit Установите пакет в редактируемом режиме: pip install -e . Выполните слияние с файлом конфигурации YAML: mergekit-yaml path/to/your/config.yml ./output-model-directory

Где скачать mergekit?

Исходный код и инструкции по установке — на GitHub: https://github.com/arcee-ai/mergekit