ridgerchu/matmulfreellm

Что это?

Ключевые возможности

• 01Архитектура языковой модели без операций матричного умножения
• 02Совместимость с API Hugging Face AutoModel и generate
• 03Предобученные модели на 370M, 1.3B и 2.7B параметров
• 04Ядра Triton на основе кода flash-linear-attention
• 05Установка напрямую из репозитория GitHub

Сценарии использования

• Исследование эффективных архитектур языковых моделей без MatMul
• Эксперименты с LLM на тернарных весах на GPU с использованием инструментов Transformers
• Предварительное обучение или дообучение моделей MatMul-free на собственных данных
• Изучение нейроморфных аппаратных платформ или платформ с ограниченными вычислительными ресурсами для LLM

Быстрый старт

1. 1

   Установите необходимые зависимости: PyTorch 2.0 или новее, Triton 2.2 или новее и einops

2. 2

   Установите библиотеку напрямую из GitHub

   pip install -U git+https://github.com/ridgerchu/matmulfreellm

Что важно знать

• !Для приведённого примера генерации нужна GPU с поддержкой CUDA, поскольку в нём вызываются .cuda() и .half().
• !Проект зависит от Triton, который добавляет довольно объёмный набор зависимостей для GPU.

Темы

Частые вопросы

Что такое matmulfreellm?

Открытая реализация языковых моделей MatMul-free: вместо матричных умножений используются тернарные веса и сложение; совместима с Hugging Face Transformers. MatMul-Free LM — это архитектура языковой модели, в которой отсутствуют операции матричного умножения (MatMul), что позволяет снизить вычислительные затраты на большие языковые модели. В репозитории представлена реализация на PyTorch, интегрируемая с библиотекой Hugging Face Transformers: модели можно инициализировать через AutoModel и использовать со стандартными API генерации.

matmulfreellm можно использовать бесплатно? Какая у него лицензия?

matmulfreellm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

matmulfreellm всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в matmulfreellm — 6 сент. 2026 г..

Для чего можно использовать matmulfreellm?

Исследование эффективных архитектур языковых моделей без MatMul Эксперименты с LLM на тернарных весах на GPU с использованием инструментов Transformers Предварительное обучение или дообучение моделей MatMul-free на собственных данных Изучение нейроморфных аппаратных платформ или платформ с ограниченными вычислительными ресурсами для LLM

Как установить matmulfreellm?

Установите необходимые зависимости: PyTorch 2.0 или новее, Triton 2.2 или новее и einops Установите библиотеку напрямую из GitHub: pip install -U git+https://github.com/ridgerchu/matmulfreellm

Где скачать matmulfreellm?

Исходный код и инструкции по установке — на GitHub: https://github.com/ridgerchu/matmulfreellm