Repolode
Enviar
ridgerchu

ridgerchu/matmulfreellm

Implementação open source de modelos de linguagem sem MatMul, que substituem multiplicações de matrizes por pesos ternários e operações de adição, compatível com Hugging Face Transformers.

Ver no GitHub
Estrelas
3,101
Forks
204
Issues abertas
25
Último commit
há 2 meses

O que é?

MatMul-Free LM é uma arquitetura de modelo de linguagem que remove as operações de multiplicação de matrizes (MatMul) do modelo para reduzir o custo computacional de modelos de linguagem grandes. Este repositório oferece uma implementação em PyTorch integrada à biblioteca Hugging Face Transformers, permitindo inicializar modelos com AutoModel e usar as APIs padrão de geração.

O projeto inclui checkpoints pré-treinados com 370M, 1.3B e 2.7B de parâmetros; os modelos de 370M e 1.3B foram treinados, respectivamente, com 15B e 100B tokens. Os kernels são escritos em Triton, e o pacote depende do PyTorch 2.0 ou posterior e do einops. O código foi adaptado do flash-linear-attention e corresponde ao artigo Scalable MatMul-free Language Modeling (arXiv 2406.02528).

Recursos principais

  • 01Arquitetura de modelo de linguagem sem operações de multiplicação de matrizes
  • 02Compatível com as APIs AutoModel e generate do Hugging Face
  • 03Modelos pré-treinados disponíveis com 370M, 1.3B e 2.7B de parâmetros
  • 04Kernels em Triton baseados no código do flash-linear-attention
  • 05Instalação direta pelo repositório do GitHub

Casos de uso

  • Pesquisa de arquiteturas eficientes de modelos de linguagem sem MatMul
  • Experimentação com LLMs de pesos ternários em GPUs usando as ferramentas do Transformers
  • Pré-treinamento ou ajuste fino de modelos sem MatMul com dados personalizados
  • Exploração de hardware neuromórfico ou com baixo poder computacional para LLMs

Início rápido

  1. 1

    Instale as dependências necessárias: PyTorch 2.0 ou posterior, Triton 2.2 ou posterior e einops

  2. 2

    Instale a biblioteca diretamente do GitHub

    pip install -U git+https://github.com/ridgerchu/matmulfreellm

Antes de usar

  • O exemplo de geração fornecido requer uma GPU CUDA, pois chama .cuda() e .half().
  • Depende do Triton, que adiciona uma pilha considerável de dependências específicas de GPU.

Tópicos

#large-language-model#llm#transformers#triton#pytorch#efficient-inference#ternary-weights#linear-transformer

Perguntas frequentes

O que é matmulfreellm?
Implementação open source de modelos de linguagem sem MatMul, que substituem multiplicações de matrizes por pesos ternários e operações de adição, compatível com Hugging Face Transformers. MatMul-Free LM é uma arquitetura de modelo de linguagem que remove as operações de multiplicação de matrizes (MatMul) do modelo para reduzir o custo computacional de modelos de linguagem grandes. Este repositório oferece uma implementação em PyTorch integrada à biblioteca Hugging Face Transformers, permitindo inicializar modelos com AutoModel e usar as APIs padrão de geração.
matmulfreellm é gratuito? Qual é a licença?
matmulfreellm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
matmulfreellm ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de matmulfreellm foi em 6 de set. de 2026.
Para que posso usar matmulfreellm?
Pesquisa de arquiteturas eficientes de modelos de linguagem sem MatMul Experimentação com LLMs de pesos ternários em GPUs usando as ferramentas do Transformers Pré-treinamento ou ajuste fino de modelos sem MatMul com dados personalizados Exploração de hardware neuromórfico ou com baixo poder computacional para LLMs
Como instalar matmulfreellm?
Instale as dependências necessárias: PyTorch 2.0 ou posterior, Triton 2.2 ou posterior e einops Instale a biblioteca diretamente do GitHub: pip install -U git+https://github.com/ridgerchu/matmulfreellm
Onde consigo matmulfreellm?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ridgerchu/matmulfreellm

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados