Repolode
Enviar
ridgerchu

ridgerchu/matmulfreellm

Implementación de código abierto de modelos de lenguaje sin MatMul, que sustituyen las multiplicaciones de matrices por pesos ternarios y operaciones aditivas, compatible con Hugging Face Transformers.

Ver en GitHub
Estrellas
3,101
Forks
204
Issues abiertos
25
Último commit
hace 2 meses

¿Qué es?

MatMul-Free LM es una arquitectura de modelos de lenguaje que elimina las operaciones de multiplicación de matrices (MatMul) del modelo para reducir el costo computacional de los modelos de lenguaje grandes. Este repositorio ofrece una implementación en PyTorch integrada con la biblioteca Hugging Face Transformers, de modo que los modelos se pueden inicializar mediante AutoModel y usar con las API estándar de generación.

El proyecto incluye checkpoints preentrenados de 370M, 1.3B y 2.7B de parámetros; los modelos de 370M y 1.3B se entrenaron con 15B y 100B de tokens, respectivamente. Los kernels están escritos en Triton y el paquete depende de PyTorch 2.0 o posterior y de einops. El código está adaptado de flash-linear-attention y corresponde al artículo Scalable MatMul-free Language Modeling (arXiv 2406.02528).

Funciones clave

  • 01Arquitectura de modelos de lenguaje sin operaciones de multiplicación de matrices
  • 02Compatible con las API AutoModel y generate de Hugging Face
  • 03Modelos preentrenados disponibles con 370M, 1.3B y 2.7B de parámetros
  • 04Kernels de Triton basados en el código de flash-linear-attention
  • 05Se instala directamente desde el repositorio de GitHub

Casos de uso

  • Investigación de arquitecturas eficientes de modelos de lenguaje sin MatMul
  • Experimentación con LLM de pesos ternarios en GPU mediante las herramientas de Transformers
  • Preentrenamiento o ajuste fino de modelos sin MatMul con datos propios
  • Exploración de hardware neuromórfico o de bajo costo computacional para LLM

Inicio rápido

  1. 1

    Instala las dependencias necesarias: PyTorch 2.0 o posterior, Triton 2.2 o posterior y einops

  2. 2

    Instala la biblioteca directamente desde GitHub

    pip install -U git+https://github.com/ridgerchu/matmulfreellm

Antes de usarlo

  • El ejemplo de generación incluido requiere una GPU CUDA, ya que llama a .cuda() y .half().
  • Depende de Triton, que añade un conjunto considerable de dependencias específicas de GPU.

Temas

#large-language-model#llm#transformers#triton#pytorch#efficient-inference#ternary-weights#linear-transformer

Preguntas frecuentes

¿Qué es matmulfreellm?
Implementación de código abierto de modelos de lenguaje sin MatMul, que sustituyen las multiplicaciones de matrices por pesos ternarios y operaciones aditivas, compatible con Hugging Face Transformers. MatMul-Free LM es una arquitectura de modelos de lenguaje que elimina las operaciones de multiplicación de matrices (MatMul) del modelo para reducir el costo computacional de los modelos de lenguaje grandes. Este repositorio ofrece una implementación en PyTorch integrada con la biblioteca Hugging Face Transformers, de modo que los modelos se pueden inicializar mediante AutoModel y usar con las API estándar de generación.
¿matmulfreellm es gratuito? ¿Qué licencia tiene?
matmulfreellm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿matmulfreellm sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de matmulfreellm fue el 6 sept 2026.
¿Para qué puedo usar matmulfreellm?
Investigación de arquitecturas eficientes de modelos de lenguaje sin MatMul Experimentación con LLM de pesos ternarios en GPU mediante las herramientas de Transformers Preentrenamiento o ajuste fino de modelos sin MatMul con datos propios Exploración de hardware neuromórfico o de bajo costo computacional para LLM
¿Cómo se instala matmulfreellm?
Instala las dependencias necesarias: PyTorch 2.0 o posterior, Triton 2.2 o posterior y einops Instala la biblioteca directamente desde GitHub: pip install -U git+https://github.com/ridgerchu/matmulfreellm
¿Dónde consigo matmulfreellm?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ridgerchu/matmulfreellm

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados