Un motor TypeScript que ejecuta inferencias de LLM íntegramente en el navegador con WebGPU y ofrece una API compatible con OpenAI.
19,3 mil1,4 milTypeScriptApache-2.0Actualizado hace 10 días
mlc-ai/mlc-llm
Un compilador de machine learning y motor de despliegue que ejecuta modelos de lenguaje grandes de forma nativa en GPU, navegadores y dispositivos móviles mediante API compatibles con OpenAI.
Alternativa open source a:OpenAI API
- Estrellas
- 23,261
- Forks
- 2,162
- Issues abiertos
- 359
- Último commit
- hace 15 días
¿Qué es?
MLC LLM es un compilador de machine learning y un motor de inferencia de alto rendimiento para modelos de lenguaje grandes. Busca que los desarrolladores puedan crear, optimizar y desplegar modelos de forma nativa en una amplia variedad de hardware, en lugar de depender de la infraestructura de un único proveedor.
El motor es compatible con GPU de AMD, NVIDIA, Apple e Intel en Linux, Windows y macOS mediante backends como Vulkan, ROCm, CUDA y Metal. También se ejecuta en navegadores web con WebGPU y WASM, en iOS y iPadOS mediante Metal, y en Android mediante OpenCL en GPU Adreno y Mali.
MLCEngine, el entorno de ejecución, ofrece una API compatible con OpenAI mediante un servidor REST y bindings para Python, JavaScript, iOS y Android; todos comparten el mismo compilador y motor.
Funciones clave
- 01Ejecuta LLM en GPU de NVIDIA, AMD, Apple e Intel mediante Vulkan, CUDA, ROCm y Metal.
- 02Ejecuta modelos en navegadores web con WebGPU y WASM.
- 03Ofrece compatibilidad para el despliegue en iOS y Android.
- 04Ofrece una API compatible con OpenAI mediante un servidor REST y Python y JavaScript.
- 05Se basa en un compilador de machine learning que optimiza los modelos para cada plataforma de destino.
Casos de uso
- Desplegar un LLM local en una laptop o estación de trabajo, independientemente del fabricante de la GPU.
- Ejecutar modelos de lenguaje directamente en una página web, sin un servidor backend.
- Incorporar funciones de LLM en el dispositivo en aplicaciones para iOS o Android.
- Sustituir las llamadas a la API de OpenAI por un endpoint autohospedado compatible con OpenAI.
Inicio rápido
- 1
Lee la guía oficial de inicio rápido e instalación
- 2
Sigue la documentación para empezar a usar MLC LLM
Antes de usarlo
- La instalación y configuración solo están documentadas en un sitio externo, no en el propio README.
- La compatibilidad depende del hardware; algunas combinaciones no están disponibles, como las GPU Intel en macOS o las GPU Apple en Linux y Windows.
Temas
Preguntas frecuentes
- ¿Qué es mlc-llm?
- Un compilador de machine learning y motor de despliegue que ejecuta modelos de lenguaje grandes de forma nativa en GPU, navegadores y dispositivos móviles mediante API compatibles con OpenAI. MLC LLM es un compilador de machine learning y un motor de inferencia de alto rendimiento para modelos de lenguaje grandes. Busca que los desarrolladores puedan crear, optimizar y desplegar modelos de forma nativa en una amplia variedad de hardware, en lugar de depender de la infraestructura de un único proveedor.
- ¿mlc-llm es gratuito? ¿Qué licencia tiene?
- mlc-llm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿mlc-llm sigue mantenido?
- Mantenimiento activo. El último commit de mlc-llm fue el 6 oct 2026.
- ¿Para qué puedo usar mlc-llm?
- Desplegar un LLM local en una laptop o estación de trabajo, independientemente del fabricante de la GPU. Ejecutar modelos de lenguaje directamente en una página web, sin un servidor backend. Incorporar funciones de LLM en el dispositivo en aplicaciones para iOS o Android. Sustituir las llamadas a la API de OpenAI por un endpoint autohospedado compatible con OpenAI.
- ¿Cómo se instala mlc-llm?
- Lee la guía oficial de inicio rápido e instalación Sigue la documentación para empezar a usar MLC LLM
- ¿Dónde consigo mlc-llm?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mlc-ai/mlc-llm
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware.
131,8 mil24,6 milC++MITActualizado ayer
Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado anteayer
Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado anteayer
SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,5 mil9,7 milPythonApache-2.0Actualizado ayer
MNN es un motor ligero de inferencia y entrenamiento de deep learning de Alibaba, diseñado para ejecutar modelos en dispositivos móviles e integrados, incluidos LLM en el dispositivo.
16,3 mil2,5 milC++Apache-2.0Actualizado hace 7 horas