Um mecanismo TypeScript que executa inferência de LLM inteiramente no navegador com WebGPU e oferece uma API compatível com a OpenAI.
19,3 mil1,4 milTypeScriptApache-2.0Atualizado há 10 dias
mlc-ai/mlc-llm
Um compilador de machine learning e mecanismo de implantação que executa modelos de linguagem grandes em GPUs, navegadores e dispositivos móveis, com APIs compatíveis com a OpenAI.
Alternativa open source a:OpenAI API
- Estrelas
- 23,261
- Forks
- 2,162
- Issues abertas
- 359
- Último commit
- há 15 dias
O que é?
O MLC LLM é um compilador de machine learning e um mecanismo de inferência de alto desempenho para modelos de linguagem grandes. O objetivo é permitir que desenvolvedores criem, otimizem e implantem modelos nativamente em uma ampla variedade de hardwares, sem depender da stack de um único fornecedor.
O mecanismo oferece suporte a GPUs AMD, NVIDIA, Apple e Intel no Linux, Windows e macOS, usando backends como Vulkan, ROCm, CUDA e Metal. Também funciona em navegadores com WebGPU e WASM, no iOS e iPadOS com Metal e no Android com OpenCL em GPUs Adreno e Mali.
O MLCEngine, runtime do projeto, disponibiliza uma API compatível com a OpenAI por meio de um servidor REST e bindings para Python, JavaScript, iOS e Android, todos usando o mesmo compilador e mecanismo.
Recursos principais
- 01Executa LLMs em GPUs NVIDIA, AMD, Apple e Intel por meio de Vulkan, CUDA, ROCm e Metal.
- 02Executa modelos em navegadores com WebGPU e WASM.
- 03Oferece suporte à implantação em iOS e Android.
- 04Disponibiliza uma API compatível com a OpenAI por meio de um servidor REST, Python e JavaScript.
- 05É baseado em um compilador de machine learning que otimiza modelos para cada plataforma de destino.
Casos de uso
- Implantar um LLM local em um laptop ou workstation, independentemente do fabricante da GPU.
- Executar modelos de linguagem diretamente em uma página da web, sem um servidor de backend.
- Incluir recursos de LLM no dispositivo em aplicativos para iOS ou Android.
- Substituir chamadas à API da OpenAI por um endpoint próprio, compatível com a OpenAI.
Início rápido
- 1
Leia o guia oficial de início rápido e instalação
- 2
Siga a documentação para começar a usar o MLC LLM
Antes de usar
- A instalação e a configuração estão documentadas apenas em um site externo, não no próprio README.
- O suporte às plataformas varia conforme o hardware. Algumas combinações não estão disponíveis, como GPUs Intel no macOS ou GPUs Apple no Linux e no Windows.
Tópicos
Perguntas frequentes
- O que é mlc-llm?
- Um compilador de machine learning e mecanismo de implantação que executa modelos de linguagem grandes em GPUs, navegadores e dispositivos móveis, com APIs compatíveis com a OpenAI. O MLC LLM é um compilador de machine learning e um mecanismo de inferência de alto desempenho para modelos de linguagem grandes. O objetivo é permitir que desenvolvedores criem, otimizem e implantem modelos nativamente em uma ampla variedade de hardwares, sem depender da stack de um único fornecedor.
- mlc-llm é gratuito? Qual é a licença?
- mlc-llm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- mlc-llm ainda é mantido?
- Manutenção ativa. O último commit de mlc-llm foi em 6 de out. de 2026.
- Para que posso usar mlc-llm?
- Implantar um LLM local em um laptop ou workstation, independentemente do fabricante da GPU. Executar modelos de linguagem diretamente em uma página da web, sem um servidor de backend. Incluir recursos de LLM no dispositivo em aplicativos para iOS ou Android. Substituir chamadas à API da OpenAI por um endpoint próprio, compatível com a OpenAI.
- Como instalar mlc-llm?
- Leia o guia oficial de início rápido e instalação Siga a documentação para começar a usar o MLC LLM
- Onde consigo mlc-llm?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mlc-ai/mlc-llm
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
131,8 mil24,6 milC++MITAtualizado ontem
Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
43,2 mil5 milPythonApache-2.0Atualizado anteontem
Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização.
39,5 mil4 milJupyter NotebookApache-2.0Atualizado anteontem
SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.
37,5 mil9,7 milPythonApache-2.0Atualizado ontem
MNN é um mecanismo leve de inferência e treinamento de deep learning da Alibaba, criado para executar modelos em dispositivos móveis e embarcados, incluindo LLMs no próprio dispositivo.
16,3 mil2,5 milC++Apache-2.0Atualizado há 7 horas