Repolode
Enviar
ggml-org

ggml-org/ggml

Biblioteca de tensores em C/C++ puro para machine learning, simples, portátil e eficiente, com configuração mínima.

Ver no GitHubSite
Estrelas
15,591
Forks
1,920
Issues abertas
380
Último commit
há 3 dias

O que é?

ggml é uma biblioteca de tensores para machine learning, escrita em C e C++ puro e sem dependências externas. Ela oferece os componentes de baixo nível para executar modelos de ML, incluindo operações com tensores e um grafo computacional, e foi projetada para ser fácil de integrar a outros programas.

A biblioteca atende a uma ampla variedade de hardwares. Ela compila em x86, ARM, RISC-V, LoongArch, PowerPC, s390x e WebAssembly, inclui kernels otimizados com SIMD para x86, ARM e RISC-V e oferece backends para CPU, GPU, NPU e navegadores. Também oferece quantização de inteiros de 2 a 8 bits, além dos formatos de microscaling MXFP4 e NVFP4, e não faz alocações de memória em tempo de execução.

O repositório inclui um exemplo mínimo e comentado de multiplicação de matrizes em examples/simple e documenta o formato de arquivo GGUF. As alterações na biblioteca principal, incluindo no sistema de build CMake, são feitas por meio do projeto llama.cpp.

Recursos principais

  • 01Implementação em C/C++ puro, sem dependências externas
  • 02Kernels otimizados com SIMD para x86, ARM e RISC-V
  • 03Backends para CPU, GPU, NPU e navegadores
  • 04Quantização de inteiros de 2 a 8 bits, além dos formatos MXFP4 e NVFP4
  • 05Sem alocações de memória durante a execução

Casos de uso

  • Integrar inferência de ML a aplicações em C/C++ com uma pegada pequena
  • Executar cálculos com tensores em dispositivos de borda ou hardware embarcado
  • Criar runtimes para modelos quantizados em CPUs e aceleradores
  • Executar cargas de trabalho de ML em WebAssembly no navegador

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/ggml-org/ggml
  2. 2

    Acesse o diretório do projeto

    cd ggml
  3. 3

    Crie um diretório de build e configure com o CMake

    mkdir build && cd build cmake ..
  4. 4

    Compile a biblioteca no modo Release

    cmake --build . --config Release -j 8

Antes de usar

  • Inclui apenas a biblioteca principal, sem um runtime de modelos de alto nível; você precisa escrever seu próprio código usando a C API.
  • A compilação requer o CMake e um compilador de C/C++.

Tópicos

#tensor-library#c-plus-plus#quantization#inference#simd#wasm#edge-ai#machine-learning

Perguntas frequentes

O que é ggml?
Biblioteca de tensores em C/C++ puro para machine learning, simples, portátil e eficiente, com configuração mínima. ggml é uma biblioteca de tensores para machine learning, escrita em C e C++ puro e sem dependências externas. Ela oferece os componentes de baixo nível para executar modelos de ML, incluindo operações com tensores e um grafo computacional, e foi projetada para ser fácil de integrar a outros programas.
ggml é gratuito? Qual é a licença?
ggml é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
ggml ainda é mantido?
Manutenção ativa. O último commit de ggml foi em 4 de nov. de 2026.
Para que posso usar ggml?
Integrar inferência de ML a aplicações em C/C++ com uma pegada pequena Executar cálculos com tensores em dispositivos de borda ou hardware embarcado Criar runtimes para modelos quantizados em CPUs e aceleradores Executar cargas de trabalho de ML em WebAssembly no navegador
Como instalar ggml?
Clone o repositório: git clone https://github.com/ggml-org/ggml Acesse o diretório do projeto: cd ggml Crie um diretório de build e configure com o CMake: mkdir build && cd build cmake .. Compile a biblioteca no modo Release: cmake --build . --config Release -j 8
Onde consigo ggml?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ggml-org/ggml

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados