Projetos open source sobre “gguf”

Ferramenta de linha de comando e interface web em Go para baixar modelos e datasets do HuggingFace Hub com transferências paralelas e retomáveis.

Um mecanismo minimalista de inferência de LLM em C11 que executa modelos GGUF de arquitetura LLaMA da classe de 1B em placas de baixo custo, como Raspberry Pi, usando cerca de 45 MB de RAM.

Modelos multimodais nativos e open source que entendem imagens, geram imagens a partir de texto e editam imagens em uma única arquitetura unificada.

Ferramenta de CLI para ajustar e pós-treinar LLMs usando um único arquivo YAML, com streaming de camadas para treinar modelos de 8B em uma GPU de 4 GB.