Proyectos open source sobre «gguf»

Motor de inferencia nativo y especializado para ejecutar DeepSeek V4 Flash y otros modelos grandes seleccionados en hardware de consumo con Metal, CUDA y ROCm.

CLI y TUI en Rust que detecta tu CPU, RAM y GPU y clasifica los LLM de código abierto según qué tan bien funcionarán en tu equipo.

Configuración para servir Mirai S 27B (un Qwen3.8-27B GGUF) en una RTX 4070 de 12 GB, con una ventana completa de 262k tokens y caché K/V q8_0.

App de macOS en la barra de menús para ejecutar LLM locales con llama.cpp, un servidor API local y una WebUI integrada.

Herramienta de línea de comandos en Go e interfaz web para descargar modelos y datasets de HuggingFace Hub con conexiones paralelas y reanudación.

Motor mínimo de inferencia de LLM en C11 que ejecuta modelos GGUF de arquitectura LLaMA de clase 1B en placas económicas con unos 45 MB de RAM y sin dependencias.

Modelos multimodales unificados y nativos de código abierto de SenseNova que entienden imágenes, generan imágenes a partir de texto y editan imágenes con una sola arquitectura.

Herramienta CLI para ajustar y seguir entrenando LLM con una sola configuración YAML, con opciones para usar GPU de consumo con poca VRAM.