Open source проекты по теме «gguf»

Go CLI и веб-интерфейс для загрузки моделей и датасетов с HuggingFace Hub с параллельной передачей и возможностью возобновления загрузки.

Минималистичный движок инференса LLM на C11, запускающий GGUF-модели архитектуры LLaMA класса 1B на недорогих платах вроде Raspberry Pi, используя около 45 МБ RAM.

Нативные мультимодальные модели с открытым исходным кодом для понимания изображений, генерации изображений по тексту и редактирования изображений в единой архитектуре.

CLI-инструмент для дообучения LLM по одному YAML-конфигу; потоковая загрузка слоёв позволяет обучать модели 8B на GPU с 4 ГБ памяти.