Open source проекты по теме «quantization»

CLI и TUI на Rust, которые определяют CPU, RAM и GPU и ранжируют открытые LLM по тому, насколько хорошо они будут работать на вашем компьютере.

Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.

CLI определяет GPU, CPU и RAM и ранжирует локальные LLM с HuggingFace, которые действительно запустятся на вашем оборудовании, по результатам бенчмарков, а не числу параметров.

Результаты запуска и бенчмарков DeepSeek-V4.1-Flash (552B MoE) на четырёх NVIDIA DGX Spark с TensorFold и vLLM, включая скрипты запуска и измерения.

Локальный движок инференса для запуска крупной модели Qwen3.8-Flash-Next на потребительских GPU NVIDIA или AMD в Windows и Linux, с API, совместимыми с OpenAI и Anthropic.

Нативный для edge-устройств движок для инференса MoE-моделей с открытыми весами, например DeepSeek-V4 и Qwen3.6, на потребительских GPU и CPU.

Минималистичный движок инференса LLM на C11 для запуска GGUF-моделей архитектуры LLaMA класса 1B на недорогих платах с примерно 45 МБ RAM и без зависимостей.

Открытые языковые модели общего назначения XHToken на 4B и 1.7B параметров для локального запуска и агентных сценариев с вызовом инструментов.