Запускает модель Qwen3.8-Flash-Next с 125 млрд параметров на потребительском ПК с GPU NVIDIA или AMD и предоставляет совместимые с OpenAI и Anthropic API на localhost.
27,4 тыс.2,9 тыс.C++MITОбновлён позавчера
#openai-api
Отобранные репозитории GitHub по теме openai-api с описаниями от ИИ и ключевыми метриками.
Запускает модель Qwen3.8-Flash-Next с 125 млрд параметров на потребительском ПК с GPU NVIDIA или AMD и предоставляет совместимые с OpenAI и Anthropic API на localhost.
Библиотека Python выявляет сбои декодирования LLM — например, циклы повторов и смену языка на ходу, — чтобы отсечь некорректные токены до того, как их увидят пользователи.