Рецепт для запуска DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) на двух NVIDIA DGX Sparks с OpenAI-совместимым API и контекстом в 1 млн токенов.
13421ShellApache-2.0Обновлён 10 часов назад
#openai-compatible-api
Open source проекты по теме «openai-compatible-api»
Отобранные репозитории GitHub по теме openai-compatible-api с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
3 репозитория
Бесплатное приложение с открытым исходным кодом для запуска больших языковых моделей локально: чат-интерфейс и API, совместимый с OpenAI и Anthropic.
47,7 тыс.6 тыс.PythonAGPL-3.0Обновлён 2 месяца назад
Приложение для строки меню macOS, запускающее локальные LLM на базе llama.cpp и предоставляющее локальный API-сервер со встроенным WebUI.
1,7 тыс.130SwiftMITОбновлён позавчера