Слой управления KV-кэшем, который хранит, передаёт и повторно использует кэши внимания LLM между serving-движками, сокращая время до первого токена.
12,1 тыс.2,2 тыс.PythonApache-2.0Обновлён 6 часов назад
#amd
Open source проекты по теме «amd»
Отобранные репозитории GitHub по теме amd с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
Быстрая и эффективная по памяти библиотека и сервер для запуска и обслуживания больших языковых моделей через API, совместимый с OpenAI.
94,2 тыс.23,6 тыс.PythonApache-2.0Обновлён 7 часов назад