Высокопроизводительный и простой в использовании движок для инференса и обслуживания LLM с API-сервером, совместимым с OpenAI.
55246C++OtherОбновлён 2 месяца назад
#pagedattention
Open source проекты по теме «pagedattention»
Отобранные репозитории GitHub по теме pagedattention с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий