Библиотека Microsoft для Python сжимает промпты LLM и KV cache до 20 раз, удаляя несущественные токены и практически не теряя в качестве.
6,8 тыс.444PythonMITОбновлён в прошлом месяце
#inference-optimization
Open source проекты по теме «inference-optimization»
Отобранные репозитории GitHub по теме inference-optimization с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий