Библиотека Microsoft для Python сжимает промпты LLM и KV cache до 20 раз, удаляя несущественные токены и практически не теряя в качестве.
6,8 тыс.444PythonMITОбновлён в прошлом месяце
#prompt-compression
Open source проекты по теме «prompt-compression»
Отобранные репозитории GitHub по теме prompt-compression с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
Бинарный файл на Rust, который детерминированно сжимает промпты coding-агентов и вывод инструментов, сохраняя возможность при необходимости получить удалённые данные.
216RustMITОбновлён 20 часов назад