Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.
39,5 тыс.4 тыс.Jupyter NotebookApache-2.0Обновлён 22 часа назад
#low-vram
Open source проекты по теме «low-vram»
Отобранные репозитории GitHub по теме low-vram с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий