Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.
39,5 тыс.4 тыс.Jupyter NotebookApache-2.0Обновлён вчера
#chinese-llm
Open source проекты по теме «chinese-llm»
Отобранные репозитории GitHub по теме chinese-llm с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий