Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.
39,5 тыс.4 тыс.Jupyter NotebookApache-2.0Обновлён вчера
#chinese-nlp
Отобранные репозитории GitHub по теме chinese-nlp с описаниями от ИИ и ключевыми метриками.
Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.