Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado ayer
#chinese-llm
Repositorios de GitHub seleccionados relacionados con chinese-llm, con resúmenes de IA y métricas clave.
Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.