대형 언어 모델을 레이어별로 실행해 양자화 없이도 70B급 모델을 단일 4GB GPU에서 추론할 수 있는 Python 라이브러리입니다.
3.9만4천Jupyter NotebookApache-2.0업데이트 16시간 전
#low-vram
“low-vram” 관련 오픈소스 프로젝트
low-vram 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#low-vram
low-vram 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.