“quantization” 관련 오픈소스 프로젝트

CPU 추론 속도에 초점을 둔 llama.cpp 포크로, 로컬에서 GGUF LLM을 실행하기 위한 추가 양자화 형식과 기능을 제공합니다.

저VRAM 추론과 학습을 지원하는 이미지·비디오·오디오 생성용 오픈소스 Diffusion 모델 엔진입니다.

CTranslate2 추론 엔진에서 실행되는 OpenAI Whisper 음성 인식 모델의 고속 재구현으로, 메모리 사용량을 줄이고 8비트 양자화를 지원합니다.

OpenAI 호환 API로 대규모 언어 모델을 빠르고 메모리 효율적으로 실행하고 서빙하는 라이브러리 및 서버입니다.

다양한 하드웨어 백엔드에서 대규모 언어·비전 언어 모델을 로컬이나 클라우드에서 실행하는 순수 C/C++ LLM 추론 엔진입니다.

llama.cpp 기반의 1-bit(ternary, 1.58-bit) 대규모 언어 모델용 Microsoft 공식 CPU/GPU 추론 프레임워크입니다.

CPU, RAM, GPU를 감지한 뒤 내 시스템에서 실행하기 적합한 오픈 LLM을 순위로 보여주는 Rust CLI 및 TUI입니다.

대형 언어 모델을 레이어별로 실행해 양자화 없이도 70B급 모델을 단일 4GB GPU에서 추론할 수 있는 Python 라이브러리입니다.

GPU, CPU, RAM을 감지하고 매개변수 수가 아닌 벤치마크를 기준으로 실제 하드웨어에서 실행 가능한 HuggingFace 로컬 LLM의 순위를 매기는 CLI입니다.

12 GB 및 8 GB NVIDIA GPU에서 262k 컨텍스트로 1.58비트 Ternary Bonsai 2 27B 모델을 실행하는 런처와 패치된 llama.cpp 구성입니다.

12GB RTX 4070에서 Mirai S 27B(Qwen3.8-27B GGUF)를 262k 토큰 전체 컨텍스트와 q8_0 K/V 캐시로 서빙하는 설정입니다.

TensorFold와 vLLM으로 NVIDIA DGX Spark 4대에서 DeepSeek-V4.1-Flash(552B)를 서빙하고 벤치마크한 기록으로, 실행 스크립트와 측정 결과를 제공합니다.

Windows 또는 Linux에서 일반 NVIDIA·AMD GPU로 대형 Qwen3.8-Flash-Next 모델을 실행하는 로컬 추론 엔진

소비자용 GPU와 CPU에서 DeepSeek-V4, Qwen3.6 같은 대형 오픈 웨이트 모델을 실행하는 엣지 네이티브 MoE 서빙 엔진입니다.

의존성 없이 저가형 보드에서 RAM 약 45MB로 10억 매개변수급 LLaMA 아키텍처 GGUF 모델을 실행하는 최소 구성 C11 LLM 추론 엔진입니다.

온디바이스 및 에이전트 도구 호출 워크플로를 위한 XHToken의 오픈 웨이트 4B·1.7B 범용 언어 모델