「quantization」に関するオープンソースプロジェクト

一般向けのNVIDIAまたはAMD GPU搭載PCで125BパラメーターのQwen3.8-Flash-Nextを実行し、localhostでOpenAI・Anthropic互換APIを公開します。

GPUとCPUメモリに処理を分散し、DeepSeek-V4やQwen3.6などの大規模オープンウェイトモデルをコンシューマー向けGPUで動かす、エッジネイティブなMoEサービングエンジン。

Raspberry Piなどの低価格ボードで、約45MBのRAMを使って1BクラスのLLaMAアーキテクチャGGUFモデルを動かす、最小構成のC11製LLM推論エンジン。