DeepSeek-V4.1-Flash-1017（EXL3 2.9 bpw）を2台のNVIDIA DGX Sparksで配信し、1Mトークンのコンテキストに対応したOpenAI互換APIを提供するレシピ。
13421ShellApache-2.0更新 12 時間前
#exllama
「exllama」に関するオープンソースプロジェクト
exllama に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
#exllama
exllama に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
DeepSeek-V4.1-Flash-1017（EXL3 2.9 bpw）を2台のNVIDIA DGX Sparksで配信し、1Mトークンのコンテキストに対応したOpenAI互換APIを提供するレシピ。