複数のGPUやノードにわたってvLLM、SGLang、TensorRT-LLMを統合する、データセンター規模の分散推論サービングフレームワーク。
83821755RustOther更新 6 時間前
#disaggregated-serving
disaggregated-serving に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
複数のGPUやノードにわたってvLLM、SGLang、TensorRT-LLMを統合する、データセンター規模の分散推論サービングフレームワーク。