ai-dynamo / dynamoGitHub複数のGPUやノードにわたってvLLM、SGLang、TensorRT-LLMを統合する、データセンター規模の分散推論サービングフレームワーク。AI・機械学習#llm-inference#distributed-systems#kubernetes#disaggregated-serving#kv-cache83821755RustOther更新 7 時間前