「sglang」に関するオープンソースプロジェクト

Rust製のエンジン非依存LLMゲートウェイ。OpenAIおよびAnthropic互換のトラフィックを、自前の推論エンジンやクラウドモデルプロバイダーへルーティングします。