Tencent / KsanaLLMGitHubOpenAI互換APIサーバーを備えた、高性能で使いやすいLLM推論・サービングエンジン。AI・機械学習#llm-inference#llm-serving#cuda#pagedattention#tensor-parallelism55246C++Other更新 2 か月前