vllm-project / speculatorsGitHubvLLM推論エンジンに直接デプロイできる、speculative decoding用ドラフトモデルを学習するPythonライブラリです。AI・機械学習#speculative-decoding#llm-inference#vllm#draft-model#model-training920+2 今週271PythonApache-2.0更新 昨日