「openvino」に関するオープンソースプロジェクト

OpenVINOで最適化した生成AIモデルや従来型のディープラーニングモデルを、OpenAI互換APIとKServe APIで提供するC++推論サーバーです。

量子化、プルーニング、スパース化でニューラルネットワークを圧縮し、OpenVINO、PyTorch、ONNXでの推論を高速化するPythonフレームワーク。