C++-сервер инференса для генеративных AI-моделей и классических моделей глубокого обучения, оптимизированных для OpenVINO, с поддержкой OpenAI-совместимых API и KServe.
952284C++Apache-2.0Обновлён 7 часов назад
#openvino
Open source проекты по теме «openvino»
Отобранные репозитории GitHub по теме openvino с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
Python-фреймворк для сжатия нейросетей с помощью квантования, прореживания и разреживания, ускоряющий инференс в OpenVINO, PyTorch и ONNX.
1,2 тыс.309PythonApache-2.0Обновлён позавчера