mosecorg/mosec

这是什么？

核心功能

• 01动态批处理，按最大批大小或等待时间聚合并发请求。
• 02多阶段流水线，将 CPU 与 GPU 任务分配到不同进程。
• 03网络层使用 Rust 实现，worker 用纯 Python 编写。
• 04支持模型预热、优雅关闭和 Prometheus 指标，便于生产部署。
• 05自动生成已部署接口的 OpenAPI 文档。
• 06支持 msgpack 与 JSON 序列化，并可使用共享内存 IPC。

适用场景

• 将 PyTorch 或 Stable Diffusion 模型以 HTTP API 形式提供服务，并进行 GPU 批量推理。
• 构建把预处理与模型推理拆分开的多阶段推理服务。
• 在 Kubernetes 容器中部署兼容 OpenAI 接口的 embedding 或 reranking 服务。

快速上手

1. 1

   从 PyPI 安装 mosec 包

   pip install -U mosec
2. 2

   安装 diffusers 和 transformers 前置依赖（仅稳定扩散示例需要）

   pip install --upgrade diffusers[torch] transformers
3. 3

   在项目根目录运行稳定扩散示例服务

   python examples/stable_diffusion/server.py --log-level debug --timeout 30000

使用前须知

• !通过 pip 安装仅支持 Linux 或 macOS。
• !需要 Python 3.7 或更高版本。

收录于专题

标签

常见问题

mosec 是什么？

基于 Rust 网络层与 Python 接口的机器学习模型服务框架，支持动态批处理和 CPU/GPU 流水线。 Mosec 是一个模型服务框架，用于把训练好的机器学习模型发布为在线 HTTP 服务。网络层和任务调度使用 Rust 实现，业务逻辑则用 Python 编写，同一份离线测试代码可以直接部署，无需针对某个 ML 框架另行改写。

mosec 可以免费使用吗？用的什么许可证？

mosec 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

mosec 还在维护吗？

活跃维护中。mosec 最近一次提交是在 2026年11月2日。

mosec 适合用来做什么？

将 PyTorch 或 Stable Diffusion 模型以 HTTP API 形式提供服务，并进行 GPU 批量推理。 构建把预处理与模型推理拆分开的多阶段推理服务。 在 Kubernetes 容器中部署兼容 OpenAI 接口的 embedding 或 reranking 服务。

mosec 怎么安装和运行？

从 PyPI 安装 mosec 包: pip install -U mosec 安装 diffusers 和 transformers 前置依赖（仅稳定扩散示例需要）: pip install --upgrade diffusers[torch] transformers 在项目根目录运行稳定扩散示例服务: python examples/stable_diffusion/server.py --log-level debug --timeout 30000

在哪里获取 mosec？

源代码和安装说明在 GitHub 上：https://github.com/mosecorg/mosec