containers/ramalama

这是什么？

核心功能

• 01根据主机 GPU 自动选择对应的加速容器镜像。
• 02支持从 Hugging Face、ModelScope、Ollama 和 OCI 镜像仓库拉取模型。
• 03可通过 REST API 或交互式聊天界面提供模型服务。
• 04在 rootless 容器中运行模型，模型只读挂载且默认无网络访问。
• 05提供模型转换为 OCI 镜像、性能测试和信息查看等命令。

适用场景

• 在本地运行开源大模型，无需手动安装 CUDA、ROCm 或推理运行时。
• 在本地通过 REST API 提供模型服务，用于应用开发。
• 用统一的命令体验来自多个仓库的模型。
• 在隔离容器中运行模型，降低对宿主机的影响。

快速上手

1. 1

   从 PyPI 安装 RamaLama

   pip install ramalama
2. 2

   使用 ramalama run 命令运行模型（需要已安装 Podman 或 Docker）

使用前须知

• !最好安装 Podman 或 Docker，因为模型运行在容器内。
• !使用 NVIDIA GPU 需要按项目文档进行额外的主机配置。
• !在 Windows 上需要配合启用 WSL2 的 Docker Desktop 或 Podman Desktop。

收录于专题

标签

常见问题

ramalama 是什么？

一款以容器方式在本地运行 AI 模型的开发工具，自动匹配 GPU 镜像并提供 REST API 或聊天服务。 RamaLama 是一个开源命令行工具，让你可以像管理容器一样从多个模型仓库拉取、运行和部署 AI 模型。它会检测主机上的 GPU，自动拉取匹配的加速容器镜像，无需手动在宿主机上配置驱动和运行环境。模型的管理方式与容器镜像相近，提供列出、拉取、检查、转换和基准测试等命令。

ramalama 可以免费使用吗？用的什么许可证？

ramalama 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

ramalama 还在维护吗？

活跃维护中。ramalama 最近一次提交是在 2026年11月6日。

ramalama 适合用来做什么？

在本地运行开源大模型，无需手动安装 CUDA、ROCm 或推理运行时。 在本地通过 REST API 提供模型服务，用于应用开发。 用统一的命令体验来自多个仓库的模型。 在隔离容器中运行模型，降低对宿主机的影响。

ramalama 怎么安装和运行？

从 PyPI 安装 RamaLama: pip install ramalama 使用 ramalama run 命令运行模型（需要已安装 Podman 或 Docker）

在哪里获取 ramalama？

源代码和安装说明在 GitHub 上：https://github.com/containers/ramalama