Osmantic/ODS

这是什么？

核心功能

• 01一条命令安装，自动识别 GPU 或 Apple Silicon 并按内存选择模型
• 02提供 Open WebUI 聊天界面，由 llama-server 进行本地推理
• 03控制面板可管理模型、服务、GPU 状态和扩展
• 04支持 Whisper 语音转文字与 Kokoro 文字转语音
• 05集成 n8n 工作流、Qdrant 向量检索和 SearXNG 网络搜索
• 06扩展机制配合 ods 命令行，可启用、禁用和管理服务

适用场景

• 在家中搭建私人聊天和文档助手，无需云端 API 订阅
• 在工作站或家庭实验室中搭建本地 AI，对自有文件做 RAG 检索
• 构建语音和工作流自动化，数据留在本机
• 使用 ComfyUI 在本地生成图像，提示词不发送到托管服务

快速上手

1. 1

   安装并启动 Docker（Linux 或 macOS）

2. 2

   运行 README 中的官方安装脚本（Linux 或 macOS）

3. 3

   在 Windows 上，于普通 PowerShell 窗口中运行 README 中的 PowerShell 安装代码块

使用前须知

• !这是 V3 预发布版，安装的是未签名的 main 分支，可能频繁变动。
• !Windows 安装需要 WSL2、Docker Desktop，并且至少约 40 GB 可用磁盘空间。
• !Linux 下的 Intel Arc 支持处于实验阶段，且与硬件相关。
• !云端模式依赖 OpenAI、Anthropic 或 Together 等外部 API 服务。

收录于专题

标签

常见问题

ODS 是什么？

在 PC、Mac 或 Linux 上一键部署私有本地 AI 服务器，集成聊天、语音、RAG、工作流和图像生成。 ODS（Osmantic Deployment System）负责安装并串联在本机运行 AI 模型所需的各个组件，包括基于 llama-server 的本地推理、Open WebUI 聊天界面、控制面板、用于语音的 Whisper 和 Kokoro、n8n 工作流、基于 Qdrant 的 RAG、SearXNG 搜索以及用于图像生成的 ComfyUI。一条安装命令即可识别显卡或 Apple Silicon 芯片，按可用内存选择合适的模型，生成凭据，并通过 Docker 启动各项服务。

ODS 可以免费使用吗？用的什么许可证？

ODS 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

ODS 还在维护吗？

活跃维护中。ODS 最近一次提交是在 2026年11月6日。

ODS 适合用来做什么？

在家中搭建私人聊天和文档助手，无需云端 API 订阅 在工作站或家庭实验室中搭建本地 AI，对自有文件做 RAG 检索 构建语音和工作流自动化，数据留在本机 使用 ComfyUI 在本地生成图像，提示词不发送到托管服务

ODS 怎么安装和运行？

安装并启动 Docker（Linux 或 macOS） 运行 README 中的官方安装脚本（Linux 或 macOS） 在 Windows 上，于普通 PowerShell 窗口中运行 README 中的 PowerShell 安装代码块

在哪里获取 ODS？

源代码和安装说明在 GitHub 上：https://github.com/Osmantic/ODS