一个 9B 参数的开源多模态大模型,面向视觉理解、空间推理、智能体工具调用和具身智能研究。
- Star
- 20,477
- Fork
- 2,179
- 未关闭 Issue
- 166
- 最近提交
- 8天前
这是什么?
gpt-oss 是 OpenAI 的开放权重模型系列,目前提供两个版本:gpt-oss-120b 可在单张 80GB GPU 上运行,适合高推理强度的通用场景;gpt-oss-20b 延迟更低,适合本地或特定场景,可在 16GB 内存内运行。两个模型都基于 harmony 响应格式训练,需配合该格式使用。权重托管在 Hugging Face,采用 Apache 2.0 许可证。
仓库包含 PyTorch、Triton(单卡,支持 MXFP4 MoE 内核)和 Metal(Apple Silicon)三套参考推理实现,并提供终端聊天程序、Responses API 示例服务器,以及模型训练时使用的浏览器和 Python 工具。模型也可通过 vLLM、Ollama、LM Studio 和 Transformers 运行。
PyTorch 与 Metal 实现主要用于学习和实验,并非面向生产;浏览器和 Python 工具只是示例,正式部署前需要自行加入安全防护。
核心功能
- 01提供 120B 与 20B 两个开放权重模型,分别面向单卡 80GB GPU 和 16GB 内存环境。
- 02推理强度可在 low、medium、high 之间调节。
- 03支持函数调用、浏览器与 Python 工具调用及结构化输出。
- 04MoE 权重采用 MXFP4 量化,其余张量使用 BF16。
- 05可与 Transformers、vLLM、Ollama 及 LM Studio 配合使用。
适用场景
- 在单张高显存 GPU 上部署具备较强推理能力的模型。
- 通过 Ollama 或 LM Studio 在消费级硬件上本地运行较小模型。
- 构建调用函数、浏览网页或执行 Python 的智能体。
- 基于开放权重对模型进行领域微调。
快速上手
- 1
从 PyPI 安装 gpt-oss 工具
pip install gpt-oss - 2
从下载页面安装 Ollama
- 3
使用 Ollama 拉取并运行 gpt-oss-20b 模型
ollama pull gpt-oss:20b
使用前须知
- 参考 PyTorch 实现效率低下,至少需要 4 块 H100 GPU。
- 参考 Triton 实现需要从源码构建 Triton,并且需要 CUDA GPU。
- 参考实现预计不用于生产环境。
- 参考实现尚未在 Windows 上测试。
标签
常见问题
- gpt-oss 是什么?
- OpenAI 发布的开放权重语言模型 gpt-oss-120b 与 gpt-oss-20b,附带参考推理、工具和客户端代码。 gpt-oss 是 OpenAI 的开放权重模型系列,目前提供两个版本:gpt-oss-120b 可在单张 80GB GPU 上运行,适合高推理强度的通用场景;gpt-oss-20b 延迟更低,适合本地或特定场景,可在 16GB 内存内运行。两个模型都基于 harmony 响应格式训练,需配合该格式使用。权重托管在 Hugging Face,采用 Apache 2.0 许可证。
- gpt-oss 可以免费使用吗?用的什么许可证?
- gpt-oss 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- gpt-oss 还在维护吗?
- 活跃维护中。gpt-oss 最近一次提交是在 2026年10月12日。
- gpt-oss 适合用来做什么?
- 在单张高显存 GPU 上部署具备较强推理能力的模型。 通过 Ollama 或 LM Studio 在消费级硬件上本地运行较小模型。 构建调用函数、浏览网页或执行 Python 的智能体。 基于开放权重对模型进行领域微调。
- gpt-oss 怎么安装和运行?
- 从 PyPI 安装 gpt-oss 工具: pip install gpt-oss 从下载页面安装 Ollama 使用 Ollama 拉取并运行 gpt-oss-20b 模型: ollama pull gpt-oss:20b
- 在哪里获取 gpt-oss?
- 源代码和安装说明在 GitHub 上:https://github.com/openai/gpt-oss
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
面向文本、视觉、音频和多模态的前沿机器学习模型定义框架,可用于推理和训练。
一个极简、易于修改的 LLM 训练框架,覆盖分词、预训练、微调、评估到对话推理全流程,可在单台 GPU 节点上运行。
面向大模型分布式训练与推理的深度学习优化库,提升效率并降低使用门槛。
FlashAttention 官方实现,一种节省显存的精确注意力计算内核,用于 GPU 上 Transformer 模型的训练与推理。
verl 是一个用于大语言模型后训练的开源强化学习训练库,基于 HybridFlow 论文实现。