oobabooga/textgen

这是什么？

核心功能

• 01支持指令模式和角色对话模式，提示词通过 Jinja2 模板生成
• 02支持图片输入，以及 PDF、.docx 和文本文件附件
• 03支持 llama.cpp、Transformers、ExLlamaV3 等多种推理后端
• 04提供兼容 OpenAI 和 Anthropic 的 API，并支持工具调用
• 05工具可用自定义 Python 函数实现，也支持 MCP 服务器
• 06内置 LoRA 微调和基于 diffusers 的图像生成功能

适用场景

• 在个人电脑上私下运行 GGUF 格式的对话模型，数据不上传到云端
• 开发时把已有的 OpenAI 或 Anthropic 客户端代码指向本地模型
• 用本地支持视觉的模型对图片或文档进行问答
• 基于自有的对话或文本数据集训练 LoRA 适配器

快速上手

1. 1

   从发布页面下载适用于你操作系统的便携版

2. 2

   解压下载的文件，双击 textgen 打开应用窗口

3. 3

   将 GGUF 模型文件放入 user_data/models 文件夹，界面会自动识别

使用前须知

• !采用 AGPL-3.0 许可证，这是一种 copyleft 许可证，要求提供基于其修改的网络服务时公开源代码。
• !ExLlamaV3、Transformers 等其他后端以及训练和图像生成功能需要完整安装，约占用 10GB 磁盘空间并需下载 PyTorch。
• !便携版仅支持 GGUF（llama.cpp）模型。

标签

常见问题

textgen 是什么？

一款开源桌面应用，用于在本地运行大语言模型，提供聊天界面和兼容 OpenAI/Anthropic 的 API。 TextGen 是一款在本机运行大语言模型的桌面应用。它把聊天界面和 API 放在一起，同一个本地模型既可以通过界面使用，也可以被代码调用。便携版支持 Linux、Windows 和 macOS，提供 CUDA、Vulkan、ROCm 和纯 CPU 等选项，可通过 llama.cpp 加载 GGUF 模型；完整安装还支持 ExLlamaV3、Transformers 和 TensorRT-LLM 等后端。

textgen 可以免费使用吗？用的什么许可证？

textgen 以 AGPL-3.0 许可证开源。用于商业产品前，请先确认许可证条款。

textgen 还在维护吗？

半年内有更新。textgen 最近一次提交是在 2026年8月17日。

textgen 适合用来做什么？

在个人电脑上私下运行 GGUF 格式的对话模型，数据不上传到云端 开发时把已有的 OpenAI 或 Anthropic 客户端代码指向本地模型 用本地支持视觉的模型对图片或文档进行问答 基于自有的对话或文本数据集训练 LoRA 适配器

textgen 怎么安装和运行？

从发布页面下载适用于你操作系统的便携版 解压下载的文件，双击 textgen 打开应用窗口 将 GGUF 模型文件放入 user_data/models 文件夹，界面会自动识别

在哪里获取 textgen？

源代码和安装说明在 GitHub 上：https://github.com/oobabooga/textgen