jasonacox/TinyLLM

这是什么？

核心功能

• 01通过 Ollama、vLLM 或 llama-cpp-python 运行本地大模型，并提供兼容 OpenAI 的 API。
• 02提供类 ChatGPT 的网页聊天界面，支持多会话和对话历史。
• 03可总结聊天中粘贴的网页和 PDF 内容。
• 04通过聊天命令获取新闻头条、股票价格和天气。
• 05支持基于向量数据库的检索增强（RAG）查询。
• 06提供 Ollama 配置，使模型常驻内存、避免反复加载。

适用场景

• 在家用显卡或 Apple Silicon Mac 上运行私有聊天机器人，数据不必发送到云端 API。
• 在显存有限的硬件上试验量化后的开源模型。
• 通过向量数据库让本地聊天界面检索自己的文档。

快速上手

1. 1

   克隆项目仓库

   git clone https://github.com/jasonacox/TinyLLM.git
2. 2

   使用 README 中的 docker run 命令启动 Ollama 服务器容器

3. 3

   在容器中下载并试运行 llama3 模型

   docker exec -it ollama ollama run llama3

使用前须知

• !硬件要求仅支持 Ubuntu Linux 或 macOS。
• !Ollama 服务器一次只能处理一个会话或提示。
• !快速的 Ollama 设置假定使用 Docker 和 NVIDIA GPU，而 vLLM 需要显存更大的 GPU。

收录于专题

标签

常见问题

TinyLLM 是什么？

在消费级硬件上搭建本地小型大模型，并提供类 ChatGPT 网页聊天界面的部署指南与项目。 TinyLLM 是一个在小型本地机器上运行大语言模型的部署指南与网页聊天机器人项目。它介绍了如何用 Ollama、vLLM 或 llama-cpp-python 启动推理服务，这些服务都提供兼容 OpenAI 的 API，之后可以把类 ChatGPT 的聊天界面接到该接口上。

TinyLLM 可以免费使用吗？用的什么许可证？

TinyLLM 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

TinyLLM 还在维护吗？

活跃维护中。TinyLLM 最近一次提交是在 2026年10月25日。

TinyLLM 适合用来做什么？

在家用显卡或 Apple Silicon Mac 上运行私有聊天机器人，数据不必发送到云端 API。 在显存有限的硬件上试验量化后的开源模型。 通过向量数据库让本地聊天界面检索自己的文档。

TinyLLM 怎么安装和运行？

克隆项目仓库: git clone https://github.com/jasonacox/TinyLLM.git 使用 README 中的 docker run 命令启动 Ollama 服务器容器 在容器中下载并试运行 llama3 模型: docker exec -it ollama ollama run llama3

在哪里获取 TinyLLM？

源代码和安装说明在 GitHub 上：https://github.com/jasonacox/TinyLLM