simonw/llm

这是什么？

核心功能

• 01支持在命令行中运行提示词和交互式对话。
• 02将提示词和回复记录到 SQLite，便于之后检索和查看。
• 03生成并保存 embeddings，用于相似度搜索。
• 04基于 JSON schema 从文本中提取结构化数据。
• 05允许模型调用工具，并可附加图片、音频和视频等多模态输入。
• 06通过插件系统接入远程 API 和本地模型。

适用场景

• 在 shell 脚本中调用模型，或将文件内容直接管道传入提示词。
• 建立可搜索的本地大模型对话历史库。
• 在同一个界面中对比多个服务商的提示词效果。
• 从文档或图片中批量提取结构化记录。

快速上手

1. 1

   使用 pip 安装 LLM

   pip install llm
2. 2

   保存你的 OpenAI API 密钥

   llm keys set openai
3. 3

   使用默认模型运行一个提示词

   llm "Ten fun names for a pet pelican"

使用前须知

• !OpenAI、Gemini、Anthropic 等远程模型需要付费的 API 密钥。
• !要在本机运行模型，需要安装单独的插件以及 Ollama 等本地模型运行工具。

标签

常见问题

llm 是什么？

一个命令行工具和 Python 库，用于调用远程及本地部署的大语言模型运行提示词和对话。 LLM 是一个命令行工具和 Python 库，用于与 OpenAI、Anthropic Claude、Google Gemini、Mistral、DeepSeek 等大语言模型交互，也支持在本机运行的模型。通过插件可以接入更多服务商，例如用 Ollama 运行本地模型，或连接 LM Studio 等兼容 OpenAI 接口的端点。

llm 可以免费使用吗？用的什么许可证？

llm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

llm 还在维护吗？

活跃维护中。llm 最近一次提交是在 2026年10月18日。

llm 适合用来做什么？

在 shell 脚本中调用模型，或将文件内容直接管道传入提示词。 建立可搜索的本地大模型对话历史库。 在同一个界面中对比多个服务商的提示词效果。 从文档或图片中批量提取结构化记录。

llm 怎么安装和运行？

使用 pip 安装 LLM: pip install llm 保存你的 OpenAI API 密钥: llm keys set openai 使用默认模型运行一个提示词: llm "Ten fun names for a pet pelican"

在哪里获取 llm？

源代码和安装说明在 GitHub 上：https://github.com/simonw/llm