在本地或云端运行和管理 Gemma、Qwen、DeepSeek 等开源大模型的工具，提供命令行和 REST API。
18.4万1.8万GoMIT更新于 13小时前
RightNow-AI/picolm
一个纯 C 编写的轻量 LLM 推理引擎，可在树莓派等低成本开发板上以约 45MB 内存运行 GGUF 格式的小型模型。
- Star
- 2,210
- Fork
- 286
- 未关闭 Issue
- 23
- 最近提交
- 8个月前
这是什么？
PicoLM 是一个从零实现的 LLM 推理引擎，用约 2500 行纯 C11 代码编写，没有任何外部依赖。它可以加载 GGUF 格式的 LLaMA 架构模型（如 TinyLlama 1.1B），目标运行环境包括树莓派 Zero 2W、树莓派 3/4/5、RISC-V 开发板，以及 x86-64 的 Linux、Windows 和 macOS 机器。
模型文件以内存映射方式读取，而不是整体载入内存，由操作系统按层调页。在 2048 上下文、FP16 KV 缓存的配置下，运行时内存约 45MB，可执行文件约 80KB。推理支持 Q2_K 至 Q8_0 等量化权重以及 F16、F32，并利用 ARM NEON 和 x86 SSE2 SIMD 指令，矩阵乘法通过 pthread 多线程并行执行。
程序可从标准输入读取提示词。`--json` 模式通过掩码约束输出，保证结果为合法 JSON，适合工具调用；`--cache` 选项可保存提示词状态，重复运行时跳过预填充阶段。PicoLM 设计上可作为 PicoClaw 智能体的本地模型后端，也可作为独立命令行工具使用。
核心功能
- 01直接读取 GGUF v2/v3 模型文件，无需转换
- 02支持 Q2_K 至 Q8_0 量化以及 F16、F32 权重
- 03通过内存映射读取权重，运行时只占用部分模型内存
- 04提供 `--json` 语法约束模式，输出合法 JSON
- 05支持 `--cache` 保存 KV 缓存，跳过重复的提示词预填充
- 06可在 ARM、x86-64 和 RISC-V 上构建，支持 Linux、Windows 和 macOS
适用场景
- 在树莓派或类似开发板上运行离线小型聊天助手
- 在低功耗设备上实现带有保证 JSON 输出的本地工具调用
- 在 RISC-V 或其他嵌入式硬件上研究 LLM 推理
- 作为 PicoClaw 智能体的本地模型后端
快速上手
- 1
从源码在本机编译
make native - 2
下载 TinyLlama 模型（638 MB）
make model - 3
运行一次测试生成
./picolm /opt/picolm/models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf -p "The meaning of life is" -n 100
使用前须知
- 仅支持 GGUF 格式的 LLaMA 架构模型，例如 TinyLlama 1.1B。
- 在低成本开发板上生成速度较慢，按 README 约为每秒 1 到 10 个 token。
- README 中的构建和安装步骤主要面向 Linux、树莓派和 Windows（MSVC）。
标签
常见问题
- picolm 是什么？
- 一个纯 C 编写的轻量 LLM 推理引擎，可在树莓派等低成本开发板上以约 45MB 内存运行 GGUF 格式的小型模型。 PicoLM 是一个从零实现的 LLM 推理引擎，用约 2500 行纯 C11 代码编写，没有任何外部依赖。它可以加载 GGUF 格式的 LLaMA 架构模型（如 TinyLlama 1.1B），目标运行环境包括树莓派 Zero 2W、树莓派 3/4/5、RISC-V 开发板，以及 x86-64 的 Linux、Windows 和 macOS 机器。
- picolm 可以免费使用吗？用的什么许可证？
- picolm 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
- picolm 还在维护吗？
- 超过半年未提交。picolm 最近一次提交是在 2026年2月22日。
- picolm 适合用来做什么？
- 在树莓派或类似开发板上运行离线小型聊天助手 在低功耗设备上实现带有保证 JSON 输出的本地工具调用 在 RISC-V 或其他嵌入式硬件上研究 LLM 推理 作为 PicoClaw 智能体的本地模型后端
- picolm 怎么安装和运行？
- 从源码在本机编译: make native 下载 TinyLlama 模型（638 MB）: make model 运行一次测试生成: ./picolm /opt/picolm/models/tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf -p "The meaning of life is" -n 100
- 在哪里获取 picolm？
- 源代码和安装说明在 GitHub 上：https://github.com/RightNow-AI/picolm
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
在消费级 NVIDIA 或 AMD 显卡电脑上运行 Qwen3.8-Flash-Next 大模型，并提供本地 OpenAI/Anthropic 兼容接口。
2.7万2899C++MIT更新于 前天
为 Claude Code、Codex 等 AI 编程代理提供规划、测试、审查、记忆与复用技能的 agent 增强系统。
28.3万4.2万JavaScriptMIT更新于 3小时前
一款开源的 AI 编程代理，可在终端中使用，也提供桌面应用版本。
21.7万2.9万TypeScriptMIT更新于 36分钟前
一套提示词，让 AI 编程助手只写任务所需的最少代码，并能审查和审计仓库中的过度设计与风险代码。
16.7万9083JavaScriptMIT更新于 昨天
把代码、文档、SQL 结构和 PDF 转成可查询知识图谱，供 Claude Code、Cursor 等 AI 编程助手使用。
12.9万1.2万PythonApache-2.0更新于 3天前