开源推理引擎,针对你的硬件自动调优内核,让开源模型在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上运行更快。
7186494RustApache-2.0更新于 11小时前
2 个替代品
想找 Ollama 的免费开源替代?下面这 2 个项目都能替代它。每个都通过了质量筛选,并用大白话讲清楚,Star、许可证、维护状态一眼对比。
| 项目 | Star | 许可证 | 最近提交 |
|---|---|---|---|
| magnitudedev/magnitude | ★ 7186 | Apache-2.0 | 11小时前 |
| ggml-org/Llama-macOS | ★ 1652 | MIT | 昨天 |
开源推理引擎,针对你的硬件自动调优内核,让开源模型在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上运行更快。
一款 macOS 菜单栏应用,用于在本机运行大语言模型,基于 llama.cpp 构建,提供本地 API 服务和内置 WebUI。