Repolode
提交项目
mudler

mudler/LocalAI

自托管的 OpenAI 兼容 AI 引擎，可在任意硬件（含纯 CPU）上运行大模型、视觉、语音、图像和视频模型。

可替代:OpenAI API

在 GitHub 查看官网
Star
49,633
Fork
4,507
未关闭 Issue
202
最近提交
4小时前

这是什么？

LocalAI 是一个开源的 AI 引擎，用于在自有基础设施上部署和提供模型服务。它兼容 OpenAI、Anthropic 和 ElevenLabs 的 API，已有的客户端代码只需把地址指向本地服务即可使用。文本生成、视觉、语音识别与合成、图像和视频生成、Embedding、重排序以及目标检测都通过同一套 API 提供。

项目核心保持精简，每个后端封装 llama.cpp、vLLM、whisper.cpp、stable-diffusion 或 MLX 等推理引擎，仅在模型需要时以独立镜像按需拉取。硬件支持涵盖 NVIDIA CUDA、AMD ROCm、Intel oneAPI、Apple Silicon Metal、Vulkan，也可以纯 CPU 运行。

除推理外，LocalAI 还提供 API Key 认证、按用户配额、带工具调用和 RAG 的内置智能体、MCP 支持，以及基于 PostgreSQL 和 NATS 的分布式模式，用于横向扩展。

核心功能

  • 01提供兼容 OpenAI、Anthropic 和 ElevenLabs 的 API 接口
  • 02通过统一 API 运行大语言模型、视觉、语音、图像和视频模型
  • 03后端按需安装，只拉取模型所需的推理引擎
  • 04支持 NVIDIA、AMD、Intel、Apple Silicon、Vulkan 及纯 CPU
  • 05内置支持工具调用、RAG 和 MCP 的智能体
  • 06提供 API Key 认证、按用户配额和基于角色的权限，适合多用户部署

适用场景

  • 用自托管服务替代托管的 OpenAI 类 API，保护数据隐私
  • 在没有独立 GPU 的工作站或服务器上提供开源模型服务
  • 在本地组合语音识别、大模型和语音合成，搭建语音助手
  • 为团队搭建共享模型服务，并按用户设置配额和 API Key

标签

#llm#openai-compatible#self-hosted#inference#multimodal#rag#text-to-speech#image-generation#agents#ai

常见问题

LocalAI 是什么？
自托管的 OpenAI 兼容 AI 引擎，可在任意硬件（含纯 CPU）上运行大模型、视觉、语音、图像和视频模型。 LocalAI 是一个开源的 AI 引擎，用于在自有基础设施上部署和提供模型服务。它兼容 OpenAI、Anthropic 和 ElevenLabs 的 API，已有的客户端代码只需把地址指向本地服务即可使用。文本生成、视觉、语音识别与合成、图像和视频生成、Embedding、重排序以及目标检测都通过同一套 API 提供。
LocalAI 可以免费使用吗？用的什么许可证？
LocalAI 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
LocalAI 还在维护吗？
活跃维护中。LocalAI 最近一次提交是在 2026年10月19日。
LocalAI 适合用来做什么？
用自托管服务替代托管的 OpenAI 类 API，保护数据隐私 在没有独立 GPU 的工作站或服务器上提供开源模型服务 在本地组合语音识别、大模型和语音合成，搭建语音助手 为团队搭建共享模型服务，并按用户设置配额和 API Key
在哪里获取 LocalAI？
源代码和安装说明在 GitHub 上：https://github.com/mudler/LocalAI

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目