“local-inference” 相关开源项目

在消费级 NVIDIA 或 AMD 显卡电脑上运行 Qwen3.8-Flash-Next 大模型，并提供本地 OpenAI/Anthropic 兼容接口。

基于节点图的扩散模型图形界面、API 与后端，可本地生成图像、视频、音频和 3D 内容。

社区维护的免费 AI 模型、API 与工具清单，涵盖免费额度服务、开源权重模型和本地推理工具。

超轻量端侧文本转语音模型，80M 参数，支持流式输出，32kHz 音质，可在 CPU、CUDA 和 MPS 上运行。