“inference” 相关开源项目

Kokoro-82M 文本转语音模型的 Python 推理库，模型参数量为 8200 万。

精选的本地运行大语言模型资源清单，涵盖推理平台、引擎、界面、模型与工具。

Python 库，可在 LLM 流式输出过程中检测重复循环、语言漂移等解码损坏，并在用户看到前截断。

一个纯 C 编写的轻量 LLM 推理引擎，可在树莓派等低成本开发板上以约 45MB 内存运行 GGUF 格式的小型模型。

精选的本地运行大语言模型工具、平台、模型与教程资源列表。

开源推理引擎，针对你的硬件调优计算内核，让各类开源模型运行得尽可能快。

通过动手实现来学习机器学习：基于 NumPy 从零搭建的深度学习框架（CLI）加上 350 多道浏览器内编程题。