GPU 加速的 AI 训练与推理工具：2026 精选

端到端开源机器学习平台，提供 Python 和 C++ 接口，用于构建和部署 ML 模型。

基于节点图的扩散模型图形界面、API 与后端，可在本地生成图像、视频、音频和 3D 内容。

纯 C/C++ 实现的 LLM 推理引擎，可在本地或云端运行大语言模型与视觉语言模型，支持多种硬件后端。

一个高吞吐、低显存占用的大语言模型推理与服务引擎，提供兼容 OpenAI 的 API。

跨平台、基于 OpenGL 的 GPU 加速终端模拟器，标签页和分屏交给 tmux 等工具完成。

面向大模型分布式训练与推理的深度学习优化库，提升效率并降低使用门槛。

一个基于 C++、提供 Python 接口的稠密向量相似度搜索与聚类库，可选 GPU 加速。

Python 库，逐层加载大语言模型，让 70B 级模型可在单张 4GB 显卡上推理，无需量化。

SGLang 是一个开源推理框架，用于在多种 GPU、TPU、CPU 等硬件上部署大语言模型、视觉语言模型和扩散模型。

一个极简的深度学习框架，提供类 PyTorch 的 Tensor API、自动求导、编译器，并支持多种加速器后端。

面向机器人与具身智能的仿真平台，集成多物理引擎、写实渲染器与跨平台编译器，提供 Python 接口。

在家用 NVIDIA 或 AMD 显卡上本地运行大参数 Qwen3.8-Flash-Next 模型的推理引擎，提供兼容 OpenAI 与 Anthropic 的本地 API。

FlashAttention 官方实现，一种节省显存的精确注意力计算内核，用于 GPU 上 Transformer 模型的训练与推理。

面向大规模 Transformer 模型训练的 GPU 优化库与参考训练脚本，支持多维并行。

GPU.js 可将简单的 JavaScript 函数转译为 GPU 着色器代码，在浏览器和 Node.js 中加速计算，无 GPU 时回退到普通 JavaScript。

面向消费级硬件的边缘端 MoE 推理引擎，可在个人电脑上运行大型开源权重模型。

面向 LLM 推理的 KV 缓存管理层，可跨推理引擎存储、共享和复用缓存，降低首 token 延迟。

开源 CUDA 学习笔记与代码合集，包含 200 多个内核，涵盖 HGEMM、FP8/FP4 GEMM 与 Flash-Attention。

一个开源的 AI 计算管理系统，用统一接口在 Kubernetes、Slurm 和多家云上运行与扩展 AI 任务。

面向 NVIDIA GPU 的 CUDA C++ 模板库与 Python DSL，用于编写高性能矩阵乘法等线性代数内核。

面向 MoE 专家并行的 GPU 通信库，提供 dispatch 与 combine 所需的高吞吐、低延迟 all-to-all 内核。

利用相机或外部设备记录的陀螺仪数据对视频进行防抖的桌面应用。

DeepSeek 开源的离线推理框架，用于在 NVIDIA SM100 和华为昇腾 950 硬件上运行 DeepSeek-V4.1-Flash。

Windows 下编辑 NVIDIA 驱动配置文件的工具，可调整控制面板未开放的隐藏设置。

面向 NVIDIA GPU 的交互式终端监控工具，可查看设备与进程状态，并附带 CUDA 设备选择工具和 Python API。

一款命令行工具，自动检测 GPU、CPU 和内存，从 HuggingFace 上挑选真正能在你的机器上运行、且表现最好的本地大模型。

PyTorch 官方的端侧推理框架，用于在手机、笔记本、浏览器和微控制器上运行模型。

一个 Docker 镜像，运行无显示器的 Steam 客户端与桌面环境，可通过浏览器、Moonlight 或 Steam Link 远程串流游戏。

模块化的 Web 界面，用于 AI 图像、视频和音频生成，支持 Stable Diffusion、Flux、Wan 等模型。

基于 OpenGL/ES 的跨平台 C++ 图像与视频滤镜库，提供美颜等实时效果。

一款 GPU over IP 桥接工具，让无 GPU 的机器通过网络使用远程服务器上的 GPU。

开源的 GPU 算力编排控制平面，统一管理各类 GPU 云、Kubernetes 与本地集群上的训练和推理任务。

开源的无服务器 AI 运行时，支持 GPU 推理端点、沙箱和后台任务。

用 Rust 编写、GPU 渲染的终端，后台服务保持会话存活，支持 AI 编码代理与远程 SSH 工作。

无需 GPU 直通或共享文件系统，通过单个 TCP 端口调用远程 GPU 机器上的 ffmpeg 转码。

一门分周讲解的课程，教你用 FastRTC、Superlinked、Twilio 等搭建 AI 语音呼叫中心。

面向 NVIDIA GPU 与昆仑芯 XPU 的大模型训练框架，覆盖 LLM、VLM、扩散与具身模型。

在 12 GB 显存的 RTX 4070 上部署 Mirai S 27B 模型，支持完整 262k 上下文窗口。

输入文字提示，即可让带骨骼的 3D 角色表演对应动作，基于 fal 视频模型与 GVHMR 动作还原。