GPU で AI を学習・実行するツール：2026年のおすすめ

機械学習モデルの構築からデプロイまでを支える、Python APIとC++ APIを備えたオープンソースのエンドツーエンドプラットフォーム。

画像・動画・音声・3Dコンテンツをローカル生成するためのノードグラフGUI、API、バックエンド。

幅広いハードウェアバックエンドに対応し、LLMや視覚言語モデルをローカルまたはクラウドで実行する、純粋なC/C++製の推論エンジン。

OpenAI互換APIで大規模言語モデルを実行・提供する、高速でメモリ効率に優れたライブラリ兼サーバー。

tmuxなどにタブや分割を任せる、クロスプラットフォーム対応のGPUアクセラレーションOpenGL端末エミュレーター。

大規模モデルの分散学習と推論を、より簡単かつ効率的にする深層学習最適化ライブラリ。

密ベクトルの類似検索とクラスタリングを効率化する、PythonバインディングとオプションのGPUアクセラレーションを備えたC++ライブラリ。

量子化なしで、レイヤー単位に大規模言語モデルを実行し、70Bクラスのモデルを4GB GPU 1枚で推論できるPythonライブラリ。

SGLangは、多様なGPU、TPU、CPU環境で大規模言語モデル、ビジョン言語モデル、拡散モデルを提供するオープンソース推論フレームワークです。

PyTorch風のテンソルAPI、autograd、コンパイラを備え、多数のアクセラレータバックエンドに対応する最小構成のディープラーニングフレームワーク。

マルチフィジックスエンジン、フォトリアルなレンダラー、クロスプラットフォームコンパイラーをPythonインターフェースで統合した、ロボティクスと身体性AI向けシミュレーションプラットフォーム。

WindowsやLinuxで、一般向けNVIDIA・AMD GPU上に大規模なQwen3.8-Flash-Nextモデルを実行するローカル推論エンジン。OpenAI・Anthropic互換APIに対応。

GPU上でTransformerモデルを学習・推論するための、メモリ効率に優れた厳密なattentionカーネルFlashAttentionの公式実装。

多次元並列処理で大規模Transformerモデルを学習するための、GPU向け最適化ライブラリと学習用リファレンススクリプト。

GPU.jsはシンプルなJavaScript関数をGPUシェーダーコードに変換し、ブラウザやNode.jsでGPU上で実行します。GPUが使えない場合は通常のJavaScriptにフォールバックします。

コンシューマー向けGPUやCPUでDeepSeek-V4やQwen3.6などの大規模なオープンウェイトモデルを動かす、エッジネイティブなMoE推論エンジン。

LLM推論エンジン間でattentionのKVキャッシュを保存・共有・再利用し、time-to-first-tokenを短縮する管理レイヤー。

HGEMM、FP8/FP4 GEMM、Flash-Attentionを網羅する200以上のカーネルを収録した、最新のCUDA学習ノートとコードのオープンソース書籍。

Kubernetes、Slurm、20以上のクラウドやGPUプロバイダーで、AIワークロードの実行・管理・スケールを一元的に行えるオープンソースシステム。

NVIDIA GPU向けの高性能GEMMや関連する線形代数カーネルを記述するための、CUDA C++テンプレートライブラリとPython DSL。

学習と推論に向けた、FP8 dispatchとNVLink/RDMAに対応するexpert-parallel MoE向けGPU通信ライブラリ。

カメラや外部センサーで記録したジャイロデータを使って動画を手ブレ補正するデスクトップアプリ。

DeepSeekが開発するオープンソースのオフライン推論フレームワーク。NVIDIA SM100とHuawei Ascend 950でDeepSeek-V4.1-Flashを実行できます。

NVIDIA Control Panelには表示されない隠し設定も含め、NVIDIAドライバープロファイルを表示・編集できるWindows用ツール。

GPUやプロセスごとの状態を表示するNVIDIA GPU向け対話型ターミナルモニター。CLIでのデバイス選択とPython APIも備える。

GPU、CPU、RAMを検出し、パラメータ数ではなくベンチマークに基づいて、実際にハードウェア上で動作するHuggingFaceのローカルLLMを順位付けするCLIです。

PyTorchのオンデバイス推論スタック。エクスポートしたモデルをスマートフォン、ノートPC、ブラウザ、マイクロコントローラーで実行できます。

デスクトップ環境付きのSteamクライアントをヘッドレスで実行し、ブラウザ、Moonlight、Steam Linkにゲームを配信するDockerイメージ。

Stable Diffusion、Flux、Wanなどに対応し、ComfyUIワークフロータブも備えた、AI画像・動画・音声生成向けのモジュール式Web UI。

OpenGL/ESで動作する、ビューティー機能と顔認識ベースのエフェクトを備えたクロスプラットフォームC++画像・動画フィルターライブラリ。

ネットワーク経由で、CPUのみのマシンからリモートサーバー上のCUDA GPUを利用できるGPU over IPブリッジ。

GPUクラウド、Kubernetes、VM、オンプレミスのクラスターにまたがって、学習・推論向けのGPUコンピューティングをプロビジョニング、オーケストレーションするオープンソースのコントロールプレーン。

サーバーレスAIワークロード向けのオープンソースGo・Pythonランタイム。GPU推論エンドポイント、サンドボックス、バックグラウンドタスクに対応。

Rust製のGPU描画ターミナルエミュレーター。エージェント対応セッションとSSHリモート作業を備え、ウィンドウを閉じてもシェルやペインを維持

GPUパススルーや共有ファイルシステムを使わず、任意のクライアントからTCPポート1つでリモートGPUマシン上のffmpegを実行できます。

FastRTC、Superlinked、Twilio、Opik、RunpodでAI音声コールセンターを構築する週ごとの講座。

Megatron-LMとtorch-nativeバックエンドを基盤に、NVIDIA GPUとKunlun XPUでLLM、VLM、拡散モデル、身体性モデルを学習するためのフレームワーク。

12 GBのRTX 4070で、262kトークンのコンテキストウィンドウとq8_0 K/V cacheを使ってMirai S 27B（Qwen3.8-27B GGUF）をサービングする構成です。

テキストで動きを指示すると、falの動画モデル、GVHMRによるポーズ復元、Mixamoへのリターゲットを使って、その動きを演じるリグ付き3Dキャラクターを生成します。