LLM をローカルで動かす：2026年のおすすめ

ディスクから選択されたエキスパートを読み込み、一般的なハードウェアで超大規模MoEモデルを動かす純C推論エンジン。

LLMとグラフベースのパイプラインを使い、自然言語の指示からWebサイトやローカル文書の構造化データを抽出するPythonライブラリ。

macOSとWindowsで録音・リアルタイム文字起こし・要約を行う、ローカル優先のオープンソースAI会議アシスタント。

OpenAI CodexやClaude Codeを、Claude、Gemini、Grok、DeepSeek、Ollamaなど任意のLLMプロバイダーで動かせるローカルプロキシ。

GPUとCPUメモリに処理を分散し、DeepSeek-V4やQwen3.6などの大規模オープンウェイトモデルをコンシューマー向けGPUで動かす、エッジネイティブなMoEサービングエンジン。

テキストからフル楽曲を生成し、カバーや部分修正、ステム分離もできるオープンソースのローカル音楽生成モデル。

単一のYAML設定でLLMをファインチューニング・追加学習するCLIツール。レイヤーストリーミングにより4 GB GPUで8Bモデルを学習可能。

ローカルまたはクラウドのLLMで複数段階の調査を行い、Webや学術データベース、自分の文書を検索するセルフホスト型AIリサーチアシスタント。

ハードウェアに合わせてカーネルを調整し、オープンモデルを最速で実行するオープンソースの推論エンジン。

SSDからエキスパートをストリーミングし、約2 GBのメモリでApple Silicon Mac上のGemma 4 26B-A4Bを実行するSwift/Metalランタイム。

画面領域や画像、PDFからテキストを読み取り、クリップボードやエディターにコピーできる完全オンデバイス動作のWindows OCRツール。

フレームワークを使わず、node-llama-cppでローカルLLMを利用してAIエージェントを一から構築する実践型チュートリアルシリーズ。

EmbeddingGemma 2を使い、写真やPDF、文書、音声、動画、コードを意味で検索できるオンデバイスのデスクトップアプリ。

LangGraphを使った、階層型インデックス、会話メモリ、クエリの明確化を備えるモジュール式Agentic RAGチュートリアル。

MLXベースのAnthropic APIサーバーを使い、クラウドモデルやAPIキーなしでApple Silicon Mac上のオープンモデルをClaude Codeから利用できます。

自然言語で指定したページから、OpenAIやGeminiなどを使って構造化データを抽出するStreamlit製スクレイパー。

OCRとOllamaホストのLLMを使い、PDF・画像・Office文書をMarkdownや構造化JSONに変換するセルフホスト型API。PII除去にも対応。

自分のハードウェアでLLMを動かすためのプラットフォーム、推論エンジン、UI、モデル、ツール、チュートリアルを集めた厳選リスト。

クリック可能な引用と、任意で完全ローカルのモデルを使って、PDFやZoteroライブラリ全体と対話できるZoteroプラグイン。

ローカルまたはリモートのLLMでファイルを分類し、変更前に確認できるクロスプラットフォーム対応のデスクトップアプリ。

macOSとWindowsで動く、TTS・音声クローン・AI楽曲生成を完全オフラインで行えるオープンソースの音声・音楽制作スタジオ。

ローカルLLMを使い、クラウドAPIなしでRAGを一から学べるJavaScriptチュートリアル

AIによる履歴書レビューや求人マッチング、自動求人検索、AIエージェント向けMCPサーバーを備えたセルフホスト型の求職管理ツール。

ローカルで大規模言語モデルを実行するためのプラットフォーム、ツール、モデル、チュートリアルをまとめた厳選リスト。

コーディングエディタ向けに、ChatGPTなどのブラウザーセッションやBYOK・ローカルモデルへプロンプトを振り分けるローカルMCPサーバー。

USB-C接続したiPhoneで、Mac上のローカル27B Qwenモデルのprefillを高速化し、コンテキストを拡張します。

オープンな楽曲生成モデルYuE2向けのWindowsデスクトップスタジオ。ローカルのNVIDIA GPUでボーカル付き楽曲を生成し、ABC譜の編集やカバー、同一条件での再レンダリングが可能。

Spark-X2.5は、ローカルやオンデバイス環境でのエージェント型コーディングとツール利用を想定したオープンウェイト言語モデルシリーズです。

PDF、Officeファイル、スキャン、スクリーンショット、図を、独自のOpenAI互換ビジョンモデルでMarkdownに変換します。

ローカルまたはリモートのモデルでUIタスクを計画・実行する、Androidとコンピューター操作向けの自律型フレームワーク。

選択したテキストの近くに表示され、変換・スクリプト・ショートカット・計算・AI機能を使えるmacOSアプリ。

Ollamaを使ってすべて自分のマシン上で動作し、小規模モデルの段階的な回答を知識グラフとして保存するローカル推論ツール。

オンデバイスAIモデルを使い、自然な言葉でフォルダ内の写真や動画の場面を検索できる、ローカルファーストのmacOSアプリ。

AIコーディングエージェントが図やプレビューを表示し、視覚的に確認できるElectron製アプリ

ローカルファーストのAIオフィスアシスタント。1つの依頼から編集可能なPPTX、DOCX、XLSX、HTMLを生成します。

Apple Silicon上でMLXを使い、1枚の画像に対する回答候補をスコアリングする小規模な学習用プロジェクト。

ClickHouseを基盤にSQLでデータを探索・クエリできる、LLM連携とWebモードにも対応したTauri製デスクトップアプリ。

Qwen3.5を端末上で実行し、ページ上の要素から操作を選ぶローカルファーストのブラウザー自動化エンジン兼Agent Skill。

アカウント不要で、手元のマシン上で校正・書き換え・書式設定ができるローカルファーストのデスクトップ執筆アシスタントです。

Ollamaを使い、YouTubeライブ配信にリアルタイムの英中翻訳字幕を表示するChrome拡張機能とローカルPythonサービス。