JakeATX/llamAmpere

これは何？

主な機能

• 01Ampere世代のRTX 30シリーズカード、特にRTX 3090と3090 Tiを対象としています。
• 02組み込みMTPドラフトヘッドを使ってQwen3.8 27Bを実行し、生成を高速化します。
• 03200Kトークン以上のコンテキストに対応するKVキャッシュ量子化を提供します。
• 04Flash-NextのエキスパートをGPUとシステムRAMに分散します。
• 05llama-serverを通じてOpenAI互換のHTTPサーバーを提供します。

ユースケース

• RTX 3090 1枚で、長いコンテキストを扱うQwen3.8モデルをローカル実行する。
• 24 GBカード上で、コーディングツールやRAGツール向けにOpenAI互換のローカルエンドポイントを提供する。
• ドキュメントに記載されたメモリ設定を使い、12 GBの一般向けGPUで大きなコンテキストウィンドウを試す。

クイックスタート

1. 1

   llamAmpereをv0.6.2タグでクローンします

   git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git
2. 2

   フォルダーに移動し、RTX 30シリーズ（sm86）向けにCUDAビルドを設定します

   cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON
3. 3

   llama-serverバイナリをビルドします

   cmake --build build-sm86 -j8 --target llama-server
4. 4

   Swift 1.5 27Bモデルでサーバーを起動します（初回起動時にダウンロードされ、http://127.0.0.1:8080 でリッスンします）

   ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

使う前に知っておきたいこと

• !NVIDIA RTX 30シリーズ（Ampere）カード、主にRTX 3090向けにビルドおよび調整されているため、他のGPUは対象としていません。
• !クイックスタートには24 GBのカードとCUDA 12以降のツールキットが必要で、ソースからビルドします。
• !モデルファイルは非常に大きく、リリースノートによると、古いファイル形式は読み込めなくなっています。

収録されている特集

トピック

よくある質問

llamAmpere とは？

主にRTX 3090などのNVIDIA RTX 30シリーズAmpereカードで、Qwen3.8モデルをローカル実行するために調整されたllama.cppのフォーク。 llamAmpereは、自分のマシンで言語モデルを実行するオープンソースソフトウェアllama.cppのフォークです。NVIDIA RTX 30シリーズの「Ampere」グラフィックスカード向けに調整されており、主な対象はRTX 3090と3090 Tiです。Qwen3.8モデルに重点を置いており、生成を高速化するために複数トークン先を予測する組み込みMTPドラフトヘッドを備えた27Bモデルや、Flash-Nextバリアントに対応しています。

llamAmpere は無料で使えますか？ライセンスは？

llamAmpere は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llamAmpere は今もメンテナンスされていますか？

活発にメンテナンス中。llamAmpere の最終コミットは 2026年11月6日 です。

llamAmpere は何に使えますか？

RTX 3090 1枚で、長いコンテキストを扱うQwen3.8モデルをローカル実行する。 24 GBカード上で、コーディングツールやRAGツール向けにOpenAI互換のローカルエンドポイントを提供する。 ドキュメントに記載されたメモリ設定を使い、12 GBの一般向けGPUで大きなコンテキストウィンドウを試す。

llamAmpere のインストール方法は？

llamAmpereをv0.6.2タグでクローンします: git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git フォルダーに移動し、RTX 30シリーズ（sm86）向けにCUDAビルドを設定します: cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON llama-serverバイナリをビルドします: cmake --build build-sm86 -j8 --target llama-server Swift 1.5 27Bモデルでサーバーを起動します（初回起動時にダウンロードされ、http://127.0.0.1:8080 でリッスンします）: ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

llamAmpere はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/JakeATX/llamAmpere