josStorer/RWKV-Runner

これは何？

主な機能

• 01RWKVモデルをワンクリックで起動・管理でき、依存関係も自動でインストール。
• 02既存のChatGPTクライアントで利用できるOpenAI API互換エンドポイント。
• 03複数段階のVRAM設定をプリセットで用意し、AMDおよびIntel GPU向けにWebGPUモードも提供。
• 04チャット、補完、文章作成用のインターフェースと、モデル変換ツールを内蔵。
• 05フロントエンドとバックエンドを個別にデプロイでき、サーバー側でWebUIを使う構成にも対応。

ユースケース

• Python環境を手動でセットアップせずに、RWKVモデルをローカルで実行する。
• 既存のOpenAI互換ツールやチャットクライアントから、自前でホストしたモデルを利用する。
• バックエンドをサーバーにデプロイし、デスクトップアプリをクライアントとして使う。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/josStorer/RWKV-Runner
2. 2

   プロジェクトディレクトリに移動する

   cd RWKV-Runner
3. 3

   バックエンドの推論サービスを起動する（その後、/switch-model API 経由でモデルを読み込む）

   python ./backend-python/main.py

使う前に知っておきたいこと

• !Windows Defender が実行ファイルをウイルスとして検出し、手動で信頼する例外設定が必要になる場合があります。
• !LoRA のファインチューニングは Windows でのみ利用できます。
• !大規模な RWKV モデルの実行には、十分な VRAM または互換性のある GPU 環境が必要です。

トピック

よくある質問

RWKV-Runner とは？

RWKVの大規模言語モデルのダウンロード、起動、管理を自動化し、OpenAI互換APIを提供するデスクトップツール。 RWKV Runnerは、オープンソースの大規模言語モデルRWKVを管理・起動する軽量ツールです。最小限のセットアップでモデルのダウンロード、変換、読み込みを行えるため、Python環境や依存関係を手動で設定する必要はありません。メインプログラムは数MBの小さな実行ファイルです。

RWKV-Runner は無料で使えますか？ライセンスは？

RWKV-Runner は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

RWKV-Runner は今もメンテナンスされていますか？

半年以内に更新あり。RWKV-Runner の最終コミットは 2026年9月4日 です。

RWKV-Runner は何に使えますか？

Python環境を手動でセットアップせずに、RWKVモデルをローカルで実行する。 既存のOpenAI互換ツールやチャットクライアントから、自前でホストしたモデルを利用する。 バックエンドをサーバーにデプロイし、デスクトップアプリをクライアントとして使う。

RWKV-Runner のインストール方法は？

リポジトリをクローンする: git clone https://github.com/josStorer/RWKV-Runner プロジェクトディレクトリに移動する: cd RWKV-Runner バックエンドの推論サービスを起動する（その後、/switch-model API 経由でモデルを読み込む）: python ./backend-python/main.py

RWKV-Runner はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/josStorer/RWKV-Runner