RightNow-AI/picolm

これは何？

主な機能

• 01GGUF v2/v3ファイルを直接読み込み、複数のK-quant形式とQ4/Q8形式に対応。
• 02モデルの重みをメモリマップし、RAMに一度に読み込むのは1層だけで済みます。
• 03文法制約付きJSONモードにより、構文的に有効なJSONを出力します。
• 04KV cacheの永続化により、繰り返し実行時のプロンプト処理を省略します。
• 05ARM NEONとx86 SSE2のSIMD、およびマルチスレッド行列乗算を利用します。
• 06Linux、Windows（MSVC）、macOSで、libc、libm、libpthreadのみを使ってビルドできます。

ユースケース

• Raspberry Piなどのシングルボードコンピューターで、小規模なオフラインチャットボットやアシスタントを動かす。
• リソースに制約のあるハードウェア上で、ローカルモデルからツール呼び出し用の構造化JSONを生成する。
• RISC-Vなどの組み込みターゲットでLLM推論を試す。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/rightnow-ai/picolm.git
2. 2

   プロジェクトディレクトリに移動する

   cd picolm/picolm
3. 3

   CPUの自動検出を有効にしてPicoLMをビルドする

   make native
4. 4

   モデルをダウンロードする

   make model

使う前に知っておきたいこと

• !モデルのダウンロードサイズは638 MBで、小型ボードでは生成速度が毎秒数トークンにとどまります。
• !1BクラスのLLaMAアーキテクチャのGGUFモデルを対象としているため、他のモデルファミリーは実行できません。

トピック

よくある質問

picolm とは？

依存関係なしで、約45MBのRAMを使う低価格ボード上で1BクラスのLLaMAアーキテクチャGGUFモデルを実行する、最小構成のC11製LLM推論エンジン。 PicoLMは、約2,500行のC11で一から実装された、外部依存関係のないLLM推論エンジンです。GGUFファイルを直接読み込み、TinyLlama 1.1BをはじめとするLLaMAアーキテクチャのモデルに対応しています。Raspberry PiやRISC-Vのボード、一般的なx86-64またはARMマシンでの動作を想定しています。

picolm は無料で使えますか？ライセンスは？

picolm は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

picolm は今もメンテナンスされていますか？

半年以上コミットなし。picolm の最終コミットは 2026年2月22日 です。

picolm は何に使えますか？

Raspberry Piなどのシングルボードコンピューターで、小規模なオフラインチャットボットやアシスタントを動かす。 リソースに制約のあるハードウェア上で、ローカルモデルからツール呼び出し用の構造化JSONを生成する。 RISC-Vなどの組み込みターゲットでLLM推論を試す。

picolm のインストール方法は？

リポジトリをクローンする: git clone https://github.com/rightnow-ai/picolm.git プロジェクトディレクトリに移動する: cd picolm/picolm CPUの自動検出を有効にしてPicoLMをビルドする: make native モデルをダウンロードする: make model

picolm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/RightNow-AI/picolm