algorithmicsuperintelligence/optillm

これは何？

主な機能

• 01OpenAI互換のチャット補完エンドポイントとして、そのまま導入できます。
• 02モデル名のプレフィックスやリクエストフィールドで、MoA、MCTS、best-of-N、CePOなどの手法を選択できます。
• 03`&`演算子と`|`演算子を使って、手法を連結または並列実行できます。
• 04LiteLLM経由で、OpenAI、Azure、Cerebrasを含む100以上のプロバイダーにリクエストを振り分けます。
• 05MCPツール、PIIプライバシー保護、URL読み込み、コード実行の各プラグインを利用できます。
• 06HuggingFaceモデルとLoRAアダプター用のローカル推論サーバーを備えています。

ユースケース

• ファインチューニングせずに、低コストなモデルの数学やコーディングの精度を高める。
• ベースURLを変更するだけで、既存アプリに推論時の追加計算を導入する。
• LLMアプリケーションをMCPサーバーに接続し、ツールやファイルを利用する。
• 複数サンプルを使った推論手法で、ローカルのllama.cppやOllamaモデルを実行する。

クイックスタート

1. 1

   PyPIからOptiLLMをインストールする

   pip install optillm
2. 2

   OpenAI APIキーを設定してサーバーを起動する

   export OPENAI_API_KEY="your-key-here" && optillm
3. 3

   任意のOpenAIクライアントの接続先をhttp://localhost:8000/v1に設定し、Mixture of Agentsを使うにはモデル名の先頭にmoa-を付ける

使う前に知っておきたいこと

• !改善には追加の推論計算が必要なため、リクエストの処理が遅くなり、コストも増える場合があります。
• !一部の手法ではローカルモデルや特定のプロバイダーが必要です。また、READMEに記載されたベンチマークの向上幅は、特定のモデルやタスクで測定されたものです。

収録されている特集

トピック

よくある質問

optillm とは？

学習なしでMoA、MCTS、best-of-Nなどの推論時技術を適用し、LLMの推論を強化するOpenAI API互換プロキシ。 OptiLLMは、アプリケーションとOpenAI互換のLLMエンドポイントの間に配置する推論プロキシです。クライアントから通常のチャット補完リクエストをOptiLLMに送ると、複数の候補のサンプリングやプランの探索、回答の検証など、推論時に追加の計算を行ってから応答を返します。モデルの学習やファインチューニングは必要ありません。

optillm は無料で使えますか？ライセンスは？

optillm は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

optillm は今もメンテナンスされていますか？

活発にメンテナンス中。optillm の最終コミットは 2026年11月2日 です。

optillm は何に使えますか？

ファインチューニングせずに、低コストなモデルの数学やコーディングの精度を高める。 ベースURLを変更するだけで、既存アプリに推論時の追加計算を導入する。 LLMアプリケーションをMCPサーバーに接続し、ツールやファイルを利用する。 複数サンプルを使った推論手法で、ローカルのllama.cppやOllamaモデルを実行する。

optillm のインストール方法は？

PyPIからOptiLLMをインストールする: pip install optillm OpenAI APIキーを設定してサーバーを起動する: export OPENAI_API_KEY="your-key-here" && optillm 任意のOpenAIクライアントの接続先をhttp://localhost:8000/v1に設定し、Mixture of Agentsを使うにはモデル名の先頭にmoa-を付ける

optillm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/algorithmicsuperintelligence/optillm