BerriAI/litellm

これは何？

主な機能

• 01OpenAIのリクエスト形式を使って100以上のLLMプロバイダーを呼び出せる。
• 02仮想キーとプロジェクトごとの利用額追跡に対応したセルフホスト型プロキシ。
• 03複数のデプロイ先にまたがるロードバランシング、リトライ、フォールバックルーティング。
• 04可観測性を支えるガードレールとログ用コールバック。
• 05ゲートウェイ経由でA2AエージェントやMCPサーバーに接続できる。

ユースケース

• ユーザーごとのキーと予算を設定し、複数のLLMプロバイダー向けにチーム共通の内部エンドポイントを用意する。
• API呼び出しを書き換えずに、アプリケーションコードでOpenAIとAnthropicのモデルを切り替える。
• 提供されているTerraformモジュールを使って、AWSまたはGCPにLLMゲートウェイをデプロイする。

クイックスタート

1. 1

   uvでLiteLLMプロキシサーバーをインストールします

   uv tool install 'litellm[proxy]'
2. 2

   モデルを指定してプロキシを起動し、http://0.0.0.0:4000 にリクエストを送信します

   litellm --model gpt-4o

使う前に知っておきたいこと

• !ライセンスが明確に特定されていません（メタデータにはNOASSERTIONと表示されています）。使用前にライセンス条項を確認してください。
• !各プロバイダーを呼び出すには、それぞれのAPIキーが必要です。
• !エンタープライズプランなど、案内されている機能の一部はオープンソースプロジェクトとは別に提供されています。

トピック

よくある質問

litellm とは？

100以上のLLMプロバイダーを、OpenAI形式の単一インターフェースで呼び出せるオープンソースのAI GatewayとPython SDK。 LiteLLMを使うと、OpenAI、Anthropic、Gemini、Bedrock、Azure、Vertex AIなど、多数のLLMプロバイダーを単一のOpenAI互換インターフェース経由で呼び出せます。アプリケーションコードからPythonライブラリとして利用するほか、チームや組織向けの集中ゲートウェイとなるセルフホスト型プロキシサーバーとしてデプロイすることもできます。

litellm は無料で使えますか？ライセンスは？

litellm は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

litellm は今もメンテナンスされていますか？

活発にメンテナンス中。litellm の最終コミットは 2026年10月20日 です。

litellm は何に使えますか？

ユーザーごとのキーと予算を設定し、複数のLLMプロバイダー向けにチーム共通の内部エンドポイントを用意する。 API呼び出しを書き換えずに、アプリケーションコードでOpenAIとAnthropicのモデルを切り替える。 提供されているTerraformモジュールを使って、AWSまたはGCPにLLMゲートウェイをデプロイする。

litellm のインストール方法は？

uvでLiteLLMプロキシサーバーをインストールします: uv tool install 'litellm[proxy]' モデルを指定してプロキシを起動し、http://0.0.0.0:4000 にリクエストを送信します: litellm --model gpt-4o

litellm はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/BerriAI/litellm