containers/ramalama

これは何？

主な機能

• 01ホストのハードウェアに合わせて、GPU向けコンテナイメージを自動選択する。
• 02Hugging Face、ModelScope、Ollama、OCIレジストリからモデルを取得する。
• 03REST APIまたは対話型チャットボットを通じてモデルを提供する。
• 04rootlessコンテナでモデルを実行し、読み取り専用マウントとネットワークアクセスなしで動作させる。
• 05組み込みコマンドでモデルをOCIイメージに変換し、ベンチマークや検査を行う。

ユースケース

• CUDA、ROCm、推論ランタイムを手動でインストールせずに、オープンウェイトのLLMをローカルで実行する。
• アプリケーション開発向けに、ローカルのREST API経由でモデルを提供する。
• 複数のレジストリのモデルを、統一されたコマンドセットで試す。
• ホスト環境からより強く分離した状態で、隔離コンテナ内のモデル推論を実行する。

クイックスタート

1. 1

   PyPIからRamaLamaをインストールする

   pip install ramalama
2. 2

   ramalama runコマンドでモデルを実行する（PodmanまたはDockerのインストールが必要）

使う前に知っておきたいこと

• !モデルはコンテナ内で実行されるため、PodmanまたはDockerをインストールしておくと最適に動作します。
• !NVIDIA GPUを使用するには、プロジェクトのドキュメントに記載されているホスト側の追加設定が必要です。
• !Windowsでのサポートには、WSL2とDocker DesktopまたはPodman Desktopが必要です。

収録されている特集

トピック

よくある質問

ramalama とは？

OCIコンテナ内でAIモデルをローカル実行し、GPUに適したイメージを自動取得してREST APIやチャットボットで提供する開発者向けツール。 RamaLamaは、コンテナと同じワークフローで複数のレジストリからAIモデルを取得、実行、提供できるオープンソースのCLIです。ホスト上のGPUを検出して、対応する高速化コンテナイメージを取得するため、ホストシステム側でドライバーやランタイムを自分で設定する必要はありません。モデルはコンテナイメージとほぼ同じように扱え、一覧表示、取得、検査、変換、ベンチマーク用のコマンドが用意されています。

ramalama は無料で使えますか？ライセンスは？

ramalama は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

ramalama は今もメンテナンスされていますか？

活発にメンテナンス中。ramalama の最終コミットは 2026年11月6日 です。

ramalama は何に使えますか？

CUDA、ROCm、推論ランタイムを手動でインストールせずに、オープンウェイトのLLMをローカルで実行する。 アプリケーション開発向けに、ローカルのREST API経由でモデルを提供する。 複数のレジストリのモデルを、統一されたコマンドセットで試す。 ホスト環境からより強く分離した状態で、隔離コンテナ内のモデル推論を実行する。

ramalama のインストール方法は？

PyPIからRamaLamaをインストールする: pip install ramalama ramalama runコマンドでモデルを実行する（PodmanまたはDockerのインストールが必要）

ramalama はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/containers/ramalama