Repolode
投稿する
om-ai-lab

om-ai-lab/OmAgent

テキスト、画像、動画、音声を扱い、推論できるマルチモーダル言語エージェントを構築するためのPythonライブラリ。

GitHub で見る公式サイト
スター
2,671
フォーク
289
未解決の Issue
23
最終コミット
22 日前

これは何？

OmAgentは、マルチモーダル言語エージェントを構築するためのPythonライブラリです。ワーカーのオーケストレーション、タスクキュー、ノードの実行をシンプルなインターフェースの背後にまとめているため、開発者はエージェントを定義し、再利用可能なコンポーネントを組み合わせて、より複雑なエージェントを構築できます。

グラフベースのワークフローエンジンと、コンテキストに基づく推論に使える複数のメモリタイプを備えています。Vision-Languageモデル、動画処理、モバイルデバイス接続をネイティブにサポートし、ReAct、CoT、SC-CoTなどのエージェントアルゴリズムを実装しています。モデルはOllamaまたはLocalAIを使ってローカルで実行でき、ミドルウェアを使わないLiteモードのほか、分散構成でのデプロイにも対応しています。

サンプルアプリケーションとして、Gradioインターフェースを備えた動画質問応答エージェントやモバイル向けパーソナルアシスタントを提供しています。また、推論データセットを使ってエージェントオペレーターを比較する例も含まれています。

主な機能

  • 01複数のメモリタイプに対応したグラフベースのワークフローオーケストレーションエンジン
  • 02Vision-Languageモデル、動画処理、モバイルデバイス接続をネイティブにサポート
  • 03ReAct、CoT、SC-CoTなどのエージェントアルゴリズムを内蔵
  • 04OllamaまたはLocalAIによるローカルモデルのデプロイ
  • 05スケーリング可能な分散デプロイと、ミドルウェア不要のLiteモード

ユースケース

  • アップロードされた動画を推論して回答する動画質問応答エージェントの構築
  • VLMを使った画像・動画理解パイプラインのプロトタイピング
  • マルチモーダル入力を扱うモバイル向けパーソナルアシスタントの作成
  • 同じLLM上でCoTやReActなどの推論戦略を比較

収録されている特集

AIチャットボットとチャットクライアント

トピック

#agent#multimodal#llm#vision-language-model#workflow-orchestration#rag#python#chatbot#gemini#gpt

よくある質問

OmAgent とは？
テキスト、画像、動画、音声を扱い、推論できるマルチモーダル言語エージェントを構築するためのPythonライブラリ。 OmAgentは、マルチモーダル言語エージェントを構築するためのPythonライブラリです。ワーカーのオーケストレーション、タスクキュー、ノードの実行をシンプルなインターフェースの背後にまとめているため、開発者はエージェントを定義し、再利用可能なコンポーネントを組み合わせて、より複雑なエージェントを構築できます。
OmAgent は無料で使えますか？ライセンスは？
OmAgent は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
OmAgent は今もメンテナンスされていますか？
活発にメンテナンス中。OmAgent の最終コミットは 2026年10月16日 です。
OmAgent は何に使えますか？
アップロードされた動画を推論して回答する動画質問応答エージェントの構築 VLMを使った画像・動画理解パイプラインのプロトタイピング マルチモーダル入力を扱うモバイル向けパーソナルアシスタントの作成 同じLLM上でCoTやReActなどの推論戦略を比較
OmAgent はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/om-ai-lab/OmAgent

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト