Repolode
投稿する
hao-ai-lab

hao-ai-lab/ORA

オープンウェイトの言語モデルで、LIBERO、RoboTwin、RoboDojoのシミュレーションタスクをゼロショットで実行するオープンなエージェントハーネス。

GitHub で見る
スター
112
フォーク
4
未解決の Issue
0
最終コミット
17 日前

これは何？

ORAはロボット操作向けのエージェントハーネスです。OpenAI互換APIまたはAnthropic APIを介してオープンウェイトの言語モデルをロボットやシミュレーターに接続し、知覚、把持候補の提示、動作計画のツールをモデルから呼び出せるようにします。目指しているのはゼロショットでの動作であり、vision-language-actionモデルやロボットの学習、タスク固有のメモリは必要ありません。

このハーネスは、タスク、ロボットのマニュアル、ツールの仕様をモデルに提示し、エピソード中に発生する長いツール出力を管理します。モデルが提案するすべてのアクションはスーパーバイザーが検証して実行に回すため、モデルがスーパーバイザーを迂回することはできません。リポジトリには3つのベンチマーク環境が含まれており、LIBERO / LIBERO-Pro（Panda）、RoboTwin 2.0（デュアルアームのALOHA）、RoboDojo（Isaac Sim 5.1上のARX）の各環境は、それぞれ独立したインタープリターで動作します。

モデルへのリクエスト、ツール呼び出し、アクション、実行結果はすべて記録され、ターミナルUIで再生したり、Webベースのエビデンスビューアーで確認したりできます。実行中のエージェントにメッセージを送ることもでき、そのような実行には人間の支援があったことが記録されます。

主な機能

  • 01ホスト型またはセルフホスト型のOpenAI互換APIやAnthropicのモデルAPIに接続できます。
  • 02知覚（SAM3によるセグメンテーション、深度ジオメトリ）、把持候補の提示、CuRoboによる動作計画をモデル用ツールとして提供します。
  • 03アクションがロボットに届く前に、スーパーバイザーがすべてを検証して実行します。
  • 04LIBERO、RoboTwin 2.0、RoboDojoのベンチマークを、各公式の成功判定とともに実行できます。
  • 05すべてのリクエスト、アクション、実行結果を記録・封印し、ターミナルUIやWebビューアーで再生できます。

ユースケース

  • 学習を行わずに、ロボット操作ベンチマークでオープンウェイトの言語モデルを評価する。
  • シミュレーション上の身体性タスクに向けたエージェントハーネスの設計を比較する。
  • 過去の実行におけるエージェントの判断、ツール呼び出し、アクションを確認・再生する。
  • ターミナルインターフェースからメッセージを送り、実行中のロボットエージェントを誘導する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/hao-ai-lab/ORA.git && cd ORA
  2. 2

    ORAの固定済みPython環境をインストールする

    uv sync --all-extras --locked
  3. 3

    モデルのAPIキーを設定する

    export DEEPSEEK_LOW_API_KEY=sk-...
  4. 4

    シミュレーターもGPUも使わず、上限を設けたチェック用エピソードを実行する

    uv run --locked ora run --env synthetic

使う前に知っておきたいこと

  • ロボットのベンチマークには、32 GB以上のNVIDIA GPUを搭載したLinuxマシンが必要です。READMEで動作確認されているのは特定のGPUのみです。
  • ベンチマークの実行にはモデルのAPIキーが必要です。デフォルトの例ではDeepSeekのエンドポイントを使用します。
  • PyPIでのリリースはまだ保留中のため、現在はソースをチェックアウトしてインストールします。

収録されている特集

ロボティクス・身体性AIプロジェクト

トピック

#robotics#llm-agent#embodied-ai#simulation#manipulation#benchmark#zero-shot

よくある質問

ORA とは？
オープンウェイトの言語モデルで、LIBERO、RoboTwin、RoboDojoのシミュレーションタスクをゼロショットで実行するオープンなエージェントハーネス。 ORAはロボット操作向けのエージェントハーネスです。OpenAI互換APIまたはAnthropic APIを介してオープンウェイトの言語モデルをロボットやシミュレーターに接続し、知覚、把持候補の提示、動作計画のツールをモデルから呼び出せるようにします。目指しているのはゼロショットでの動作であり、vision-language-actionモデルやロボットの学習、タスク固有のメモリは必要ありません。
ORA は無料で使えますか？ライセンスは？
ORA は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ORA は今もメンテナンスされていますか？
活発にメンテナンス中。ORA の最終コミットは 2026年10月21日 です。
ORA は何に使えますか？
学習を行わずに、ロボット操作ベンチマークでオープンウェイトの言語モデルを評価する。 シミュレーション上の身体性タスクに向けたエージェントハーネスの設計を比較する。 過去の実行におけるエージェントの判断、ツール呼び出し、アクションを確認・再生する。 ターミナルインターフェースからメッセージを送り、実行中のロボットエージェントを誘導する。
ORA のインストール方法は？
リポジトリをクローンする: git clone https://github.com/hao-ai-lab/ORA.git && cd ORA ORAの固定済みPython環境をインストールする: uv sync --all-extras --locked モデルのAPIキーを設定する: export DEEPSEEK_LOW_API_KEY=sk-... シミュレーターもGPUも使わず、上限を設けたチェック用エピソードを実行する: uv run --locked ora run --env synthetic
ORA はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/hao-ai-lab/ORA

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

NVlabs / ASPIRE

ASPIREは、モデルの重みを学習する代わりに、コーディングエージェントがシミュレーションや実機の操作タスク向けに再利用可能なロボットスキルを反復的に改善するフレームワークです。

AI・機械学習#robotics#agents#skill-discovery
964+47 今週88PythonApache-2.0更新 23 日前