Repolode
제출하기
hao-ai-lab

hao-ai-lab/ORA

오픈 웨이트 언어 모델이 LIBERO, RoboTwin, RoboDojo 시뮬레이션 작업에서 제로샷으로 로봇을 조작할 수 있게 하는 오픈 에이전트 하네스입니다.

GitHub에서 보기
스타
111
포크
4
열린 이슈
0
마지막 커밋
16일 전

어떤 프로젝트인가요?

ORA는 로봇 조작을 위한 에이전트 하네스입니다. OpenAI 호환 API 또는 Anthropic API를 통해 오픈 웨이트 언어 모델을 로봇이나 시뮬레이터에 연결하고, 모델이 지각, 그립 제안, 모션 플래닝 도구를 호출할 수 있게 합니다. 이 프로젝트는 제로샷 동작을 목표로 하므로 비전-언어-행동 모델, 로봇 학습, 작업별 메모리가 필요하지 않습니다.

하네스는 작업 정보, 로봇 매뉴얼, 도구 계약을 모델에 제공하고, 에피소드 중 발생하는 긴 도구 결과를 관리합니다. 감독기가 모델이 제안하는 모든 동작을 확인하고 전달하므로 모델이 감독기를 우회할 수 없습니다. 저장소에는 세 가지 벤치마크 환경인 LIBERO / LIBERO-Pro(Panda), RoboTwin 2.0(양팔 ALOHA), RoboDojo(Isaac Sim 5.1의 ARX)가 포함되며, 각 환경은 자체 격리된 인터프리터에서 실행됩니다.

모델 요청, 도구 호출, 동작, 확인 결과가 모두 기록되며 터미널 UI에서 재생하거나 웹 기반 증거 뷰어에서 살펴볼 수 있습니다. 실행 중인 에이전트에 메시지를 보낼 수도 있으며, 이런 실행은 사람의 지원을 받은 것으로 표시됩니다.

핵심 기능

  • 01호스팅형 또는 자체 호스팅형 OpenAI 호환 모델 API와 Anthropic API에 연결합니다.
  • 02지각(SAM3 분할, 깊이 기반 기하 정보), 그립 제안, CuRobo 모션 플래닝을 모델 도구로 제공합니다.
  • 03동작이 로봇에 전달되기 전에 감독기가 모두 확인하고 실행합니다.
  • 04공식 성공 판정 방식으로 LIBERO, RoboTwin 2.0, RoboDojo 벤치마크를 실행합니다.
  • 05모든 요청, 동작, 확인 결과를 기록하고 무결성을 보장하며, 터미널 UI와 웹 뷰어에서 재생할 수 있습니다.

활용 사례

  • 학습 없이 로봇 조작 벤치마크에서 오픈 웨이트 언어 모델을 평가합니다.
  • 시뮬레이션의 체화 작업을 위한 에이전트 하네스 설계를 비교합니다.
  • 과거 실행의 에이전트 결정, 도구 호출, 동작을 살펴보고 재생합니다.
  • 터미널 인터페이스에서 메시지를 보내 실행 중인 로봇 에이전트를 조정합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/hao-ai-lab/ORA.git && cd ORA
  2. 2

    ORA의 고정된 Python 환경을 설치합니다

    uv sync --all-extras --locked
  3. 3

    모델 API 키를 설정합니다

    export DEEPSEEK_LOW_API_KEY=sk-...
  4. 4

    시뮬레이터나 GPU 없이 제한된 체크 에피소드를 실행합니다

    uv run --locked ora run --env synthetic

사용 전 알아둘 점

  • 로봇 벤치마크를 실행하려면 32 GB 이상의 NVIDIA GPU가 장착된 Linux 머신이 필요합니다. README에서 검증한 GPU는 일부 모델에 한정됩니다.
  • 벤치마크를 실행하려면 모델 API 키가 필요하며, 기본 예제에서는 DeepSeek 엔드포인트를 사용합니다.
  • PyPI 릴리스는 아직 보류 중이므로 현재는 소스 체크아웃을 통해 설치해야 합니다.

포함된 컬렉션

로보틱스 & 구현형 AI 프로젝트

토픽

#robotics#llm-agent#embodied-ai#simulation#manipulation#benchmark#zero-shot

자주 묻는 질문

ORA은(는) 무엇인가요?
오픈 웨이트 언어 모델이 LIBERO, RoboTwin, RoboDojo 시뮬레이션 작업에서 제로샷으로 로봇을 조작할 수 있게 하는 오픈 에이전트 하네스입니다. ORA는 로봇 조작을 위한 에이전트 하네스입니다. OpenAI 호환 API 또는 Anthropic API를 통해 오픈 웨이트 언어 모델을 로봇이나 시뮬레이터에 연결하고, 모델이 지각, 그립 제안, 모션 플래닝 도구를 호출할 수 있게 합니다. 이 프로젝트는 제로샷 동작을 목표로 하므로 비전-언어-행동 모델, 로봇 학습, 작업별 메모리가 필요하지 않습니다.
ORA은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
ORA은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
ORA은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. ORA의 마지막 커밋은 2026년 10월 21일입니다.
ORA은(는) 어디에 사용할 수 있나요?
학습 없이 로봇 조작 벤치마크에서 오픈 웨이트 언어 모델을 평가합니다. 시뮬레이션의 체화 작업을 위한 에이전트 하네스 설계를 비교합니다. 과거 실행의 에이전트 결정, 도구 호출, 동작을 살펴보고 재생합니다. 터미널 인터페이스에서 메시지를 보내 실행 중인 로봇 에이전트를 조정합니다.
ORA는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/hao-ai-lab/ORA.git && cd ORA ORA의 고정된 Python 환경을 설치합니다: uv sync --all-extras --locked 모델 API 키를 설정합니다: export DEEPSEEK_LOW_API_KEY=sk-... 시뮬레이터나 GPU 없이 제한된 체크 에피소드를 실행합니다: uv run --locked ora run --env synthetic
ORA은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/hao-ai-lab/ORA

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트