NVIDIA의 오픈 vision-language-action 기반 모델 GR00T N1.7로, 범용 휴머노이드 및 로봇 조작 기술을 위한 파인튜닝·배포 도구를 제공합니다.
X-Square-Robot/wall-x
범용 로봇 조작을 위한 WALL-OSS 오픈소스 체화형 파운데이션 모델 시리즈의 학습 및 추론 코드입니다.
- 스타
- 1,313
- 포크
- 110
- 열린 이슈
- 52
- 마지막 커밋
- 2개월 전
어떤 프로젝트인가요?
Wall-X는 WALL 체화형 파운데이션 모델 시리즈의 학습 및 추론 코드베이스입니다. 이 모델은 물리적 상호작용 데이터로 학습한 범용 조작 기술을 로봇에 제공하는 것을 목표로 합니다. LeRobot 형식 데이터셋 준비와 모델 설정부터 파인튜닝, 추론 실행, 폐루프 또는 개루프 평가를 위한 모델 서빙까지 전체 워크플로를 지원합니다.
이 저장소는 flow-matching 및 FAST action head를 비롯한 여러 액션 생성 분기를 지원하며, Hugging Face에서 WALL-OSS 제품군의 사전 학습 체크포인트를 제공합니다. 학습은 FSDP 트레이너로 실행하고, 추론 기능은 WebSocket 서버로 제공할 수 있습니다. 선택 사항으로 LIBERO 시뮬레이터 평가 도구도 사용할 수 있습니다.
이 프로젝트는 Ubuntu 22.04에서 Python 3.10, PyTorch, FlashAttention 및 CUDA 12.x를 사용합니다. CUDA 연산자 소스는 설치 시 컴파일되므로, 정상적으로 작동하는 GPU 빌드 환경이 필요합니다.
핵심 기능
- 01FSDP 트레이너를 사용해 LeRobot 형식 데이터셋으로 모델을 파인튜닝합니다.
- 02flow-matching 및 FAST 액션 생성 분기를 지원합니다.
- 03Hugging Face에 호스팅된 사전 학습 WALL-OSS 체크포인트를 불러옵니다.
- 04WebSocket 서버를 통해 모델 액션을 제공합니다.
- 05LeRobot 정답 데이터와 비교하는 개루프 평가 기능과 LIBERO 시뮬레이터 실행 도구를 포함합니다.
활용 사례
- 맞춤형 로봇 조작 데이터셋으로 vision-language-action 모델을 파인튜닝합니다.
- 실제 로봇이나 시뮬레이션에서 사전 학습된 체화형 모델의 추론을 실행합니다.
- 기록된 시연 데이터와 개루프 액션 예측을 비교합니다.
- 로봇 정책을 위한 flow-matching 또는 FAST action head를 연구합니다.
빠른 시작
- 1
Python 3.10을 사용하는 conda 환경을 만들고 활성화합니다
conda create --name wallx python=3.10 - 2
요구 사항을 설치합니다
pip install -r requirements.txt - 3
CUDA 연산자를 컴파일하는 Wall-X를 설치합니다
MAX_JOBS=8 pip install --no-build-isolation -e . - 4
다운로드한 체크포인트로 최소 추론 예제를 실행합니다
python scripts/fake_inference.py --checkpoint-path <path/to/checkpoint>
사용 전 알아둘 점
- NVIDIA CUDA GPU가 필요하며, 설치 과정에서 CUDA 연산자와 flash-attn을 컴파일합니다.
- LeRobot, DMuon, flash-attn 등 여러 종속성을 직접 설치해야 하므로 설정 과정이 복잡합니다.
- README는 Ubuntu 22.04, CUDA 12.x, Python 3.10을 대상으로 합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- wall-x은(는) 무엇인가요?
- 범용 로봇 조작을 위한 WALL-OSS 오픈소스 체화형 파운데이션 모델 시리즈의 학습 및 추론 코드입니다. Wall-X는 WALL 체화형 파운데이션 모델 시리즈의 학습 및 추론 코드베이스입니다. 이 모델은 물리적 상호작용 데이터로 학습한 범용 조작 기술을 로봇에 제공하는 것을 목표로 합니다. LeRobot 형식 데이터셋 준비와 모델 설정부터 파인튜닝, 추론 실행, 폐루프 또는 개루프 평가를 위한 모델 서빙까지 전체 워크플로를 지원합니다.
- wall-x은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- wall-x은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- wall-x은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. wall-x의 마지막 커밋은 2026년 9월 18일입니다.
- wall-x은(는) 어디에 사용할 수 있나요?
- 맞춤형 로봇 조작 데이터셋으로 vision-language-action 모델을 파인튜닝합니다. 실제 로봇이나 시뮬레이션에서 사전 학습된 체화형 모델의 추론을 실행합니다. 기록된 시연 데이터와 개루프 액션 예측을 비교합니다. 로봇 정책을 위한 flow-matching 또는 FAST action head를 연구합니다.
- wall-x는 어떻게 설치하나요?
- Python 3.10을 사용하는 conda 환경을 만들고 활성화합니다: conda create --name wallx python=3.10 요구 사항을 설치합니다: pip install -r requirements.txt CUDA 연산자를 컴파일하는 Wall-X를 설치합니다: MAX_JOBS=8 pip install --no-build-isolation -e . 다운로드한 체크포인트로 최소 추론 예제를 실행합니다: python scripts/fake_inference.py --checkpoint-path <path/to/checkpoint>
- wall-x은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/X-Square-Robot/wall-x
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
실제 로봇을 위한 PyTorch 모델, 데이터셋 및 도구 라이브러리로, 하드웨어 제어부터 데이터 수집, 정책 학습 및 평가까지 지원합니다.
Physical Intelligence의 오픈소스 로보틱스 VLA 모델로, 사전 학습 체크포인트와 파인튜닝 예제를 제공합니다.
원격 조작과 모방 학습을 위한 5자유도 그리퍼 포함 오픈소스 리더-팔로워 로봇 팔 키트
robosuite 기반으로, 일상적인 주방 작업에서 범용 로봇을 학습하고 벤치마킹하기 위한 대규모 시뮬레이션 프레임워크입니다.
휴머노이드, 사족보행 로봇, 근골격계 인체 모델을 위한 MuJoCo 및 MJX 환경을 제공하는 전신 제어 모방 학습 벤치마크입니다.