Repolode
xlang-ai

xlang-ai/OSWorld

실제 데스크톱 운영체제에서 개방형 컴퓨터 작업을 수행하는 멀티모달 AI 에이전트를 평가하기 위한 벤치마크 및 실행 환경입니다.

스타
3,225
포크
548
열린 이슈
193
마지막 커밋
8시간 전

어떤 프로젝트인가요?

OSWorld는 AI 에이전트가 실제 데스크톱 애플리케이션을 조작해 일상적인 컴퓨터 작업을 완료할 수 있는지 테스트하는 벤치마크입니다. 각 작업은 Ubuntu 또는 Windows를 실행하는 가상 머신에서 진행되며, 에이전트는 스크린샷이나 접근성 정보를 입력받고 클릭, 입력, 스크립트 실행과 같은 마우스 및 키보드 동작을 수행합니다.

이 프로젝트는 가상 머신을 시작하고 초기화하며, 작업 환경을 설정하고, 에이전트 동작을 실행한 뒤 작업별 평가 스크립트로 결과를 확인하는 환경 계층을 제공합니다. VMware, VirtualBox, KVM을 사용하는 Docker, AWS 등 여러 가상화 백엔드를 지원하며, 번들 벤치마크 데이터 없이 작업을 실행할 수 있는 desktop-env라는 Python 패키지도 제공합니다.

저장소에는 기준 에이전트 코드, 병렬 실행 스크립트, 수동 작업 검토 도구, 결과 뷰어도 포함되어 있습니다. 컴퓨터 조작 에이전트를 개발하는 연구자와 팀은 이를 활용해 공통 작업 세트에서 에이전트를 비교하고 결과를 보고할 수 있습니다.

핵심 기능

  • 01실제 데스크톱 애플리케이션이 있는 Ubuntu 또는 Windows 가상 머신에서 작업을 실행합니다.
  • 02VMware, VirtualBox, KVM을 사용하는 Docker, Modal, Daytona, AWS 제공업체를 지원합니다.
  • 03각 에이전트 실행 후 작업별 스크립트로 결과를 평가합니다.
  • 04여러 환경에서 많은 작업을 병렬로 실행합니다.
  • 05기준 에이전트 코드와 도메인별 점수를 확인할 수 있는 결과 뷰어를 포함합니다.

활용 사례

  • 공통 데스크톱 작업 세트에서 컴퓨터 조작 에이전트의 성능을 벤치마크합니다.
  • 새 모델로 기존에 공개된 OSWorld 결과를 재현합니다.
  • 특정 벤치마크 작업과 평가기가 올바르게 동작하는지 직접 확인합니다.
  • 클라우드 인프라에서 대규모 에이전트 평가를 실행합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/xlang-ai/OSWorld
  2. 2

    클론한 디렉터리로 이동합니다

    cd OSWorld
  3. 3

    필수 종속 항목을 설치합니다

    pip install -r requirements.txt
  4. 4

    퀵스타트 예제를 실행합니다(먼저 VMware 또는 Docker를 설정해야 합니다)

    python quickstart.py

사용 전 알아둘 점

  • 퀵스타트를 실행하기 전에 로컬 VMware 또는 VirtualBox 환경을 설정하거나 KVM을 지원하는 Docker를 준비해야 합니다.
  • 일부 벤치마크 작업에는 Google 계정 OAuth 설정이 필요하며 프록시를 구성해야 할 수도 있습니다.
  • 베이스라인 에이전트를 실행하려면 유료 OpenAI API 키가 필요합니다.

토픽

자주 묻는 질문

OSWorld은(는) 무엇인가요?
실제 데스크톱 운영체제에서 개방형 컴퓨터 작업을 수행하는 멀티모달 AI 에이전트를 평가하기 위한 벤치마크 및 실행 환경입니다. OSWorld는 AI 에이전트가 실제 데스크톱 애플리케이션을 조작해 일상적인 컴퓨터 작업을 완료할 수 있는지 테스트하는 벤치마크입니다. 각 작업은 Ubuntu 또는 Windows를 실행하는 가상 머신에서 진행되며, 에이전트는 스크린샷이나 접근성 정보를 입력받고 클릭, 입력, 스크립트 실행과 같은 마우스 및 키보드 동작을 수행합니다.
OSWorld은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
OSWorld은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
OSWorld은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. OSWorld의 마지막 커밋은 2026년 10월 20일입니다.
OSWorld은(는) 어디에 사용할 수 있나요?
공통 데스크톱 작업 세트에서 컴퓨터 조작 에이전트의 성능을 벤치마크합니다. 새 모델로 기존에 공개된 OSWorld 결과를 재현합니다. 특정 벤치마크 작업과 평가기가 올바르게 동작하는지 직접 확인합니다. 클라우드 인프라에서 대규모 에이전트 평가를 실행합니다.
OSWorld는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/xlang-ai/OSWorld 클론한 디렉터리로 이동합니다: cd OSWorld 필수 종속 항목을 설치합니다: pip install -r requirements.txt 퀵스타트 예제를 실행합니다(먼저 VMware 또는 Docker를 설정해야 합니다): python quickstart.py
OSWorld은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/xlang-ai/OSWorld

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트