simular-ai/Agent-S

어떤 프로젝트인가요?

핵심 기능

• 01앱별 연동 없이 마우스, 키보드, 화면 입력으로 데스크톱 및 웹 앱을 조작합니다.
• 02macOS, Windows, Linux를 지원합니다.
• 03OpenAI, Anthropic, Gemini, OpenRouter, vLLM 모델과 함께 사용할 수 있습니다.
• 04별도의 그라운딩 모델(예: UI-TARS)을 사용해 화면 요소를 찾습니다.
• 05pip로 gui-agents를 설치할 수 있으며 CLI와 Python SDK를 제공합니다.
• 06Python 및 Bash 코드를 실행할 수 있는 선택형 로컬 환경을 포함합니다.

활용 사례

• 데스크톱 및 웹 애플리케이션에서 반복 작업을 자동화합니다.
• OS 수준의 컴퓨터 사용 에이전트를 연구하고 OSWorld에서 벤치마크합니다.
• API 없이 GUI 소프트웨어를 조작하는 맞춤형 에이전트를 만듭니다.

빠른 시작

1. 1

   pip으로 gui-agents 패키지를 설치합니다

   pip install gui-agents
2. 2

   tesseract를 설치합니다(macOS에서 pytesseract를 사용하려면 필요합니다)

   brew install tesseract
3. 3

   모델 API 키를 환경 변수로 설정합니다

   export OPENAI_API_KEY=<YOUR_API_KEY>
4. 4

   grounding 모델 엔드포인트를 구성한 뒤 CLI에서 Agent S3를 실행합니다

   agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

사용 전 알아둘 점

• !UI-TARS-1.5-7B와 같은 grounding 모델이 필요하며, 별도의 호스팅 엔드포인트를 마련해야 합니다.
• !에이전트는 실제 마우스와 키보드를 제어하며, 단일 모니터 환경에 맞게 설계되었습니다.
• !선택 사항인 로컬 코딩 환경은 컴퓨터에서 임의의 코드를 실행하므로 주의해서 사용하세요.
• !실행하려면 OpenAI 또는 Anthropic과 같은 제공업체의 유료 모델 API 키가 필요합니다.

토픽

자주 묻는 질문

Agent-S은(는) 무엇인가요?

데스크톱 및 웹 앱에서 마우스, 키보드, 화면을 제어해 작업을 완료하는 오픈소스 컴퓨터 사용 에이전트 프레임워크입니다. Agent S는 컴퓨터 사용 에이전트를 만들기 위한 오픈소스 프레임워크입니다. 자연어로 작업을 입력하면 화면을 살펴보고 일반적인 데스크톱 및 웹 애플리케이션에서 클릭, 입력, 스크롤을 수행해 작업을 완료합니다. API 연동이나 앱별 스크립트는 필요하지 않습니다.

Agent-S은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

Agent-S은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

Agent-S은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. Agent-S의 마지막 커밋은 2026년 10월 8일입니다.

Agent-S은(는) 어디에 사용할 수 있나요?

데스크톱 및 웹 애플리케이션에서 반복 작업을 자동화합니다. OS 수준의 컴퓨터 사용 에이전트를 연구하고 OSWorld에서 벤치마크합니다. API 없이 GUI 소프트웨어를 조작하는 맞춤형 에이전트를 만듭니다.

Agent-S는 어떻게 설치하나요?

pip으로 gui-agents 패키지를 설치합니다: pip install gui-agents tesseract를 설치합니다(macOS에서 pytesseract를 사용하려면 필요합니다): brew install tesseract 모델 API 키를 환경 변수로 설정합니다: export OPENAI_API_KEY=<YOUR_API_KEY> grounding 모델 엔드포인트를 구성한 뒤 CLI에서 Agent S3를 실행합니다: agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

Agent-S은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/simular-ai/Agent-S