Repolode
Jeomon

Jeomon/Windows-Use

UI Automation 트리를 읽고 LLM이 클릭, 입력, 명령 실행을 선택해 Windows를 제어하는 AI 에이전트

스타
472
포크
63
열린 이슈
3
마지막 커밋
27일 전

어떤 프로젝트인가요?

Windows-Use는 사용자를 대신해 Windows 데스크톱을 조작하는 Python AI 에이전트입니다. 컴퓨터 비전 모델 대신 Windows UI Automation API를 통해 화면을 읽고, 그 결과로 얻은 인터페이스 상태를 LLM에 전달합니다. LLM은 다음에 수행할 작업으로 클릭, 입력, 스크롤, 드래그, 단축키 누르기, 창 실행 또는 크기 조정, PowerShell 명령 실행 중 하나를 결정합니다.

일반 영어로 작업을 입력하면 에이전트가 관찰, 결정, 실행 과정을 반복해 답을 반환하거나 단계 제한에 도달할 때까지 작업을 수행합니다. Anthropic, OpenAI, Google Gemini, Ollama, Groq, Azure OpenAI 등 다양한 LLM 제공자를 지원하며, 동기 및 비동기 호출, CLI, 각 단계를 확인할 수 있는 이벤트 시스템, 선택적 음성 입력 및 출력 기능을 제공합니다.

이 프로젝트는 샌드박스를 제공하지 않으므로, 문서에서는 가상 머신이나 Windows Sandbox 안에서 실행할 것을 강력히 권장합니다.

핵심 기능

  • 01비전 모델 없이 UI Automation으로 Windows UI를 읽습니다
  • 02마우스 클릭, 입력, 스크롤, 드래그 및 키보드 단축키를 제어합니다
  • 03애플리케이션 창을 실행하고 전환하며 크기를 조정합니다
  • 04PowerShell 명령을 실행하고 출력을 읽습니다
  • 05Windows 가상 데스크톱을 관리합니다
  • 0612개 이상의 LLM 제공자와 연동하고 대화형 CLI를 제공합니다

활용 사례

  • API가 없는 애플리케이션에서 반복적인 데스크톱 작업 자동화
  • 자연어 작업 설명을 사용해 Windows GUI 워크플로 테스트
  • 가상 머신에서 LLM 기반 컴퓨터 제어 실험

빠른 시작

  1. 1

    pip으로 패키지를 설치합니다

    pip install windows-use
  2. 2

    터미널에서 대화형 에이전트를 실행합니다

    windows-use

사용 전 알아둘 점

  • Windows 전용이며 Windows 7~11을 지원하므로 macOS나 Linux에서는 실행할 수 없습니다.
  • 에이전트가 샌드박스 없이 실제 데스크톱을 조작하므로 가상 머신에서 실행해야 합니다.
  • 대부분의 예제에는 유료 LLM 제공업체의 API 키나 로컬에서 실행 중인 모델이 필요합니다.

토픽

자주 묻는 질문

Windows-Use은(는) 무엇인가요?
UI Automation 트리를 읽고 LLM이 클릭, 입력, 명령 실행을 선택해 Windows를 제어하는 AI 에이전트 Windows-Use는 사용자를 대신해 Windows 데스크톱을 조작하는 Python AI 에이전트입니다. 컴퓨터 비전 모델 대신 Windows UI Automation API를 통해 화면을 읽고, 그 결과로 얻은 인터페이스 상태를 LLM에 전달합니다. LLM은 다음에 수행할 작업으로 클릭, 입력, 스크롤, 드래그, 단축키 누르기, 창 실행 또는 크기 조정, PowerShell 명령 실행 중 하나를 결정합니다.
Windows-Use은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Windows-Use은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Windows-Use은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Windows-Use의 마지막 커밋은 2026년 9월 23일입니다.
Windows-Use은(는) 어디에 사용할 수 있나요?
API가 없는 애플리케이션에서 반복적인 데스크톱 작업 자동화 자연어 작업 설명을 사용해 Windows GUI 워크플로 테스트 가상 머신에서 LLM 기반 컴퓨터 제어 실험
Windows-Use는 어떻게 설치하나요?
pip으로 패키지를 설치합니다: pip install windows-use 터미널에서 대화형 에이전트를 실행합니다: windows-use
Windows-Use은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Jeomon/Windows-Use

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트