경험을 바탕으로 스킬을 만들고 다듬으며, 다양한 모델 제공업체와 CLI 및 메시징 앱에서 사용할 수 있는 자기 개선형 AI 에이전트입니다.
Jeomon/Windows-Use
UI Automation 트리를 읽고 LLM이 클릭, 입력, 명령 실행을 선택해 Windows를 제어하는 AI 에이전트
- 스타
- 472
- 포크
- 63
- 열린 이슈
- 3
- 마지막 커밋
- 27일 전
어떤 프로젝트인가요?
Windows-Use는 사용자를 대신해 Windows 데스크톱을 조작하는 Python AI 에이전트입니다. 컴퓨터 비전 모델 대신 Windows UI Automation API를 통해 화면을 읽고, 그 결과로 얻은 인터페이스 상태를 LLM에 전달합니다. LLM은 다음에 수행할 작업으로 클릭, 입력, 스크롤, 드래그, 단축키 누르기, 창 실행 또는 크기 조정, PowerShell 명령 실행 중 하나를 결정합니다.
일반 영어로 작업을 입력하면 에이전트가 관찰, 결정, 실행 과정을 반복해 답을 반환하거나 단계 제한에 도달할 때까지 작업을 수행합니다. Anthropic, OpenAI, Google Gemini, Ollama, Groq, Azure OpenAI 등 다양한 LLM 제공자를 지원하며, 동기 및 비동기 호출, CLI, 각 단계를 확인할 수 있는 이벤트 시스템, 선택적 음성 입력 및 출력 기능을 제공합니다.
이 프로젝트는 샌드박스를 제공하지 않으므로, 문서에서는 가상 머신이나 Windows Sandbox 안에서 실행할 것을 강력히 권장합니다.
핵심 기능
- 01비전 모델 없이 UI Automation으로 Windows UI를 읽습니다
- 02마우스 클릭, 입력, 스크롤, 드래그 및 키보드 단축키를 제어합니다
- 03애플리케이션 창을 실행하고 전환하며 크기를 조정합니다
- 04PowerShell 명령을 실행하고 출력을 읽습니다
- 05Windows 가상 데스크톱을 관리합니다
- 0612개 이상의 LLM 제공자와 연동하고 대화형 CLI를 제공합니다
활용 사례
- API가 없는 애플리케이션에서 반복적인 데스크톱 작업 자동화
- 자연어 작업 설명을 사용해 Windows GUI 워크플로 테스트
- 가상 머신에서 LLM 기반 컴퓨터 제어 실험
빠른 시작
- 1
pip으로 패키지를 설치합니다
pip install windows-use - 2
터미널에서 대화형 에이전트를 실행합니다
windows-use
사용 전 알아둘 점
- Windows 전용이며 Windows 7~11을 지원하므로 macOS나 Linux에서는 실행할 수 없습니다.
- 에이전트가 샌드박스 없이 실제 데스크톱을 조작하므로 가상 머신에서 실행해야 합니다.
- 대부분의 예제에는 유료 LLM 제공업체의 API 키나 로컬에서 실행 중인 모델이 필요합니다.
토픽
자주 묻는 질문
- Windows-Use은(는) 무엇인가요?
- UI Automation 트리를 읽고 LLM이 클릭, 입력, 명령 실행을 선택해 Windows를 제어하는 AI 에이전트 Windows-Use는 사용자를 대신해 Windows 데스크톱을 조작하는 Python AI 에이전트입니다. 컴퓨터 비전 모델 대신 Windows UI Automation API를 통해 화면을 읽고, 그 결과로 얻은 인터페이스 상태를 LLM에 전달합니다. LLM은 다음에 수행할 작업으로 클릭, 입력, 스크롤, 드래그, 단축키 누르기, 창 실행 또는 크기 조정, PowerShell 명령 실행 중 하나를 결정합니다.
- Windows-Use은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- Windows-Use은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- Windows-Use은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. Windows-Use의 마지막 커밋은 2026년 9월 23일입니다.
- Windows-Use은(는) 어디에 사용할 수 있나요?
- API가 없는 애플리케이션에서 반복적인 데스크톱 작업 자동화 자연어 작업 설명을 사용해 Windows GUI 워크플로 테스트 가상 머신에서 LLM 기반 컴퓨터 제어 실험
- Windows-Use는 어떻게 설치하나요?
- pip으로 패키지를 설치합니다: pip install windows-use 터미널에서 대화형 에이전트를 실행합니다: windows-use
- Windows-Use은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Jeomon/Windows-Use
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
AutoGPT는 자연어 설명이나 시각적 빌더로 다단계 워크플로를 수행하는 AI 에이전트를 만들고 실행·예약하는 오픈소스 플랫폼입니다.
기존 소프트웨어용 에이전트 친화적인 CLI를 생성하고, 바로 설치할 수 있는 CLI를 등록하는 CLI-Hub 툴킷입니다.
프롬프트로 Blender에서 3D 씬을 만들고 수정하고 살펴보는 Blender 애드온 및 MCP 서버
질문을 계획하고 웹·로컬 자료를 수집해 인용이 포함된 보고서를 작성하는 오픈소스 자율 연구 에이전트
bash와 약 100줄의 핵심 Python 코드만 사용하는 최소한의 AI 소프트웨어 엔지니어링 에이전트로, GitHub 이슈를 해결하거나 CLI에서 작업을 돕습니다.