josStorer/RWKV-Runner

어떤 프로젝트인가요?

핵심 기능

• 01RWKV 모델을 원클릭으로 실행하고 관리하며 종속성을 자동으로 설치합니다.
• 02기존 ChatGPT 클라이언트에서 사용할 수 있는 OpenAI API 호환 엔드포인트를 제공합니다.
• 03여러 단계의 VRAM 설정을 프리셋으로 제공하며, AMD 및 Intel GPU에서는 WebGPU 모드를 지원합니다.
• 04내장 채팅, 완성, 작문 인터페이스와 모델 변환 도구를 제공합니다.
• 05프런트엔드와 백엔드를 각각 배포할 수 있으며, 서버 측 WebUI 옵션도 지원합니다.

활용 사례

• Python 환경을 직접 설정하지 않고 로컬 RWKV 모델을 실행합니다.
• 기존 OpenAI 호환 도구나 채팅 클라이언트를 자체 호스팅 모델에 연결합니다.
• 백엔드를 서버에 배포하고 데스크톱 앱을 클라이언트로 사용합니다.

빠른 시작

1. 1

   저장소를 클론합니다

   git clone https://github.com/josStorer/RWKV-Runner
2. 2

   프로젝트 디렉터리로 이동합니다

   cd RWKV-Runner
3. 3

   백엔드 추론 서비스를 시작합니다(그런 다음 /switch-model API를 통해 모델을 로드합니다)

   python ./backend-python/main.py

사용 전 알아둘 점

• !Windows Defender가 실행 파일을 바이러스로 감지할 수 있으며, 이 경우 수동으로 신뢰 예외를 설정해야 합니다.
• !LoRA 파인튜닝은 Windows에서만 사용할 수 있습니다.
• !대규모 RWKV 모델을 실행하려면 충분한 VRAM 또는 호환되는 GPU 구성이 필요합니다.

토픽

자주 묻는 질문

RWKV-Runner은(는) 무엇인가요?

RWKV 대규모 언어 모델을 다운로드하고 실행·관리하며 OpenAI 호환 API를 제공하는 데스크톱 도구입니다. RWKV Runner는 오픈소스 대규모 언어 모델인 RWKV를 관리하고 실행하는 경량 도구입니다. 모델 다운로드, 변환, 로딩을 최소한의 설정만으로 처리하므로 Python 환경이나 종속성을 직접 구성할 필요가 없습니다. 메인 프로그램은 수 MB 크기의 작은 실행 파일입니다.

RWKV-Runner은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

RWKV-Runner은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

RWKV-Runner은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. RWKV-Runner의 마지막 커밋은 2026년 9월 4일입니다.

RWKV-Runner은(는) 어디에 사용할 수 있나요?

Python 환경을 직접 설정하지 않고 로컬 RWKV 모델을 실행합니다. 기존 OpenAI 호환 도구나 채팅 클라이언트를 자체 호스팅 모델에 연결합니다. 백엔드를 서버에 배포하고 데스크톱 앱을 클라이언트로 사용합니다.

RWKV-Runner는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/josStorer/RWKV-Runner 프로젝트 디렉터리로 이동합니다: cd RWKV-Runner 백엔드 추론 서비스를 시작합니다(그런 다음 /switch-model API를 통해 모델을 로드합니다): python ./backend-python/main.py

RWKV-Runner은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/josStorer/RWKV-Runner