oobabooga/textgen

어떤 프로젝트인가요?

핵심 기능

• 01Jinja2 프롬프트 템플릿을 사용하는 채팅, instruct, 캐릭터 모드
• 02비전 입력과 PDF, .docx, 텍스트 파일 첨부
• 03llama.cpp, Transformers, ExLlamaV3 등을 포함한 여러 백엔드
• 04도구 호출을 지원하는 OpenAI/Anthropic 호환 API
• 05사용자 지정 Python 함수 및 MCP 서버를 이용한 도구 호출
• 06LoRA 파인튜닝 및 diffusers 기반 이미지 생성 탭

활용 사례

• 클라우드 서비스로 데이터를 보내지 않고 개인 컴퓨터에서 GGUF 채팅 모델을 비공개로 실행
• 개발 중 기존 OpenAI 또는 Anthropic 클라이언트 코드를 로컬 모델에 연결
• 로컬 비전 지원 모델로 문서나 이미지에 관해 대화
• 자신의 채팅 또는 텍스트 데이터셋으로 LoRA 어댑터 파인튜닝

빠른 시작

1. 1

   릴리스 페이지에서 운영체제에 맞는 포터블 빌드를 다운로드합니다

2. 2

   다운로드한 파일의 압축을 풀고 textgen을 두 번 클릭해 앱 창을 엽니다

3. 3

   GGUF 모델 파일을 user_data/models 폴더에 넣으면 UI가 자동으로 감지합니다

사용 전 알아둘 점

• !AGPL-3.0 카피레프트 라이선스가 적용되며, 파생 네트워크 서비스는 소스 코드를 공유해야 합니다.
• !ExLlamaV3 및 Transformers 같은 추가 백엔드와 학습 및 이미지 생성 기능을 사용하려면 전체 설치가 필요합니다. 디스크 공간 약 10GB를 사용하고 PyTorch를 다운로드합니다.
• !포터블 빌드는 GGUF(llama.cpp) 모델만 지원합니다.

토픽

자주 묻는 질문

textgen은(는) 무엇인가요?

대규모 언어 모델을 로컬에서 실행하고, 채팅 UI와 OpenAI/Anthropic 호환 API를 제공하는 무료 오픈소스 데스크톱 앱입니다. TextGen은 대규모 언어 모델을 자신의 컴퓨터에서 실행할 수 있는 데스크톱 애플리케이션입니다. 채팅 인터페이스와 API가 함께 제공되어, 같은 로컬 모델을 브라우저형 UI나 코드에서 사용할 수 있습니다. Linux, Windows, macOS용 포터블 빌드를 제공하며, CUDA, Vulkan, ROCm 및 CPU 전용 옵션을 지원하고 llama.cpp를 통해 GGUF 모델을 실행합니다. 전체 설치에서는 ExLlamaV3, Transformers, TensorRT-LLM 같은 추가 백엔드도 사용할 수 있습니다.

textgen은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

textgen은(는) AGPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

textgen은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. textgen의 마지막 커밋은 2026년 8월 17일입니다.

textgen은(는) 어디에 사용할 수 있나요?

클라우드 서비스로 데이터를 보내지 않고 개인 컴퓨터에서 GGUF 채팅 모델을 비공개로 실행 개발 중 기존 OpenAI 또는 Anthropic 클라이언트 코드를 로컬 모델에 연결 로컬 비전 지원 모델로 문서나 이미지에 관해 대화 자신의 채팅 또는 텍스트 데이터셋으로 LoRA 어댑터 파인튜닝

textgen는 어떻게 설치하나요?

릴리스 페이지에서 운영체제에 맞는 포터블 빌드를 다운로드합니다 다운로드한 파일의 압축을 풀고 textgen을 두 번 클릭해 앱 창을 엽니다 GGUF 모델 파일을 user_data/models 폴더에 넣으면 UI가 자동으로 감지합니다

textgen은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/oobabooga/textgen