Qwen3.5와 C-RADIOv4-H 기반의 9B 오픈 웨이트 멀티모달 모델
- 스타
- 20,477
- 포크
- 2,179
- 열린 이슈
- 166
- 마지막 커밋
- 8일 전
어떤 프로젝트인가요?
gpt-oss는 OpenAI의 오픈 웨이트 모델 시리즈로, 두 가지 모델로 제공됩니다. gpt-oss-120b는 80GB GPU 한 대에서 고도 추론 작업에 적합하고, gpt-oss-20b는 지연 시간이 짧으며 메모리 16GB 이내에서 로컬로 사용할 수 있습니다. 두 모델 모두 harmony 응답 형식을 사용하며, 이 형식으로만 사용해야 합니다. 가중치는 Apache 2.0 라이선스로 Hugging Face에서 제공됩니다.
저장소에는 PyTorch, Triton(단일 GPU용 MXFP4 MoE 커널), Metal(Apple Silicon) 기반 참조 구현과 터미널 채팅 앱, Responses API 서버 예제, 그리고 모델 학습에 사용된 브라우저 및 Python 도구가 포함되어 있습니다. 추론은 vLLM, Ollama, LM Studio, Transformers를 통해서도 실행할 수 있습니다.
PyTorch 및 Metal 코드는 프로덕션용이 아니라 학습과 실험을 위한 것이며, 브라우저 및 Python 도구는 실제 배포 전에 자체적인 안전장치를 추가해야 하는 샘플 구현입니다.
핵심 기능
- 01오픈 웨이트 모델 2종: 80GB GPU 한 대용 120B 모델과 메모리 16GB용 20B 모델.
- 02추론 강도 조절(낮음, 중간, 높음).
- 03함수 호출, 브라우징 및 Python 도구 사용, Structured Outputs.
- 04MXFP4 양자화 MoE 가중치와 기타 텐서용 BF16.
- 05Transformers, vLLM, Ollama, LM Studio와 호환.
활용 사례
- 고용량 GPU 한 대에서 성능이 뛰어난 추론 모델 실행.
- Ollama 또는 LM Studio를 사용해 소비자용 하드웨어에서 소형 모델을 로컬로 실행.
- 함수 호출이나 브라우징 및 Python 도구를 사용하는 에이전트 구축.
- 특정 도메인에 맞게 오픈 모델 파인튜닝.
빠른 시작
- 1
PyPI에서 gpt-oss 도구를 설치합니다
pip install gpt-oss - 2
다운로드 페이지에서 Ollama를 설치합니다
- 3
Ollama로 gpt-oss-20b 모델을 pull하고 실행합니다
ollama pull gpt-oss:20b
사용 전 알아둘 점
- 참조 PyTorch 구현은 비효율적이며 H100 GPU가 최소 4개 필요합니다.
- 참조 Triton 구현을 사용하려면 Triton을 소스에서 빌드해야 하며 CUDA GPU가 필요합니다.
- 참조 구현은 프로덕션 환경에서 실행하도록 만들어지지 않았습니다.
- 참조 구현은 Windows에서 테스트되지 않았습니다.
토픽
자주 묻는 질문
- gpt-oss은(는) 무엇인가요?
- OpenAI의 오픈 웨이트 gpt-oss-120b 및 gpt-oss-20b 언어 모델과 참조 추론·도구·클라이언트 코드 gpt-oss는 OpenAI의 오픈 웨이트 모델 시리즈로, 두 가지 모델로 제공됩니다. gpt-oss-120b는 80GB GPU 한 대에서 고도 추론 작업에 적합하고, gpt-oss-20b는 지연 시간이 짧으며 메모리 16GB 이내에서 로컬로 사용할 수 있습니다. 두 모델 모두 harmony 응답 형식을 사용하며, 이 형식으로만 사용해야 합니다. 가중치는 Apache 2.0 라이선스로 Hugging Face에서 제공됩니다.
- gpt-oss은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- gpt-oss은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- gpt-oss은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. gpt-oss의 마지막 커밋은 2026년 10월 12일입니다.
- gpt-oss은(는) 어디에 사용할 수 있나요?
- 고용량 GPU 한 대에서 성능이 뛰어난 추론 모델 실행. Ollama 또는 LM Studio를 사용해 소비자용 하드웨어에서 소형 모델을 로컬로 실행. 함수 호출이나 브라우징 및 Python 도구를 사용하는 에이전트 구축. 특정 도메인에 맞게 오픈 모델 파인튜닝.
- gpt-oss는 어떻게 설치하나요?
- PyPI에서 gpt-oss 도구를 설치합니다: pip install gpt-oss 다운로드 페이지에서 Ollama를 설치합니다 Ollama로 gpt-oss-20b 모델을 pull하고 실행합니다: ollama pull gpt-oss:20b
- gpt-oss은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/openai/gpt-oss
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
최신 텍스트, 비전, 오디오 및 멀티모달 머신러닝 모델을 정의하고 추론과 학습에 활용하는 프레임워크입니다.
토큰화부터 사전 학습, 파인튜닝, 평가, 채팅까지 LLM 파이프라인 전체를 다루는 간결하고 수정하기 쉬운 하네스이며, 단일 GPU 노드에서 실행할 수 있습니다.
대규모 모델의 분산 학습과 추론을 더 쉽고 효율적으로 지원하는 딥러닝 최적화 라이브러리입니다.
Transformer 모델의 GPU 학습과 추론을 위한 메모리 효율적인 exact attention 커널 FlashAttention의 공식 구현입니다.
verl은 HybridFlow 논문을 기반으로 대규모 언어 모델의 후속 학습을 위한 오픈소스 강화 학습 라이브러리입니다.