CPU 전용 머신을 포함한 다양한 하드웨어에서 LLM, 비전, 음성, 이미지, 동영상 모델을 실행하는 자체 호스팅 OpenAI 호환 AI 엔진입니다.
- 스타
- 8,444
- 포크
- 1,394
- 열린 이슈
- 141
- 마지막 커밋
- 50분 전
어떤 프로젝트인가요?
OGX는 AI 애플리케이션을 구축하기 위한 오픈소스 API 서버입니다. OpenAI API를 그대로 대체하므로 기존 OpenAI 호환 클라이언트와 에이전트 프레임워크를 코드 변경 없이 사용할 수 있습니다. 서버는 노트북, 데이터센터 또는 클라우드에서 실행할 수 있습니다.
이 프로젝트는 플러그형 provider 아키텍처를 사용합니다. 개발자는 로컬에서 Ollama를 사용하고, 동일한 API를 유지한 채 같은 애플리케이션을 vLLM이나 관리형 모델 서비스에 배포할 수 있습니다. 또한 서버 측 도구 호출, MCP 서버 통합, 내장 파일 검색을 지원하는 Responses API와 벡터 스토어, 파일, 배치 처리 엔드포인트를 제공합니다.
OGX는 Anthropic SDK 요청(/v1/messages)과 Google GenAI SDK 요청도 기본 지원하며, 공식 Python 및 TypeScript 클라이언트 SDK를 제공합니다. 이전에는 Llama Stack이라는 이름으로 알려졌습니다.
핵심 기능
- 01채팅 완성, 완성 및 임베딩을 위한 OpenAI 호환 엔드포인트를 그대로 제공합니다.
- 02도구 호출, MCP 서버 통합, 내장 파일 검색을 지원하는 Responses API입니다.
- 03벡터 스토어, 파일 및 배치 처리 엔드포인트를 제공합니다.
- 04OpenAI API와 함께 Anthropic 및 Google GenAI SDK 엔드포인트를 기본 지원합니다.
- 05플러그형 provider를 통해 동일한 API를 Ollama, vLLM 또는 관리형 서비스에서 사용할 수 있습니다.
활용 사례
- 개발 중에는 OpenAI 호환 백엔드를 로컬에서 실행하고, 이후 같은 코드를 프로덕션에 배포합니다.
- 애플리케이션 코드를 다시 작성하지 않고 오픈 모델과 독점 모델을 전환합니다.
- 단일 Responses API 호출을 통해 도구와 MCP 서버를 호출하는 에이전트를 구축합니다.
- 자체 인프라 안에서 직접 관리하는 AI 게이트웨이를 호스팅합니다.
빠른 시작
- 1
uv로 OGX 패키지를 설치합니다
uv pip install ogx - 2
OGX 서버를 시작합니다(환경에서 프로바이더를 자동으로 감지합니다)
uv run ogx go
사용 전 알아둘 점
- 실제 추론을 제공하려면 모델 프로바이더 또는 백엔드를 하나 이상 구성해야 합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- ogx은(는) 무엇인가요?
- OpenAI 호환 엔드포인트를 제공하고 요청을 다양한 모델이나 백엔드로 라우팅하는 오픈소스 에이전트 API 서버입니다. OGX는 AI 애플리케이션을 구축하기 위한 오픈소스 API 서버입니다. OpenAI API를 그대로 대체하므로 기존 OpenAI 호환 클라이언트와 에이전트 프레임워크를 코드 변경 없이 사용할 수 있습니다. 서버는 노트북, 데이터센터 또는 클라우드에서 실행할 수 있습니다.
- ogx은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- ogx은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- ogx은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. ogx의 마지막 커밋은 2026년 10월 22일입니다.
- ogx은(는) 어디에 사용할 수 있나요?
- 개발 중에는 OpenAI 호환 백엔드를 로컬에서 실행하고, 이후 같은 코드를 프로덕션에 배포합니다. 애플리케이션 코드를 다시 작성하지 않고 오픈 모델과 독점 모델을 전환합니다. 단일 Responses API 호출을 통해 도구와 MCP 서버를 호출하는 에이전트를 구축합니다. 자체 인프라 안에서 직접 관리하는 AI 게이트웨이를 호스팅합니다.
- ogx는 어떻게 설치하나요?
- uv로 OGX 패키지를 설치합니다: uv pip install ogx OGX 서버를 시작합니다(환경에서 프로바이더를 자동으로 감지합니다): uv run ogx go
- ogx은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ogx-ai/ogx
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
자체 호스팅 환경에서 문서를 바탕으로 출처를 제시하며 질문에 답하는 AI 에이전트와 어시스턴트를 어떤 모델로든 구축할 수 있는 플랫폼입니다.
양자화, 멀티모달 모델, 에이전트 도구를 지원하며 OpenAI 및 Anthropic 호환 API를 제공하는 Rust 기반 LLM 추론 엔진입니다.
로컬 Ollama 모델 및 OpenAI 호환 API와 채팅할 수 있는 자체 호스팅·제공자 독립형 웹 인터페이스로, RAG, 플러그인, 다중 사용자 접근 제어를 지원합니다.
OpenAI 호환 API로 임베딩, 리랭킹, OCR, 추출, 안전성 및 LLM 모델을 제공하는 셀프 호스팅 추론 서버