BerriAI/litellm

어떤 프로젝트인가요?

핵심 기능

• 01OpenAI 요청 형식을 사용해 100개 이상의 LLM 제공업체를 호출합니다.
• 02가상 키와 프로젝트별 비용 추적 기능을 제공하는 자체 호스팅 프록시입니다.
• 03여러 배포 환경에 걸쳐 로드 밸런싱, 재시도, 폴백 라우팅을 지원합니다.
• 04관측성을 위한 가드레일과 로깅 콜백을 제공합니다.
• 05게이트웨이를 통해 A2A 에이전트와 MCP 서버를 연결합니다.

활용 사례

• 사용자별 키와 예산을 적용해 팀에서 여러 LLM 제공업체를 위한 단일 내부 엔드포인트를 운영합니다.
• API 호출을 다시 작성하지 않고 애플리케이션 코드에서 OpenAI 모델과 Anthropic 모델을 전환합니다.
• 제공된 Terraform 모듈을 사용해 AWS 또는 GCP에 LLM 게이트웨이를 배포합니다.

빠른 시작

1. 1

   uv로 LiteLLM 프록시 서버를 설치합니다

   uv tool install 'litellm[proxy]'
2. 2

   모델을 지정해 프록시를 시작한 다음 http://0.0.0.0:4000 으로 호출합니다

   litellm --model gpt-4o

사용 전 알아둘 점

• !라이선스가 명확히 확인되지 않았습니다(메타데이터에 NOASSERTION으로 표시됨). 사용하기 전에 라이선스 조건을 확인하세요.
• !각 provider를 호출하려면 해당 provider의 API 키가 필요합니다.
• !엔터프라이즈 요금제와 같이 안내된 일부 기능은 오픈 소스 프로젝트와 별도로 제공됩니다.

토픽

자주 묻는 질문

litellm은(는) 무엇인가요?

단일 OpenAI 형식 인터페이스로 100개 이상의 LLM 제공업체를 호출하는 오픈소스 AI Gateway 및 Python SDK입니다. LiteLLM을 사용하면 OpenAI, Anthropic, Gemini, Bedrock, Azure, Vertex AI를 비롯한 여러 LLM 제공업체를 하나의 OpenAI 호환 인터페이스로 호출할 수 있습니다. 애플리케이션 코드에서 Python 라이브러리로 사용하거나, 팀이나 조직의 중앙 게이트웨이 역할을 하는 자체 호스팅 프록시 서버로 배포할 수 있습니다.

litellm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

litellm은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

litellm은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. litellm의 마지막 커밋은 2026년 10월 20일입니다.

litellm은(는) 어디에 사용할 수 있나요?

사용자별 키와 예산을 적용해 팀에서 여러 LLM 제공업체를 위한 단일 내부 엔드포인트를 운영합니다. API 호출을 다시 작성하지 않고 애플리케이션 코드에서 OpenAI 모델과 Anthropic 모델을 전환합니다. 제공된 Terraform 모듈을 사용해 AWS 또는 GCP에 LLM 게이트웨이를 배포합니다.

litellm는 어떻게 설치하나요?

uv로 LiteLLM 프록시 서버를 설치합니다: uv tool install 'litellm[proxy]' 모델을 지정해 프록시를 시작한 다음 http://0.0.0.0:4000 으로 호출합니다: litellm --model gpt-4o

litellm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/BerriAI/litellm