algorithmicsuperintelligence/optillm

어떤 프로젝트인가요?

핵심 기능

• 01OpenAI 호환 chat completions 엔드포인트를 그대로 연결해 사용할 수 있습니다.
• 02모델 접두사나 요청 필드로 MoA, MCTS, best-of-N, CePO 같은 기법을 선택합니다.
• 03`&` 및 `|` 연산자로 접근 방식을 연결하거나 병렬 실행할 수 있습니다.
• 04LiteLLM을 통해 OpenAI, Azure, Cerebras 및 100개 이상의 제공업체로 요청을 라우팅합니다.
• 05MCP 도구, PII 개인정보 보호, URL 읽기, 코드 실행을 위한 플러그인을 제공합니다.
• 06HuggingFace 모델과 LoRA 어댑터를 위한 로컬 추론 서버가 포함되어 있습니다.

활용 사례

• 파인튜닝 없이 저렴한 모델의 수학 또는 코딩 정확도를 높입니다.
• 기본 URL만 바꿔 기존 앱에 추론 시점 연산을 추가합니다.
• LLM 애플리케이션을 MCP 서버에 연결해 도구와 파일을 사용합니다.
• 다중 샘플 추론 기법으로 로컬 llama.cpp 또는 Ollama 모델을 실행합니다.

빠른 시작

1. 1

   PyPI에서 OptiLLM을 설치합니다

   pip install optillm
2. 2

   OpenAI API 키를 설정하고 서버를 시작합니다

   export OPENAI_API_KEY="your-key-here" && optillm
3. 3

   Mixture of Agents를 사용하려면 OpenAI 클라이언트의 주소를 http://localhost:8000/v1로 지정하고 모델 이름 앞에 moa-를 붙입니다

사용 전 알아둘 점

• !성능 향상에는 추가 추론 연산이 필요하므로 요청 처리 속도가 느려지고 비용이 늘어날 수 있습니다.
• !일부 기법은 로컬 모델이나 특정 공급자가 필요하며, README에 보고된 벤치마크 향상 결과는 특정 모델과 작업을 기준으로 합니다.

포함된 컬렉션

토픽

자주 묻는 질문

optillm은(는) 무엇인가요?

학습 없이 MoA, MCTS, best-of-N 같은 추론 시점 기법을 적용해 LLM의 추론 성능을 높이는 OpenAI API 호환 프록시입니다. OptiLLM은 애플리케이션과 OpenAI 호환 LLM 엔드포인트 사이에 위치하는 추론 프록시입니다. 클라이언트가 OptiLLM에 일반적인 chat completion 요청을 보내면, OptiLLM은 여러 후보를 샘플링하거나 계획을 탐색하고 답변을 검증하는 등 추론 시점에 추가 연산을 수행한 뒤 응답을 반환합니다. 모델을 학습하거나 파인튜닝할 필요가 없습니다.

optillm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

optillm은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

optillm은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. optillm의 마지막 커밋은 2026년 11월 2일입니다.

optillm은(는) 어디에 사용할 수 있나요?

파인튜닝 없이 저렴한 모델의 수학 또는 코딩 정확도를 높입니다. 기본 URL만 바꿔 기존 앱에 추론 시점 연산을 추가합니다. LLM 애플리케이션을 MCP 서버에 연결해 도구와 파일을 사용합니다. 다중 샘플 추론 기법으로 로컬 llama.cpp 또는 Ollama 모델을 실행합니다.

optillm는 어떻게 설치하나요?

PyPI에서 OptiLLM을 설치합니다: pip install optillm OpenAI API 키를 설정하고 서버를 시작합니다: export OPENAI_API_KEY="your-key-here" && optillm Mixture of Agents를 사용하려면 OpenAI 클라이언트의 주소를 http://localhost:8000/v1로 지정하고 모델 이름 앞에 moa-를 붙입니다

optillm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/algorithmicsuperintelligence/optillm