containers/ramalama

어떤 프로젝트인가요?

핵심 기능

• 01호스트 하드웨어에 맞는 GPU 전용 컨테이너 이미지를 자동으로 선택합니다.
• 02Hugging Face, ModelScope, Ollama 및 OCI 레지스트리에서 모델을 가져옵니다.
• 03REST API 또는 대화형 챗봇으로 모델을 제공합니다.
• 04읽기 전용 마운트와 네트워크 접근 차단을 적용한 rootless 컨테이너에서 모델을 실행합니다.
• 05기본 제공 명령으로 모델을 OCI 이미지로 변환하고, 벤치마크하거나 검사합니다.

활용 사례

• CUDA, ROCm 또는 추론 런타임을 직접 설치하지 않고 오픈 웨이트 LLM을 로컬에서 실행합니다.
• 애플리케이션 개발을 위해 로컬 REST API로 모델을 제공합니다.
• 여러 레지스트리의 모델을 일관된 명령어 세트로 사용해 봅니다.
• 호스트와 더 엄격하게 분리된 환경에서 모델 추론을 실행합니다.

빠른 시작

1. 1

   PyPI에서 RamaLama를 설치합니다

   pip install ramalama
2. 2

   ramalama run 명령으로 모델을 실행합니다(Podman 또는 Docker 설치 필요)

사용 전 알아둘 점

• !모델은 컨테이너 안에서 실행되므로 Podman 또는 Docker를 설치하는 것이 가장 좋습니다.
• !NVIDIA GPU를 사용하려면 프로젝트 문서에 설명된 호스트 측 추가 설정이 필요합니다.
• !Windows를 지원하려면 WSL2와 Docker Desktop 또는 Podman Desktop이 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

ramalama은(는) 무엇인가요?

OCI 컨테이너에서 AI 모델을 로컬로 실행하고, GPU에 맞는 이미지를 자동으로 가져와 REST API나 챗봇으로 제공하는 개발자 도구입니다. RamaLama는 컨테이너와 같은 워크플로로 여러 레지스트리에서 AI 모델을 가져오고 실행하고 제공할 수 있는 오픈소스 CLI입니다. 호스트의 GPU를 감지해 여기에 맞는 가속 컨테이너 이미지를 가져오므로, 호스트 시스템에서 드라이버와 런타임을 직접 설정할 필요가 없습니다. 모델은 컨테이너 이미지처럼 다루며, 목록 조회, 가져오기, 검사, 변환, 벤치마크를 위한 명령을 제공합니다.

ramalama은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

ramalama은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

ramalama은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. ramalama의 마지막 커밋은 2026년 11월 4일입니다.

ramalama은(는) 어디에 사용할 수 있나요?

CUDA, ROCm 또는 추론 런타임을 직접 설치하지 않고 오픈 웨이트 LLM을 로컬에서 실행합니다. 애플리케이션 개발을 위해 로컬 REST API로 모델을 제공합니다. 여러 레지스트리의 모델을 일관된 명령어 세트로 사용해 봅니다. 호스트와 더 엄격하게 분리된 환경에서 모델 추론을 실행합니다.

ramalama는 어떻게 설치하나요?

PyPI에서 RamaLama를 설치합니다: pip install ramalama ramalama run 명령으로 모델을 실행합니다(Podman 또는 Docker 설치 필요)

ramalama은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/containers/ramalama