Repolode
Enviar
containers

containers/ramalama

Ferramenta para desenvolvedores que executa modelos de IA localmente em containers OCI, baixa automaticamente imagens específicas para a GPU e disponibiliza os modelos por REST API ou chatbot.

Alternativa open source a:Ollama

Ver no GitHubSite
Estrelas
3,111
Forks
389
Issues abertas
114
Último commit
há 23 horas

O que é?

RamaLama é uma CLI open source que permite baixar, executar e disponibilizar modelos de IA de vários registries, usando o mesmo fluxo de trabalho de containers. Ela detecta as GPUs do host e baixa uma imagem de container acelerada compatível, sem que você precise configurar drivers e runtimes no sistema host. Os modelos são tratados de forma semelhante às imagens de container, com comandos para listar, baixar, inspecionar, converter e fazer benchmarking.

Os modelos podem vir do Hugging Face, ModelScope, Ollama e registries OCI genéricos, como Quay ou Docker Hub. A inferência é executada pelo llama.cpp, vLLM ou MLX no macOS, e você pode interagir com um modelo por uma REST API ou por um chatbot. Por padrão, os containers são executados sem privilégios de root, montam o modelo como somente leitura, não têm acesso à rede durante `ramalama run` e são removidos ao serem encerrados.

O projeto oferece suporte a CPU e também a hardware NVIDIA, AMD, Intel, Apple Silicon, Ascend e Moore Threads. A instalação pode ser feita pelo PyPI, pelo DNF no Fedora, por um instalador para macOS ou por um script de shell. O Windows é compatível por meio do Docker Desktop ou Podman Desktop com WSL2.

Recursos principais

  • 01Seleciona automaticamente uma imagem de container específica para a GPU do hardware host.
  • 02Baixa modelos do Hugging Face, ModelScope, Ollama e registries OCI.
  • 03Disponibiliza modelos por uma REST API ou um chatbot interativo.
  • 04Executa modelos em containers sem privilégios de root, com montagens somente para leitura e sem acesso à rede.
  • 05Converte modelos em imagens OCI e permite fazer benchmarking ou inspecioná-los com comandos integrados.

Casos de uso

  • Executar LLMs de pesos abertos localmente sem instalar manualmente CUDA, ROCm ou runtimes de inferência.
  • Disponibilizar um modelo em uma REST API local para desenvolver aplicações.
  • Experimentar modelos de vários registries usando um conjunto único e consistente de comandos.
  • Executar inferências de modelos em containers isolados para separar melhor o ambiente host.

Início rápido

  1. 1

    Instale o RamaLama pelo PyPI

    pip install ramalama
  2. 2

    Execute um modelo com o comando ramalama run (é necessário ter o Podman ou o Docker instalado)

Antes de usar

  • Funciona melhor com o Podman ou o Docker instalado, pois os modelos são executados em contêineres.
  • O uso de GPU NVIDIA requer configuração adicional no host, descrita na documentação do projeto.
  • O suporte ao Windows requer o Docker Desktop ou o Podman Desktop com WSL2.

Em coleções

Rode LLMs localmenteTreine e execute IA em GPUs

Tópicos

#llm#containers#inference-server#llama-cpp#local-ai#podman#gpu#oci#ai#cuda

Perguntas frequentes

O que é ramalama?
Ferramenta para desenvolvedores que executa modelos de IA localmente em containers OCI, baixa automaticamente imagens específicas para a GPU e disponibiliza os modelos por REST API ou chatbot. RamaLama é uma CLI open source que permite baixar, executar e disponibilizar modelos de IA de vários registries, usando o mesmo fluxo de trabalho de containers. Ela detecta as GPUs do host e baixa uma imagem de container acelerada compatível, sem que você precise configurar drivers e runtimes no sistema host. Os modelos são tratados de forma semelhante às imagens de container, com comandos para listar, baixar, inspecionar, converter e fazer benchmarking.
ramalama é gratuito? Qual é a licença?
ramalama é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
ramalama ainda é mantido?
Manutenção ativa. O último commit de ramalama foi em 7 de nov. de 2026.
Para que posso usar ramalama?
Executar LLMs de pesos abertos localmente sem instalar manualmente CUDA, ROCm ou runtimes de inferência. Disponibilizar um modelo em uma REST API local para desenvolver aplicações. Experimentar modelos de vários registries usando um conjunto único e consistente de comandos. Executar inferências de modelos em containers isolados para separar melhor o ambiente host.
Como instalar ramalama?
Instale o RamaLama pelo PyPI: pip install ramalama Execute um modelo com o comando ramalama run (é necessário ter o Podman ou o Docker instalado)
Onde consigo ramalama?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/containers/ramalama

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados