Repolode
Enviar
containers

containers/ramalama

Herramienta para desarrolladores que ejecuta modelos de IA localmente en contenedores OCI, descarga automáticamente imágenes para la GPU y ofrece los modelos mediante una API REST o un chatbot.

Alternativa open source a:Ollama

Ver en GitHubSitio web
Estrellas
3,110
Forks
389
Issues abiertos
114
Último commit
hace 24 horas

¿Qué es?

RamaLama es una CLI de código abierto que permite descargar, ejecutar y ofrecer modelos de IA desde varios registros, con el mismo flujo de trabajo que los contenedores. Detecta las GPU del host y descarga una imagen de contenedor acelerada compatible, así que no tienes que configurar por tu cuenta los controladores ni los entornos de ejecución del sistema host. Los modelos se gestionan de forma similar a las imágenes de contenedor, con comandos para listarlos, descargarlos, inspeccionarlos, convertirlos y medir su rendimiento.

Los modelos pueden provenir de Hugging Face, ModelScope, Ollama y registros OCI genéricos, como Quay o Docker Hub. La inferencia se ejecuta mediante llama.cpp, vLLM o MLX en macOS, y puedes interactuar con un modelo a través de una API REST o un chatbot. De forma predeterminada, los contenedores se ejecutan sin privilegios de root, montan el modelo en modo de solo lectura, no tienen acceso a la red durante `ramalama run` y se eliminan al salir.

El proyecto es compatible con CPU y también con hardware de NVIDIA, AMD, Intel, Apple Silicon, Ascend y Moore Threads. Se puede instalar desde PyPI, mediante DNF en Fedora, con un instalador para macOS o con un script de shell. Windows es compatible a través de Docker Desktop o Podman Desktop con WSL2.

Funciones clave

  • 01Selecciona automáticamente una imagen de contenedor específica para la GPU del hardware del host.
  • 02Descarga modelos de Hugging Face, ModelScope, Ollama y registros OCI.
  • 03Ofrece modelos mediante una API REST o un chatbot interactivo.
  • 04Ejecuta modelos en contenedores sin privilegios de root, con montajes de solo lectura y sin acceso a la red.
  • 05Convierte modelos en imágenes OCI y permite medir su rendimiento o inspeccionarlos con comandos integrados.

Casos de uso

  • Ejecutar localmente LLM de pesos abiertos sin instalar CUDA, ROCm ni entornos de ejecución de inferencia de forma manual.
  • Ofrecer un modelo mediante una API REST local para desarrollar aplicaciones.
  • Probar modelos de varios registros con un conjunto de comandos uniforme.
  • Ejecutar inferencias de modelos en contenedores aislados para separar mejor el entorno host.

Inicio rápido

  1. 1

    Instala RamaLama desde PyPI

    pip install ramalama
  2. 2

    Ejecuta un modelo con el comando ramalama run (necesitas tener Podman o Docker instalado)

Antes de usarlo

  • Funciona mejor si tienes Podman o Docker instalado, ya que los modelos se ejecutan dentro de contenedores.
  • Para usar una GPU NVIDIA se necesita configuración adicional en el host, descrita en la documentación del proyecto.
  • La compatibilidad con Windows requiere Docker Desktop o Podman Desktop con WSL2.

En colecciones

Ejecuta LLM en localEntrena y ejecuta IA en GPU

Temas

#llm#containers#inference-server#llama-cpp#local-ai#podman#gpu#oci#ai#cuda

Preguntas frecuentes

¿Qué es ramalama?
Herramienta para desarrolladores que ejecuta modelos de IA localmente en contenedores OCI, descarga automáticamente imágenes para la GPU y ofrece los modelos mediante una API REST o un chatbot. RamaLama es una CLI de código abierto que permite descargar, ejecutar y ofrecer modelos de IA desde varios registros, con el mismo flujo de trabajo que los contenedores. Detecta las GPU del host y descarga una imagen de contenedor acelerada compatible, así que no tienes que configurar por tu cuenta los controladores ni los entornos de ejecución del sistema host. Los modelos se gestionan de forma similar a las imágenes de contenedor, con comandos para listarlos, descargarlos, inspeccionarlos, convertirlos y medir su rendimiento.
¿ramalama es gratuito? ¿Qué licencia tiene?
ramalama es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿ramalama sigue mantenido?
Mantenimiento activo. El último commit de ramalama fue el 6 nov 2026.
¿Para qué puedo usar ramalama?
Ejecutar localmente LLM de pesos abiertos sin instalar CUDA, ROCm ni entornos de ejecución de inferencia de forma manual. Ofrecer un modelo mediante una API REST local para desarrollar aplicaciones. Probar modelos de varios registros con un conjunto de comandos uniforme. Ejecutar inferencias de modelos en contenedores aislados para separar mejor el entorno host.
¿Cómo se instala ramalama?
Instala RamaLama desde PyPI: pip install ramalama Ejecuta un modelo con el comando ramalama run (necesitas tener Podman o Docker instalado)
¿Dónde consigo ramalama?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/containers/ramalama

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados