Guía y aplicación web de chatbot para ejecutar un LLM local pequeño en hardware de consumo mediante una API compatible con OpenAI, usando Ollama, vLLM o llama-cpp-python.
Alternativa open source a:ChatGPT
TinyLLM es una guía de configuración y un chatbot web para ejecutar un modelo de lenguaje grande en una máquina local de recursos limitados. Explica cómo poner en marcha un servidor de inferencia con Ollama, vLLM o llama-cpp-python, cada uno con una API compatible con OpenAI, y conectar después un chatbot al estilo de ChatGPT a ese endpoint.
El chatbot es una aplicación Python con FastAPI que admite varias sesiones y conserva el historial de conversación. Puede resumir URL y PDF pegados en el chat, obtener titulares de noticias, consultar cotizaciones de acciones y el clima, y ejecutar consultas con generación aumentada por recuperación en una base de datos vectorial. El proyecto también incluye notas sobre modelos GGUF y AWQ cuantizados que funcionan bien con GPU modestas, y una sección sobre cómo apuntar la herramienta de línea de comandos `llm` al servidor local.
El repositorio está pensado para Ubuntu Linux y macOS con Apple Silicon o GPU NVIDIA, e incluye comandos de Docker para ejecutar los servicios.
Clona el repositorio del proyecto
git clone https://github.com/jasonacox/TinyLLM.gitInicia el contenedor del servidor Ollama con el comando docker run que aparece en el README
Descarga y ejecuta una prueba del modelo llama3 dentro del contenedor
docker exec -it ollama ollama run llama3Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Interfaz web autoalojada e independiente del proveedor para chatear con modelos locales de Ollama y APIs compatibles con OpenAI, con RAG, plugins y control de acceso multiusuario.
Interfaz de chat en el navegador para servidores de LLM locales como Ollama, LM Studio y AUTOMATIC1111, disponible como app web, PWA y extensión de Chrome.
Una interfaz web ligera para ChatGPT y muchos otros LLM, con preguntas y respuestas sobre archivos, búsqueda web, despliegue de modelos locales y un asistente con agentes.
App de Android para chatear con modelos GGUF que se ejecutan localmente mediante llama.cpp o con proveedores remotos como OpenAI, Anthropic, Ollama y DeepSeek.
Plataforma de agentes de IA autoalojable que funciona localmente en CPU o GPU, con una interfaz web sin código y una API compatible con OpenAI Responses.
Asistente de IA de escritorio multiplataforma que se conecta con los principales proveedores de LLM y funciona como cliente MCP con una base de conocimiento local.