Repolode
Enviar
jasonacox

jasonacox/TinyLLM

Guia e app de chatbot web para rodar um LLM pequeno e local com API compatível com a OpenAI em hardware de consumo, usando Ollama, vLLM ou llama-cpp-python.

Alternativa open source a:ChatGPT

Ver no GitHub
Estrelas
354
Forks
43
Issues abertas
9
Último commit
há 13 dias

O que é?

TinyLLM é um guia de configuração e um chatbot web para rodar um modelo de linguagem grande em uma máquina local modesta. O projeto mostra como configurar um servidor de inferência com Ollama, vLLM ou llama-cpp-python — todos com uma API compatível com a OpenAI — e conectar a ele um chatbot no estilo do ChatGPT.

O chatbot é um app em Python com FastAPI que aceita várias sessões e mantém o histórico das conversas. Ele pode resumir URLs e PDFs colados no chat, buscar manchetes de notícias, consultar cotações de ações e a previsão do tempo, além de executar consultas com geração aumentada por recuperação em um banco de dados vetorial. O projeto também traz notas sobre modelos quantizados GGUF e AWQ que funcionam bem em GPUs modestas e explica como apontar a ferramenta de linha de comando `llm` para o servidor local.

O repositório é voltado para Ubuntu Linux e macOS com Apple Silicon ou GPUs NVIDIA, e inclui comandos do Docker para executar os serviços.

Recursos principais

  • 01Executa LLMs locais com Ollama, vLLM ou llama-cpp-python por meio de uma API compatível com a OpenAI.
  • 02Oferece um chatbot web no estilo do ChatGPT, com várias sessões e histórico de conversas.
  • 03Resume páginas da web e PDFs colados no chat.
  • 04Busca manchetes de notícias, cotações de ações e informações sobre o tempo por meio de comandos no chat.
  • 05Aceita consultas com geração aumentada por recuperação em um banco de dados vetorial.
  • 06Inclui configurações do Ollama para manter os modelos carregados na memória.

Casos de uso

  • Rodar um chatbot privado em uma GPU doméstica ou em um Mac com Apple Silicon, sem enviar dados para uma API na nuvem.
  • Experimentar modelos abertos quantizados em hardware com VRAM limitada.
  • Dar a uma interface de chat local acesso de recuperação aos seus próprios documentos por meio de um banco de dados vetorial.

Início rápido

  1. 1

    Clone o repositório do projeto

    git clone https://github.com/jasonacox/TinyLLM.git
  2. 2

    Inicie o contêiner do servidor Ollama usando o comando docker run indicado no README

  3. 3

    Baixe e teste o modelo llama3 dentro do contêiner

    docker exec -it ollama ollama run llama3

Antes de usar

  • Os requisitos de hardware limitam o suporte ao Ubuntu Linux ou macOS.
  • O servidor Ollama processa apenas uma sessão ou um prompt por vez.
  • A configuração rápida do Ollama pressupõe Docker e uma GPU NVIDIA; o vLLM precisa de GPUs com mais VRAM.

Em coleções

Rode LLMs localmenteChatbots de IA e clientes de chat

Tópicos

#llm#local-llm#chatbot#openai-api#llama-cpp#vllm#ollama#rag#artificial-intelligence#large-language-models

Perguntas frequentes

O que é TinyLLM?
Guia e app de chatbot web para rodar um LLM pequeno e local com API compatível com a OpenAI em hardware de consumo, usando Ollama, vLLM ou llama-cpp-python. TinyLLM é um guia de configuração e um chatbot web para rodar um modelo de linguagem grande em uma máquina local modesta. O projeto mostra como configurar um servidor de inferência com Ollama, vLLM ou llama-cpp-python — todos com uma API compatível com a OpenAI — e conectar a ele um chatbot no estilo do ChatGPT.
TinyLLM é gratuito? Qual é a licença?
TinyLLM é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
TinyLLM ainda é mantido?
Manutenção ativa. O último commit de TinyLLM foi em 25 de out. de 2026.
Para que posso usar TinyLLM?
Rodar um chatbot privado em uma GPU doméstica ou em um Mac com Apple Silicon, sem enviar dados para uma API na nuvem. Experimentar modelos abertos quantizados em hardware com VRAM limitada. Dar a uma interface de chat local acesso de recuperação aos seus próprios documentos por meio de um banco de dados vetorial.
Como instalar TinyLLM?
Clone o repositório do projeto: git clone https://github.com/jasonacox/TinyLLM.git Inicie o contêiner do servidor Ollama usando o comando docker run indicado no README Baixe e teste o modelo llama3 dentro do contêiner: docker exec -it ollama ollama run llama3
Onde consigo TinyLLM?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/jasonacox/TinyLLM

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados