Repolode
Enviar
addyosmani

addyosmani/chatty

Um app de chat no navegador que executa LLMs de código aberto localmente na sua GPU via WebGPU, mantendo as conversas no seu dispositivo.

Alternativa open source a:ChatGPT

Ver no GitHub
Estrelas
841
Forks
107
Issues abertas
9
Último commit
há 3 meses

O que é?

Chatty é um app web feito com Next.js para conversar com modelos de linguagem grandes que rodam inteiramente no navegador. Ele usa WebGPU para executar modelos como Gemma, Llama e Mistral no hardware do próprio usuário, processando prompts e respostas localmente, em vez de enviá-los para um servidor. Depois de baixar um modelo uma vez, é possível usá-lo sem conexão ativa com a internet.

Além do chat básico, o app oferece histórico de conversas salvo, realce de Markdown e código, geração de novas respostas e temas claro e escuro. Os usuários podem carregar PDFs e outros arquivos não binários e fazer perguntas sobre eles; os embeddings são gerados no navegador com um modelo transformer da Xenova e um vector store em memória do LangChain. Também é possível adicionar instruções personalizadas para adaptar as respostas e exportar conversas como JSON ou Markdown.

O projeto é baseado no WebLLM e pode ser executado localmente com npm ou Docker. Para rodar modelos 7B, é necessária uma GPU com cerca de 6 GB de memória; modelos 3B precisam de aproximadamente 3 GB.

Recursos principais

  • 01Executa LLMs localmente no navegador via WebGPU, sem inferência no servidor.
  • 02Funciona offline depois que um modelo é baixado uma vez.
  • 03Carrega PDFs e arquivos de texto para responder a perguntas localmente.
  • 04Salva o histórico de conversas e exporta conversas como JSON ou Markdown.
  • 05Oferece suporte a instruções personalizadas, entrada por voz e geração de novas respostas.

Casos de uso

  • Conversar com um modelo de código aberto quando os prompts não podem sair da sua máquina.
  • Fazer perguntas sobre documentos privados sem enviá-los para um serviço na nuvem.
  • Usar uma interface de chat com LLM em um laptop sem conexão com a internet.
  • Estudar como funcionam a inferência WebGPU no navegador e os embeddings de arquivos em um app Next.js.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/addyosmani/chatty
  2. 2

    Abra a pasta do projeto

    cd chatty
  3. 3

    Instale as dependências

    npm install
  4. 4

    Inicie o servidor de desenvolvimento e abra localhost:3000

    npm run dev

Antes de usar

  • É necessária uma GPU com memória suficiente; modelos 7B precisam de cerca de 6 GB.
  • É necessário um navegador com suporte a WebGPU, como Chrome ou Edge.

Em coleções

Rode LLMs localmenteFerramentas de privacidade e local-firstChatbots de IA e clientes de chat

Tópicos

#llm#webgpu#chatbot#local-ai#privacy#offline#browser#nextjs#ai#huggingface

Perguntas frequentes

O que é chatty?
Um app de chat no navegador que executa LLMs de código aberto localmente na sua GPU via WebGPU, mantendo as conversas no seu dispositivo. Chatty é um app web feito com Next.js para conversar com modelos de linguagem grandes que rodam inteiramente no navegador. Ele usa WebGPU para executar modelos como Gemma, Llama e Mistral no hardware do próprio usuário, processando prompts e respostas localmente, em vez de enviá-los para um servidor. Depois de baixar um modelo uma vez, é possível usá-lo sem conexão ativa com a internet.
chatty é gratuito? Qual é a licença?
chatty é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
chatty ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de chatty foi em 9 de ago. de 2026.
Para que posso usar chatty?
Conversar com um modelo de código aberto quando os prompts não podem sair da sua máquina. Fazer perguntas sobre documentos privados sem enviá-los para um serviço na nuvem. Usar uma interface de chat com LLM em um laptop sem conexão com a internet. Estudar como funcionam a inferência WebGPU no navegador e os embeddings de arquivos em um app Next.js.
Como instalar chatty?
Clone o repositório: git clone https://github.com/addyosmani/chatty Abra a pasta do projeto: cd chatty Instale as dependências: npm install Inicie o servidor de desenvolvimento e abra localhost:3000: npm run dev
Onde consigo chatty?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/addyosmani/chatty

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados