Repolode
Enviar
addyosmani

addyosmani/chatty

Una aplicación de chat para navegador que ejecuta LLMs de código abierto localmente en tu GPU mediante WebGPU, para que las conversaciones permanezcan en tu dispositivo.

Alternativa open source a:ChatGPT

Ver en GitHub
Estrellas
841
Forks
107
Issues abiertos
9
Último commit
hace 3 meses

¿Qué es?

Chatty es una aplicación web de Next.js para conversar con modelos de lenguaje grandes que se ejecutan por completo en el navegador. Usa WebGPU para ejecutar modelos como Gemma, Llama y Mistral en el hardware del usuario, de modo que las instrucciones y las respuestas se procesan localmente, no en un servidor. Después de descargar un modelo una vez, se puede usar sin conexión a Internet.

Además del chat básico, la aplicación incluye historial de chats guardados, compatibilidad con Markdown y resaltado de código, regeneración de respuestas y temas claro y oscuro. Los usuarios pueden cargar archivos PDF u otros archivos no binarios y hacer preguntas sobre ellos; las embeddings se generan en el navegador mediante un modelo transformer de Xenova y un almacén vectorial en memoria de LangChain. Se pueden añadir instrucciones personalizadas para adaptar las respuestas y exportar conversaciones como JSON o Markdown.

El proyecto está basado en WebLLM y se puede ejecutar localmente con npm o Docker. Para ejecutar modelos 7B se necesita una GPU con aproximadamente 6 GB de memoria, mientras que los modelos 3B requieren unos 3 GB.

Funciones clave

  • 01Ejecuta LLMs localmente en el navegador mediante WebGPU, sin inferencia en el servidor.
  • 02Funciona sin conexión después de descargar un modelo una vez.
  • 03Carga archivos PDF y de texto para responder preguntas localmente.
  • 04Guarda el historial de chats y exporta conversaciones como JSON o Markdown.
  • 05Admite instrucciones personalizadas, entrada de voz y regeneración de respuestas.

Casos de uso

  • Conversar con un modelo de código abierto cuando las instrucciones no deben salir de tu equipo.
  • Hacer preguntas sobre documentos privados sin subirlos a un servicio en la nube.
  • Usar una interfaz de chat con LLM en una laptop sin conexión a Internet.
  • Estudiar cómo funcionan la inferencia con WebGPU en el navegador y las embeddings de archivos en una aplicación de Next.js.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/addyosmani/chatty
  2. 2

    Abre la carpeta del proyecto

    cd chatty
  3. 3

    Instala las dependencias

    npm install
  4. 4

    Inicia el servidor de desarrollo y abre localhost:3000

    npm run dev

Antes de usarlo

  • Se necesita una GPU con suficiente memoria; los modelos de 7B requieren unos 6 GB.
  • Se necesita un navegador compatible con WebGPU, como Chrome o Edge.

En colecciones

Ejecuta LLM en localHerramientas de privacidad y local-firstChatbots de IA y clientes de chat

Temas

#llm#webgpu#chatbot#local-ai#privacy#offline#browser#nextjs#ai#huggingface

Preguntas frecuentes

¿Qué es chatty?
Una aplicación de chat para navegador que ejecuta LLMs de código abierto localmente en tu GPU mediante WebGPU, para que las conversaciones permanezcan en tu dispositivo. Chatty es una aplicación web de Next.js para conversar con modelos de lenguaje grandes que se ejecutan por completo en el navegador. Usa WebGPU para ejecutar modelos como Gemma, Llama y Mistral en el hardware del usuario, de modo que las instrucciones y las respuestas se procesan localmente, no en un servidor. Después de descargar un modelo una vez, se puede usar sin conexión a Internet.
¿chatty es gratuito? ¿Qué licencia tiene?
chatty es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿chatty sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de chatty fue el 9 ago 2026.
¿Para qué puedo usar chatty?
Conversar con un modelo de código abierto cuando las instrucciones no deben salir de tu equipo. Hacer preguntas sobre documentos privados sin subirlos a un servicio en la nube. Usar una interfaz de chat con LLM en una laptop sin conexión a Internet. Estudiar cómo funcionan la inferencia con WebGPU en el navegador y las embeddings de archivos en una aplicación de Next.js.
¿Cómo se instala chatty?
Clona el repositorio: git clone https://github.com/addyosmani/chatty Abre la carpeta del proyecto: cd chatty Instala las dependencias: npm install Inicia el servidor de desarrollo y abre localhost:3000: npm run dev
¿Dónde consigo chatty?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/addyosmani/chatty

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados