addyosmani/chatty

Что это?

Ключевые возможности

• 01Запускает LLM локально в браузере через WebGPU, без инференса на сервере.
• 02Работает офлайн после однократной загрузки модели.
• 03Загружает PDF и текстовые файлы, чтобы отвечать на вопросы по ним локально.
• 04Сохраняет историю чатов и экспортирует переписки в JSON или Markdown.
• 05Поддерживает пользовательские инструкции, голосовой ввод и повторную генерацию ответов.

Сценарии использования

• Общение с open-source моделью, когда запросы не должны покидать ваше устройство.
• Вопросы по конфиденциальным документам без загрузки их в облачный сервис.
• Использование чата с LLM на ноутбуке без подключения к интернету.
• Изучение работы инференса через WebGPU и создания эмбеддингов файлов в браузере в приложении на Next.js.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/addyosmani/chatty
2. 2

   Откройте папку проекта

   cd chatty
3. 3

   Установите зависимости

   npm install
4. 4

   Запустите сервер разработки и откройте localhost:3000

   npm run dev

Что важно знать

• !Требуется GPU с достаточным объёмом памяти; моделям 7B нужно около 6 ГБ.
• !Требуется браузер с поддержкой WebGPU, например Chrome или Edge.

В подборках

Темы

Частые вопросы

Что такое chatty?

Чат-приложение в браузере, которое запускает open-source LLM локально на GPU через WebGPU, поэтому переписка остаётся на вашем устройстве. Chatty — веб-приложение на Next.js для общения с большими языковыми моделями, которые работают прямо в браузере. Оно использует WebGPU для запуска таких моделей, как Gemma, Llama и Mistral, на устройстве пользователя: запросы и ответы обрабатываются локально, а не на сервере. После однократной загрузки модели её можно использовать без подключения к интернету.

chatty можно использовать бесплатно? Какая у него лицензия?

chatty распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

chatty всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в chatty — 9 авг. 2026 г..

Для чего можно использовать chatty?

Общение с open-source моделью, когда запросы не должны покидать ваше устройство. Вопросы по конфиденциальным документам без загрузки их в облачный сервис. Использование чата с LLM на ноутбуке без подключения к интернету. Изучение работы инференса через WebGPU и создания эмбеддингов файлов в браузере в приложении на Next.js.

Как установить chatty?

Клонируйте репозиторий: git clone https://github.com/addyosmani/chatty Откройте папку проекта: cd chatty Установите зависимости: npm install Запустите сервер разработки и откройте localhost:3000: npm run dev

Где скачать chatty?

Исходный код и инструкции по установке — на GitHub: https://github.com/addyosmani/chatty