Repolode
提交项目
addyosmani

addyosmani/chatty

基于 WebGPU 在浏览器中本地运行开源大模型的私密 AI 聊天应用，对话数据不离开设备。

可替代:ChatGPT

在 GitHub 查看
Star
841
Fork
107
未关闭 Issue
9
最近提交
3个月前

这是什么？

Chatty 是一个基于 Next.js 的网页应用，可以直接在浏览器中运行大语言模型并与之对话。它通过 WebGPU 在用户自己的设备上执行 Gemma、Llama、Mistral 等开源模型，提示词和回复都在本地处理，不经过服务器。模型首次下载后，无网络连接也可以继续使用。

除基本对话外，应用还支持历史会话管理、Markdown 与代码高亮、重新生成回复以及浅色/深色主题。用户可以加载 PDF 或其他非二进制文件并基于文件提问，文件向量化同样在浏览器中完成，使用 Xenova 的 Transformer 模型和 LangChain 的内存向量库。此外还可以添加自定义指令来个性化回复，并将对话导出为 JSON 或 Markdown。

项目基于 WebLLM 构建，可通过 npm 或 Docker 在本地运行。运行 7B 模型约需 6GB 显存的 GPU，3B 模型约需 3GB。

核心功能

  • 01通过 WebGPU 在浏览器内本地运行大模型，无需服务端推理。
  • 02模型下载完成后可离线使用。
  • 03支持加载 PDF 及文本类文件进行本地问答。
  • 04保存聊天记录，并可将对话导出为 JSON 或 Markdown。
  • 05支持自定义指令、语音输入和重新生成回复。

适用场景

  • 在不希望提示词离开本机的前提下，与开源大模型对话。
  • 无需上传到云端，即可针对私有文档提问。
  • 在没有网络连接的笔记本上使用大模型聊天界面。
  • 学习在 Next.js 应用中实现浏览器端 WebGPU 推理和文件向量化。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/addyosmani/chatty
  2. 2

    进入项目文件夹

    cd chatty
  3. 3

    安装依赖

    npm install
  4. 4

    启动开发服务器并打开 localhost:3000

    npm run dev

使用前须知

  • 需要显存足够的 GPU，7B 模型约需 6GB。
  • 需要支持 WebGPU 的浏览器，例如 Chrome 或 Edge。

收录于专题

本地运行大模型隐私与本地优先工具AI 聊天机器人与聊天客户端

标签

#llm#webgpu#chatbot#local-ai#privacy#offline#browser#nextjs#ai#huggingface

常见问题

chatty 是什么？
基于 WebGPU 在浏览器中本地运行开源大模型的私密 AI 聊天应用，对话数据不离开设备。 Chatty 是一个基于 Next.js 的网页应用，可以直接在浏览器中运行大语言模型并与之对话。它通过 WebGPU 在用户自己的设备上执行 Gemma、Llama、Mistral 等开源模型，提示词和回复都在本地处理，不经过服务器。模型首次下载后，无网络连接也可以继续使用。
chatty 可以免费使用吗？用的什么许可证？
chatty 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
chatty 还在维护吗？
半年内有更新。chatty 最近一次提交是在 2026年8月9日。
chatty 适合用来做什么？
在不希望提示词离开本机的前提下，与开源大模型对话。 无需上传到云端，即可针对私有文档提问。 在没有网络连接的笔记本上使用大模型聊天界面。 学习在 Next.js 应用中实现浏览器端 WebGPU 推理和文件向量化。
chatty 怎么安装和运行？
克隆仓库: git clone https://github.com/addyosmani/chatty 进入项目文件夹: cd chatty 安装依赖: npm install 启动开发服务器并打开 localhost:3000: npm run dev
在哪里获取 chatty？
源代码和安装说明在 GitHub 上：https://github.com/addyosmani/chatty

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目