Repolode
提交项目
krisyangdev

krisyangdev/ChatLLM-Web

基于 WebGPU 在浏览器本地运行大模型的 AI 聊天与智能体工作台，无需后端和账号。

可替代:ChatGPT

在 GitHub 查看官网
Star
640
Fork
48
未关闭 Issue
4
最近提交
3个月前

这是什么？

ChatLLM Web 是一个纯静态的网页应用，可以在浏览器中完全本地运行大语言模型。它基于 MLC WebLLM，在专用 Web Worker 中通过 WebGPU 调用本机显卡推理。应用会检测设备的 WebGPU、内存和存储情况，推荐合适的模型，并展示下载、加载、缓存和兼容性状态。

除了普通聊天，它还提供 Agent 模式：支持原生函数调用的模型（如 Hermes 2 Pro、Hermes 3）可以在沙箱中调用本地工具，读取和搜索已添加的文件、进行算术计算，并创建或修改 Markdown、代码、JSON 和文本类产物。每次产物写入都会以逐行差异的形式供用户审批，通过后才保存到 IndexedDB。对话、文件和产物都保留在浏览器中，应用还可安装为 PWA，首次加载后可离线复用已缓存的模型。

项目部署在 Cloudflare Pages 上，没有应用后端、账号、API 密钥或遥测统计。模型权重直接从 Hugging Face 或 WebLLM 库地址下载。界面支持英文和简体中文，并提供浅色与深色主题。

核心功能

  • 01通过 WebGPU 在本机 GPU 上运行 WebLLM 模型，推理在独立 Worker 中进行。
  • 02内置 20 个精选聊天、编程、推理、视觉和工具调用模型，并提供高级模型目录。
  • 03Agent 模式可调用沙箱中的本地工具，读取选中文件、搜索内容和计算。
  • 04任何产物写入 IndexedDB 前都需要用户以逐行差异方式审批。
  • 05支持将 TXT、Markdown、JSON 及常见代码文件作为上下文直接附加。
  • 06可安装为 PWA，首次加载后复用已缓存的模型。

适用场景

  • 在不把提示词发送到云端 API 的前提下，私密地与大模型对话。
  • 在支持 WebGPU 的笔记本或台式机浏览器上体验小型开源模型。
  • 在不上传文件的情况下，针对本地代码或文本文件提问。
  • 试验只访问所选文件的本地工具调用型智能体。

快速上手

  1. 1

    安装依赖

    npm install
  2. 2

    启动开发服务器

    npm run dev

使用前须知

  • 需要支持 WebGPU 的现代浏览器以及具备足够 GPU 内存的设备。
  • 三个 Agent 模型标记为实验性，高级模型目录面向高级用户。

收录于专题

开源 AI Agent 框架与应用本地运行大模型

标签

#local-ai#webgpu#webllm#llm#browser-ai#pwa#react#ai-agents#cloudflare-pages#llama

常见问题

ChatLLM-Web 是什么？
基于 WebGPU 在浏览器本地运行大模型的 AI 聊天与智能体工作台，无需后端和账号。 ChatLLM Web 是一个纯静态的网页应用，可以在浏览器中完全本地运行大语言模型。它基于 MLC WebLLM，在专用 Web Worker 中通过 WebGPU 调用本机显卡推理。应用会检测设备的 WebGPU、内存和存储情况，推荐合适的模型，并展示下载、加载、缓存和兼容性状态。
ChatLLM-Web 可以免费使用吗？用的什么许可证？
ChatLLM-Web 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
ChatLLM-Web 还在维护吗？
半年内有更新。ChatLLM-Web 最近一次提交是在 2026年8月12日。
ChatLLM-Web 适合用来做什么？
在不把提示词发送到云端 API 的前提下，私密地与大模型对话。 在支持 WebGPU 的笔记本或台式机浏览器上体验小型开源模型。 在不上传文件的情况下，针对本地代码或文本文件提问。 试验只访问所选文件的本地工具调用型智能体。
ChatLLM-Web 怎么安装和运行？
安装依赖: npm install 启动开发服务器: npm run dev
在哪里获取 ChatLLM-Web？
源代码和安装说明在 GitHub 上：https://github.com/krisyangdev/ChatLLM-Web

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目