Repolode
提交项目
orailnoor

orailnoor/cross-platform-llm-client

基于 Flutter 的跨平台 AI 聊天客户端，可在手机端离线运行 GGUF 模型，也可切换到云端 API。

可替代:ChatGPT

在 GitHub 查看
Star
1,581
Fork
329
未关闭 Issue
23
最近提交
3天前

这是什么？

PrivateLM 是一个基于 Flutter 构建的跨平台 AI 聊天客户端。Android 和 iOS 端通过封装 llama.cpp 的 Flutter 插件进行本地推理，Android 使用 Vulkan 加速，iOS 使用 Metal。模型以 GGUF 格式下载到设备后，无需联网即可对话。

同一界面也可以连接云端服务，支持 OpenAI、Anthropic、Google Gemini 和 Kimi（月之暗面）。应用将几种不同的 API 格式统一封装。Web 版仅支持云端模式。聊天记录和设置通过 Hive 保存在本地，API 密钥只发送给所选的服务商。

首次启动时，应用会检测设备内存并推荐上下文长度和 token 上限。对话支持文本与图片，可使用本地 Qwen2-VL 模型或支持视觉的云端模型。多步骤任务视图仍在开发中。

核心功能

  • 01在 Android 和 iOS 上运行 GGUF 模型，并支持 GPU 加速。
  • 02可切换到 OpenAI、Anthropic、Google Gemini 或 Kimi 的 API。
  • 03支持文本和图片输入，包括本地 Qwen2-VL 视觉模型。
  • 04聊天记录和设置通过 Hive 存储在本地。
  • 05根据设备内存推荐上下文长度和 token 上限。

适用场景

  • 在手机上使用本地模型聊天，数据不发送到服务器。
  • 用同一个客户端在端侧模型和云端 API 之间切换。
  • 通过 AltStore 在 iPhone 或 iPad 上侧载私有 AI 聊天应用。

快速上手

  1. 1

    安装 Flutter 依赖

    flutter pub get
  2. 2

    构建 Android 调试版 APK

    flutter build apk --debug
  3. 3

    构建 Web 应用

    flutter build web --release

使用前须知

  • 本地设备端推理仅支持 Android 和 iOS；网页版仅支持云端。
  • iOS 版需要 Mac 构建，并通过 AltStore 侧载安装，侧载应用 7 天后会过期。
  • 发布 Android 版本需要自行配置签名密钥。

收录于专题

本地运行大模型隐私与本地优先工具

标签

#flutter#llm#on-device-ai#llama-cpp#gguf#offline#multimodal#chat-client

常见问题

cross-platform-llm-client 是什么？
基于 Flutter 的跨平台 AI 聊天客户端，可在手机端离线运行 GGUF 模型，也可切换到云端 API。 PrivateLM 是一个基于 Flutter 构建的跨平台 AI 聊天客户端。Android 和 iOS 端通过封装 llama.cpp 的 Flutter 插件进行本地推理，Android 使用 Vulkan 加速，iOS 使用 Metal。模型以 GGUF 格式下载到设备后，无需联网即可对话。
cross-platform-llm-client 可以免费使用吗？用的什么许可证？
cross-platform-llm-client 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
cross-platform-llm-client 还在维护吗？
活跃维护中。cross-platform-llm-client 最近一次提交是在 2026年11月4日。
cross-platform-llm-client 适合用来做什么？
在手机上使用本地模型聊天，数据不发送到服务器。 用同一个客户端在端侧模型和云端 API 之间切换。 通过 AltStore 在 iPhone 或 iPad 上侧载私有 AI 聊天应用。
cross-platform-llm-client 怎么安装和运行？
安装 Flutter 依赖: flutter pub get 构建 Android 调试版 APK: flutter build apk --debug 构建 Web 应用: flutter build web --release
在哪里获取 cross-platform-llm-client？
源代码和安装说明在 GitHub 上：https://github.com/orailnoor/cross-platform-llm-client

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目