Repolode
Предложить
orailnoor

orailnoor/cross-platform-llm-client

Кроссплатформенный Flutter-клиент для общения с GGUF-моделями на Android и iOS или переключения на облачные API OpenAI, Anthropic, Gemini и Kimi.

Open source альтернатива:ChatGPT

Открыть на GitHub
Звёзды
1,581
Форки
329
Открытые issues
23
Последний коммит
3 дня назад

Что это?

PrivateLM — кроссплатформенный AI-клиент для чатов, созданный на Flutter. Он запускает локальные LLM на Android и iOS с помощью llama.cpp, подключённого через собственный Flutter-плагин, и использует GPU-ускорение через Vulkan на Android и Metal на iOS. Пользователи могут скачивать GGUF-модели на устройство и общаться с ними без подключения к интернету после завершения загрузки.

Через тот же интерфейс можно подключаться к облачным провайдерам, включая OpenAI, Anthropic, Google Gemini и Kimi (Moonshot AI). Вызовы к облачным сервисам приводятся к единому формату, несмотря на различия в API. В веб-версии доступен только облачный режим. Чаты и настройки хранятся локально с помощью Hive, а API-ключи остаются на устройстве и отправляются только выбранному провайдеру.

При первом запуске приложение проверяет объём RAM устройства и предлагает размер контекста и лимит токенов. Мультимодальный чат поддерживает текст и изображения; обработка изображений доступна через локальные модели Qwen2-VL или поддерживаемых облачных провайдеров. Представление задач для многоэтапных сценариев пока находится в разработке.

Ключевые возможности

  • 01Запускает GGUF-модели на Android и iOS с GPU-ускорением.
  • 02Позволяет переключаться на API OpenAI, Anthropic, Google Gemini или Kimi.
  • 03Поддерживает ввод текста и изображений, в том числе работу с изображениями через локальные модели Qwen2-VL.
  • 04Хранит чаты и настройки локально с помощью Hive.
  • 05Рекомендует размер контекста и лимит токенов с учётом объёма RAM устройства.

Сценарии использования

  • Общение с локальной моделью на телефоне без отправки данных на сервер.
  • Использование одного клиента для переключения между моделями на устройстве и облачными API.
  • Установка приватного AI-приложения для чатов на iPhone или iPad в обход App Store с помощью AltStore.

Быстрый старт

  1. 1

    Установить зависимости Flutter

    flutter pub get
  2. 2

    Собрать отладочный APK для Android

    flutter build apk --debug
  3. 3

    Собрать веб-приложение

    flutter build web --release

Что важно знать

  • Локальный запуск инференса на устройстве доступен только на Android и iOS; веб-версия работает только с облачным инференсом.
  • Для сборки под iOS нужен Mac, а для установки требуется AltStore. Приложения, установленные через sideload, перестают работать через 7 дней.
  • Для сборки релизной версии Android необходимо самостоятельно настроить ключ подписи.

В подборках

Запуск LLM локальноИнструменты для приватности и local-first

Темы

#flutter#llm#on-device-ai#llama-cpp#gguf#offline#multimodal#chat-client

Частые вопросы

Что такое cross-platform-llm-client?
Кроссплатформенный Flutter-клиент для общения с GGUF-моделями на Android и iOS или переключения на облачные API OpenAI, Anthropic, Gemini и Kimi. PrivateLM — кроссплатформенный AI-клиент для чатов, созданный на Flutter. Он запускает локальные LLM на Android и iOS с помощью llama.cpp, подключённого через собственный Flutter-плагин, и использует GPU-ускорение через Vulkan на Android и Metal на iOS. Пользователи могут скачивать GGUF-модели на устройство и общаться с ними без подключения к интернету после завершения загрузки.
cross-platform-llm-client можно использовать бесплатно? Какая у него лицензия?
cross-platform-llm-client распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
cross-platform-llm-client всё ещё поддерживается?
Активно поддерживается. Последний коммит в cross-platform-llm-client — 4 нояб. 2026 г..
Для чего можно использовать cross-platform-llm-client?
Общение с локальной моделью на телефоне без отправки данных на сервер. Использование одного клиента для переключения между моделями на устройстве и облачными API. Установка приватного AI-приложения для чатов на iPhone или iPad в обход App Store с помощью AltStore.
Как установить cross-platform-llm-client?
Установить зависимости Flutter: flutter pub get Собрать отладочный APK для Android: flutter build apk --debug Собрать веб-приложение: flutter build web --release
Где скачать cross-platform-llm-client?
Исходный код и инструкции по установке — на GitHub: https://github.com/orailnoor/cross-platform-llm-client

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

a-ghorbani / pocketpal-ai

Мобильное приложение на React Native, которое запускает языковые модели, преобразование текста в речь и инструменты прямо на телефоне — офлайн и без учётной записи.

ИИ и машинное обучение#on-device-ai#llm#react-native
9 тыс.+147 за неделю1 тыс.TypeScriptMITАктивно поддерживаетсяОбновлён 18 часов назад