orailnoor/cross-platform-llm-client

어떤 프로젝트인가요?

핵심 기능

• 01GPU 가속을 지원하며 Android와 iOS에서 GGUF 모델을 실행합니다.
• 02OpenAI, Anthropic, Google Gemini 또는 Kimi API로 전환할 수 있습니다.
• 03로컬 Qwen2-VL 비전 모델을 포함해 텍스트와 이미지 입력을 지원합니다.
• 04Hive를 사용해 채팅과 설정을 로컬에 저장합니다.
• 05기기의 RAM을 바탕으로 컨텍스트 크기와 토큰 한도를 권장합니다.

활용 사례

• 데이터를 서버로 보내지 않고 휴대폰에서 로컬 모델과 채팅하기.
• 하나의 클라이언트에서 기기 내 모델과 클라우드 API를 번갈아 사용하기.
• AltStore를 통해 iPhone 또는 iPad에 비공개 AI 채팅 앱을 사이드로드하기.

빠른 시작

1. 1

   Flutter 종속 항목 설치

   flutter pub get
2. 2

   Android 디버그 APK 빌드

   flutter build apk --debug
3. 3

   웹 앱 빌드

   flutter build web --release

사용 전 알아둘 점

• !기기 내 로컬 추론은 Android와 iOS에서만 지원됩니다. 웹 빌드는 클라우드만 사용할 수 있습니다.
• !iOS 빌드에는 Mac이 필요하며 AltStore를 통해 설치해야 합니다. 사이드로드한 앱은 7일 후 만료됩니다.
• !Android 릴리스 빌드를 만들려면 직접 서명 키 구성을 설정해야 합니다.

포함된 컬렉션

토픽

자주 묻는 질문

cross-platform-llm-client은(는) 무엇인가요?

Android와 iOS에서 GGUF 모델을 기기 내에서 실행하거나 OpenAI, Anthropic, Gemini, Kimi의 클라우드 API로 전환할 수 있는 Flutter 채팅 클라이언트입니다. PrivateLM은 Flutter로 만든 크로스 플랫폼 AI 채팅 클라이언트입니다. 커스텀 Flutter 플러그인으로 래핑한 llama.cpp를 사용해 Android와 iOS에서 로컬 LLM 추론을 실행하며, Android에서는 Vulkan, iOS에서는 Metal로 GPU 가속을 지원합니다. GGUF 모델을 기기에 다운로드하면 다운로드가 끝난 뒤에는 인터넷 연결 없이 채팅할 수 있습니다.

cross-platform-llm-client은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

cross-platform-llm-client은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

cross-platform-llm-client은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. cross-platform-llm-client의 마지막 커밋은 2026년 11월 4일입니다.

cross-platform-llm-client은(는) 어디에 사용할 수 있나요?

데이터를 서버로 보내지 않고 휴대폰에서 로컬 모델과 채팅하기. 하나의 클라이언트에서 기기 내 모델과 클라우드 API를 번갈아 사용하기. AltStore를 통해 iPhone 또는 iPad에 비공개 AI 채팅 앱을 사이드로드하기.

cross-platform-llm-client는 어떻게 설치하나요?

Flutter 종속 항목 설치: flutter pub get Android 디버그 APK 빌드: flutter build apk --debug 웹 앱 빌드: flutter build web --release

cross-platform-llm-client은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/orailnoor/cross-platform-llm-client