Google AI Edge가 제공하는 Android 및 iOS 앱으로, 오픈소스 LLM과 온디바이스 GenAI를 인터넷 연결 없이 휴대폰에서 체험할 수 있습니다.
a-ghorbani/pocketpal-ai
언어 모델, 음성 합성, 도구 사용을 휴대폰에서 오프라인으로, 계정 없이 실행하는 React Native 모바일 앱입니다.
대체할 수 있는 제품:ChatGPT
Google AI Edge Gallery
- 스타
- 8,732
- 포크
- 967
- 열린 이슈
- 132
- 마지막 커밋
- 14시간 전
어떤 프로젝트인가요?
PocketPal AI는 GGUF 언어 모델을 기기에서 직접 실행하는 iOS, iPadOS, Android용 모바일 앱입니다. 채팅, 프롬프트, 문서는 휴대폰에 보관되며, 모델을 다운로드한 뒤에는 인터넷 연결이나 계정 없이 사용할 수 있습니다.
앱에서 사용자는 각자의 모델, 시스템 프롬프트, 성격을 설정한 맞춤형 어시스턴트인 Pals를 만들고 PalsHub에서 커뮤니티 Pals를 둘러볼 수 있습니다. Pals는 계산기, 날짜·시간 조회, HTML 렌더러 같은 내장 도구를 호출할 수 있습니다. Kokoro 같은 엔진을 사용하는 온디바이스 음성 합성으로 어시스턴트에 음성을 입힐 수 있으며, 액세스 토큰을 사용하면 접근 제한이 걸린 모델을 포함해 Hugging Face Hub에서 모델을 검색하고 다운로드할 수 있습니다.
React Native를 기반으로 하며, llama.rn이 llama.cpp를 연결해 LLM 추론을 처리하고 ONNX Runtime이 TTS를 담당합니다. 추론에는 CPU, iOS의 Metal, Qualcomm Adreno GPU의 OpenCL, Qualcomm Hexagon NPU를 사용할 수 있으며, 백엔드를 사용할 수 없으면 다른 방식으로 대체됩니다. 이 프로젝트는 MIT 라이선스로 배포되며, 초당 토큰 수와 메모리 사용량을 측정하는 벤치마킹 페이지도 제공합니다.
핵심 기능
- 01iOS와 Android에서 GGUF 언어 모델을 완전히 오프라인으로 실행
- 02Kokoro 같은 엔진을 사용하는 온디바이스 음성 합성
- 03각자의 모델, 시스템 프롬프트, 페르소나를 설정할 수 있는 맞춤형 Pals
- 04계산, 날짜·시간 조회, HTML 렌더링을 위한 내장 도구
- 05접근 제한이 걸린 모델을 포함해 Hugging Face Hub에서 모델 다운로드
- 06CPU, Metal, OpenCL, Qualcomm NPU를 통한 하드웨어 가속
활용 사례
- 비행기 안이나 인터넷이 연결되지 않는 곳에서 AI 어시스턴트와 대화하기
- 클라우드에서 처리하지 않고 민감한 메모나 문서를 비공개로 유지하기
- 특정 휴대폰에서 여러 GGUF 모델의 성능을 테스트하고 비교하기
- 맞춤형 롤플레이 또는 특정 작업용 어시스턴트를 만들고 공유하기
빠른 시작
- 1
App Store 또는 Google Play에서 앱을 설치합니다
- 2
저장소를 클론합니다
git clone https://github.com/a-ghorbani/pocketpal-ai - 3
JS 종속성을 설치합니다
yarn install - 4
Android 에뮬레이터에서 실행합니다
yarn android
사용 전 알아둘 점
- 개발 환경을 설정하려면 Xcode, CocoaPods, Android Studio와 지정된 버전의 Node가 필요합니다.
- 채팅하기 전에 모델을 휴대폰에 다운로드해야 하며, 큰 모델일수록 더 많은 메모리가 필요합니다.
토픽
자주 묻는 질문
- pocketpal-ai은(는) 무엇인가요?
- 언어 모델, 음성 합성, 도구 사용을 휴대폰에서 오프라인으로, 계정 없이 실행하는 React Native 모바일 앱입니다. PocketPal AI는 GGUF 언어 모델을 기기에서 직접 실행하는 iOS, iPadOS, Android용 모바일 앱입니다. 채팅, 프롬프트, 문서는 휴대폰에 보관되며, 모델을 다운로드한 뒤에는 인터넷 연결이나 계정 없이 사용할 수 있습니다.
- pocketpal-ai은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- pocketpal-ai은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- pocketpal-ai은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. pocketpal-ai의 마지막 커밋은 2026년 10월 20일입니다.
- pocketpal-ai은(는) 어디에 사용할 수 있나요?
- 비행기 안이나 인터넷이 연결되지 않는 곳에서 AI 어시스턴트와 대화하기 클라우드에서 처리하지 않고 민감한 메모나 문서를 비공개로 유지하기 특정 휴대폰에서 여러 GGUF 모델의 성능을 테스트하고 비교하기 맞춤형 롤플레이 또는 특정 작업용 어시스턴트를 만들고 공유하기
- pocketpal-ai는 어떻게 설치하나요?
- App Store 또는 Google Play에서 앱을 설치합니다 저장소를 클론합니다: git clone https://github.com/a-ghorbani/pocketpal-ai JS 종속성을 설치합니다: yarn install Android 에뮬레이터에서 실행합니다: yarn android
- pocketpal-ai은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/a-ghorbani/pocketpal-ai
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
대규모 언어 모델을 로컬에서 실행하고, 채팅 UI와 OpenAI/Anthropic 호환 API를 제공하는 무료 오픈소스 데스크톱 앱입니다.
설치 없이 대부분의 운영체제와 CPU 아키텍처에서 실행되는 단일 실행 파일 형태로 오픈 LLM을 배포하고 실행합니다.
llama.cpp 기반으로 로컬 LLM을 실행하고, 로컬 API 서버와 내장 WebUI를 제공하는 macOS 메뉴 막대 앱
12GB RTX 4070에서 Mirai S 27B(Qwen3.8-27B GGUF)를 262k 토큰 전체 컨텍스트와 q8_0 K/V 캐시로 서빙하는 설정입니다.
다양한 플랫폼과 언어에서 음성 인식, 음성 합성, VAD, 화자 분리 등을 지원하는 onnxruntime 기반 오프라인 음성 툴킷입니다.