google-ai-edge/LiteRT-LM

어떤 프로젝트인가요?

핵심 기능

• 01Android, iOS, 웹, 데스크톱, Raspberry Pi에서 실행할 수 있습니다.
• 02추론에 GPU 및 NPU 가속기를 사용합니다.
• 03텍스트뿐 아니라 비전 및 오디오 입력도 지원합니다.
• 04에이전트 워크플로를 위한 함수 호출을 제공합니다.
• 05임베딩 엔드포인트를 갖춘 OpenAI 호환 서버를 제공합니다.
• 06Python, Kotlin, Swift, JavaScript, C++ API를 제공합니다.

활용 사례

• 오프라인으로 채팅 모델을 실행하는 Android 또는 iOS 앱을 개발합니다.
• 명령줄에서 노트북이나 Raspberry Pi의 로컬 LLM을 실행합니다.
• 클라우드 백엔드 없이 앱에 온디바이스 함수 호출 기능을 추가합니다.
• OpenAI 스타일 API를 통해 로컬 임베딩 모델을 제공합니다.

빠른 시작

1. 1

   uv로 LiteRT-LM CLI 설치하기

   uv tool install litert-lm
2. 2

   터미널에서 Hugging Face의 Gemma 3n 모델 실행하기

   litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"

사용 전 알아둘 점

• !Swift 및 JavaScript API는 초기 프리뷰 단계입니다.
• !Flutter 지원은 공식 지원이 아니라 커뮤니티에서 유지 관리합니다.

포함된 컬렉션

토픽

자주 묻는 질문

LiteRT-LM은(는) 무엇인가요?

Android, iOS, 웹, 데스크톱, Raspberry Pi 등 엣지 기기에서 대규모 언어 모델을 실행하는 Google의 오픈소스 프레임워크입니다. LiteRT-LM은 Google의 온디바이스 추론 런타임인 LiteRT에서 LLM을 실행하기 위한 오케스트레이션 계층입니다. 클라우드 API를 호출하는 대신 휴대폰, 브라우저, 데스크톱, IoT 보드에서 Gemma, Llama, Phi-4, Qwen 같은 모델을 로컬로 실행하려는 개발자를 대상으로 합니다.

LiteRT-LM은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

LiteRT-LM은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

LiteRT-LM은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. LiteRT-LM의 마지막 커밋은 2026년 10월 22일입니다.

LiteRT-LM은(는) 어디에 사용할 수 있나요?

오프라인으로 채팅 모델을 실행하는 Android 또는 iOS 앱을 개발합니다. 명령줄에서 노트북이나 Raspberry Pi의 로컬 LLM을 실행합니다. 클라우드 백엔드 없이 앱에 온디바이스 함수 호출 기능을 추가합니다. OpenAI 스타일 API를 통해 로컬 임베딩 모델을 제공합니다.

LiteRT-LM는 어떻게 설치하나요?

uv로 LiteRT-LM CLI 설치하기: uv tool install litert-lm 터미널에서 Hugging Face의 Gemma 3n 모델 실행하기: litert-lm run \ --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \ gemma-3n-E2B-it-int4 \ --prompt="What is the capital of France?"

LiteRT-LM은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/google-ai-edge/LiteRT-LM