trymirai/uzu

어떤 프로젝트인가요?

핵심 기능

• 01Rust, Python, Swift, TypeScript 바인딩을 제공하는 고수준 채팅 세션 API를 지원합니다.
• 02모델을 온디바이스에서 실행하며 Apple 기기의 통합 메모리를 사용합니다.
• 03JSON 스키마로 제약되는 구조화 출력을 지원합니다.
• 04모델이 외부 함수를 호출할 수 있도록 도구 호출을 지원합니다.
• 05로드한 모델 하나를 여러 채팅 세션에서 재사용할 수 있습니다.
• 06OpenAI의 GPT-5 같은 클라우드 모델 호출도 지원합니다.

활용 사례

• 사용자 데이터를 서버로 보내지 않고 iOS 또는 macOS 앱에 온디바이스 LLM 채팅 기능을 추가합니다.
• 후속 파싱에 사용할 JSON 형식의 응답을 로컬 모델에서 생성합니다.
• 기기 위치 가져오기와 같은 로컬 함수를 모델이 호출할 수 있는 앱을 만듭니다.

빠른 시작

1. 1

   uv로 Python 패키지를 추가합니다

   uv add uzu==0.6.11
2. 2

   README의 Python 예제를 사용해 엔진을 만들고, 모델을 불러와 다운로드한 다음 채팅 세션을 시작합니다

사용 전 알아둘 점

• !핵심 추론 기능은 Apple 기기를 대상으로 하며, 기기 내 실행은 iOS와 macOS에서 지원됩니다.
• !클라우드 모델 옵션을 사용하려면 완전한 로컬 추론이 아닌 외부 서비스가 필요합니다.
• !Rust 크레이트는 안정 버전의 crates.io 릴리스가 아니라 git 브랜치에서 가져옵니다.

토픽

자주 묻는 질문

uzu은(는) 무엇인가요?

앱 내부에서 AI 모델을 실행하는 Rust 추론 엔진으로, Apple 기기에서 온디바이스 실행을 지원하며 클라우드 모델도 선택적으로 사용할 수 있습니다. uzu는 자체 애플리케이션 안에서 AI 모델을 실행하기 위한 추론 엔진입니다. 네트워크 지연이 없고 데이터가 기기에 저장되며 요청별 추론 비용이 발생하지 않는 환경을 목표로 합니다. 채팅 세션용 고수준 API를 제공하고 Rust, Python, Swift, TypeScript 바인딩을 지원하며, 모델 다운로드와 추론 설정을 자동으로 처리합니다.

uzu은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

uzu은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

uzu은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. uzu의 마지막 커밋은 2026년 10월 21일입니다.

uzu은(는) 어디에 사용할 수 있나요?

사용자 데이터를 서버로 보내지 않고 iOS 또는 macOS 앱에 온디바이스 LLM 채팅 기능을 추가합니다. 후속 파싱에 사용할 JSON 형식의 응답을 로컬 모델에서 생성합니다. 기기 위치 가져오기와 같은 로컬 함수를 모델이 호출할 수 있는 앱을 만듭니다.

uzu는 어떻게 설치하나요?

uv로 Python 패키지를 추가합니다: uv add uzu==0.6.11 README의 Python 예제를 사용해 엔진을 만들고, 모델을 불러와 다운로드한 다음 채팅 세션을 시작합니다

uzu은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/trymirai/uzu