cactus은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

cactus은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

cactus은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. cactus의 마지막 커밋은 2026년 9월 26일입니다.

cactus은(는) 어디에 사용할 수 있나요?

데이터를 서버로 보내지 않고 모바일 또는 데스크톱 앱에서 비공개 온디바이스 어시스턴트를 실행합니다. 웨어러블 또는 스마트폰 앱에 오프라인 음성 전사 기능을 추가합니다. Mac에서 개발용 로컬 OpenAI 호환 엔드포인트를 제공합니다. 스마트홈 기기나 로봇에 소형 양자화 모델을 배포합니다.

cactus는 어떻게 설치하나요?

Homebrew로 Cactus 설치하기(macOS): brew install cactus-compute/cactus/cactus Cactus CLI로 모델 실행하기: cactus run

cactus은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/cactus-compute/cactus

cactus-compute/cactus

휴대폰, 웨어러블, 스마트홈 기기와 로봇에서 LLM, 음성 및 비전 모델을 실행하는 C++ 추론 엔진이자 런타임입니다.

GitHub에서 보기 웹사이트

스타: 6,148
포크: 519
열린 이슈: 115
마지막 커밋: 27일 전

어떤 프로젝트인가요?

Cactus는 모바일 기기와 웨어러블을 겨냥한 하이브리드 엣지·클라우드 AI 엔진입니다. 채팅 완성, 스트리밍, 도구 호출, 전사, 임베딩, RAG, 비전을 위한 OpenAI 호환 API를 제공하며, 로컬 모델의 신뢰도가 임계값 아래로 떨어지면 쿼리를 클라우드 모델로 넘길 수 있습니다.

스택은 엔진 API, 제로카피 연산 그래프, Apple·Samsung·Pixel 하드웨어에 맞게 튜닝된 ARM NEON 및 GPU 커널, 4비트에서 1비트까지 지원하는 자체 회전 기반 양자화 방식(Cactus Quants)의 네 계층으로 구성됩니다. 이 프로젝트는 Mac 및 iPhone 하드웨어에서 Gemma, Qwen, Liquid, Whisper, Parakeet 모델의 벤치마크를 공개합니다.

Cactus는 Homebrew로 macOS에 설치할 수 있습니다. 모델 실행, 다운로드, 변환, 서빙을 위한 CLI와 Swift, Kotlin, Flutter, React Native, Python, Rust 바인딩도 포함합니다.

핵심 기능

01채팅, 스트리밍, 도구 호출을 지원하는 OpenAI 호환 로컬 HTTP 서버 및 C API.
02기기에서 실행하는 음성 전사 및 비전-언어 추론.
03로컬 모델의 신뢰도에 따라 자동으로 클라우드에 요청을 넘깁니다.
044비트에서 1비트까지 지원하는 자체 CQ 양자화.
05Apple, Samsung, Pixel 하드웨어용 ARM NEON 및 GPU 커널.
06Swift, Kotlin, Flutter, React Native, Python, Rust 바인딩.

활용 사례

데이터를 서버로 보내지 않고 모바일 또는 데스크톱 앱에서 비공개 온디바이스 어시스턴트를 실행합니다.
웨어러블 또는 스마트폰 앱에 오프라인 음성 전사 기능을 추가합니다.
Mac에서 개발용 로컬 OpenAI 호환 엔드포인트를 제공합니다.
스마트홈 기기나 로봇에 소형 양자화 모델을 배포합니다.

빠른 시작

1
Homebrew로 Cactus 설치하기(macOS)
brew install cactus-compute/cactus/cactus
2
Cactus CLI로 모델 실행하기
cactus run

사용 전 알아둘 점

라이선스가 명확히 지정되어 있지 않습니다(메타데이터에는 NOASSERTION으로 표시됨). 상업적으로 사용하기 전에 저장소를 확인하세요.
빠른 데모는 Mac용으로 소개되어 있으며, 벤치마크 표는 Apple 기기에 중점을 둡니다.
임의의 HuggingFace 모델 변환은 실험적인 것으로 설명되어 있습니다. 일부 모델 계열만 집중적으로 테스트되었습니다.

포함된 컬렉션

로컬에서 LLM 실행하기 AI 영상·오디오 도구 Android 앱 및 휴대폰 도구

토픽

#edge-ai #on-device-ai #llm-inference #quantization #mobile-inference #speech-recognition #rag #arm-neon #ai #android

자주 묻는 질문

cactus은(는) 무엇인가요?: 휴대폰, 웨어러블, 스마트홈 기기와 로봇에서 LLM, 음성 및 비전 모델을 실행하는 C++ 추론 엔진이자 런타임입니다. Cactus는 모바일 기기와 웨어러블을 겨냥한 하이브리드 엣지·클라우드 AI 엔진입니다. 채팅 완성, 스트리밍, 도구 호출, 전사, 임베딩, RAG, 비전을 위한 OpenAI 호환 API를 제공하며, 로컬 모델의 신뢰도가 임계값 아래로 떨어지면 쿼리를 클라우드 모델로 넘길 수 있습니다.
cactus은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: cactus은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
cactus은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. cactus의 마지막 커밋은 2026년 9월 26일입니다.
cactus은(는) 어디에 사용할 수 있나요?: 데이터를 서버로 보내지 않고 모바일 또는 데스크톱 앱에서 비공개 온디바이스 어시스턴트를 실행합니다. 웨어러블 또는 스마트폰 앱에 오프라인 음성 전사 기능을 추가합니다. Mac에서 개발용 로컬 OpenAI 호환 엔드포인트를 제공합니다. 스마트홈 기기나 로봇에 소형 양자화 모델을 배포합니다.
cactus는 어떻게 설치하나요?: Homebrew로 Cactus 설치하기(macOS): brew install cactus-compute/cactus/cactus Cactus CLI로 모델 실행하기: cactus run
cactus은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/cactus-compute/cactus

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.