Repolode
cactus-compute

cactus-compute/needle

휴대폰, 웨어러블, 로봇, 마이크로컨트롤러에서 실행되는 8~29MB 기초 모델입니다.

스타
14,081
포크
1,063
열린 이슈
28
마지막 커밋
4시간 전

어떤 프로젝트인가요?

Needle은 작은 기기에서 자동화를 구현하기 위한 소형 기초 모델입니다. 전체 모델은 단일 8~29MB 파일이며, 모바일 기기, 웨어러블, 스마트홈 기기, 자동차 시스템, 마이크로컨트롤러에서 사용할 수 있도록 설계되었습니다. 앱이 제공하는 함수를 입력하면 적절한 함수를 선택하고 사용자의 요청에 맞춰 인수를 채웁니다. 요청에 맞는 도구가 없으면 빈 목록을 반환합니다.

도구 호출 외에도 선언된 스키마에 따라 복잡한 텍스트에서 지정된 타입의 필드를 추출할 수 있으며, 디코딩 문법을 사용해 출력이 올바르게 파싱되도록 보장합니다. 로컬 검색과 라우팅에 사용할 문장 임베딩도 반환합니다. 음성-텍스트 변환 모델인 Whistle은 같은 컨테이너와 C++ 엔진을 사용하므로, 한 번의 호출로 오디오를 입력하고 도구 호출 결과를 얻을 수 있습니다.

프로젝트에는 Python 패키지(`pip install cactus-needle`), WebAssembly 기반의 커뮤니티 관리 JavaScript/TypeScript 포트, 여러 플랫폼 폴더용 사전 빌드 엔진이 포함됩니다. 특정 제품의 도구에 맞게 모델을 조정할 수 있도록 로컬 LoRA 미세 조정과 호스팅 미세 조정 플랫폼을 모두 제공합니다.

핵심 기능

  • 01자연어 요청에 따라 도구 호출을 선택하고 인수를 채웁니다.
  • 02선언된 스키마에 따라 텍스트에서 지정된 타입의 필드를 추출합니다.
  • 03로컬 검색과 라우팅에 사용할 텍스트 임베딩을 반환합니다.
  • 04응답마다 신뢰도 점수를 제공합니다.
  • 05Whistle 모델을 통해 7개 언어의 음성을 텍스트로 변환합니다.
  • 06로컬 LoRA 미세 조정과 호스팅 미세 조정 플랫폼을 지원합니다.

활용 사례

  • 모바일 앱에서 오프라인으로 정해진 앱 함수들을 호출하는 음성 또는 채팅 어시스턴트.
  • 음성 명령을 기기 동작으로 연결하는 스마트홈 컨트롤러.
  • 엣지 기기에서 텍스트로 된 청구서, 예약 정보, 양식 데이터 추출.
  • 마이크로컨트롤러나 웨어러블에서 음성-텍스트 변환과 의도 처리를 실행.

토픽

자주 묻는 질문

needle은(는) 무엇인가요?
휴대폰, 웨어러블, 로봇, 마이크로컨트롤러에서 실행되는 8~29MB 기초 모델입니다. Needle은 작은 기기에서 자동화를 구현하기 위한 소형 기초 모델입니다. 전체 모델은 단일 8~29MB 파일이며, 모바일 기기, 웨어러블, 스마트홈 기기, 자동차 시스템, 마이크로컨트롤러에서 사용할 수 있도록 설계되었습니다. 앱이 제공하는 함수를 입력하면 적절한 함수를 선택하고 사용자의 요청에 맞춰 인수를 채웁니다. 요청에 맞는 도구가 없으면 빈 목록을 반환합니다.
needle은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
needle은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
needle은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. needle의 마지막 커밋은 2026년 10월 18일입니다.
needle은(는) 어디에 사용할 수 있나요?
모바일 앱에서 오프라인으로 정해진 앱 함수들을 호출하는 음성 또는 채팅 어시스턴트. 음성 명령을 기기 동작으로 연결하는 스마트홈 컨트롤러. 엣지 기기에서 텍스트로 된 청구서, 예약 정보, 양식 데이터 추출. 마이크로컨트롤러나 웨어러블에서 음성-텍스트 변환과 의도 처리를 실행.
needle은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/cactus-compute/needle

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트