picolm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

picolm은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

picolm은(는) 아직 유지보수되고 있나요?

6개월 이상 커밋 없음. picolm의 마지막 커밋은 2026년 2월 22일입니다.

picolm은(는) 어디에 사용할 수 있나요?

Raspberry Pi 또는 유사한 싱글보드 컴퓨터에서 소형 오프라인 챗봇이나 어시스턴트를 실행합니다. 제약이 있는 하드웨어에서 로컬 모델로 툴 호출에 사용할 구조화된 JSON 출력을 생성합니다. RISC-V 또는 기타 임베디드 타깃에서 LLM 추론을 실험합니다.

picolm는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/rightnow-ai/picolm.git 프로젝트 디렉터리로 이동합니다: cd picolm/picolm CPU 자동 감지를 사용해 PicoLM을 빌드합니다: make native 모델을 다운로드합니다: make model

picolm은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/RightNow-AI/picolm

RightNow-AI/picolm

의존성 없이 저가형 보드에서 RAM 약 45MB로 10억 매개변수급 LLaMA 아키텍처 GGUF 모델을 실행하는 최소 구성 C11 LLM 추론 엔진입니다.

GitHub에서 보기 웹사이트

스타: 2,212
포크: 293
열린 이슈: 23
마지막 커밋: 8개월 전

어떤 프로젝트인가요?

PicoLM은 외부 의존성 없이 약 2,500줄의 C11로 처음부터 작성한 LLM 추론 엔진입니다. GGUF 파일을 직접 불러오며 TinyLlama 1.1B를 비롯한 LLaMA 아키텍처 모델을 지원합니다. Raspberry Pi 보드, RISC-V 보드, 일반 x86-64 또는 ARM 머신 등을 대상으로 합니다.

모델 파일은 RAM에 통째로 불러오는 대신 메모리 매핑하므로, OS가 한 번에 한 레이어씩 페이지에 올립니다. 프로젝트에 따르면 FP16 KV 캐시와 Q2_K부터 F32까지의 양자화 가중치를 사용할 때, 컨텍스트 길이 2048 토큰으로 TinyLlama를 실행하는 데 런타임 메모리가 약 45MB 필요합니다.

PicoLM에는 생성 텍스트가 유효한 JSON이 되도록 로짓을 마스킹하는 문법 제약 `--json` 출력 모드도 포함되어 있습니다. 또한 KV 캐시를 저장하고 불러오는 옵션으로 반복 실행 시 프롬프트 사전 처리를 건너뜁니다. 완전히 오프라인으로 동작하는 로컬 모델을 위해 PicoClaw 어시스턴트와 함께 사용하도록 설계되었습니다.

핵심 기능

01GGUF v2/v3 파일을 직접 읽고 여러 K-quant 및 Q4/Q8 형식을 지원합니다.
02모델 가중치를 메모리 매핑해 한 번에 한 레이어만 RAM에 올리면 됩니다.
03문법 제약 JSON 모드로 구문상 유효한 JSON 출력을 보장합니다.
04KV 캐시를 유지해 반복적인 프롬프트 처리를 건너뜁니다.
05ARM NEON과 x86 SSE2 SIMD, 멀티스레드 행렬 곱셈을 사용합니다.
06Linux, Windows (MSVC), macOS에서 libc, libm, libpthread만으로 빌드할 수 있습니다.

활용 사례

Raspberry Pi 또는 유사한 싱글보드 컴퓨터에서 소형 오프라인 챗봇이나 어시스턴트를 실행합니다.
제약이 있는 하드웨어에서 로컬 모델로 툴 호출에 사용할 구조화된 JSON 출력을 생성합니다.
RISC-V 또는 기타 임베디드 타깃에서 LLM 추론을 실험합니다.

빠른 시작

1
저장소를 클론합니다
git clone https://github.com/rightnow-ai/picolm.git
2
프로젝트 디렉터리로 이동합니다
cd picolm/picolm
3
CPU 자동 감지를 사용해 PicoLM을 빌드합니다
make native
4
모델을 다운로드합니다
make model

사용 전 알아둘 점

모델 다운로드 용량은 638MB이며, 소형 보드에서는 생성 속도가 초당 몇 토큰에 불과합니다.
1B급 LLaMA 아키텍처 GGUF 모델을 대상으로 하므로 다른 모델 계열은 실행할 수 없습니다.

토픽

#llm #inference #embedded #quantization #raspberry-pi #gguf #arm #openclaw #picoclaw #risc-v

자주 묻는 질문

picolm은(는) 무엇인가요?: 의존성 없이 저가형 보드에서 RAM 약 45MB로 10억 매개변수급 LLaMA 아키텍처 GGUF 모델을 실행하는 최소 구성 C11 LLM 추론 엔진입니다. PicoLM은 외부 의존성 없이 약 2,500줄의 C11로 처음부터 작성한 LLM 추론 엔진입니다. GGUF 파일을 직접 불러오며 TinyLlama 1.1B를 비롯한 LLaMA 아키텍처 모델을 지원합니다. Raspberry Pi 보드, RISC-V 보드, 일반 x86-64 또는 ARM 머신 등을 대상으로 합니다.
picolm은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: picolm은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
picolm은(는) 아직 유지보수되고 있나요?: 6개월 이상 커밋 없음. picolm의 마지막 커밋은 2026년 2월 22일입니다.
picolm은(는) 어디에 사용할 수 있나요?: Raspberry Pi 또는 유사한 싱글보드 컴퓨터에서 소형 오프라인 챗봇이나 어시스턴트를 실행합니다. 제약이 있는 하드웨어에서 로컬 모델로 툴 호출에 사용할 구조화된 JSON 출력을 생성합니다. RISC-V 또는 기타 임베디드 타깃에서 LLM 추론을 실험합니다.
picolm는 어떻게 설치하나요?: 저장소를 클론합니다: git clone https://github.com/rightnow-ai/picolm.git 프로젝트 디렉터리로 이동합니다: cd picolm/picolm CPU 자동 감지를 사용해 PicoLM을 빌드합니다: make native 모델을 다운로드합니다: make model
picolm은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/RightNow-AI/picolm

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.