Repolode
Enviar
RightNow-AI

RightNow-AI/picolm

Um mecanismo minimalista de inferência de LLM em C11 que executa modelos GGUF de arquitetura LLaMA da classe de 1B em placas de baixo custo, como Raspberry Pi, usando cerca de 45 MB de RAM.

Ver no GitHubSite
Estrelas
2,210
Forks
286
Issues abertas
23
Último commit
há 8 meses

O que é?

PicoLM é um mecanismo de inferência de LLM criado do zero, escrito em cerca de 2.500 linhas de C11 e sem dependências externas. Ele carrega modelos de arquitetura LLaMA no formato GGUF, como o TinyLlama 1.1B, e tem como alvo hardwares que frameworks de inferência comuns não atendem bem, incluindo Raspberry Pi Zero 2W, Raspberry Pi 3/4/5, placas RISC-V e máquinas x86-64 com Linux, Windows ou macOS.

O arquivo do modelo é mapeado na memória em vez de ser carregado na RAM, então o sistema operacional pagina os pesos camada por camada. O uso de memória em tempo de execução fica em torno de 45 MB com um cache KV FP16 e contexto de 2048 tokens, e o binário tem cerca de 80 KB. A inferência usa pesos quantizados (de Q2_K a Q8_0, além de F16 e F32), SIMD com NEON e SSE2 e multiplicação de matrizes multithread baseada em pthreads.

O PicoLM pode ler prompts de stdin e oferece um modo `--json` que mascara os logits para garantir que a saída seja sempre um JSON válido, além de uma opção `--cache` que salva o estado do prompt para pular o prefill em execuções repetidas. Ele foi projetado para funcionar como backend de modelo local do agente PicoClaw, mas também funciona como CLI independente.

Recursos principais

  • 01Carrega arquivos de modelo GGUF v2/v3 diretamente, sem conversão
  • 02Oferece suporte à quantização de Q2_K a Q8_0, além de pesos F16 e F32
  • 03Mapeia os pesos do modelo na memória para que apenas uma parte dele ocupe a RAM por vez
  • 04Saída `--json` com gramática restrita para respostas estruturadas confiáveis
  • 05Persistência do cache KV com `--cache` para pular o processamento repetido de prompts
  • 06Compila para ARM, x86-64 e RISC-V, com suporte a Linux, Windows e macOS

Casos de uso

  • Executar um chatbot ou assistente pequeno e offline em um Raspberry Pi ou placa semelhante
  • Adicionar chamadas locais de ferramentas por LLM com saída JSON garantida em dispositivos de baixo consumo
  • Experimentar a inferência de LLM em RISC-V ou em outros hardwares embarcados menos comuns
  • Funcionar como backend de modelo local para o agente PicoClaw

Tópicos

#llm#inference#embedded#quantization#gguf#raspberry-pi#risc-v#arm#openclaw#picoclaw

Perguntas frequentes

O que é picolm?
Um mecanismo minimalista de inferência de LLM em C11 que executa modelos GGUF de arquitetura LLaMA da classe de 1B em placas de baixo custo, como Raspberry Pi, usando cerca de 45 MB de RAM. PicoLM é um mecanismo de inferência de LLM criado do zero, escrito em cerca de 2.500 linhas de C11 e sem dependências externas. Ele carrega modelos de arquitetura LLaMA no formato GGUF, como o TinyLlama 1.1B, e tem como alvo hardwares que frameworks de inferência comuns não atendem bem, incluindo Raspberry Pi Zero 2W, Raspberry Pi 3/4/5, placas RISC-V e máquinas x86-64 com Linux, Windows ou macOS.
picolm é gratuito? Qual é a licença?
picolm é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
picolm ainda é mantido?
Sem commits há mais de 6 meses. O último commit de picolm foi em 22 de fev. de 2026.
Para que posso usar picolm?
Executar um chatbot ou assistente pequeno e offline em um Raspberry Pi ou placa semelhante Adicionar chamadas locais de ferramentas por LLM com saída JSON garantida em dispositivos de baixo consumo Experimentar a inferência de LLM em RISC-V ou em outros hardwares embarcados menos comuns Funcionar como backend de modelo local para o agente PicoClaw
Onde consigo picolm?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/RightNow-AI/picolm

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados