Repolode
Enviar
RightNow-AI

RightNow-AI/picolm

Motor de inferencia LLM mínimo en C11 que ejecuta modelos GGUF de arquitectura LLaMA de clase 1B en placas económicas como Raspberry Pi con unos 45 MB de RAM.

Ver en GitHubSitio web
Estrellas
2,210
Forks
286
Issues abiertos
23
Último commit
hace 8 meses

¿Qué es?

PicoLM es un motor de inferencia LLM creado desde cero y escrito en unas 2.500 líneas de C11, sin dependencias externas. Carga modelos de arquitectura LLaMA en formato GGUF, como TinyLlama 1.1B, y está pensado para hardware que los frameworks de inferencia habituales no manejan bien, como Raspberry Pi Zero 2W, Raspberry Pi 3/4/5, placas RISC-V y equipos x86-64 con Linux, Windows o macOS.

El archivo del modelo se asigna a memoria en lugar de cargarse en la RAM, de modo que el sistema operativo va incorporando los pesos capa por capa. La memoria en tiempo de ejecución se mantiene en torno a 45 MB con una caché KV FP16 y un contexto de 2048, y el binario ocupa unos 80 KB. La inferencia utiliza pesos cuantizados (de Q2_K a Q8_0, además de F16 y F32), SIMD NEON y SSE2, y multiplicación de matrices multihilo basada en pthread.

PicoLM puede leer prompts desde stdin y ofrece un modo `--json` que enmascara los logits para que la salida siempre sea JSON válido, además de una opción `--cache` que guarda el estado del prompt para omitir el prefill en ejecuciones repetidas. Está diseñado para funcionar como backend de modelo local del agente PicoClaw, pero también se puede usar como CLI independiente.

Funciones clave

  • 01Carga directamente archivos de modelos GGUF v2/v3, sin conversión
  • 02Admite cuantización de Q2_K a Q8_0, además de pesos F16 y F32
  • 03Asigna los pesos del modelo a memoria para que solo una parte del modelo ocupe RAM en cada momento
  • 04Salida `--json` restringida por gramática para obtener respuestas estructuradas fiables
  • 05Persistencia de la caché KV mediante `--cache` para omitir el procesamiento repetido de prompts
  • 06Se compila para ARM, x86-64 y RISC-V, y es compatible con Linux, Windows y macOS

Casos de uso

  • Ejecutar un chatbot o asistente pequeño sin conexión en una Raspberry Pi o una placa similar
  • Añadir llamadas a herramientas de un LLM local con salida JSON garantizada en dispositivos de bajo consumo
  • Experimentar con inferencia LLM en RISC-V u otro hardware integrado poco habitual
  • Servir como backend de modelo local del agente PicoClaw

Temas

#llm#inference#embedded#quantization#gguf#raspberry-pi#risc-v#arm#openclaw#picoclaw

Preguntas frecuentes

¿Qué es picolm?
Motor de inferencia LLM mínimo en C11 que ejecuta modelos GGUF de arquitectura LLaMA de clase 1B en placas económicas como Raspberry Pi con unos 45 MB de RAM. PicoLM es un motor de inferencia LLM creado desde cero y escrito en unas 2.500 líneas de C11, sin dependencias externas. Carga modelos de arquitectura LLaMA en formato GGUF, como TinyLlama 1.1B, y está pensado para hardware que los frameworks de inferencia habituales no manejan bien, como Raspberry Pi Zero 2W, Raspberry Pi 3/4/5, placas RISC-V y equipos x86-64 con Linux, Windows o macOS.
¿picolm es gratuito? ¿Qué licencia tiene?
picolm es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿picolm sigue mantenido?
Sin commits en más de 6 meses. El último commit de picolm fue el 22 feb 2026.
¿Para qué puedo usar picolm?
Ejecutar un chatbot o asistente pequeño sin conexión en una Raspberry Pi o una placa similar Añadir llamadas a herramientas de un LLM local con salida JSON garantizada en dispositivos de bajo consumo Experimentar con inferencia LLM en RISC-V u otro hardware integrado poco habitual Servir como backend de modelo local del agente PicoClaw
¿Dónde consigo picolm?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/RightNow-AI/picolm

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados