#llm-inference

Proyectos open source sobre «llm-inference»

Repositorios de GitHub seleccionados relacionados con llm-inference, con resúmenes de IA y métricas clave.

Ordenar:Añadidos recientemente

5 repositorios

drumih / turbo-fieldfare

Runtime de Swift y Metal que ejecuta Gemma 4 26B-A4B en Macs con Apple Silicon y unos 2 GB de RAM, transmitiendo expertos desde el SSD.

IA y Machine Learning #llm-inference #apple-silicon #metal #swift #on-device-ai

6,9 mil458SwiftApache-2.0Actualizado hace 4 días

FlashML-org / FreeToken

GitHub

Un motor de inferencia MoE nativo para edge que ejecuta modelos grandes de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU de consumo al distribuir el trabajo entre la memoria de la GPU y la CPU.

IA y Machine Learning #moe #llm-inference #edge-ai #local-llm #quantization

14,6 mil1,5 milPythonApache-2.0Actualizado hace 13 horas

JustVugg / colibri

GitHub

Motor de inferencia en C puro que ejecuta modelos MoE muy grandes en hardware convencional al cargar desde disco los expertos seleccionados.

IA y Machine Learning #llm-inference #moe #mixture-of-experts #pure-c #local-llm

42,7 mil4,8 milCApache-2.0Actualizado hace 7 horas

hr98w / jev-visual

GitHub

Un pequeño proyecto educativo para ejecutar inferencias de modelos de visión y lenguaje con MLX en Apple Silicon y puntuar respuestas candidatas sobre una imagen.

IA y Machine Learning #vision-language-model #mlx #apple-silicon #multimodal #llm-inference

31929PythonMITActualizado hace 28 días

StayLameBro / backburner

GitHub

Usa un iPhone conectado por USB-C para acelerar el prefill y ampliar el contexto de un modelo Qwen 27B que se ejecuta localmente en una Mac.

IA y Machine Learning #local-llm #apple-silicon #llm-inference #llama-cpp #ios

1 mil116PythonMITActualizado hace 5 días