Proyectos open source sobre «inference»

Biblioteca de inferencia en Python para Kokoro-82M, un modelo de texto a voz de pesos abiertos con 82 millones de parámetros.

Una lista seleccionada de plataformas, motores de inferencia, interfaces, modelos, herramientas y tutoriales para ejecutar LLMs en tu propio hardware.

Biblioteca de Python que detecta corrupción en la decodificación de LLM, como bucles de repetición y cambios de idioma a mitad de la generación, para descartar tokens defectuosos antes de que los vean los usuarios.

Motor de inferencia LLM mínimo en C11 que ejecuta modelos GGUF de arquitectura LLaMA de clase 1B en placas económicas como Raspberry Pi con unos 45 MB de RAM.

Una lista seleccionada, al estilo Awesome, de plataformas, herramientas, modelos y tutoriales para ejecutar modelos de lenguaje grandes en local.

Motor de inferencia de código abierto que ajusta sus kernels al hardware para ejecutar cada modelo abierto a la máxima velocidad posible.

Curso de ML basado en la práctica: un framework de deep learning con NumPy creado desde cero (CLI) y más de 350 ejercicios de programación en el navegador.