Open source проекты по теме «inference»

Библиотека для инференса на Python для Kokoro-82M — модели преобразования текста в речь с открытыми весами и 82 млн параметров.

Подборка платформ, движков инференса, интерфейсов, моделей, инструментов и руководств для запуска LLM на собственном оборудовании.

Библиотека Python выявляет сбои декодирования LLM — например, циклы повторов и смену языка на ходу, — чтобы отсечь некорректные токены до того, как их увидят пользователи.

Минималистичный движок инференса LLM на C11, запускающий GGUF-модели архитектуры LLaMA класса 1B на недорогих платах вроде Raspberry Pi, используя около 45 МБ RAM.

Подборка платформ, инструментов, моделей и руководств для локального запуска больших языковых моделей в стиле Awesome.

Open source движок инференса, который подстраивает ядра под ваше оборудование, чтобы запускать каждую открытую модель как можно быстрее.

Курс ML на практике: фреймворк для глубокого обучения на чистом NumPy, созданный с нуля через CLI, и более 350 задач по программированию в браузере.