Repolode
Предложить
AlexsJones

AlexsJones/llmfit

CLI и TUI на Rust, которые определяют CPU, RAM и GPU и ранжируют открытые LLM по тому, насколько хорошо они будут работать на вашем компьютере.

Открыть на GitHub
Звёзды
38,129
Форки
2,456
Открытые issues
60
Последний коммит
вчера

Что это?

llmfit помогает ответить на распространённый вопрос при запуске локальных моделей: какие LLM с открытым исходным кодом поместятся на моём оборудовании и будут работать с приемлемой скоростью. Утилита проверяет количество ядер CPU, системную RAM, дискретные и встроенные GPU, VRAM и унифицированную память, в том числе в конфигурациях с NVIDIA CUDA, Apple Silicon, AMD ROCm и Intel OneAPI.

Каждая модель в каталоге оценивается по объёму памяти, примерной скорости, качеству и длине контекста. При оценке учитываются количество параметров и форматы квантования, такие как GGUF, AWQ, GPTQ и EXL2. По умолчанию результаты отображаются в интерактивном терминальном интерфейсе; также доступны классическая таблица CLI и вывод в JSON для скриптов.

В проекте также есть веб-панель и REST API, работающие по HTTP, а команда benchmark измеряет tok/s при обращении к запущенному локальному провайдеру, например Ollama, llama.cpp, MLX, Docker Model Runner или LM Studio.

Ключевые возможности

  • 01Определяет CPU, RAM, GPU, VRAM и унифицированную память на системах с NVIDIA, Apple Silicon, AMD и Intel.
  • 02Ранжирует модели по объёму памяти, примерной скорости, качеству и длине контекста.
  • 03Предоставляет интерактивный TUI, CLI с выводом в JSON и веб-панель.
  • 04Предоставляет HTTP-эндпоинты, например /api/v1/system и /api/v1/models.
  • 05Поддерживает конфигурации с несколькими GPU, модели MoE и различные форматы квантования.

Сценарии использования

  • Выбрать локальную LLM до загрузки многогигабайтных файлов модели.
  • Проверить, сможет ли ноутбук или рабочая станция запускать модель с приемлемой скоростью.
  • Передавать в скрипты или агентам рекомендации по моделям с учётом оборудования через JSON.
  • Делиться результатами тестирования оборудования с сообществом, чтобы улучшать оценки скорости.

Быстрый старт

  1. 1

    Установите с помощью Homebrew (предварительно собранный бинарный файл)

    brew install AlexsJones/llmfit/llmfit
  2. 2

    Запустите интерактивный TUI

    llmfit

Что важно знать

  • Бинарные файлы релиза для Windows могут быть не подписаны, если задание подписи завершится с ошибкой. Если вам нужен подписанный бинарный файл, проверьте подписи.
  • Показатели скорости и соответствия — это оценки на основе спецификаций, если вы не проведёте собственные тесты производительности.

Темы

#llm#local-llm#gguf#quantization#hardware#cli#tui#benchmark#localai#mlx

Частые вопросы

Что такое llmfit?
CLI и TUI на Rust, которые определяют CPU, RAM и GPU и ранжируют открытые LLM по тому, насколько хорошо они будут работать на вашем компьютере. llmfit помогает ответить на распространённый вопрос при запуске локальных моделей: какие LLM с открытым исходным кодом поместятся на моём оборудовании и будут работать с приемлемой скоростью. Утилита проверяет количество ядер CPU, системную RAM, дискретные и встроенные GPU, VRAM и унифицированную память, в том числе в конфигурациях с NVIDIA CUDA, Apple Silicon, AMD ROCm и Intel OneAPI.
llmfit можно использовать бесплатно? Какая у него лицензия?
llmfit распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
llmfit всё ещё поддерживается?
Активно поддерживается. Последний коммит в llmfit — 19 окт. 2026 г..
Для чего можно использовать llmfit?
Выбрать локальную LLM до загрузки многогигабайтных файлов модели. Проверить, сможет ли ноутбук или рабочая станция запускать модель с приемлемой скоростью. Передавать в скрипты или агентам рекомендации по моделям с учётом оборудования через JSON. Делиться результатами тестирования оборудования с сообществом, чтобы улучшать оценки скорости.
Как установить llmfit?
Установите с помощью Homebrew (предварительно собранный бинарный файл): brew install AlexsJones/llmfit/llmfit Запустите интерактивный TUI: llmfit
Где скачать llmfit?
Исходный код и инструкции по установке — на GitHub: https://github.com/AlexsJones/llmfit

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты