Repolode
Предложить
Andyyyy64

Andyyyy64/whichllm

CLI определяет GPU, CPU и RAM и ранжирует локальные LLM с HuggingFace, которые действительно запустятся на вашем оборудовании, по результатам бенчмарков, а не числу параметров.

Открыть на GitHub
Звёзды
6,767
Форки
373
Открытые issues
6
Последний коммит
12 часов назад

Что это?

whichllm помогает понять, какую локальную LLM можно комфортно запускать на вашем компьютере. Утилита определяет конфигурации с NVIDIA, AMD, Intel, Apple Silicon и только CPU, оценивает потребность в VRAM и скорость генерации для каждой модели и выводит ранжированный список моделей, актуально загруженный через HuggingFace API.

Рейтинг основан на объединённых результатах бенчмарков, таких как LiveBench, Artificial Analysis, Aider, Chatbot Arena ELO и Open LLM Leaderboard; устаревшие результаты понижаются с учётом их давности. У каждой оценки есть метка источника (direct, variant, base, interpolated или self-reported), поэтому результаты, унаследованные от других моделей или заявленные загрузившим модель пользователем, явно учитываются с меньшим весом. До покупки оборудования можно смоделировать работу любой GPU с помощью --gpu, сравнить варианты для апгрейда или узнать, какая GPU нужна для конкретной модели.

Помимо рекомендаций, утилита умеет скачивать модели и общаться с ними через llama-cpp-python, transformers или AutoAWQ/AutoGPTQ, выводить готовые к запуску фрагменты кода на Python и формировать результаты в JSON или Markdown для скриптов и issue.

Ключевые возможности

  • 01Автоматически определяет оборудование NVIDIA, AMD, Intel, Apple Silicon или конфигурацию только с CPU
  • 02Ранжирует модели по объединённым реальным бенчмаркам с понижением устаревших результатов
  • 03Оценивает, поместится ли модель в VRAM, возможность полной или частичной выгрузки на GPU и скорость генерации в токенах в секунду
  • 04До покупки моделирует работу любой GPU или конфигурации с несколькими GPU с помощью --gpu
  • 05С помощью plan определяет, какое оборудование нужно для запуска выбранной модели
  • 06Позволяет запустить чат одной командой через run или скопировать готовый код на Python через snippet
  • 07Выводит результаты в JSON и Markdown для скриптов и обмена

Сценарии использования

  • Выбрать локальную модель до покупки GPU или апгрейда
  • Найти самую большую модель, которая будет плавно работать на ноутбуке или настольном компьютере
  • Узнать, какая GPU требуется для конкретной модели, например Llama 70B
  • Передать ID лучшей модели в скрипт или сценарий работы с Ollama

Быстрый старт

  1. 1

    Запустите подбор один раз без предварительной настройки

    uvx whichllm@latest
  2. 2

    Смоделируйте работу GPU, прежде чем покупать оборудование

    uvx whichllm@latest --gpu "RTX 4090"
  3. 3

    Установите программу, если планируете часто ею пользоваться

    uv tool install whichllm

Что важно знать

  • Рейтинг моделей зависит от актуальных данных HuggingFace и источников бенчмарков, поэтому со временем результаты могут меняться.
  • Показатели скорости и VRAM являются оценочными и не измеряются в реальном времени на вашем компьютере.

Темы

#local-llm#llm#gpu#huggingface#benchmark#cli#hardware#quantization#localllm

Частые вопросы

Что такое whichllm?
CLI определяет GPU, CPU и RAM и ранжирует локальные LLM с HuggingFace, которые действительно запустятся на вашем оборудовании, по результатам бенчмарков, а не числу параметров. whichllm помогает понять, какую локальную LLM можно комфортно запускать на вашем компьютере. Утилита определяет конфигурации с NVIDIA, AMD, Intel, Apple Silicon и только CPU, оценивает потребность в VRAM и скорость генерации для каждой модели и выводит ранжированный список моделей, актуально загруженный через HuggingFace API.
whichllm можно использовать бесплатно? Какая у него лицензия?
whichllm распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
whichllm всё ещё поддерживается?
Активно поддерживается. Последний коммит в whichllm — 19 окт. 2026 г..
Для чего можно использовать whichllm?
Выбрать локальную модель до покупки GPU или апгрейда Найти самую большую модель, которая будет плавно работать на ноутбуке или настольном компьютере Узнать, какая GPU требуется для конкретной модели, например Llama 70B Передать ID лучшей модели в скрипт или сценарий работы с Ollama
Как установить whichllm?
Запустите подбор один раз без предварительной настройки: uvx whichllm@latest Смоделируйте работу GPU, прежде чем покупать оборудование: uvx whichllm@latest --gpu "RTX 4090" Установите программу, если планируете часто ею пользоваться: uv tool install whichllm
Где скачать whichllm?
Исходный код и инструкции по установке — на GitHub: https://github.com/Andyyyy64/whichllm

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты