Repolode
Предложить
JakeATX

JakeATX/llamAmpere

Форк llama.cpp, оптимизированный для видеокарт NVIDIA RTX 30-й серии на архитектуре Ampere, прежде всего RTX 3090, для локального запуска моделей Qwen3.8.

Открыть на GitHub
Звёзды
227
Форки
31
Открытые issues
14
Последний коммит
23 часа назад

Что это?

llamAmpere — это форк llama.cpp, программы с открытым исходным кодом для запуска языковых моделей на собственном компьютере. Он оптимизирован для видеокарт NVIDIA RTX 30-й серии на архитектуре «Ampere»; в первую очередь проект рассчитан на RTX 3090 и 3090 Ti. Основное внимание уделено моделям Qwen3.8, в том числе модели 27B со встроенной черновой головой MTP, которая предсказывает несколько следующих токенов и ускоряет генерацию, а также варианту Flash-Next.

В форке реализованы собственная квантование KV-кэша (SJ-KVaRN), режимы генерации нескольких черновых токенов и выгрузка экспертов между GPU и системной RAM. Эти возможности предназначены для работы с длинным контекстом на одной потребительской видеокарте. В README описаны конфигурации для GPU с 12 и 24 ГБ памяти, рассчитанные на контекст от 200K токенов. Сервер предоставляет совместимый с OpenAI API на localhost.

Для сборки нужны CUDA 12 или новее, CMake и компилятор C++. В примечаниях к релизам перечислены измеренные скорости и рекомендуемые настройки для видеокарт с разным объёмом памяти.

Ключевые возможности

  • 01Рассчитан на видеокарты Ampere RTX 30-й серии, особенно RTX 3090 и 3090 Ti.
  • 02Запускает Qwen3.8 27B со встроенной черновой головой MTP для ускорения генерации.
  • 03Поддерживает квантование KV-кэша для контекста от 200K токенов.
  • 04Распределяет экспертов Flash-Next между GPU и системной RAM.
  • 05Предоставляет HTTP-сервер с совместимостью с OpenAI API через llama-server.

Сценарии использования

  • Локальный запуск модели Qwen3.8 с длинным контекстом на одной RTX 3090.
  • Развёртывание локальной конечной точки, совместимой с OpenAI API, для инструментов кодинга или RAG на видеокарте с 24 ГБ памяти.
  • Использование потребительских GPU с 12 ГБ памяти и большим контекстом, опираясь на документированные настройки памяти.

Быстрый старт

  1. 1

    Клонируйте llamAmpere на теге v0.6.2

    git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git
  2. 2

    Перейдите в папку и настройте сборку с CUDA для серии RTX 30 (sm86)

    cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON
  3. 3

    Соберите бинарный файл llama-server

    cmake --build build-sm86 -j8 --target llama-server
  4. 4

    Запустите сервер с моделью Swift 1.5 27B (при первом запуске она скачивается; сервер прослушивает http://127.0.0.1:8080)

    ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

Что важно знать

  • Проект собран и оптимизирован для видеокарт NVIDIA RTX 30-й серии (Ampere), в первую очередь RTX 3090, поэтому другие GPU не являются целевыми.
  • Для быстрого запуска нужна видеокарта с 24 ГБ памяти и toolkit CUDA 12 или новее; сборка выполняется из исходного кода.
  • Файлы модели очень большие, а согласно примечаниям к выпуску, старые форматы файлов больше не загружаются.

В подборках

Запуск LLM локально

Темы

#llm-inference#cuda#local-llm#quantization#long-context#speculative-decoding#qwen#gguf#ampere#consumer-gpu

Частые вопросы

Что такое llamAmpere?
Форк llama.cpp, оптимизированный для видеокарт NVIDIA RTX 30-й серии на архитектуре Ampere, прежде всего RTX 3090, для локального запуска моделей Qwen3.8. llamAmpere — это форк llama.cpp, программы с открытым исходным кодом для запуска языковых моделей на собственном компьютере. Он оптимизирован для видеокарт NVIDIA RTX 30-й серии на архитектуре «Ampere»; в первую очередь проект рассчитан на RTX 3090 и 3090 Ti. Основное внимание уделено моделям Qwen3.8, в том числе модели 27B со встроенной черновой головой MTP, которая предсказывает несколько следующих токенов и ускоряет генерацию, а также варианту Flash-Next.
llamAmpere можно использовать бесплатно? Какая у него лицензия?
llamAmpere распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
llamAmpere всё ещё поддерживается?
Активно поддерживается. Последний коммит в llamAmpere — 6 нояб. 2026 г..
Для чего можно использовать llamAmpere?
Локальный запуск модели Qwen3.8 с длинным контекстом на одной RTX 3090. Развёртывание локальной конечной точки, совместимой с OpenAI API, для инструментов кодинга или RAG на видеокарте с 24 ГБ памяти. Использование потребительских GPU с 12 ГБ памяти и большим контекстом, опираясь на документированные настройки памяти.
Как установить llamAmpere?
Клонируйте llamAmpere на теге v0.6.2: git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git Перейдите в папку и настройте сборку с CUDA для серии RTX 30 (sm86): cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON Соберите бинарный файл llama-server: cmake --build build-sm86 -j8 --target llama-server Запустите сервер с моделью Swift 1.5 27B (при первом запуске она скачивается; сервер прослушивает http://127.0.0.1:8080): ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp
Где скачать llamAmpere?
Исходный код и инструкции по установке — на GitHub: https://github.com/JakeATX/llamAmpere

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты