Repolode
Enviar
JakeATX

JakeATX/llamAmpere

Fork do llama.cpp ajustado para placas NVIDIA RTX 30 da arquitetura Ampere, principalmente a RTX 3090, para rodar modelos Qwen3.8 localmente.

Ver no GitHub
Estrelas
227
Forks
31
Issues abertas
14
Último commit
há 21 horas

O que é?

llamAmpere é um fork do llama.cpp, o programa de código aberto que executa modelos de linguagem na sua própria máquina. Ele é ajustado para placas de vídeo NVIDIA RTX 30 da arquitetura "Ampere", com foco na RTX 3090 e na 3090 Ti. O projeto é voltado para modelos Qwen3.8, incluindo o modelo 27B com seu MTP draft head integrado, que prevê vários tokens à frente para acelerar a geração, e a variante Flash-Next.

O fork adiciona sua própria quantização de KV-cache (SJ-KVaRN), opções de geração de vários tokens e offloading de experts entre a GPU e a RAM do sistema. Esses recursos são voltados a tarefas com contexto longo em uma única placa de consumo, e o README descreve configurações para GPUs de 12 GB e 24 GB com contextos de 200K tokens ou mais. O servidor disponibiliza uma API compatível com OpenAI em localhost.

A compilação requer CUDA 12 ou mais recente, CMake e um compilador C++. As notas de versão do repositório listam velocidades medidas e configurações recomendadas para cada capacidade de placa.

Recursos principais

  • 01Tem como alvo placas Ampere da série RTX 30, especialmente a RTX 3090 e a 3090 Ti.
  • 02Executa o Qwen3.8 27B com um MTP draft head integrado para acelerar a geração.
  • 03Oferece quantização de KV-cache para contextos de 200K tokens ou mais.
  • 04Distribui os experts do Flash-Next entre a GPU e a RAM do sistema.
  • 05Disponibiliza um servidor HTTP compatível com OpenAI por meio do llama-server.

Casos de uso

  • Executar localmente um modelo Qwen3.8 com contexto longo em uma única RTX 3090.
  • Disponibilizar um endpoint local compatível com OpenAI para ferramentas de programação ou RAG em uma placa de 24 GB.
  • Testar GPUs de consumo de 12 GB com janelas de contexto grandes usando as configurações de memória documentadas.

Início rápido

  1. 1

    Clone llamAmpere na tag v0.6.2

    git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git
  2. 2

    Acesse a pasta e configure o build com CUDA para a série RTX 30 (sm86)

    cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON
  3. 3

    Compile o binário llama-server

    cmake --build build-sm86 -j8 --target llama-server
  4. 4

    Inicie o servidor com o modelo Swift 1.5 27B (o download ocorre na primeira inicialização; o servidor fica disponível em http://127.0.0.1:8080)

    ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

Antes de usar

  • Foi compilado e otimizado para placas NVIDIA RTX série 30 (Ampere), principalmente a RTX 3090, portanto outras GPUs não são o foco.
  • O início rápido exige uma placa de 24 GB e o toolkit CUDA 12 ou mais recente, e compila a partir do código-fonte.
  • Os arquivos do modelo são muito grandes e, segundo as notas da versão, formatos de arquivo antigos não são mais carregados.

Em coleções

Rode LLMs localmente

Tópicos

#llm-inference#cuda#local-llm#quantization#long-context#speculative-decoding#qwen#gguf#ampere#consumer-gpu

Perguntas frequentes

O que é llamAmpere?
Fork do llama.cpp ajustado para placas NVIDIA RTX 30 da arquitetura Ampere, principalmente a RTX 3090, para rodar modelos Qwen3.8 localmente. llamAmpere é um fork do llama.cpp, o programa de código aberto que executa modelos de linguagem na sua própria máquina. Ele é ajustado para placas de vídeo NVIDIA RTX 30 da arquitetura "Ampere", com foco na RTX 3090 e na 3090 Ti. O projeto é voltado para modelos Qwen3.8, incluindo o modelo 27B com seu MTP draft head integrado, que prevê vários tokens à frente para acelerar a geração, e a variante Flash-Next.
llamAmpere é gratuito? Qual é a licença?
llamAmpere é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
llamAmpere ainda é mantido?
Manutenção ativa. O último commit de llamAmpere foi em 6 de nov. de 2026.
Para que posso usar llamAmpere?
Executar localmente um modelo Qwen3.8 com contexto longo em uma única RTX 3090. Disponibilizar um endpoint local compatível com OpenAI para ferramentas de programação ou RAG em uma placa de 24 GB. Testar GPUs de consumo de 12 GB com janelas de contexto grandes usando as configurações de memória documentadas.
Como instalar llamAmpere?
Clone llamAmpere na tag v0.6.2: git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git Acesse a pasta e configure o build com CUDA para a série RTX 30 (sm86): cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON Compile o binário llama-server: cmake --build build-sm86 -j8 --target llama-server Inicie o servidor com o modelo Swift 1.5 27B (o download ocorre na primeira inicialização; o servidor fica disponível em http://127.0.0.1:8080): ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp
Onde consigo llamAmpere?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/JakeATX/llamAmpere

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados