Repolode
Enviar
JakeATX

JakeATX/llamAmpere

Un fork de llama.cpp optimizado para tarjetas NVIDIA RTX 30-series Ampere, sobre todo la RTX 3090, para ejecutar modelos Qwen3.8 localmente.

Ver en GitHub
Estrellas
227
Forks
31
Issues abiertos
14
Último commit
hace 21 horas

¿Qué es?

llamAmpere es un fork de llama.cpp, el programa de código abierto que permite ejecutar modelos de lenguaje en tu propio equipo. Está optimizado para tarjetas gráficas NVIDIA RTX 30-series «Ampere», con la RTX 3090 y la 3090 Ti como principales objetivos. El proyecto se centra en los modelos Qwen3.8, incluido el modelo 27B con su MTP draft head integrado, que predice varios tokens por adelantado para acelerar la generación, y la variante Flash-Next.

El fork añade su propia cuantización de KV-cache (SJ-KVaRN), opciones de generación de varios tokens y descarga de expertos entre la GPU y la RAM del sistema. Estas funciones están pensadas para trabajar con contextos largos en una sola tarjeta de consumo; el README describe configuraciones para GPU de 12 GB y 24 GB con contextos de 200K tokens o más. El servidor expone una API compatible con OpenAI en localhost.

Para compilar se necesita CUDA 12 o posterior, CMake y un compilador de C++. Las notas de las versiones del repositorio incluyen velocidades medidas y ajustes recomendados para cada capacidad de tarjeta.

Funciones clave

  • 01Está dirigido a tarjetas Ampere RTX 30-series, especialmente la RTX 3090 y la 3090 Ti.
  • 02Ejecuta Qwen3.8 27B con un MTP draft head integrado para acelerar la generación.
  • 03Ofrece cuantización de KV-cache para contextos de 200K tokens o más.
  • 04Reparte los expertos de Flash-Next entre la GPU y la RAM del sistema.
  • 05Incluye un servidor HTTP compatible con OpenAI mediante llama-server.

Casos de uso

  • Ejecutar localmente un modelo Qwen3.8 con contexto largo en una sola RTX 3090.
  • Ofrecer un endpoint local compatible con OpenAI para herramientas de programación o RAG en una tarjeta de 24 GB.
  • Probar GPU de consumo de 12 GB con ventanas de contexto amplias y los ajustes de memoria documentados.

Inicio rápido

  1. 1

    Clona llamAmpere en la etiqueta v0.6.2

    git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git
  2. 2

    Entra en la carpeta y configura la compilación con CUDA para la serie RTX 30 (sm86)

    cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON
  3. 3

    Compila el binario llama-server

    cmake --build build-sm86 -j8 --target llama-server
  4. 4

    Inicia el servidor con el modelo Swift 1.5 27B (se descarga al iniciarlo por primera vez; escucha en http://127.0.0.1:8080)

    ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp

Antes de usarlo

  • Está compilado y optimizado para tarjetas NVIDIA RTX serie 30 (Ampere), principalmente la RTX 3090, por lo que otras GPU no son su objetivo.
  • El inicio rápido requiere una tarjeta de 24 GB y el toolkit CUDA 12 o posterior, y compila desde el código fuente.
  • Los archivos del modelo son muy grandes y, según las notas de la versión, los formatos de archivo antiguos ya no se cargan.

En colecciones

Ejecuta LLM en local

Temas

#llm-inference#cuda#local-llm#quantization#long-context#speculative-decoding#qwen#gguf#ampere#consumer-gpu

Preguntas frecuentes

¿Qué es llamAmpere?
Un fork de llama.cpp optimizado para tarjetas NVIDIA RTX 30-series Ampere, sobre todo la RTX 3090, para ejecutar modelos Qwen3.8 localmente. llamAmpere es un fork de llama.cpp, el programa de código abierto que permite ejecutar modelos de lenguaje en tu propio equipo. Está optimizado para tarjetas gráficas NVIDIA RTX 30-series «Ampere», con la RTX 3090 y la 3090 Ti como principales objetivos. El proyecto se centra en los modelos Qwen3.8, incluido el modelo 27B con su MTP draft head integrado, que predice varios tokens por adelantado para acelerar la generación, y la variante Flash-Next.
¿llamAmpere es gratuito? ¿Qué licencia tiene?
llamAmpere es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿llamAmpere sigue mantenido?
Mantenimiento activo. El último commit de llamAmpere fue el 6 nov 2026.
¿Para qué puedo usar llamAmpere?
Ejecutar localmente un modelo Qwen3.8 con contexto largo en una sola RTX 3090. Ofrecer un endpoint local compatible con OpenAI para herramientas de programación o RAG en una tarjeta de 24 GB. Probar GPU de consumo de 12 GB con ventanas de contexto amplias y los ajustes de memoria documentados.
¿Cómo se instala llamAmpere?
Clona llamAmpere en la etiqueta v0.6.2: git clone -b v0.6.2 https://github.com/JakeATX/llamAmpere.git Entra en la carpeta y configura la compilación con CUDA para la serie RTX 30 (sm86): cd llamAmpere && cmake -S . -B build-sm86 -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=86 -DLLAMA_BUILD_BORINGSSL=ON Compila el binario llama-server: cmake --build build-sm86 -j8 --target llama-server Inicia el servidor con el modelo Swift 1.5 27B (se descarga al iniciarlo por primera vez; escucha en http://127.0.0.1:8080): ./build-sm86/bin/llama-server -hf jakeatx/qwen3.8-27b-Swift1.5-Uncensored-ATX-AI2 -c 204800 -ngl 99 -fa on -b 4096 -ub 1024 --parallel 1 --jinja --no-context-shift -ctk sjkvarn3 -ctv sjkvarn2 --sjkvarn-body-type auto --spec-type draft-mtp-adaptive --spec-draft-n-min-adaptive 3 --spec-draft-n-max 4 --spec-draft-p-min 0 --spec-mb-mtp
¿Dónde consigo llamAmpere?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/JakeATX/llamAmpere

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados