Repolode
제출하기
Wallawalla47

Wallawalla47/Infernix

NInfer에서 포크한 C++/CUDA 추론 엔진으로, NVIDIA RTX 5090 GPU 한 대에서 Qwen3.8 및 Qwen3.8-27B 모델을 서빙합니다.

GitHub에서 보기
스타
275
포크
38
열린 이슈
7
마지막 커밋
어제

어떤 프로젝트인가요?

Infernix는 NVIDIA RTX 5090 한 대에서 실행하도록 만든 Qwen 언어 모델용 추론 서버입니다. OpenAI Chat Completions, Responses 및 Anthropic Messages 호환 API를 제공하므로 코딩 에이전트와 다른 클라이언트가 수정 없이 연결할 수 있습니다. Qwen3.8-Flash-Next 모델은 라우팅된 전문가를 페이지 잠금 시스템 RAM에 두고 자주 쓰는 전문가는 VRAM에 캐시하며, RAM이 부족할 때는 SSD 티어에서 오버플로 전문가를 읽을 수 있습니다.

MTP, DFlash, DFlash2 및 n-gram 초안 모델을 이용한 speculative decoding과 int8, fp8, nvfp4, vq2 등의 KV 캐시 형식을 지원합니다. 또한 tool calling, JSON Schema 및 GBNF 문법을 사용한 제약 디코딩, 재시작 후에도 유지되는 prefix cache, 비전 입력도 지원합니다. 베타 웹 런처에서 모델과 구성을 관리하고 여러 모델에 단일 엔드포인트를 제공할 수 있습니다.

Windows에서는 MSVC로, Linux에서는 GCC로 네이티브 빌드할 수 있으며 Dockerfile도 포함되어 있습니다. 작성자는 코드와 문서의 상당 부분을 AI의 도움을 받아 작성했으며 취미로 개발하는 프로젝트이므로 완전성과 정확성을 보장하지 않는다고 밝혔습니다.

핵심 기능

  • 01코딩 에이전트 및 기타 클라이언트를 위한 OpenAI 및 Anthropic 호환 API
  • 02페이지 잠금 RAM으로 전문가를 오프로드하고 VRAM에 캐시하며, 선택적으로 SSD 티어 사용
  • 03MTP, DFlash, DFlash2 및 n-gram 초안 모델을 이용한 speculative decoding
  • 04int8, fp8, nvfp4, vq2 등을 지원하는 다양한 KV 캐시 형식
  • 05tool calling, JSON Schema 및 GBNF 문법을 이용한 제약 디코딩
  • 06모델과 구성을 관리하고 단일 엔드포인트를 제공하는 웹 런처

활용 사례

  • 코딩 에이전트용으로 RTX 5090 한 대에서 Qwen3.8 모델을 로컬 실행
  • Claude Code나 Codex 같은 도구에 로컬 OpenAI 또는 Anthropic 호환 엔드포인트 제공
  • GPU 한 대에서 다양한 Qwen 양자화 방식의 추론 속도와 품질 비교

사용 전 알아둘 점

  • 단일 NVIDIA RTX 5090 GPU를 대상으로 하므로, 설계상 다른 하드웨어는 지원하지 않습니다.
  • README에 따르면 취미로 개발 중이며 대부분 AI로 작성되었으므로, 내용이 불완전하거나 부정확할 수 있습니다.
  • 모델 설정에 대용량 모델 파일과 약 84 GiB의 RAM이 필요하므로 실행 부담이 큽니다.

포함된 컬렉션

로컬에서 LLM 실행하기GPU로 AI를 학습하고 실행하는 도구

토픽

#llm-inference#cuda#qwen#gpu#local-llm#speculative-decoding#openai-compatible#cpp

자주 묻는 질문

Infernix은(는) 무엇인가요?
NInfer에서 포크한 C++/CUDA 추론 엔진으로, NVIDIA RTX 5090 GPU 한 대에서 Qwen3.8 및 Qwen3.8-27B 모델을 서빙합니다. Infernix는 NVIDIA RTX 5090 한 대에서 실행하도록 만든 Qwen 언어 모델용 추론 서버입니다. OpenAI Chat Completions, Responses 및 Anthropic Messages 호환 API를 제공하므로 코딩 에이전트와 다른 클라이언트가 수정 없이 연결할 수 있습니다. Qwen3.8-Flash-Next 모델은 라우팅된 전문가를 페이지 잠금 시스템 RAM에 두고 자주 쓰는 전문가는 VRAM에 캐시하며, RAM이 부족할 때는 SSD 티어에서 오버플로 전문가를 읽을 수 있습니다.
Infernix은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Infernix은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Infernix은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. Infernix의 마지막 커밋은 2026년 11월 6일입니다.
Infernix은(는) 어디에 사용할 수 있나요?
코딩 에이전트용으로 RTX 5090 한 대에서 Qwen3.8 모델을 로컬 실행 Claude Code나 Codex 같은 도구에 로컬 OpenAI 또는 Anthropic 호환 엔드포인트 제공 GPU 한 대에서 다양한 Qwen 양자화 방식의 추론 속도와 품질 비교
Infernix은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/Wallawalla47/Infernix

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트